MNN 3.4.0 版本发布说明

发布日期: 2026年2月

📌 版本概述

MNN 3.4.0 版本聚焦于 GPU/QNN 后端能力深化、Attention 计算及长文本内存优化 与 GPU 线上运行稳定性 三大核心主题：

• GPU/QNN 能力深化: Vulkan 后端新增 LLM 推理支持并引入 CoopMat 矩阵加速指令；Metal 后端支持 TensorAPI 和 Flash Attention；QNN 后端扩展支持 Qwen3 系列和 VL 模型，并新增 Python 直接导出和 OmniQuant 量化能力。
• Attention 与长文本内存优化: CPU 和 Metal 后端全面支持 Flash Attention；CPU 支持 KV Cache 量化；新增 Prefix K...

MNN 3.3 Release Note

一、大语言模型（LLM）能力增强

• 新增模型支持：

  • 支持 Qwen2.5-Omni、Qwen3-VL、GPT-OSS、MiniCPM-4、Fast VLM 、GTE Reranker 等主流开源模型。

  • 支持 Attention Sink、Sliding Window Attention

• LLM 推理优化：

  • 新增 EAGLE-3 投机解码 支持，Mac CPU 上 Llama3-8B decode 性能提升达 2.24x。

  • 完善 Python 接口，...

MNN 3.2.5 Release Note

核心功能更新

1. 新增HQQ量化算法支持

• 在MNNConvert工具中集成HQQ量化算法，可通过--hqq参数启用
• HQQ量化支持非对称量化，能显著提升量化模型的精度
• 支持与分块量化结合使用，进一步优化模型精度

2. 支持EAGLE-3推测解码算法

• 新增EAGLE-3推测解码算法实现，提升大语言模型推理效率
• 实现了EagleGeneration类，支持基于草稿模型的推测解码
• 提供了Eagle模型导出工具，支持导出eagle、eagle_fc和eagle_d2t三个组件

3. Qwen系列模型增强支持

• 修复并优化Qwen3-Embedding模型的推理问题
• 新增对Qwen3-VL多模态大模型的支持
• 完善了llmexport工具对Q...

Release 3.2.4

Release 3.2.2