Qwen3.8-Flash-Next

原始链接: https://qwen.ai/blog?id=qwen3.8-flash-next

**Qwen3.8-Flash-Next** 的发布在本地大语言模型社区引起了极大轰动,这主要归功于其作为 Qwen4 系列预演的创新架构。该模型拥有 125B 参数,并辅以 51B 的 N-gram 嵌入,每个 token 激活 6B 参数,实现了智能与速度之间的平衡。 核心要点: * **N-gram 架构:** 通过将专业知识(N-gram 嵌入)卸载至硬盘或系统内存,模型实现了高效率。这使其性能优于 Qwen3.8-27B 等更大的密集模型,同时运行成本显著降低。 * **硬件要求:** 尽管效率很高,但该模型对资源要求苛刻,需要约 75–112GB 的统一内存或显存。拥有高端消费级硬件(如 Strix Halo、Apple Silicon 或 DGX Spark)的用户已能通过不同的量化级别成功运行。 * **社区现状:** `llama.cpp` 和 `vLLM` 对其的主流支持目前正在快速开发中,早期使用者通过打补丁的分支已能实现约 20+ token/秒的生成速度。 * **争议:** 关于这类“Flash”架构是“进化死胡同”,还是迈向高效、私有且可定制本地 AI 的关键路径,社区讨论仍在持续。
相关文章

原文
联系我们 contact @ memedata.com