注意力不是你需要的

注意力不是你需要的
Attention Is Not What You Need (2025)

原始链接: https://arxiv.org/abs/2512.19428

arXivLabs 是一个框架，允许合作者直接在我们的网站上开发和共享新的 arXiv 功能。与 arXivLabs 合作的个人和组织都接受并认同我们开放、社区、卓越和用户数据隐私的价值观。arXiv 致力于这些价值观，并仅与遵守这些价值观的合作伙伴合作。对能为 arXiv 社区增值的项目有想法？了解更多关于 arXivLabs。

Hacker News 上的一个帖子讨论了一篇 arXiv 论文《Attention Is Not What You Need》，该论文提出 Grassmann flows 作为 attention 的几何替代方案。评论者质疑论文配对符号中可能存在未来 token 泄漏，并指出第三方复现不一致。据报道，该论文在困惑度上落后标准 Transformer 约 10–15%，引发关于标题是否过度承诺的争论。一些人认为规模主导性能，而另一些人说架构仍影响训练成本和效率，例如引用 Qwen 3.5 等混合注意力设计。额外的怀疑针对 1800 万参数的小实验、模糊的指标以及可能由 LLM 生成的文本。用户还辩论同行评审与公众审查，以及作者缺乏网络足迹。总体上，该帖子认为这一想法有趣但尚未被证明，还不能令人信服地替代 attention。

arXivLabs is a framework that allows collaborators to develop and share new arXiv features directly on our website.

Both individuals and organizations that work with arXivLabs have embraced and accepted our values of openness, community, excellence, and user data privacy. arXiv is committed to these values and only works with partners that adhere to them.

Have an idea for a project that will add value for arXiv's community? Learn more about arXivLabs.

注意力不是你需要的 Attention Is Not What You Need (2025)

注意力不是你需要的
Attention Is Not What You Need (2025)