超越语义:无理由中间标记的非凡有效性
Beyond Semantics: Unreasonable Effectiveness of Reasonless Intermediate Tokens

原始链接: https://arxiv.org/abs/2505.13775

arXivLabs是一个框架,允许合作者直接在我们的网站上开发和分享新的arXiv功能。与arXivLabs合作的个人和组织都认同并接受了我们开放、社区、卓越和用户数据隐私的价值观。arXiv致力于这些价值观,并且只与遵守这些价值观的合作伙伴合作。有为arXiv社区增值的项目想法吗?了解更多关于arXivLabs的信息。

这篇Hacker News帖子讨论了一篇题为“超越语义:无意义中间标记的不可思议的有效性”的论文。论文的核心思想是:即使语言模型(LLM)在“思维链”(CoT)过程中生成的中间标记在语义上不正确或毫无意义,它们也能有效地执行推理任务。 一些评论者对CoT的解释展开了辩论,质疑观察到的推理结果是这些标记本身造成的,还是LLM利用潜在空间的能力造成的。Valine认为推理过程可能存在于潜在空间中,并且Transformer并非在标记空间中进行推理。其他讨论则质疑模型是否真的以人类可以理解的方式“推理”,或者只是简单地统计性地模仿推理模式。 讨论还涉及到用得过滥的标题“不可思议的有效性”,以及它是否真正适用于此处。Godelski提到,如果你将CoT拟人化,研究结果就会令人惊讶。该帖子探讨了LLM内部推理的本质、中间标记的含义以及AI才能理解的“潜台词”的可能性,并链接了一些类似的研究。

原文

arXivLabs is a framework that allows collaborators to develop and share new arXiv features directly on our website.

Both individuals and organizations that work with arXivLabs have embraced and accepted our values of openness, community, excellence, and user data privacy. arXiv is committed to these values and only works with partners that adhere to them.

Have an idea for a project that will add value for arXiv's community? Learn more about arXivLabs.

联系我们 contact @ memedata.com