ICLR 2026 杰出论文《Transformers are Inherently Succinct》（Transformer 本质上是简洁的）探讨了 Transformer 架构的理论极限。作者证明，虽然 Transformer 在表征某些问题时效率极高，但这种“简洁性”伴随着巨大的代价：基础验证任务（例如确定模型的输出是否为空或是否与另一输出等价）属于 **EXPSPACE 完全**问题。 这一发现意味着，对大型 Transformer 进行形式化验证在计算上是难以处理的，其所需的空间复杂度远超当前可行范围。 Hacker News 上的讨论强调了几个关键点： * **验证的局限性：** 由于形式化验证在这些模型上已被证明是难以处理的，因此在需要绝对逻辑确定性的系统中依赖它们存在问题。它们或许可用于编写代码草稿，但无法直接作为已验证的系统使用。 * **理论复杂性：** 该论文将 Transformer 的简洁性与其他模型进行了比较，指出尽管它们可能比 RNN 更紧凑，但这并不等同于“最优”。一些人认为该结论较为微妙，指出该研究依赖于特定的理论结构（如 BDD），而非训练后的模型行为。 * **架构权衡：** 该研究强调了表达能力与推理系统内部逻辑能力之间经典的权衡关系。