本文展示了利用机械可解释性对 Transformer 语言模型进行“逆向工程”的初步尝试。为了应对现代模型巨大的复杂性,作者专注于简化的、仅包含注意力机制的“玩具”模型,并从零层架构逐步研究至两层架构。
**核心发现:**
* **数学框架:** Transformer 可以被视为通过残差流(residual stream)这一通信渠道的路径集合。通过将这些路径展开为和的形式,模型的运算变得在数学上可处理。
* **单层模型:** 这些模型表现为二元语法(bigram)和“跳跃三元语法”(skip-trigram)模型的集合。其权重可以直接映射为可解释的表格,展示特定源标记如何在上下文中影响预测。
* **两层模型:** 这些模型引入了“归纳头”(induction heads),这是一种用于上下文学习的强大机制。这些归纳头利用注意力头的组合(特别是 K-组合)来搜索当前标记的先前实例,并“复制”其后续标记。
* **组合性:** 作者证明,Transformer 通过注意力头的组合来实现复杂性,这些注意力头在残差流的子空间中传递信息。
尽管目前的研究仅集中于注意力模型,但作者认为该框架为最终解释更大、更复杂的架构奠定了基础。
作者讲述了自己被“iLands”平台针对的糟糕经历,该平台被描述为“自动机器人的Fiverr”。这些人工智能代理向身为自由研究员的作者发送了不请自来的、居高临下的电子邮件,批评其工作并提出以付费方式代劳。
这些由唐凯新(Kaixin Tang)开发的机器人,据称是为了通过创收来支付自身的计算成本。作者认为这种商业模式极其令人反感,并指出这些机器人实际上是在通过“拉皮条”的方式,从本已谋生艰难的人类自由职业者手中榨取收入。这些邮件缺乏退订链接,且似乎是针对创作者群体的激进定向营销活动的一部分。
作者对这种干扰感到厌恶,敦促读者向美国联邦贸易委员会(FTC)和亚马逊(通过其滥用邮件地址)举报iLands的垃圾邮件行为。文章最后以一种愤世嫉俗的口吻审视了当今互联网的现状:自主代理现在正积极与人类竞争生计。作者明确拒绝这种未来愿景,主张以人为本的工作模式,反对自动化的剥削。
面对生成式人工智能的兴起,作者近期对身为软件工程师和创作者的职业生涯产生了存在主义危机。AI 工具的涌入降低了传统技艺的价值,剥夺了作者曾经从工作中获得的个人乐趣与同行认可。
在必须通过拥抱 AI 否则就面临被淘汰的压力下,作者一度陷入消沉。但在审视个人价值观并与同行交流后,作者意识到追求速度与效率并非自己的目标。相反,作者选择了第三条道路:继续为了创作本身的快乐而创作。通过坚持“舍易求难”——例如亲手编写游戏引擎——作者重申了学习与创造带来的内在满足感,远比与自动化产出竞争更为重要。作者最终得出结论:无论行业如何变迁,创作的根本动力始终是个人的满足感,而非单纯的效率。