## 人工智能研究:一点来自(编码)朋友的帮助 这个实验探索了在有限资源下,人工智能研究能达到什么程度——具体来说,就是在笔记本电脑上五分钟训练一个模型。作者最初尝试独立完成,获得了一个能够生成简单故事的180万参数Transformer。然而,真正的突破来自于利用OpenAI的GPT-5-codex,本质上是使用人工智能来*做*人工智能研究。 Codex自主生成想法,运行实验,并迭代训练脚本,显著优于作者的个人努力。这个过程涉及一个反馈循环:Codex会修改脚本,运行测试,并提出改进建议,作者选择下一步。 最初使用n-gram模型的尝试速度很快,但缺乏连贯性。Transformer显示出潜力,但仅为困惑度优化会导致重复、无意义的输出。最成功的方法是“提炼”——预训练一个Transformer来模仿快速训练的n-gram模型的语法,然后在TinyStories数据集上对其进行改进。这产生了令人惊讶的连贯且引人入胜的故事。 作者将这种协作方法称为“氛围研究”,承认它并不等同于专业的人工智能研究,但提供了一种令人惊讶的易于访问和有效的方式来探索该领域。