最初持怀疑态度的著名认知科学家道格拉斯·霍夫施塔特在2023年GPT-4发布后改变了看法,承认它具有以“异类方式”思考的非凡能力。 这种转变凸显了大型语言模型(LLM)的快速发展及其与人类认知惊人的相似之处。 LLM通过将单词甚至图像表示为高维空间中的数字“向量”来运作,并通过训练调整这些坐标以反映关系和含义。 这使得类比推理成为可能——以“巴黎-法国-意大利-罗马”为例——并对上下文进行细致的理解。 近期研究甚至确定了这些模型中与特定概念相关的特定“特征”,表明存在以前未见过的内部表征水平。 有趣的是,这些模型背后的数学原理,特别是谷歌的Transformer架构,呼应了数十年前由Pentti Kanerva提出的理论。 这种融合正在促进人工智能和神经科学之间的相互关系,研究人员现在使用LLM来模拟和理解人脑,从而实现认知科学长期以来的梦想。 人工智能的“黑匣子”实际上越来越容易进行科学探究。
## 17世纪科学中的赛博朋克根源
本文探讨了赛博朋克的核心要素——高科技、城市环境和反文化——与17世纪科学进步之间的惊人相似之处。它认为,将推理机械化的努力,以戈特弗里德·莱布尼茨的“普遍特征”(一种通用的科学语言)为例,预示了现代控制论,甚至黑客思维。
作者重点关注了一封最近发现的罗伯特·胡克写给莱布尼茨的信,赞扬了后者的项目。胡克设想这种语言不仅是科学进步的工具,更是一种*赋权*个人的手段,允许人们独立于权威自由探索思想——这是一种明显的“赛博朋克”愿景。
胡克本人——一位叛逆的发明家和创新者——体现了这种精神。作者认为胡克应该与莱布尼茨一同被视为控制论和赛博朋克核心反文化元素的奠基人,强调了他们共同的愿望,即通过技术创新挑战既定体系。这种比较邀请我们通过现代、类型化的视角重新评估历史上的科学进步。
## 产品市场契合之前:后端重写
Skald团队在推出他们的RAG API平台后不久,做出了一个非常规的决定,将后端从Python/Django重写为Node/Express + MikroORM。尽管有人建议优先发布并实现产品市场契合,然后再关注规模化,但他们选择重写是因为Python的异步能力存在重大挑战。
核心问题源于对LLM和embedding API的严重依赖,这需要大量的异步I/O。Django的异步支持被证明复杂且不可靠,与JavaScript的事件循环或Go的goroutine相比,基础薄弱。现有的解决方案感觉像是变通方法,而不是原生解决方案。
虽然考虑过FastAPI,但团队最终选择了Node,以统一他们的代码库——此前代码库分为Python和Node——并利用他们现有的基于Node的后台工作者。迁移用了三天时间,涉及大量的测试,并最终使吞吐量提高了大约3倍。
虽然失去了Django易用的ORM是一个缺点,但团队对更高效和可扩展的架构的长期益处持乐观态度,即使这意味着需要重建一些工具。他们公开承认自己对Python异步缺乏经验,并欢迎反馈,在GitHub上分享他们的PR以供社区审查。