在2024年从大型科技公司(FAANG)离职并投身独立研究后,作者构建了一台名为“grumbl”的定制服务器,配备了6张RTX 6000 Ada GPU,耗资4.8万美元。他选择自建设备而非租用云服务,是为了规避高昂且持续的开销,并确保能够全天候进行强化学习实验的算力需求。
在克服了公寓电力限制、复杂的电气布局以及PCIe延长线故障等一系列硬件维护难题后,作者对使用情况和成本进行了严谨的记录。到2026年3月,他计算出该服务器相较于租用云服务节省了1.7万美元,不仅收回了成本,还实现了盈利。
尽管这项投资在财务上是合理的,但作者指出,其真正的价值在于心理上的自由——不再有云服务使用中那种“每次运行都要算成本”的焦虑。不过他也提醒,定制化搭建不仅耗时且伴随风险。他总结称,虽然自己很享受这次经历,但建议未来项目应直接购买标准的机架式服务器并托管在数据中心。最终,这套硬件让他得以攻克大型语言模型(LLM)领域的重大挑战,研究成果即将发布。