GateGPT:在 80 MHz FPGA 上实现每秒 56k token 的 Transformer(KV 缓存)
GateGPT: 56k tokens per second Transformer (KV cache) on FPGA at 80 MHz

原始链接: https://twitter.com/fguzmanai/status/2065832668172845209

Fabio Guzman @FGuzmanAI 在仅 80 MHz 的频率下达到每秒 56,000 多 token。🤯 我将一个带有 KV cache 的完整 Transformer 模型烧录到了定制芯片中。完全采用门级设计,是一个 100% 的数字集成电路。已在 FPGA 上完成原型验证。(没有 GPU,也没有 CPU) 纯数字硅片运行 @karpathy 的 microGPT,在 GPT 上逐字拼写出名字 👇 00:00 4:24 PM · 2026年6月13日 60.48万次浏览 151 条转发 508 条引用 4500 个喜欢 3000 个书签 查看 151 条回复 X 新用户?立即注册以获取属于你个人的时间线! 通过 Google 注册 通过 Apple 注册 创建账号 注册即表示你同意服务条款和隐私政策,包括 Cookie 使用。 相关人士 Fabio Guzman @FGuzmanAI 关注 当前趋势 服务条款 | 隐私政策 | Cookie 政策 | 无障碍服务 | 广告信息 | 更多 © 2026 X Corp. 不错过任何动态 X 用户总是最先知晓。 登录 注册

Hacker News | 最新 | 过往 | 评论 | 提问 | 展示 | 招聘 | 提交 | 登录 GateGPT:在 80 MHz FPGA 上实现每秒 56k token 的 Transformer (KV cache) (twitter.com/fguzmanai) 9 分,laxmena 发布于 21 分钟前 | 隐藏 | 过往 | 收藏 | 1 条评论 amelius 6 分钟前 [–] 另请参阅:https://rits.shanghai.nyu.edu/ai/karpathys-microgpt-on-fpga-... 简而言之:CPU 实现比 FPGA 快 71 倍。 注:该模型仅有 4192 个参数。 回复 指南 | 常见问题 | 列表 | API | 安全 | 法律 | 加入 YC | 联系 搜索:
相关文章

原文
联系我们 contact @ memedata.com