Mythic 的模拟存内计算架构
Mythic's analog compute-in-memory architecture

原始链接: https://www.mythic.ai

传统芯片每秒在处理器和内存之间传输数据数十亿次,大部分能量都消耗在数据搬运而非计算上。这是一个 80 年来从未被行业质疑过的架构缺陷。Mythic 做到了。我们将人工智能模型权重存储在闪存内,并在源头直接进行模拟计算,从根源上消除了这种浪费。

关于 Mythic 模拟存内计算(CiM)架构的 Hacker News 讨论,主要集中在对其应用于大语言模型(LLM)的技术可行性的怀疑上。 尽管参与者承认,与数字算术逻辑单元(ALU)相比,该架构在能效上具有 100 倍至 1000 倍的提升潜力,但他们对制造差异性、噪声以及扩展至万亿参数模型所面临的困难表示了深切忧虑。批评者指出,Mythic 目前的芯粒仅能处理 3000 万至 8000 万个参数,这意味着若要运行现代大语言模型,则需要数千个裸片,这会造成巨大的物流和架构障碍,特别是在键值(KV)缓存管理和数据吞吐量方面。 讨论的很大一部分围绕着缺乏公开、独立的基准测试,以及该公司经常被指为人工智能生成的营销材料不够透明。虽然一些工程师认为模拟原理是合理的,且通过将模型针对特定硬件进行重调等补偿技术可以减轻可靠性问题,但其他人仍持怀疑态度。目前的共识是,虽然模拟计算是克服冯·诺依曼瓶颈的一种引人注目的替代方案,但 Mythic 面临着严峻的经济和工程挑战,许多人质疑他们能否真正与英伟达等数字解决方案的快速扩张相抗衡。
相关文章

原文

Traditional chips shuttle data between processor and memory billions of times per second, burning most of their energy on movement, not computation. It's an 80-year-old architectural flaw the industry never stopped to question. Mythic did. We store AI model weights inside flash memory and compute in analog, directly at the source, eliminating the waste at its origin.

联系我们 contact @ memedata.com