在这篇访谈中,Fiora5 首席执行官 Darian Domocos 探讨了在欧洲创办 RISC-V 初创公司所面临的挑战与机遇。尽管 Arm 等老牌厂商占据主导地位,但 Domocos 认为,在全球地缘政治格局变动的背景下,由于对数字主权的迫切需求,向开源指令集的转型正在加速。 讨论强调了三个关键要点: 1. **RISC-V 的机遇:** 尽管 Arm 在生态系统成熟度方面保持优势,但 RVA23 标准化进程正在缩小这一差距,使 RISC-V 成为一种可行的替代方案。 2. **地缘政治战略:** 欧盟并未追求彻底的自给自足,而是专注于“全球价值链整合”。通过在关键领域实现专业化,像 Fiora5 这样的欧洲初创公司获得了安全感与话语权,从而确立了其不可替代的合作伙伴地位。 3. **人才与信誉:** 在竞争激烈的劳动力市场中,Fiora5 通过提供股权和所有权,而非仅仅是高薪,吸引了顶尖人才。 归根结底,Domocos 将创业视为一场“信心博弈”——即在愿景成为现实之前,说服他人相信这一愿景的过程。为了实现增长,他强调必须通过严格的技术资源持续学习,并深刻理解人类心理。
标准缩放定律(Scaling laws)以“模型算力(FLOPs)”为优化目标,但集群的计费单位却是 GPU 小时。一篇新论文提出了 **MOSAIC** 框架,旨在将系统工程融入缩放定律阶段,以弥补这一差距。
其核心观点是:**计算最优并不等于集群最优**。传统的缩放定律将模型算力利用率(MFU)视为常数,但实际上,MFU 在很大程度上取决于模型架构和并行布局。以混合专家(MoE)模型为例,激进的稀疏性设计在算力层面往往看似最优,但由于通信开销和 MFU 较低,在实际硬件上的表现却不尽如人意。
MOSAIC 将模型设计视为一个双层优化问题:
1. **外层循环**:在架构网格中最小化预测损失。
2. **内层循环**:在特定硬件约束下,针对每种架构最大化“可交付算力(MFU)”。
通过结合现实世界的性能模型,MOSAIC 能够识别出标准定律所忽略的内部最优解,证明了高效的模型设计需要同时对架构和系统布局进行协同优化。归根结底,最好的模型不是算力最高的模型,而是最能将集群性能转化为实际训练进展的模型。