自 2020 年以来,人工智能行业的重心已从**训练**超大规模模型转向**推理**——即运行这些模型以生成文本、代码和驱动自主智能体行为的高算力需求过程。由于大语言模型(LLM)现已采用能够成倍增加输出并全天候运行的“推理”技术,对推理基础设施的需求激增,促使科技巨头结成前所未有的联盟并制定新的硬件战略。
与高度可并行化的训练不同,推理(特别是令牌生成的“解码”阶段)受到内存带宽的限制。随着模型规模的扩大,它们对数据的处理需求往往超出了标准 GPU 的数据传输能力,导致处理器空转。为解决这一问题,行业正转向“系统级”解决方案:
* **以内存为中心的架构:** d-Matrix 和 Majestic Labs 等公司正在将计算直接堆叠在内存上,或扩展接口以使用成本更低、容量更大的 DRAM。
* **专用硬件:** 英伟达(Nvidia)和亚马逊(Amazon)等厂商正在将传统 GPU(用于处理提示词)与专用芯片结合,例如 Cerebras 的晶圆级引擎或 Groq 以 SRAM 为核心的 LPU(用于生成)。
* **软件优化:** 量化(使用 4 位精度)等技术在保持模型质量的同时,大幅减小了内存占用。
归根结底,推理正在推动一个多元化、非常规硬件创新的新时代。
**Cartesian by Formas** 是一款专为建筑和产品设计打造的 AI 3D 建模平台。它能将草图、照片或平面图中的创意转化为精确的专业级 3D 模型。
与生成简单多边形网格的工具不同,Cartesian 能够生成整洁且可编辑的几何体,包括实体和 NURBS 曲面。用户既可以保留现有设计中的特定元素,又可以通过自然语言提示词来修改其余部分,从而确保工作流程既顺畅又具备高精度。
主要功能包括:
* **完全可编辑性:** 模型中的每个对象都是独立且可调整的组件。
* **专业兼容性:** 模型与 Rhino 和 SketchUp 等行业标准 CAD 软件完全兼容,并计划集成 BIM 功能。
* **注重精度:** 专为制造、3D 打印和建筑文档设计,所创建的模型可直接用于测量、加工和制造。
Cartesian 通过连接对话式 AI 与传统 CAD,免去了使用昂贵且复杂软件的必要性,为从初步构思到最终装配提供了一条结构化且高效的路径。目前该平台正通过预览候补名单开放使用。