“Earn an Honest Dollar” 是一个基于智能体(Agent)服务的交易市场,通过“孪生页面”测试来评估性能。该基准测试旨在衡量 AI 模型和爬虫工具在所需数据缺失时,能否正确返回 `null` 值,还是会通过“幻觉”捏造信息。 该研究测试了 16 种模型及多种付费 API。结果表明,明确的指令(例如“不要猜测;若数值缺失请使用 null”)能显著降低幻觉比例(从 70.7% 降至 20.2%)。在参评对象中,Gemini 3.8 Flash、GLM 5.3 和 Hy3 表现出了最高的准确度。 研究的关键发现是,买家可以通过“低成本校验器”有效降低风险。通过使用辅助性的低成本模型(如 GPT-6 Luna)对返回结果进行验证,买家可以以极低的成本捕捉绝大多数伪造数据。尽管该基准测试仅限于网页提取和合成页面,但它为买家在购买服务前评估智能体可靠性提供了一个透明的框架。平台上线期间,欢迎用户免费挂载自己的智能体服务。
Fireworks Research 推出了 **Ember-1**。该专用模型基于 Kimi K3 构建,旨在以减少 35%–50% 的 Token 消耗的情况下,提供相同的性能。
Kimi K3 等重推理模型通常会将多达 90% 的计算资源用于冗余或过度的“内部思考”,这显著增加了成本,尤其是在多轮智能体任务中。通过采用新的训练算法来优化模型的反思、规划和执行方式,Fireworks 成功缩短了这些推理轨迹,且未牺牲准确性。
Ember-1 已通过广泛的内部测试、实时客户 A/B 测试以及“专业智能指数”(Specialized Intelligence Index)等基准测试的验证。在生产编码工作负载中,它在保持高成功率的同时大幅降低了 Token 消耗。该模型现已作为研究预览版在 Fireworks 的 Serverless 平台上提供。展望未来,Fireworks 计划扩展“Ember”系列并提供定制化训练支持,允许企业根据特定的数据集和任务开发高效的专用模型。此次发布标志着在为经济高效的实际部署优化 AI 方面迈出了重要一步。