我在同一个 Three.js 任务上测试了 10 种模型/工具组合。
I tested 10 model/harness combinations on the same Three.js task

原始链接: https://alvins82.github.io/hangar-harness-model-tests/

为确定生成复杂 Three.js 项目的最佳配置,我们使用特定的科幻机库提示词进行了一系列性能测试。评估对比了多种模型与框架组合(包括 GLM 5.3 Flash Max、Luna 5.6 和 Qwen 3.8 27B)在耗时、Token 效率(输入/输出/推理)、工具使用可靠性以及浏览器渲染成功率等关键指标上的表现。 结果显示性能存在显著差异: * **效率:** `MaxCodexOpen` 和 `OpenCodeOpen` 等框架展现了高缓存利用率,这对降低 Token 开销至关重要。 * **可靠性:** 尽管偶尔出现工具错误,但 GLM 5.3 Flash Max 与 `MaxCodexOpen` 的组合仍能实现视觉验证成功。 * **可扩展性:** Qwen 3.8 27B 等模型能够处理更大的推理负载,但总耗时因所选框架不同而差异巨大(从约 8 分钟到 41 分钟不等,例如 `x-highOMPOpen` 对比 `OpenCodeOpen`)。 这些数据表明,仅靠模型选择是不够的;将模型与高效框架进行匹配,对于平衡代码复杂度、推理深度以及在浏览器环境下的快速部署至关重要。

一篇 Hacker News 讨论聚焦于一项基准测试,该测试对比了 10 种 AI 模型与辅助工具组合在执行 Three.js 编码任务时的表现。 主要观点如下: * **辅助工具的影响:** 参与者指出,“辅助工具”(驱动代码生成的环境/代理)与模型本身同等重要。不同的组合方式会对摄像机控制、渲染响应速度和代码复杂度产生巨大影响。 * **模型的局限性:** 评论者认为,目前的模型难以处理复杂的现代 Three.js 特性,如高级着色器、色调映射和优化的资源管线。它们往往倾向于使用基础且低效的几何体。 * **性能与可复现性:** 尽管一些结果(如 Astra)在视觉上令人印象深刻且表现优异,但其他结果因性能问题或缺乏一致的可复现性而受到批评。 * **专家建议:** 用户建议,对于专业级的 Three.js 项目,仅靠一次性 AI 提示词是不够的。开发人员应将 AI 视为大型游戏引擎管线的一个组件,结合物理引擎库(如 Rapier)和适当的资源优化工作流。 * **透明度:** 项目作者在 GitHub 上提供了转录内容、成本明细和环境详情,评论者称赞这是一种罕见且有益的做法,摆脱了以往 AI 报道中“浮夸”的风格。
相关文章

原文
Hangar Harness / Model Tests

I've been testing a simple prompt with different model and harness combinations to work out which one produces best results. I do this in /goal mode.

Prompt: Build a single-page Three.js sci-fi hangar with hovering drones, animated warning lights, emissive runway strips, and subtle volumetric-style fog planes. Include drone formation toggle and cinematic camera path. Output one self-contained HTML file with inline JavaScript.

GLM 5.3 Flash Max Codex Open 9m 0.232s 9.344s 457,685 17,458 7,694 475,143 85.26% 14 1 Blocked No
Luna 5.6 MaxCodexOpen9m 13.098s6.199s1,146,75525,5126,8791,172,26792.76%322YesYes
SOL 5.6 MaxCodexOpen10m 48.765s8.460s1,069,16328,2787,5151,097,44194.60%215NoNo
Astra 6.0 MaxCodexOpen37m 29.705s3.589s1,292,36643,12915,2711,335,49594.93%205YesNo
GLM 5.3 Flash MaxOMPOpen30m 14.979s6.596s1,678,50963,405—1,741,91478.54%570YesYes
Qwen 3.8 27B x-highOMPOpen41m 25.836s15.275s3,407,45171,93549,1313,479,38686.92%890YesYes
GLM 5.3 Flash MaxOpenCodeOpen20m 28.948s6.284s4,305,44750,46833,4144,355,91596.89%670YesYes
Qwen 3.8 27B x-highOpenCodeOpen8m 48.470s10.182s665,49041,81728,788707,30795.64%130YesYes
Qwen 3.8 27B x-highDSH / PTCOpen24m 32.929s7.724s1,012,49989,894—1,102,39391.69%235YesYes
Qwen 3.8 27B x-highDSHOpen18m 15.239s6.755s2,654,45778,232—2,732,68995.48%422NoNo

All GLM runs are labelled GLM 5.3 Flash Max; input tokens include cached input. Output tokens are the generated total, including reasoning; when a harness reports reasoning separately, the reasoning column shows that subset. The DSH adapter does not report a separate reasoning count. DSH durations sum active turn time across both turns, excluding the pause between turns. Tool errors are recorded failed tool events. A dash means unavailable or not reported.

联系我们 contact @ memedata.com