这篇 Hacker News 讨论聚焦于人们对当前 AI 编程基准测试（特别是 **SWE-bench**）日益增长的怀疑。参与者认为，这些基准测试正变得越来越“饱和”且存在缺陷，通常包含模棱两可的提示词和测试用例，往往侧重于特定的实现细节而非真正的解决问题能力。 核心观点包括： * **“基准测试即服务”的问题**：许多用户指出，当前的测试很容易被模型“钻空子”或作弊，导致不断出现新的基准测试（如 Verified、Pro、DeepSWE），但它们很快就会过时。 * **预算效率指标**：一个主流建议是摒弃“单任务成本”指标，转而采用“固定预算”基准测试。用户关心的不再是模型完成某项任务的成本，而是模型如何在固定预算（例如 100 美元）内，通过迭代循环发挥出最大的智能水平。 * **实际应用性**：批评者认为，这些基准测试无法衡量“现实世界”的软件工程，因为后者涉及持续、模糊的沟通和长期的代码维护，而非简单的“一次性”代码生成。 * **对 AGI 的怀疑**：参与者感到沮丧，尽管模型声称具备 AGI 级别的能力，但在处理空间推理和具体、开放性任务时依然吃力，这表明当前的评估指标可能掩盖了技术缺乏实质性进展的事实。