古德哈特定律将适用于你所信任的每一个基准。
Goodhart's Law Comes for Every Benchmark You Trust

原始链接: https://cacm.acm.org/blogcacm/goodharts-law-comes-for-every-benchmark-you-trust/

本网站正在使用安全服务来保护自身免受网络攻击。您刚才的操作触发了安全防御机制。触发此拦截的原因可能有多种,包括提交了特定的词汇或短语、SQL 命令或格式错误的数据。

ACM 最近发表的文章《古德哈特定律适用于你所信任的每一个基准测试》(Goodhart's Law Comes for Every Benchmark You Trust)在 Hacker News 上引发了一波批评。人们不满的并非其内容,而是其被认为带有“人工智能生成”的写作风格。用户迅速指出了大语言模型常见的“破绽”,例如过度的辞藻堆砌以及像“honestly ranked”(诚实排名)这类特定短语,最终导致该文章因违反编辑方针而被删除。 随后的讨论聚焦于古德哈特定律的必然性:一旦指标成为目标,它就不再是可靠的衡量标准。评论者指出,大语言模型的公开基准测试正日益受到操纵,无论是通过数据污染,还是通过优化模型以优先考虑“审美”清晰度而非实际效用。许多用户对标准的 AI 排行榜表示怀疑,认为最有意义的评估是私有的、特定任务的或个人化的衡量。 归根结底,这一讨论反映了人们对人工智能生成的“垃圾内容”日益感到厌倦,并意识到随着大语言模型变得无处不在,区分人类洞察力与模型生成的模仿变得至关重要,尽管这已是一项艰巨的技能。共识在于:当信任被商品化,指标就会失去价值,迫使用户必须依赖自己定制的测试来确定实际性能。
相关文章

原文

This website is using a security service to protect itself from online attacks. The action you just performed triggered the security solution. There are several actions that could trigger this block including submitting a certain word or phrase, a SQL command or malformed data.

联系我们 contact @ memedata.com