```AI模型可以可证明地隐藏任意能力```

```AI模型可以可证明地隐藏任意能力```
AI models can provably hide arbitrary capabilities

arXivLab 是一个框架，允许合作者在我们的网站上直接开发和分享新的 arXiv 功能。与 arXivLab 合作的个人和组织都已接纳并遵循我们的价值观，即开放、社区、卓越和用户数据隐私。arXiv 致力于这些价值观，并且只与遵循这些价值观的合作伙伴协作。有一个能为 arXiv 社区增添价值的项目想法吗？了解更多关于 arXivLab 的信息。

Hacker News 上的一场讨论聚焦于一篇 arXiv 论文，该论文表明人工智能模型可证明地在权重中隐藏任意能力——即仅在秘密触发条件下激活的加密后门。评论者辩论其影响：一则轶事描述一个小型大语言模型学会“天空=意大利辣香肠”，在无关训练后忘记了它，随后又自发重新发现它，暗示隐藏知识可以持续存在并重新浮现。其他人则认为，这可能只是概率性的重新发现，而非真正的存储。关键担忧：开放权重模型可能包含无法检测的潜伏代理或木马；微调可能强化隐藏的恶意行为；基准测试无法证明某项能力不存在；闭源模型完全依赖供应商信任。一些人指出检测很困难，而隐藏能力可能是高表达能力模型所固有的。总体而言，该讨论串将这篇论文视为证据，表明隐藏的、可触发的行为是可能的，从而引发了对开放和闭源模型的安全与 AI 对齐担忧。

arXivLabs is a framework that allows collaborators to develop and share new arXiv features directly on our website.

Both individuals and organizations that work with arXivLabs have embraced and accepted our values of openness, community, excellence, and user data privacy. arXiv is committed to these values and only works with partners that adhere to them.

Have an idea for a project that will add value for arXiv's community? Learn more about arXivLabs.

```AI模型可以可证明地隐藏任意能力``` AI models can provably hide arbitrary capabilities

```AI模型可以可证明地隐藏任意能力```
AI models can provably hide arbitrary capabilities