二元检索增强奖励减轻幻觉

二元检索增强奖励减轻幻觉
Binary Retrieval-Augmented Reward Mitigates Hallucinations

arXivLabs是一个框架，允许合作者直接在我们的网站上开发和分享新的arXiv功能。个人和与arXivLabs合作的组织都认同并接受我们开放、社群、卓越和用户数据隐私的价值观。arXiv致力于这些价值观，并且只与秉持这些价值观的合作伙伴合作。您是否有为arXiv社群增加价值的项目想法？了解更多关于arXivLabs的信息。

这个Hacker News讨论围绕着一篇新的研究论文，详细介绍了一种减少大型语言模型中“幻觉”（事实性错误输出）的方法。该方法名为“二元检索增强奖励”，其独特之处在于仅对完全符合事实的回复给予完整奖励，否则为零——避免了与其他缓解技术常见的性能下降。该系统不依赖于一个模型来验证另一个模型。相反，它使用一个更强大的“验证器”模型（示例中为Qwen 32B）将生成的文本与检索到的源文档进行比较。这使验证器专注于*识别冲突*，而不是自己生成答案，并激励模型在不确定时“不予回答”（“我不知道”），优先考虑事实准确性而不是总是给出答案。正在训练的核心模型是Qwen 8B。讨论强调了这种方法在提高开放式生成任务可靠性方面的潜力。

arXivLabs is a framework that allows collaborators to develop and share new arXiv features directly on our website.

Both individuals and organizations that work with arXivLabs have embraced and accepted our values of openness, community, excellence, and user data privacy. arXiv is committed to these values and only works with partners that adhere to them.

Have an idea for a project that will add value for arXiv's community? Learn more about arXivLabs.

二元检索增强奖励减轻幻觉 Binary Retrieval-Augmented Reward Mitigates Hallucinations

二元检索增强奖励减轻幻觉
Binary Retrieval-Augmented Reward Mitigates Hallucinations