感知推断的最佳N采样大型语言模型微调

感知推断的最佳N采样大型语言模型微调
Inference-Aware Fine-Tuning for Best-of-N Sampling in Large Language Models

arXivLabs是一个框架，允许合作者直接在我们的网站上开发和分享新的arXiv功能。与arXivLabs合作的个人和组织都已接受并认同我们开放、社区、卓越和用户数据隐私的价值观。arXiv致力于这些价值观，并且只与遵守这些价值观的合作伙伴合作。有提升arXiv社区价值的项目想法吗？了解更多关于arXivLabs的信息。

这篇Hacker News帖子讨论了一篇关于“用于大型语言模型最佳N采样的推理感知微调”的论文。其核心思想是通过使选择过程可微分，来鼓励语言模型在推理（最佳N采样）过程中生成的多个输出的多样性。这可能会提高探索效率，特别是对于推理模型，使其能够考虑不同的思考方向并找到更好的答案。评论者们讨论了这种方法是否已经被DeepSeek的GRPO等算法隐含地捕捉到，以及考虑到采样多个响应的成本，它在实践中的潜在用途。一些人强调需要示例补全来理解这种微调的语言影响。另一些人质疑最佳N采样是否是标准做法，考虑到向更廉价推理的趋势，一些评论者指出诸如量化和开源推理代理等技术可以优化成本。一位用户推测是否存在位削减的限制。

深度混合：在 Transformer 中动态分配计算 2024-04-09

无参数键值缓存压缩，用于内存高效的长上下文大型语言模型 2025-03-27

70% 尺寸，100% 精度：基于动态长度浮点数的无损LLM压缩 2025-04-25

SplitQuantV2：无需GPU即可增强大型语言模型的低比特量化 2025-03-26

原文

arXivLabs is a framework that allows collaborators to develop and share new arXiv features directly on our website.

Both individuals and organizations that work with arXivLabs have embraced and accepted our values of openness, community, excellence, and user data privacy. arXiv is committed to these values and only works with partners that adhere to them.

Have an idea for a project that will add value for arXiv's community? Learn more about arXivLabs.

感知推断的最佳N采样大型语言模型微调 Inference-Aware Fine-Tuning for Best-of-N Sampling in Large Language Models

感知推断的最佳N采样大型语言模型微调
Inference-Aware Fine-Tuning for Best-of-N Sampling in Large Language Models