70% 尺寸，100% 精度：基于动态长度浮点数的无损LLM压缩

70% 尺寸，100% 精度：基于动态长度浮点数的无损LLM压缩
Lossless LLM compression for efficient GPU inference via dynamic-length float

arXivLabs是一个框架，允许协作者直接在我们的网站上开发和分享新的arXiv功能。与arXivLabs合作的个人和组织都已接受并认同我们开放、社区、卓越和用户数据隐私的价值观。arXiv致力于这些价值观，并且只与遵守这些价值观的合作伙伴合作。有为arXiv社区增值的项目想法吗？了解更多关于arXivLabs的信息。

Hacker News上的一篇讨论围绕着论文“通过动态长度浮点数(DFloat11)实现高效GPU推理的无损LLM压缩”展开，该论文提出了一种LLM的无损压缩方法，可在保持位精确相同输出的同时将模型大小减少30%。评论者们强调了其实际意义，例如在GPU内存有限的情况下可以使用更大的模型，这可能会使研究实验室和初创公司受益。然而，人们也担心速度问题，尤其是在交互式使用中，初步测试显示性能有所下降。专家们也在讨论这种方法与量化技术的优劣，承认量化技术的损耗性。一位领域的专家jhj评论说，无损压缩的好处在于始终与原始计算结果相同。另一位评论者则强调，当结果质量优于速度时，这种方法的优势就体现出来了。讨论还涉及到GPU内存、模型大小和量化算法快速发展的现状，暗示这项技术的冲击可能短暂。然而，其他人认为它可能是一种可叠加的优化方法，可以增强现有的量化方法。“neoclouds”也被提及，这是一家专门从事AI专用云计算的初创公司。

SplitQuantV2：无需GPU即可增强大型语言模型的低比特量化 2025-03-26

通过线性定理突破大型语言模型量化的极限 2025-04-20

SmolDocling：一款用于端到端多模态文档转换的超紧凑型大型语言模型 2025-03-21

通过多标记预测更好更快的大型语言模型 2024-05-02

原文

arXivLabs is a framework that allows collaborators to develop and share new arXiv features directly on our website.

Both individuals and organizations that work with arXivLabs have embraced and accepted our values of openness, community, excellence, and user data privacy. arXiv is committed to these values and only works with partners that adhere to them.

Have an idea for a project that will add value for arXiv's community? Learn more about arXivLabs.

70% 尺寸，100% 精度：基于动态长度浮点数的无损LLM压缩 Lossless LLM compression for efficient GPU inference via dynamic-length float

70% 尺寸，100% 精度：基于动态长度浮点数的无损LLM压缩
Lossless LLM compression for efficient GPU inference via dynamic-length float