ChunkLLM：一个轻量级可插拔框架，用于加速LLM推理。

ChunkLLM：一个轻量级可插拔框架，用于加速LLM推理。
ChunkLLM: A Lightweight Pluggable Framework for Accelerating LLMs Inference

arXivLabs是一个框架，允许合作者直接在我们的网站上开发和分享新的arXiv功能。个人和与arXivLabs合作的组织都拥抱并接受了我们开放、社群、卓越和用户数据隐私的价值观。arXiv致力于这些价值观，并且只与坚持这些价值观的合作伙伴合作。您是否有为arXiv社群增加价值的项目想法？了解更多关于arXivLabs的信息。

一种名为ChunkLLM的新框架旨在加速LLM推理，尤其是在处理长上下文时。该论文在Hacker News上分享，提出了一种轻量级、可插拔的系统，用于高效处理长输入。讨论的重点在于它在现有LLM服务堆栈（如vLLM）中的实用性，以及与RoPE缩放和缓存等现有技术可能存在的冲突。虽然显示出速度提升（高达4倍），且质量损失最小（2%），但初步结果表明，ChunkLLM对于超过30,000个token的上下文最为有效——这种长度在编码代理和RAG应用中越来越常见。评论者强调了向模块化、硬件感知的LLM解决方案转变，并认为这是使LLM更易于访问和高效，超越大型科技公司的一步，本质上是教LLM有效地“略读”文本。一些人也将其与现有的“注意力汇”概念相提并论。

arXivLabs is a framework that allows collaborators to develop and share new arXiv features directly on our website.

Both individuals and organizations that work with arXivLabs have embraced and accepted our values of openness, community, excellence, and user data privacy. arXiv is committed to these values and only works with partners that adhere to them.

Have an idea for a project that will add value for arXiv's community? Learn more about arXivLabs.

ChunkLLM：一个轻量级可插拔框架，用于加速LLM推理。 ChunkLLM: A Lightweight Pluggable Framework for Accelerating LLMs Inference

ChunkLLM：一个轻量级可插拔框架，用于加速LLM推理。
ChunkLLM: A Lightweight Pluggable Framework for Accelerating LLMs Inference