论文arxiv cs.LG · 2mo ago重要
LKV: End-to-End Learning of Head-wise Budgets and Token Selection for LLM KV Cache Eviction
分类释义：学术论文 / 技术报告
TL;DR
LKV通过端到端可微分优化学习KV缓存压缩，在15%缓存保留下实现近无损性能，显著优于依赖人工启发的传统方法。
关键要点
- 01LKV通过端到端可微分优化学习KV缓存压缩。
- 02在15%缓存保留下实现近无损性能。
- 03显著优于依赖人工启发的传统方法。
为什么值得关注
长上下文LLM部署的关键瓶颈是可扩展的缓存管理，该工作证明数据驱动的预算学习比手工启发式更有效，为实际部署提供了更高效的压缩方案。
对你的工程实践意味着什么
LLM 实时生成MiniMax-M2.7缓存命中
| 角色 | 你应该做什么 |
|---|---|
| Tech Lead | 评估LKV方法在自研缓存系统中的可行性，关注端到端优化相比分阶段设计的长期维护成本 |
| 应用工程师 | 如果涉及长上下文场景，测试该方法对推理延迟和吞吐的实际改善幅度 |
| 运维 / 平台 | 评估该压缩方案对GPU显存利用率的提升效果，作为成本优化的备选方案 |
| 产品 / 业务 | 暂无直接影响，了解即可 |
同类资讯
本页 TL;DR 与「为什么」由 LLM 生成 · 模型：MiniMax-M2.7 / Claude Haiku 4.5