论文arxiv cs.LG · 2mo ago重要
GEM: Geometric Entropy Mixing for Optimal LLM Data Curation
分类释义：学术论文 / 技术报告
TL;DR
GEM 提出一种几何熵混合框架，将 LLM 数据筛选重新建模为超球面上的变分问题，配合混合平衡正则器和 MM 算法，有效对抗聚类塌陷，在 1.1B 模型上集成 DoReMi/RegMix 可提升下游任务平均精度 1.2%。
关键要点
- 01GEM 提出一种几何熵混合框架。
- 02将 LLM 数据筛选重新建模为超球面上的变分问题。
- 03配合混合平衡正则器和 MM 算法。
- 04有效对抗聚类塌陷。
为什么值得关注
当前数据筛选依赖人类分类或欧氏聚类存在系统性偏差，工程师可直接借鉴 GEM 的几何影响评分（GIS）来构建可解释、可预测的数据混合流水线，而非依赖人工试错调参。
对你的工程实践意味着什么
LLM 实时生成MiniMax-M2.7缓存命中
| 角色 | 你应该做什么 |
|---|---|
| Tech Lead | 评估将 GEM 的超球面变分框架集成到现有数据筛选流水线的可行性，尤其是与 DoReMi/RegMix 的组合方案 |
| 应用工程师 | 调研 GEM 的几何影响评分（GIS）实现，考虑在数据清洗和混合任务中替换欧氏聚类方案 |
| 运维 / 平台 | 暂无直接影响，了解即可 |
| 产品 / 业务 | 暂无直接影响，了解即可 |
同类资讯
本页 TL;DR 与「为什么」由 LLM 生成 · 模型：MiniMax-M2.7 / Claude Haiku 4.5