论文arxiv cs.AI · 2mo ago重要
Review Arcade: On the Human Alignment and Gameability of LLM Reviews
分类释义：学术论文 / 技术报告
TL;DR
对2025年ACL Rolling Review论文的实证研究表明，LLM评审与人类评审的对齐程度有限，且对齐效果在很大程度上取决于提示词和模型选择。研究还发现作者可以通过迭代修改论文来「游戏」LLM评审，约35%的论文因此获得了统计显著分数提升。
关键要点
- 01对2025年ACL Rolling Review论文的实证研究表明。
- 02LLM评审与人类评审的对齐程度有限。
- 03且对齐效果在很大程度上取决于提示词和模型选择。
- 04研究还发现作者可以通过迭代修改论文来「游戏」LLM评审。
为什么值得关注
主流学术会议已在试点LLM辅助评审，这意味着一旦作者学会利用LLM的评审偏好进行针对性修改，学术发表生态将面临系统性公平问题。工程师可借鉴此研究设计「反游戏检测工具」，识别迭代式LLM辅助修改的模式；产品负责人可探索让多个不同模型交叉评审以增强鲁棒性。
对你的工程实践意味着什么
LLM 实时生成MiniMax-M2.7缓存命中
| 角色 | 你应该做什么 |
|---|---|
| Tech Lead | 评估团队LLM辅助代码评审流程，引入多模型交叉验证机制而非依赖单一LLM |
| 应用工程师 | 避免将LLM评审结果作为代码合入的唯一依据，需结合人工复审 |
| 运维 / 平台 | 设计检测工具识别迭代式LLM辅助修改的行为模式，防止提示词工程绕过评审 |
| 产品 / 业务 | 暂无直接影响，了解即可 |
同类资讯
本页 TL;DR 与「为什么」由 LLM 生成 · 模型：MiniMax-M2.7 / Claude Haiku 4.5