论文arxiv cs.AI · 1mo ago重要
Knowing When to Ask: Self-Gated Clarification for Hierarchical Language Agents
分类释义:学术论文 / 技术报告
TL;DR
研究者提出 ACTION-RATING 框架,将 clarfication 行为整合到 agent 的 action space 中,让 agent 在每个决策点自主决定是行动还是求助。实验显示信息寻求效率(ISE)从 50% 提升到 74%,10位关税分类准确率提升 +16.2%。
关键要点
- 01研究者提出 ACTION-RATING 框架。
- 02将 clarfication 行为整合到 agent 的 action space 中。
- 03让 agent 在每个决策点自主决定是行动还是求助。
- 04实验显示信息寻求效率(ISE)从 50% 提升到 74%。
为什么值得关注
工程实践中,hierarchical agent 的中间决策点往往是失败根源,此框架提供了一种让 agent 自我判断何时该求助的机制。产品层面可借鉴 ISE 指标(不是最终准确率,而是帮助交互后的下一步正确率)来诊断 agent 的帮助寻求行为是否有效。
对你的工程实践意味着什么
LLM 实时生成MiniMax-M2.7缓存命中
| 角色 | 你应该做什么 |
|---|---|
| Tech Lead | 评估现有 hierarchical agent 是否缺少"主动判断何时求助"的决策机制,考虑引入类似 ACTION-RATING 的 self-gating 设计 |
| 应用工程师 | 在 agent action space 中设计 clarification/ask-for-help 选项,让模型在每个决策点自主选择 |
| 运维 / 平台 | 暂无直接影响,了解即可 |
| 产品 / 业务 | 新增 ISE(信息寻求效率)指标用于评估 agent 效果,关注的不是最终准确率而是求助后的下一步正确率 |
同类资讯
本页 TL;DR 与「为什么」由 LLM 生成 · 模型:MiniMax-M2.7 / Claude Haiku 4.5