xxaikey
免费订阅
← 全部资讯
论文arxiv cs.CL · 5d ago需要关注

Evaluation design conditions the expert-vs-auto MeSH gap: a controlled comparison of bag-of-words and BiomedBERT on the Cohen benchmark

分类释义：学术论文 / 技术报告

TL;DR

研究发现，在系统性综述的文献筛选任务中，评估设计（fold数、语料库大小匹配）的选择会显著改变「专家 MeSH vs 自动 MeSH」的性能差距结论，从 0.096 到 0.021 不等。

关键要点

  • 01在系统性综述的文献筛选任务中。
  • 02评估设计（fold数、语料库大小匹配）的选择会显著改变「专家 MeSH vs 自动 MeSH」的性能差距结论。
  • 03从 0.096 到 0.021 不等。
为什么值得关注

构建文献筛选或文档分类系统时，应意识到评估设计选择会实质性影响结论——建议同时报告多种评估配置下的结果，避免单一配置下的误导性结论。对于选择 BoW 还是 transformer，可参考本研究在 10-fold CV 下约 0.02 的实际差距。

对你的工程实践意味着什么

LLM 实时生成MiniMax-M2.7缓存命中
角色你应该做什么
Tech Lead制定评估标准时要求团队同时报告多种fold配置（如5-fold和10-fold）的性能结果
应用工程师在文献筛选或文档分类项目中，复现本研究对比BoW与BiomedBERT在Cohen benchmark上的配置
运维 / 平台暂无直接影响，了解即可
产品 / 业务在评估模型选型报告时，要求注明评估配置细节及多种配置下的结果范围
阅读原文 ↗来源：arxiv cs.CL

同类资讯

arxiv cs.CL·1d ago

Sympathetic Framing: Evaluating AI Alignment across Sociodemographic Groups

arxiv cs.LG·1d ago

Recursive transformers for semiconductor thermo-mechanical reliability

arxiv cs.CL·1d ago

LayerRAG-Bench: A Cross-Layer Reliability Benchmark for Agentic Retrieval-Augmented Generation

本页 TL;DR 与「为什么」由 LLM 生成 · 模型：MiniMax-M2.7 / Claude Haiku 4.5