论文arxiv cs.LG · 1mo ago重要
MacArena: Benchmarking Computer Use Agents on an Online macOS Environment
分类释义：学术论文 / 技术报告
TL;DR
MacArena 是针对 macOS 的 CUA 评测基准，421 个任务覆盖 50 个应用，运行在 Apple Silicon 原生虚拟化环境上，揭示当前模型在 Linux 基准上的表现无法预测 macOS 表现。
关键要点
- 01MacArena 是针对 macOS 的 CUA 评测基准。
- 02421 个任务覆盖 50 个应用。
- 03运行在 Apple Silicon 原生虚拟化环境上。
- 04揭示当前模型在 Linux 基准上的表现无法预测 macOS 表现。
为什么值得关注
模型排名在移植任务和 macOS 原生任务之间发生反转，领头模型在 MacArena 上落后超过 26%，说明 Linux 基准的表现可能只是熟悉任务分布而非真正的跨平台 GUI 能力——做 CUA 产品或训练 RL 策略的工程师需要建立 Apple Silicon 测试环境来验证真实能力。
对你的工程实践意味着什么
LLM 实时生成MiniMax-M2.7缓存命中
| 角色 | 你应该做什么 |
|---|---|
| Tech Lead | 重新审视 CUA 评测策略，引入 macOS 原生测试场景而非仅依赖 Linux 基准 |
| 应用工程师 | 在本地 Apple Silicon 环境验证模型的 GUI 操作能力，不依赖现有 Linux 评测结果 |
| 运维 / 平台 | 评估搭建 Apple Silicon 虚拟化测试环境的可行性，支持 CUA 模型的真机评测 |
| 产品 / 业务 | 暂无直接影响，了解即可 |
同类资讯
本页 TL;DR 与「为什么」由 LLM 生成 · 模型：MiniMax-M2.7 / Claude Haiku 4.5