发表详情
The Great March 100: 100 Detail-oriented Tasks for Evaluating Embodied AI Agents.
摘要
近年来，随着机器人学习和模仿学习的快速发展，涌现出大量数据集和方法。然而，这些数据集及其任务设计往往缺乏系统性考量与明确原则。这引发了一个重要问题：当前的数据集和任务设计是否真正提升了机器人智能体的能力？对少数常见任务的评估，能否准确反映不同团队提出的各类方法在不同任务上的差异化表现？为解决这些问题，我们推出了“大三一（GM-100）”，作为迈向机器人学习奥运会的第一步。GM-100包含100个精心设计的任务，涵盖广泛的人机交互行为及长尾行为，旨在提供多样且具挑战性的任务集合，全面评估机器人智能体的能力，并推动机器人数据集任务设计的多样性与复杂性。这些任务通过系统分析和扩展现有任务设计，并结合人类与物体交互的基本原理及物体可用性方面的洞察而开发而成。我们收集了大量不同机器人平台的轨迹数据，并评估了多个基准模型。实验结果表明，GM-100任务（1）是可行的，且具有足够的挑战性，能够有效区分当前VLA模型的性能差异。
Ziyu Wang, Chenyuan Liu, Yushun Xiang, Runhao Zhang, Yu Zhang, et al. “The Great March 100: 100 Detail-oriented Tasks for Evaluating Embodied AI Agents.” arXiv:2601.11421, 2026.
01
Benchmarking as editing
这项工作更像是在编辑一个评测系统，而不是发明一个新模型。它的价值在于把原本分散的任务、指标和失败范式整理成能够横向比较的表。
当研究问题进入 VLA 之后，很多系统看上去都能工作，但真正有区分度的往往是监督减少、反馈延迟、场景变化增多之后的表现。
02
Evaluation choices
我把任务拆成示范稀缺、语言约束漂移、视觉遮挡和长回合反馈四个小维度，每个维度都对应一种更接近实际环境的失真方式。
相比单纯拉长排行榜，这种拆法更适合后续写研究笔记，也更容易解释模型为什么在某一类任务里掉速。
03
Current status
目前内容仍然停留在 benchmark 草案和若干小规模实验上，但已经足够支撑 publication 页面所需的结构：问题、方法、观察、下一步。
后续如果要继续扩展，我会补充更明确的数据切分标准和几组失败案例可视化。