AGI-Eval

AGI-Eval是什么

AGI-Eval是由上海交通大学、同济大学、华东师范大学、DataWhale、美团，等高校和机构联合打造的AI大模型评测社区。区别于传统静态问答评测，平台聚焦大模型在真实场景的复杂任务、多步推理、工具调用、真实世界交互等方面的表现。旨在衡量模型是否具备解决现实问题的“行动智能”，而不仅是语言生成能力。

AGI-Eval的主要功能

• 交互式任务评测：模型需在模拟环境中调用工具（如搜索、计算、代码执行）完成多步骤目标，例如“订一张下周从北京到上海最便宜的机票”。
• 多维度能力评估：涵盖规划、推理、工具使用、错误恢复、效率等维度，不仅看结果对错，更关注过程合理性。
• 标准化测试环境：提供统一的沙箱环境（如WebArena、AgentBench集成），确保不同模型在相同条件下运行。
• 支持自主智能体（Agent）评测：可评估具备记忆、规划、反思能力的AI Agent系统，而非仅单次问答模型。
• 中英文双语任务集：包含大量中文真实场景任务（如政务咨询、电商客服、本地生活服务），贴合国内应用需求。
• 开源与开放提交：部分基准数据和评估框架已开源，研究者可提交模型结果参与公开排行榜。

AGI-Eval官网地址：

官网：agi-eval.cn

AGI-Eval的应用场景

• 大模型Agent能力验证：企业或研究团队测试其智能体是否能可靠完成端到端任务（如自动填表、比价下单）。
• 学术前沿研究：用于AGI、具身智能、人机协作等方向的实验基准，推动高阶认知能力建模。
• 行业解决方案评估：金融、政务、电商等领域验证AI助手在真实业务流程中的可用性与鲁棒性。
• 技术竞赛与打榜：作为“中国AI大模型挑战赛”等赛事的官方评测平台，提供公平竞技环境。
• 产品上线前压力测试：在部署前模拟用户真实操作路径，暴露逻辑漏洞或工具调用失败风险。

AGI-Eval常见问题有哪些

• 这是个在线API吗？
  不是。AGI-Eval 是一个评测框架与平台，需将模型接入其测试环境运行任务，不提供直接对话接口。
• 普通用户能用吗？
  主要面向研究人员和开发者；普通用户可通过官网查看排行榜了解各模型能力，但无法直接上传模型测试。
• 和OpenCompass、HELM有什么区别？
  OpenCompass/HELM侧重静态问答准确性，AGI-Eval侧重动态任务完成能力，前者问“答案是什么”，后者考“怎么做出来”。
• 支持私有部署吗？
  部分评测环境支持本地部署，需联系主办方获取技术方案，适用于对数据安全要求高的机构。
• 有中文任务吗？
  有。平台专门构建了中文任务集，覆盖出行、医疗、政务、购物等本土化场景，是其重要特色。
• 最新排行榜包含哪些模型？
  截至2026年1月，榜单包括Qwen-Agent、DeepSeek-R1、GLM-Agent、GPT-4o（Agent模式）等主流智能体系统，按任务成功率与效率综合排名。