FlagEval

FlagEval是什么

FlagEval（天秤）是由北京智源人工智能研究院推出的AI大模型评测体系开放平台。提供评测方法统一规范、数据集原创防泄露、兼顾客观与主观评测、深度对标人类认知能力。支持全球800多个开闭源模型评测，覆盖语言、多模态、文图生成等多个领域，并积极参与国内外大模型评测标准制定，是国内最具权威性和中立性的第三方评测基础设施之一。

FlagEval的主要功能

• 多领域综合评测：涵盖自然语言处理（NLP）、计算机视觉（CV）、音频（Audio）、多模态（Multimodal）四大场景，支持基础模型、预训练算法、微调/压缩算法三大对象。
• 八大核心能力维度：包括语言理解、知识运用、推理能力、数学能力、代码能力、任务解决、安全与价值观等，全面刻画模型认知水平。
• 客观+主观混合评测：客观部分在统一环境中运行；主观部分通过高频迭代的打分标准和大量非公开评测集，减少偏差。
• 原创非公开数据集：构建大量未公开测试题，防止模型“刷榜”或数据污染，保障评测结果真实有效。
• 排行榜与角斗场机制：提供公开榜单，并支持“大模型角斗场”等交互式对比评测，增强结果可解释性。
• 开放合作生态：与十余家高校及研究机构共建评测数据与工具，支持社区贡献与共享。

FlagEval官网地址：

官网：flageval.baai.ac.cn

FlagEval的应用场景

• 大模型研发团队能力验证：用于内部模型迭代时的性能追踪与横向对比。
• 学术研究基准参考：高校和科研机构将其作为论文实验的权威评测标准。
• 企业技术选型依据：AI产品团队参考榜单选择适合业务场景的基础模型。
• 政策与行业标准支撑：为监管部门提供技术依据，推动AI治理与可信评估体系建设。
• 教育与人才培养：用于高校课程教学，帮助学生理解大模型能力边界与评测方法论。
• 开源社区共建：开发者参与数据集建设或工具开发，共同完善评测生态。

FlagEval常见问题有哪些

• 是商业产品吗？
  不是。FlagEval由非营利性科研机构智源研究院主导，坚持中立、公益、开放原则。
• 只测中文模型吗？
  不是。平台同时评测全球主流开源和闭源模型（如GPT、Claude、Llama、Qwen、GLM等），支持中英文双语任务。
• 数据会公开吗？
  部分评测集开源，但核心主观题和防泄露题不公开，以确保长期有效性。
• 能自己提交模型测试吗？
  目前主要面向合作机构开放模型接入；普通用户可通过官网查看公开排行榜和报告。
• 有使用文档或教程吗？
  官网提供技术报告（如《AI大模型能力全景扫描》）、评测介绍和合作入口，详细说明评测框架与指标定义。