OpenCompass司南

OpenCompass司南是什么

OpenCompass司南是由上海人工智能实验室牵头研发的开源AI大模型评测体系，旨在为语言模型、多模态模型、数学与代码模型等提供统一、公平、可复现的评估标准。平台覆盖300+能力维度、50+主流数据集，支持国内外200+模型自动评测，并提供公开排行榜。平台全栈开源、模块化设计、中英文双语支持、深度适配中文场景，同时集成MMBench、C-Eval、MathBench等特色中文评测基准，是目前最全面的国产大模型评测基础设施。

OpenCompass司南的主要功能

• 多类模型统一评测：支持语言模型（LLM）、多模态模型（VLM）、数学模型、代码模型等四大类别的自动化评估。
• 300+细粒度能力维度：从基础语言理解到复杂推理、安全性、偏见检测，覆盖知识、推理、鲁棒性、效率等维度。
• 内置50+标准数据集：包括MMLU、GSM8K、HumanEval、C-Eval、CMMLU、MMBench、MathBench等，兼顾国际与中文需求。
• 一键式评测流程：提供命令行工具，用户只需配置模型路径和任务，即可自动运行、打分、生成报告。
• 公开排行榜与历史对比：官网实时展示各模型在各项指标上的得分，支持版本迭代追踪。
• 完全开源免费：代码、文档、评测脚本均在GitHub和Gitee开放，允许自定义数据集与评估逻辑。
• 中英文双语支持：界面、文档、数据集说明均提供中文，降低国内用户使用门槛。

OpenCompass司南官网地址：

官网：opencompass.org.cn

OpenCompass司南的应用场景

• 大模型研发团队内部评估：在训练或微调后快速验证模型在各类任务上的表现变化。
• 学术研究基准测试：高校与科研机构用于论文实验，提供权威、可复现的对比结果。
• 企业技术选型参考：AI产品团队通过排行榜横向比较开源或闭源模型的综合能力。
• 竞赛与社区打榜：开发者提交模型结果参与公开排名，提升技术影响力。
• 教学与课程实践：高校AI课程用其讲解大模型评测方法、能力边界与优化方向。
• 政府与行业标准制定：作为第三方评测工具，辅助构建AI治理与可信评估框架。

OpenCompass司南常见问题有哪些

• 必须联网才能用吗？
  不需要。核心评测可在本地离线运行；仅排行榜提交或下载部分数据集需网络。
• 支持私有模型评测吗？
  支持。只要模型可通过Hugging Face Transformers或自定义接口加载，即可接入评测流程。
• 对中文模型更友好吗？
  是的。内置C-Eval（中文知识）、CMMLU（中文多任务）、MMBench（中文多模态）等专属基准，更准确反映中文场景表现。
• 能自己加新数据集吗？
  可以。平台采用插件式架构，用户按模板添加新任务或指标，无需修改核心代码。
• 和HELM、Big-Bench比有什么区别？
  HELM偏重英文通用能力，Big-Bench强调创意任务；OpenCompass聚焦中英双语、全栈开源、工程友好，更适合国内研发团队日常使用。
• 有使用教程吗？
  有。官网提供详细中文文档、Quick Start示例、Docker镜像及常见问题解答，新手10分钟内可跑通首个评测。