MMBench

MMBench是什么

MMBench是由上海人工智能实验室、南洋理工大学、香港中文大学等机构联合推出的一个多模态大模型（VLM）的综合性评测基准。包含约3000道涵盖20多个细粒度能力维度的单选题，覆盖物体检测、文本识别、动作理解、图像描述、关系推理等任务。采用“循环选项”一致性评估机制，对同一题目多次打乱选项顺序测试，仅当模型在所有轮次中答案一致且正确才算通过，有效降低随机猜测和输出不稳定性带来的评估偏差，提升结果的可靠性和可复现性。

MMBench的主要功能

• 细粒度多模态能力评测：划分20+维度，如OCR、计数、定位、常识推理、情感理解等，精准定位模型强弱项。
• 循环一致性评估（Circular Evaluation）：每题重复4次，选项顺序轮换，仅一致且正确的回答计为通过，显著提升评测严谨性。
• 自动化答案匹配：即使模型未按“A/B/C/D”格式输出，也通过ChatGPT辅助匹配最接近选项，减少格式误判。
• 公开排行榜与模型对比：提供国内外主流多模态模型（如Qwen-VL、LLaVA、GPT-4V等）的得分排名，支持横向比较。
• 支持中英文双语题目：部分题目含中文描述，更贴合中文多模态模型的实际应用场景。
• 免费开放数据与工具：官网提供完整数据集下载、评估脚本及使用文档，便于研究者复现与扩展。

MMBench官网地址：

官网：mmbench.opencompass.org.cn

MMBench的应用场景

• 多模态模型研发评估：团队在训练或微调后，用MMBench验证模型在感知与推理上的综合表现。
• 学术论文基准测试：研究者将新模型在此榜单上测试，作为性能证明提交至顶会（如CVPR、NeurIPS）。
• 企业技术选型参考：AI产品团队对比不同开源/闭源VLM在真实任务中的可靠性。
• 教学与课程实验：高校AI课程用其讲解多模态评测方法与模型局限性。
• 社区模型打榜：开发者提交自研模型结果，参与公开排行榜竞争，提升技术影响力。

MMBench常见问题有哪些

• 必须用官方接口评测吗？
  不是。可下载数据集本地运行，按格式提交预测结果即可；官方提供自动化评分脚本。
• 为什么我的模型准确率比其他平台低？
  因MMBench采用循环一致性机制，传统“单次Top-1”准确率通常高估10%–20%，MMBench结果更反映真实稳定性。
• 支持视频或多图输入吗？
  当前版本以单图+单问题为主，暂不支持视频或多图联合理解任务。
• 能用于商业模型评测吗？
  可以。榜单已包含多家企业闭源模型（如GPT-4V、Claude 3 Opus），提交需遵守数据使用协议。
• 和MMMU、MME比有什么区别？
  MMBench强调选项扰动下的稳定性，而MMMU侧重学科知识，MME聚焦感知能力；三者互补，常被联合引用。