网站介绍
一个综合性的大模型中文评估基准
官网公开介绍
CMMLU: Measuring massive multitask language understanding in Chinese - haonan-li/CMMLU
BranchesTags
Open more actions menu
Latest commit
Folders and files
NameNameLast commit messageLast commit datedatadata figfig scriptscript srcsrc .gitignore.gitignore README.mdREADME.md README_EN.mdREADME_EN.md View all files
Last commit message
Last commit date
README_EN.md
View all files
Repository files navigation
CMMLU---中文多任务语言理解评估
简体中文 | English
📄 论文 • 🏆 排行榜 • 🤗 数据集
CMMLU是一个综合性的中文评估基准，专门用于评估语言模型在中文语境下的知识和推理能力。CMMLU涵盖了从基础学科到高级专业水平的67个主题。它包括：需要计算和推理的自然科学，需要知识的人文科学和社会科学,以及需要生活常识的中国驾驶规则等。此外，CMMLU中的许多任务具有中国特定的答案，可能在其他地区或语言中并不普遍适用。因此是一个完全中国化的中文测试基准。
注：如果有古汉语的评估需求，欢迎使用ACLUE.
Note： 自2023-12-16日起，对于未开放公测的API模型，我们将验证 1.模型是否有基本的指令跟随能力；2.是否存在数据污染，通过验证的模型会被更新在榜单。
以下表格显示了模型在 five-shot 和 zero-shot 测试下的表现。
对于开源或开放API的模型，可直接提交拉取请求（可以选择同时在src目录下更新测试代码）。
如模型未开放公测，请发送测试代码到haonan.li@librai.tech，同时将测试结果更新在榜单，并提交拉取请求。我们会在验证结果的真实性之后更新榜单。
我们根据每个主题在data目录中提供了开发和测试数据集。您也可以通过Hugging Face获取我们的数据。
我们的数据集已经添加到 lm-evaluation-harness 和 OpenCompass 中，您可以通过这些开源平台快速测试。