互联网资讯 · 2023年12月8日 0

FlagEval九月份大语言模型评测榜单:Baichuan 2荣登第一

9月19日消息,继SupeRCLUE中文大模型评测基准8月榜单发布之后,国内又一权威评测体系flagEval(天秤)公布最新9月榜单评测结果。

flagEval(天秤)是北京智源人工智能研究院推出的大模型评测体系及开放平台,旨在建立科学、公正、开放的评测基准、方法、工具集,协助研究人员全方位评估基础模型及训练算法的性能。flagEval 大语言模型评测体系当前包含6大评测任务,近30个评测数据集,超10万道评测题目。

据悉,在9月评测中,flagEval进行了评测框架升级,细化「安全与价值观」与「推理能力」。依据最新版的能力框架,flagEval 团队同步更新了智源自建的 CHinese Linguistics & CognITion Challenge (CLCC) 主观评测数据集题库v2.0,题目数量扩充3倍,采用“多人‘背靠背’评测+第三方仲裁”的方式保证评测结果的一致性。

基于最新 CLCC v2.0主观评测数据集,flagEval(天秤)9月榜重点评测了近期大热的 7 个开源对话模型。从整体结果来看,BAIchuan2-13b-chat、Qwen-7b-chat、BAIchuan2-7b-chat名列前茅,准确率均超过 65%。

在基座模型榜单中,BAIchuan 2、Qwen、InteRnLM、Aquila 的客观评测结果表现均超越同参数量级的 LlaMa 及 LlaMa2 模型。

在 SFT 模型榜单中,BAIchuan2-13B-chat、YuLan-Chat-2-13B、AquilaChat-7B 名列前三。

另外,值得注意的是,在客观评测两个榜单中,BAIchuan 2均表现出优异性能,基础模型测试在中英文领域均全面超越LlaMa2。