Skip to content

flageval-baai/FlagEval_Report

Folders and files

NameName
Last commit message
Last commit date

Latest commit

 

History

4 Commits
 
 
 
 
 
 

Repository files navigation

智源评测报告

作者:FlagEval

关于本书

本技术报告详细介绍了智源人工智能研究院历经3个月筹备的大模型评测,对评测方法、流程和结果进行系统说明。

本次评测共使用超8万道考题,其中含4000+原创未公开主观题,对全球40余家大模型企业或研究团队的共计140余个大模型(其中108个开源模型,和33个闭源模型)进行了评测,包括大语言模型(对话模型和基础模型)、视觉语言大模型、文生图模型及文生视频模型。同时,首次联合权威教育机构进行大模型K12学科评测,将模型与人类学生的结果进行对比分析,为准确把握模型能力进展提供参考。

本次评测结果显示,国内大语言模型在中文语境下的综合表现基本接近国际一流水平,但存在明显的能力不均衡情况;视觉语言模型(图文问答)开源模型与商业模型平分秋色,深度专业图理解是需突破的短板,国产模型在图文问答有不错表现;文生图模型的客观评测指标可靠性不足,国内外模型能力差异点显著;文生视频模型整体能力仍需提升,Sora显示出明显优势。大模型在学科测验上的最好表现尚未达到人类学生平均水平,学科上文科类学科好于理科类学科表现,图表理解能力仍有很大提升空间。

概要

全文内容 pdf (updated 2024-07-13)

引用信息

@book{flageval2024,
title = {AI大模型能力全景扫描},
year = {2024},
author = {FlagEval},
address = {北京},
url = {https://flagopen.github.io/FlagEval_Report/},
}

反馈意见

如果您有任何意见、评论以及建议(先确认最新版本中是否已经修正),请通过GitHub的Issues页面进行反馈。如果错误比较重要,我会在本书中进行致谢。

反馈意见包括但不限于:(因为分开排版关系,页码错误请忽略。)

  • 打字错误
  • 描述错误: 比如“感知器是非线性分类器”
  • 评论
  • 建议

非常感谢!

About

No description, website, or topics provided.

Resources

Stars

Watchers

Forks

Releases

No releases published

Packages

No packages published