AI2D厂商自报 · 越高越好
74.8%
multimodal evaluation
成绩出处BIG-Bench Extra Hard厂商自报 · 越高越好
11%
0-shot evaluation
成绩出处BIG-Bench Hard厂商自报 · 越高越好
72.2%
0-shot evaluation
成绩出处Bird-SQL (dev)厂商自报 · 越高越好
36.3%
- evaluation
成绩出处ChartQA厂商自报 · 越高越好
68.8%
multimodal evaluation
成绩出处DocVQA厂商自报 · 越高越好
75.8%
multimodal evaluation
成绩出处ECLeKTic厂商自报 · 越高越好
4.6%
0-shot evaluation
成绩出处FACTS Grounding厂商自报 · 越高越好
70.1%
- evaluation
成绩出处Global-MMLU-Lite厂商自报 · 越高越好
54.5%
0-shot evaluation
成绩出处GPQA厂商自报 · 越高越好
30.8%
0-shot evaluation diamond
成绩出处GSM8k厂商自报 · 越高越好
89.2%
0-shot evaluation
成绩出处HiddenMath厂商自报 · 越高越好
43%
0-shot evaluation
成绩出处HumanEval厂商自报 · 越高越好
71.3%
0-shot evaluation
成绩出处IFEval厂商自报 · 越高越好
90.2%
0-shot evaluation
成绩出处InfoVQA厂商自报 · 越高越好
50%
multimodal evaluation
成绩出处LiveCodeBench厂商自报 · 越高越好
12.6%
0-shot evaluation
成绩出处MATH厂商自报 · 越高越好
75.6%
0-shot evaluation
成绩出处MathVista-Mini厂商自报 · 越高越好
50%
multimodal evaluation
成绩出处MBPP厂商自报 · 越高越好
0.63%
3-shot evaluation
成绩出处MMLU-Pro厂商自报 · 越高越好
43.6%
0-shot evaluation
成绩出处MMMU (val)厂商自报 · 越高越好
48.8%
multimodal evaluation
成绩出处Natural2Code厂商自报 · 越高越好
70.3%
0-shot evaluation
成绩出处SimpleQA厂商自报 · 越高越好
4%
0-shot evaluation
成绩出处TextVQA厂商自报 · 越高越好
57.8%
multimodal evaluation
成绩出处VQAv2 (val)厂商自报 · 越高越好
62.4%
multimodal evaluation
成绩出处WMT24++厂商自报 · 越高越好
46.8%
0-shot evaluation
成绩出处
