AMC_2022_23厂商自报 · 越高越好
46.4%
4-shot
成绩出处BIG-Bench Hard厂商自报 · 越高越好
89.2%
3-shot
成绩出处DROP厂商自报 · 越高越好
74.9%
Variable shots
成绩出处FLEURS厂商自报 · 越高越好
93.3%
Speech recognition accuracy (1 - WER)
成绩出处FunctionalMATH厂商自报 · 越高越好
64.6%
0-shot
成绩出处GPQA厂商自报 · 越高越好
59.1%
Accuracy
成绩出处GSM8k厂商自报 · 越高越好
90.8%
11-shot
成绩出处HellaSwag厂商自报 · 越高越好
93.3%
10-shot
成绩出处HiddenMath厂商自报 · 越高越好
52%
Accuracy
成绩出处HumanEval厂商自报 · 越高越好
84.1%
0-shot
成绩出处MATH厂商自报 · 越高越好
86.5%
Accuracy
成绩出处MathVista厂商自报 · 越高越好
68.1%
Accuracy
成绩出处MGSM厂商自报 · 越高越好
87.5%
8-shot
成绩出处MMLU厂商自报 · 越高越好
85.9%
5-shot
成绩出处MMLU-Pro厂商自报 · 越高越好
75.8%
0-shot CoT
成绩出处MMMU厂商自报 · 越高越好
65.9%
Accuracy
成绩出处MRCR厂商自报 · 越高越好
82.6%
Accuracy
成绩出处Natural2Code厂商自报 · 越高越好
85.4%
Accuracy
成绩出处PhysicsFinals厂商自报 · 越高越好
63.9%
0-shot
成绩出处Vibe-Eval厂商自报 · 越高越好
53.9%
Accuracy
成绩出处Video-MME厂商自报 · 越高越好
78.6%
Accuracy
成绩出处WMT23厂商自报 · 越高越好
75.1%
Score
成绩出处XSTest厂商自报 · 越高越好
98.8%
Safety Compliance
成绩出处
