AMC_2022_23厂商自报 · 越高越好
34.8%
Accuracy (4-shot)
成绩出处BIG-Bench Hard厂商自报 · 越高越好
85.5%
Accuracy (3-shot)
成绩出处FLEURS厂商自报 · 越高越好
90.4%
Speech recognition accuracy (1 - WER)
成绩出处FunctionalMATH厂商自报 · 越高越好
53.6%
Accuracy (0-shot)
成绩出处GPQA厂商自报 · 越高越好
51%
Accuracy
成绩出处GSM8k厂商自报 · 越高越好
86.2%
Accuracy (11-shot)
成绩出处HellaSwag厂商自报 · 越高越好
86.5%
Accuracy (10-shot)
成绩出处HiddenMath厂商自报 · 越高越好
47.2%
Accuracy
成绩出处HumanEval厂商自报 · 越高越好
74.3%
Pass Rate
成绩出处MATH厂商自报 · 越高越好
77.9%
Accuracy
成绩出处MathVista厂商自报 · 越高越好
65.8%
Accuracy
成绩出处MGSM厂商自报 · 越高越好
82.6%
Accuracy (8-shot)
成绩出处MMLU厂商自报 · 越高越好
78.9%
Accuracy
成绩出处MMLU-Pro厂商自报 · 越高越好
67.3%
Accuracy
成绩出处MMMU厂商自报 · 越高越好
62.3%
Accuracy
成绩出处MRCR厂商自报 · 越高越好
71.9%
Accuracy
成绩出处Natural2Code厂商自报 · 越高越好
79.8%
Accuracy
成绩出处PhysicsFinals厂商自报 · 越高越好
57.4%
Accuracy (0-shot)
成绩出处Vibe-Eval厂商自报 · 越高越好
48.9%
Accuracy
成绩出处Video-MME厂商自报 · 越高越好
76.1%
Accuracy
成绩出处WMT23厂商自报 · 越高越好
74.1%
Score
成绩出处XSTest厂商自报 · 越高越好
97%
Accuracy
成绩出处
