AIME 2025厂商自报 · 越高越好
11.6%
0-shot Accuracy
成绩出处ARC-C厂商自报 · 越高越好
61.6%
25-shot Accuracy
成绩出处ARC-E厂商自报 · 越高越好
81.6%
0-shot Accuracy
成绩出处BIG-Bench Hard厂商自报 · 越高越好
52.9%
few-shot Accuracy
成绩出处BoolQ厂商自报 · 越高越好
81.6%
0-shot Accuracy
成绩出处Codegolf v2.2厂商自报 · 越高越好
16.8%
0-shot pass@1
成绩出处DROP厂商自报 · 越高越好
60.8%
1-shot Token F1 score
成绩出处ECLeKTic厂商自报 · 越高越好
1.9%
0-shot ECLeKTic score
成绩出处Global-MMLU厂商自报 · 越高越好
60.3%
0-shot Accuracy
成绩出处Global-MMLU-Lite厂商自报 · 越高越好
64.5%
0-shot Accuracy
成绩出处GPQA厂商自报 · 越高越好
23.7%
Diamond, 0-shot RelaxedAccuracy/accuracy
成绩出处HellaSwag厂商自报 · 越高越好
78.6%
10-shot Accuracy
成绩出处HiddenMath厂商自报 · 越高越好
37.7%
0-shot Accuracy
成绩出处HumanEval厂商自报 · 越高越好
75%
0-shot pass@1
成绩出处Include厂商自报 · 越高越好
57.2%
0-shot Accuracy
成绩出处LiveCodeBench厂商自报 · 越高越好
13.2%
0-shot pass@1
成绩出处LiveCodeBench v5厂商自报 · 越高越好
25.7%
0-shot pass@1
成绩出处MBPP厂商自报 · 越高越好
0.64%
3-shot pass@1
成绩出处MGSM厂商自报 · 越高越好
60.7%
0-shot Accuracy
成绩出处MMLU厂商自报 · 越高越好
64.9%
0-shot Accuracy
成绩出处MMLU-Pro厂商自报 · 越高越好
50.6%
0-shot Accuracy
成绩出处MMLU-ProX厂商自报 · 越高越好
19.9%
0-shot Accuracy
成绩出处Natural Questions厂商自报 · 越高越好
20.9%
5-shot Accuracy
成绩出处PIQA厂商自报 · 越高越好
81%
0-shot Accuracy
成绩出处Social IQa厂商自报 · 越高越好
50%
0-shot Accuracy
成绩出处TriviaQA厂商自报 · 越高越好
70.2%
5-shot Accuracy
成绩出处Winogrande厂商自报 · 越高越好
71.7%
5-shot Accuracy
成绩出处WMT24++厂商自报 · 越高越好
50.1%
ChrF, 0-shot Character-level F-score
成绩出处
