AIME 2025厂商自报 · 越高越好
6.7%
0-shot Accuracy
成绩出处ARC-C厂商自报 · 越高越好
51.7%
25-shot Accuracy
成绩出处ARC-E厂商自报 · 越高越好
75.8%
0-shot Accuracy
成绩出处BIG-Bench Hard厂商自报 · 越高越好
44.3%
few-shot Accuracy
成绩出处BoolQ厂商自报 · 越高越好
76.4%
0-shot Accuracy
成绩出处Codegolf v2.2厂商自报 · 越高越好
11%
0-shot pass@1
成绩出处DROP厂商自报 · 越高越好
53.9%
1-shot Token F1 score
成绩出处ECLeKTic厂商自报 · 越高越好
2.5%
0-shot ECLeKTic score
成绩出处Global-MMLU厂商自报 · 越高越好
55.1%
0-shot Accuracy
成绩出处Global-MMLU-Lite厂商自报 · 越高越好
59%
0-shot Accuracy
成绩出处GPQA厂商自报 · 越高越好
24.8%
Diamond, 0-shot RelaxedAccuracy/accuracy
成绩出处HellaSwag厂商自报 · 越高越好
72.2%
10-shot Accuracy
成绩出处HiddenMath厂商自报 · 越高越好
27.7%
0-shot Accuracy
成绩出处HumanEval厂商自报 · 越高越好
66.5%
0-shot pass@1
成绩出处Include厂商自报 · 越高越好
38.6%
0-shot Accuracy
成绩出处LiveCodeBench厂商自报 · 越高越好
13.2%
0-shot pass@1
成绩出处LiveCodeBench v5厂商自报 · 越高越好
18.6%
0-shot pass@1
成绩出处MBPP厂商自报 · 越高越好
0.57%
3-shot pass@1
成绩出处MGSM厂商自报 · 越高越好
53.1%
0-shot Accuracy
成绩出处MMLU厂商自报 · 越高越好
60.1%
0-shot Accuracy
成绩出处MMLU-Pro厂商自报 · 越高越好
40.5%
0-shot Accuracy
成绩出处MMLU-ProX厂商自报 · 越高越好
8.1%
0-shot Accuracy
成绩出处Natural Questions厂商自报 · 越高越好
15.5%
5-shot Accuracy
成绩出处PIQA厂商自报 · 越高越好
78.9%
0-shot Accuracy
成绩出处Social IQa厂商自报 · 越高越好
48.8%
0-shot Accuracy
成绩出处TriviaQA厂商自报 · 越高越好
60.8%
5-shot Accuracy
成绩出处Winogrande厂商自报 · 越高越好
66.8%
5-shot Accuracy
成绩出处WMT24++厂商自报 · 越高越好
42.7%
ChrF, 0-shot Character-level F-score
成绩出处
