BIG-Bench Extra Hard厂商自报 · 越高越好
7.2%
0-shot evaluation
成绩出处BIG-Bench Hard厂商自报 · 越高越好
39.1%
0-shot evaluation
成绩出处Bird-SQL (dev)厂商自报 · 越高越好
6.4%
- evaluation
成绩出处ECLeKTic厂商自报 · 越高越好
1.4%
0-shot evaluation
成绩出处FACTS Grounding厂商自报 · 越高越好
36.4%
- evaluation
成绩出处Global-MMLU-Lite厂商自报 · 越高越好
34.2%
0-shot evaluation
成绩出处GPQA厂商自报 · 越高越好
19.2%
0-shot evaluation diamond
成绩出处GSM8k厂商自报 · 越高越好
62.8%
0-shot evaluation
成绩出处HiddenMath厂商自报 · 越高越好
15.8%
0-shot evaluation
成绩出处HumanEval厂商自报 · 越高越好
41.5%
0-shot evaluation
成绩出处IFEval厂商自报 · 越高越好
80.2%
0-shot evaluation
成绩出处LiveCodeBench厂商自报 · 越高越好
1.9%
0-shot evaluation
成绩出处MATH厂商自报 · 越高越好
48%
0-shot evaluation
成绩出处MBPP厂商自报 · 越高越好
0.35%
3-shot evaluation
成绩出处MMLU-Pro厂商自报 · 越高越好
14.7%
0-shot evaluation
成绩出处Natural2Code厂商自报 · 越高越好
56%
0-shot evaluation
成绩出处SimpleQA厂商自报 · 越高越好
2.2%
0-shot evaluation
成绩出处WMT24++厂商自报 · 越高越好
35.9%
0-shot evaluation
成绩出处
