ARC-C厂商自报 · 越高越好
91%
10-shot
成绩出处Arena Hard厂商自报 · 越高越好
37.9%
standard evaluation
成绩出处BIG-Bench Hard厂商自报 · 越高越好
79.1%
0-shot chain-of-thought
成绩出处BoolQ厂商自报 · 越高越好
84.6%
2-shot
成绩出处GovReport厂商自报 · 越高越好
26.4%
standard evaluation
成绩出处GPQA厂商自报 · 越高越好
36.8%
0-shot chain-of-thought
成绩出处GSM8k厂商自报 · 越高越好
88.7%
8-shot chain-of-thought
成绩出处HellaSwag厂商自报 · 越高越好
83.8%
5-shot
成绩出处HumanEval厂商自报 · 越高越好
70.7%
0-shot
成绩出处MATH厂商自报 · 越高越好
59.5%
0-shot chain-of-thought
成绩出处MBPP厂商自报 · 越高越好
0.81%
3-shot
成绩出处MEGA MLQA厂商自报 · 越高越好
65.3%
standard evaluation
成绩出处MEGA TyDi QA厂商自报 · 越高越好
67.1%
standard evaluation
成绩出处MEGA UDPOS厂商自报 · 越高越好
60.4%
standard evaluation
成绩出处MEGA XCOPA厂商自报 · 越高越好
76.6%
standard evaluation
成绩出处MEGA XStoryCloze厂商自报 · 越高越好
82.8%
standard evaluation
成绩出处MGSM厂商自报 · 越高越好
58.7%
0-shot chain-of-thought
成绩出处MMLU厂商自报 · 越高越好
78.9%
5-shot evaluation
成绩出处MMLU-Pro厂商自报 · 越高越好
45.3%
standard evaluation
成绩出处MMMLU厂商自报 · 越高越好
69.9%
5-shot evaluation
成绩出处OpenBookQA厂商自报 · 越高越好
89.6%
10-shot
成绩出处PIQA厂商自报 · 越高越好
88.6%
5-shot
成绩出处Qasper厂商自报 · 越高越好
40%
standard evaluation
成绩出处QMSum厂商自报 · 越高越好
19.9%
standard evaluation
成绩出处RepoQA厂商自报 · 越高越好
85%
average
成绩出处RULER厂商自报 · 越高越好
87.1%
long context (128K) evaluation
成绩出处Social IQa厂商自报 · 越高越好
78%
5-shot
成绩出处SQuALITY厂商自报 · 越高越好
24.1%
standard evaluation
成绩出处SummScreenFD厂商自报 · 越高越好
16.9%
standard evaluation
成绩出处TruthfulQA厂商自报 · 越高越好
77.5%
10-shot
成绩出处Winogrande厂商自报 · 越高越好
81.3%
5-shot
成绩出处
