AIME 2024厂商自报 · 越高越好
74.3%
accuracy
成绩出处FrontierMath厂商自报 · 越高越好
5.5%
pass@1
成绩出处GPQA厂商自报 · 越高越好
78%
accuracy
成绩出处GPQA Biology厂商自报 · 越高越好
69.2%
pass@1
成绩出处GPQA Chemistry厂商自报 · 越高越好
64.7%
pass@1
成绩出处GPQA Physics厂商自报 · 越高越好
92.8%
pass@1
成绩出处GSM8k厂商自报 · 越高越好
97.1%
pass@1
成绩出处HumanEval厂商自报 · 越高越好
88.1%
pass@1
成绩出处LiveBench厂商自报 · 越高越好
67%
coding
成绩出处MATH厂商自报 · 越高越好
96.4%
pass@1
成绩出处MathVista厂商自报 · 越高越好
71.8%
pass@1
成绩出处MGSM厂商自报 · 越高越好
89.3%
pass@1
成绩出处MMLU厂商自报 · 越高越好
91.8%
pass@1
成绩出处MMMLU厂商自报 · 越高越好
87.7%
accuracy
成绩出处MMMU厂商自报 · 越高越好
77.6%
pass@1
成绩出处SimpleQA厂商自报 · 越高越好
47%
accuracy
成绩出处SWE-Bench Verified厂商自报 · 越高越好
41%
verified
成绩出处TAU-bench Airline厂商自报 · 越高越好
50%
agents
成绩出处TAU-bench Retail厂商自报 · 越高越好
70.8%
agents
成绩出处