Aider-Polyglot厂商自报 · 越高越好
66.7%
benchmark score
成绩出处Aider-Polyglot Edit厂商自报 · 越高越好
60.4%
benchmark score
成绩出处AIME 2024厂商自报 · 越高越好
87.3%
test set evaluation
成绩出处COLLIE厂商自报 · 越高越好
98.7%
benchmark score
成绩出处ComplexFuncBench厂商自报 · 越高越好
17.6%
benchmark score
成绩出处FrontierMath厂商自报 · 越高越好
9.2%
pass @ 1
成绩出处GPQA厂商自报 · 越高越好
77.2%
diamond
成绩出处Graphwalks BFS <128k厂商自报 · 越高越好
51%
benchmark score
成绩出处Graphwalks parents <128k厂商自报 · 越高越好
58.3%
benchmark score
成绩出处IFEval厂商自报 · 越高越好
93.9%
benchmark score
成绩出处Internal API instruction following (hard)厂商自报 · 越高越好
50%
benchmark score
成绩出处LiveBench厂商自报 · 越高越好
84.6%
o3-mini high
成绩出处MATH厂商自报 · 越高越好
97.9%
o3-mini high
成绩出处MGSM厂商自报 · 越高越好
92%
o3-mini high
成绩出处MMLU厂商自报 · 越高越好
86.9%
o3-mini high
成绩出处Multi-Challenge厂商自报 · 越高越好
39.9%
benchmark score
成绩出处Multi-IF厂商自报 · 越高越好
79.5%
benchmark score
成绩出处Multilingual MMLU厂商自报 · 越高越好
80.7%
benchmark score
成绩出处OpenAI-MRCR: 2 needle 128k厂商自报 · 越高越好
18.7%
benchmark score
成绩出处SimpleQA厂商自报 · 越高越好
15%
accuracy
成绩出处SWE-Bench Verified厂商自报 · 越高越好
49.3%
verified
成绩出处SWE-Lancer厂商自报 · 越高越好
18%
percentage score
成绩出处SWE-Lancer (IC-Diamond subset)厂商自报 · 越高越好
7.4%
percentage score
成绩出处TAU-bench Airline厂商自报 · 越高越好
32.4%
benchmark score
成绩出处TAU-bench Retail厂商自报 · 越高越好
57.6%
benchmark score
成绩出处