Aider-Polyglot Edit厂商自报 · 越高越好
44.9%
Accuracy
成绩出处AIME 2024厂商自报 · 越高越好
36.7%
Accuracy
成绩出处CharXiv-D厂商自报 · 越高越好
90%
Accuracy
成绩出处CharXiv-R厂商自报 · 越高越好
55.4%
Accuracy
成绩出处COLLIE厂商自报 · 越高越好
72.3%
Accuracy
成绩出处ComplexFuncBench厂商自报 · 越高越好
63%
Accuracy
成绩出处GPQA厂商自报 · 越高越好
69.5%
Accuracy (Diamond)
成绩出处Graphwalks BFS <128k厂商自报 · 越高越好
72.3%
Accuracy
成绩出处Graphwalks parents <128k厂商自报 · 越高越好
72.6%
Accuracy
成绩出处GSM8k厂商自报 · 越高越好
97%
Answer accuracy
成绩出处HumanEval厂商自报 · 越高越好
88%
Pass@1
成绩出处IFEval厂商自报 · 越高越好
88.2%
Accuracy
成绩出处Internal API instruction following (hard)厂商自报 · 越高越好
54%
Accuracy
成绩出处MathVista厂商自报 · 越高越好
72.3%
Accuracy
成绩出处MMLU厂商自报 · 越高越好
90.8%
Multiple-choice accuracy
成绩出处MMMLU厂商自报 · 越高越好
85.1%
Accuracy
成绩出处MMMU厂商自报 · 越高越好
75.2%
Accuracy
成绩出处Multi-Challenge厂商自报 · 越高越好
43.8%
Accuracy
成绩出处Multi-IF厂商自报 · 越高越好
70.8%
Accuracy
成绩出处OpenAI-MRCR: 2 needle 128k厂商自报 · 越高越好
38.5%
Accuracy
成绩出处SimpleQA厂商自报 · 越高越好
62.5%
accuracy
成绩出处SWE-Bench Verified厂商自报 · 越高越好
38%
Success rate
成绩出处SWE-Lancer厂商自报 · 越高越好
37.3%
Success rate ($186K equivalent)
成绩出处SWE-Lancer (IC-Diamond subset)厂商自报 · 越高越好
17.4%
Success rate ($41K equivalent)
成绩出处TAU-bench Airline厂商自报 · 越高越好
50%
Accuracy
成绩出处TAU-bench Retail厂商自报 · 越高越好
68.4%
Accuracy
成绩出处
