Aider-Polyglot厂商自报 · 越高越好
34.7%
Standard benchmark
成绩出处Aider-Polyglot Edit厂商自报 · 越高越好
31.6%
Standard benchmark
成绩出处AIME 2024厂商自报 · 越高越好
49.6%
Standard benchmark
成绩出处AIME 2025厂商自报 · 越高越好
40.2%
GPT-4.1 mini with no tools - Competition mathematics (AIME 2025).
成绩出处CharXiv-D厂商自报 · 越高越好
88.4%
Standard benchmark
成绩出处CharXiv-R厂商自报 · 越高越好
56.8%
Standard benchmark
成绩出处COLLIE厂商自报 · 越高越好
54.6%
Standard benchmark
成绩出处ComplexFuncBench厂商自报 · 越高越好
49.3%
Standard benchmark
成绩出处GPQA厂商自报 · 越高越好
65%
Diamond
成绩出处Graphwalks BFS <128k厂商自报 · 越高越好
61.7%
Standard benchmark
成绩出处Graphwalks BFS >128k厂商自报 · 越高越好
15%
Internal benchmark
成绩出处Graphwalks parents <128k厂商自报 · 越高越好
60.5%
Internal benchmark
成绩出处Graphwalks parents >128k厂商自报 · 越高越好
11%
Internal benchmark
成绩出处HMMT 2025厂商自报 · 越高越好
35%
GPT-4.1 mini with no tools - Harvard-MIT Mathematics Tournament.
成绩出处Humanity's Last Exam厂商自报 · 越高越好
3.7%
GPT-4.1 mini with no tools - Expert-level questions across subjects.
成绩出处IFEval厂商自报 · 越高越好
84.1%
Standard benchmark
成绩出处Internal API instruction following (hard)厂商自报 · 越高越好
45.1%
Internal benchmark
成绩出处MathVista厂商自报 · 越高越好
73.1%
Standard benchmark
成绩出处MMLU厂商自报 · 越高越好
87.5%
Standard benchmark
成绩出处MMMLU厂商自报 · 越高越好
78.5%
Standard benchmark
成绩出处MMMU厂商自报 · 越高越好
72.7%
Standard benchmark
成绩出处Multi-Challenge厂商自报 · 越高越好
35.8%
Standard benchmark (GPT-4o grader)
成绩出处Multi-IF厂商自报 · 越高越好
67%
Standard benchmark
成绩出处OpenAI-MRCR: 2 needle 128k厂商自报 · 越高越好
47.2%
Internal benchmark
成绩出处OpenAI-MRCR: 2 needle 1M厂商自报 · 越高越好
33.3%
Internal benchmark
成绩出处SWE-Bench Verified厂商自报 · 越高越好
23.6%
Internal methodology, see source footnote [2]
成绩出处TAU-bench Airline厂商自报 · 越高越好
36%
Avg 5 runs, no custom tools/prompting (footnote [4])
成绩出处TAU-bench Retail厂商自报 · 越高越好
55.8%
Avg 5 runs, no custom tools/prompting (footnote [4], GPT-4o user model)
成绩出处