ACEBench厂商自报 · 越高越好
76.5%
Accuracy
成绩出处Aider-Polyglot厂商自报 · 越高越好
60%
Accuracy
成绩出处AIME 2024厂商自报 · 越高越好
69.6%
Avg@64
成绩出处AIME 2025厂商自报 · 越高越好
49.5%
Avg@64
成绩出处AutoLogi厂商自报 · 越高越好
89.5%
Accuracy
成绩出处CBNSL厂商自报 · 越高越好
95.6%
Accuracy
成绩出处CNMO 2024厂商自报 · 越高越好
74.3%
Avg@16
成绩出处CSimpleQA厂商自报 · 越高越好
78.4%
Correct
成绩出处GPQA厂商自报 · 越高越好
75.1%
Diamond Avg@8
成绩出处GSM8k厂商自报 · 越高越好
97.3%
Accuracy
成绩出处HMMT 2025厂商自报 · 越高越好
38.8%
Avg@32
成绩出处HumanEval厂商自报 · 越高越好
93.3%
Pass@1
成绩出处HumanEval-ER厂商自报 · 越高越好
81.1%
Pass@1
成绩出处Humanity's Last Exam厂商自报 · 越高越好
4.7%
Accuracy (Text Only)
成绩出处IFEval厂商自报 · 越高越好
89.8%
Prompt Strict
成绩出处LiveBench厂商自报 · 越高越好
76.4%
Pass@1
成绩出处LiveCodeBench v6厂商自报 · 越高越好
53.7%
Pass@1
成绩出处MATH-500厂商自报 · 越高越好
97.4%
Accuracy
成绩出处MMLU厂商自报 · 越高越好
89.5%
EM
成绩出处MMLU-Pro厂商自报 · 越高越好
81.1%
EM
成绩出处MMLU-Redux厂商自报 · 越高越好
92.7%
EM
成绩出处Multi-Challenge厂商自报 · 越高越好
54.1%
Accuracy
成绩出处MultiPL-E厂商自报 · 越高越好
85.7%
Pass@1
成绩出处MuSR厂商自报 · 越高越好
76.4%
Pass@1
成绩出处OJBench厂商自报 · 越高越好
27.1%
Pass@1
成绩出处PolyMath-en厂商自报 · 越高越好
65.1%
Avg@4
成绩出处SimpleQA厂商自报 · 越高越好
31%
Correct
成绩出处SuperGPQA厂商自报 · 越高越好
57.2%
Accuracy
成绩出处SWE-bench Multilingual厂商自报 · 越高越好
47.3%
Single Attempt
成绩出处SWE-bench Verified (Agentic Coding)厂商自报 · 越高越好
65.8%
Single Attempt
成绩出处SWE-bench Verified (Agentless)厂商自报 · 越高越好
51.8%
Single Patch without Test
成绩出处SWE-bench Verified (Multiple Attempts)厂商自报 · 越高越好
71.6%
Multiple Attempts with parallel test-time compute
成绩出处Tau2 Airline厂商自报 · 越高越好
56.5%
Avg@4
成绩出处Tau2 Retail厂商自报 · 越高越好
70.6%
Avg@4
成绩出处Tau2 Telecom厂商自报 · 越高越好
65.8%
Avg@4
成绩出处Terminal-Bench厂商自报 · 越高越好
30%
Inhouse Framework
成绩出处Terminus厂商自报 · 越高越好
25%
Accuracy
成绩出处ZebraLogic厂商自报 · 越高越好
89%
Accuracy
成绩出处
