AIME 2025厂商自报 · 越高越好
92.3%
accuracy
成绩出处BFCL-V4厂商自报 · 越高越好
61.6%
overall FC accuracy
成绩出处GPQA厂商自报 · 越高越好
81.4%
Diamond accuracy
成绩出处IFBench厂商自报 · 越高越好
80.2%
prompt loose accuracy
成绩出处LiveCodeBench厂商自报 · 越高越好
74.6%
v5 (Jul 2024 - Jan 2025 subset)
成绩出处LongCodeBench厂商自报 · 越高越好
84%
1M match accuracy
成绩出处MMLU-Pro厂商自报 · 越高越好
81.6%
accuracy
成绩出处MMMU-Pro厂商自报 · 越高越好
63.5%
accuracy
成绩出处Multi-Challenge厂商自报 · 越高越好
77.7%
accuracy
成绩出处OCRBench_V2厂商自报 · 越高越好
64.5%
avg accuracy
成绩出处QVHighlights厂商自报 · 越高越好
76.7%
R1@0.5
成绩出处RealKIE-FCC厂商自报 · 越高越好
67%
ANLS (Verified)
成绩出处ScreenSpot厂商自报 · 越高越好
88.1%
point accuracy
成绩出处SWE-Bench Verified厂商自报 · 越高越好
70%
with inference-time scaling and internal agentic scaffolding
成绩出处Tau2 Airline厂商自报 · 越高越好
65.2%
Verified avg@3
成绩出处Tau2 Retail厂商自报 · 越高越好
77.7%
Verified avg@3
成绩出处Tau2 Telecom厂商自报 · 越高越好
92.7%
avg@3 (Artificial Analysis)
成绩出处Terminal-Bench厂商自报 · 越高越好
41.3%
Terminal-Bench 1.0 accuracy
成绩出处
