AIME 2025厂商自报 · 越高越好
91%
accuracy
成绩出处BFCL-V4厂商自报 · 越高越好
60.3%
overall FC accuracy
成绩出处GPQA厂商自报 · 越高越好
79.6%
Diamond accuracy
成绩出处IFBench厂商自报 · 越高越好
70.8%
prompt loose accuracy
成绩出处LiveCodeBench厂商自报 · 越高越好
71%
v5 (Jul 2024 - Jan 2025 subset)
成绩出处LongCodeBench厂商自报 · 越高越好
84%
1M match accuracy
成绩出处MCP Atlas厂商自报 · 越高越好
24.6%
pass rate
成绩出处MMLU-Pro厂商自报 · 越高越好
80.9%
accuracy
成绩出处MMMU-Pro厂商自报 · 越高越好
61.8%
accuracy
成绩出处Multi-Challenge厂商自报 · 越高越好
76.6%
accuracy
成绩出处OCRBench_V2厂商自报 · 越高越好
56.1%
avg accuracy
成绩出处QVHighlights厂商自报 · 越高越好
77.2%
R1@0.5
成绩出处RealKIE-FCC厂商自报 · 越高越好
62.1%
ANLS (Verified)
成绩出处ScreenSpot厂商自报 · 越高越好
83.3%
point accuracy
成绩出处SWE-Bench Verified厂商自报 · 越高越好
64.5%
with inference-time scaling and internal agentic scaffolding
成绩出处Tau2 Airline厂商自报 · 越高越好
64.8%
Verified avg@3
成绩出处Tau2 Retail厂商自报 · 越高越好
76.5%
Verified avg@3
成绩出处Tau2 Telecom厂商自报 · 越高越好
76%
avg@3 (Artificial Analysis)
成绩出处Terminal-Bench厂商自报 · 越高越好
32.5%
Terminal-Bench 1.0 accuracy
成绩出处
