先了解这件事
ARC Prize 公布 Google Gemini 4 Carbon 在 ARC-AGI (Verified) 上的评测成绩,并将结果收录进排行榜。在标准评测(standard harness)下,ARC-AGI-3 得 65.1%、成本 $7.2K,比前代 Argon 高 18 个百分点;ARC-AGI-1 得 98.5%、$0.16/task。
ARC-AGI-2 的成绩存在前后两种说法:早先公布为 49.6%、$0.10/task,后续公布为 94.2%、$0.38/task。ARC-AGI-3 在 provider adapter 下同样有两种说法:早先为 97.7%、$4.4K,后续为 99.1%、$4.6K。
ARC Prize 称,在 ARC-AGI-2 公开集高推理模式下,Carbon 每完成一个任务平均消耗 68k 推理 token,Argon 为 28k;在相同 token 定价、相近输入和非推理输出下,Carbon 成本升至 $0.75/task,Argon 为 $0.36/task,相差 2.1 倍。ARC Prize 同时提供了复现公开结果的 GitHub 仓库和测试政策链接。
AI 根据报道生成 · 6 天前更新最新进展
ARC Prize 发布 Google Gemini 4 Carbon 的 ARC-AGI 测评结果
热度走势
事件进展1
ARC Prize公布Gemini 4 Carbon与Argon成本对比
ARC Prize:ARC Prize 公布 Gemini 4 Carbon 的 ARC-AGI (Verified) 成绩