先了解这件事
Pydantic AI 的 Michael Pfaffenberger 发布基准分析,用 5 个小型 CRUD 应用、8 个模型、5,276 次评分运行,对比开启与关闭 Code Mode 的成本、耗时和正确率。结论是 Code Mode 在长多步任务上明显省成本、提速,但在日常短请求上反而更贵。
测试任务分三类:日常请求、长多步任务,以及可从 5 项调到 200 项的五项任务;工具均为单条目工具。Code Mode 是 Pydantic AI Harness 的一项能力,需安装 pydantic-ai-harness[codemode] 等依赖后使用;默认每个 run_code 片段有 30 秒执行时间和 256 MiB 堆内存限制。
上述成本与速度结论来自该内部基准,并非对所有任务或部署环境的普遍保证。
AI 根据报道生成 · 17 天前更新最新进展
Pydantic AI 基准实测:代码模式让长任务成本降 58%、耗时降 51%
事件进展1
Pydantic AI 发布 Code Mode 基准测试与工程复盘
Pydantic AI 官方文章:Pydantic AI 基准实测:代码模式让长任务成本降 58%、耗时降 51%