DeepSWE v1.1 · 113 tasks · 榜面更新 2026-08-07 估算位 · 官方未复现
正式版(GA)。DeepSWE 分数取 DeepSeek 官方评测表 62.7;成本轴由榜上 deepseek-v4-flash[max] = $0.10/题 这个锚点按 Pro/Flash 的单价倍率反推,所以横坐标是一段区间、不是一个点。
缓存命中率 f 决定落点:f=1.00 → $0.18;f=0.97 → $0.25;f=0.90 → $0.28。Agent 循环里 f 通常 0.95–0.99,取中值 $0.24。Pro 更聪明、步数可能少于 flash 的 153 步,真实值大概率偏区间下沿。
| 模型 | DS 自评 | 榜面 | Δ |
|---|---|---|---|
| claude-fable-5 | 70.0 | 70 | 0.0 |
| claude-opus-4.8 | 58.0 | 59 | −1.0 |
| v4-flash-0731 | 54.4 | 53 | +1.4 |
三个交叉点全部落在榜面置信区间内 → DeepSeek 那张表用的就是同一套 DeepSWE 口径,62.7 可以直接摆上去。
| 模型 [config] | Pass@1 | 成本/题 | 分/美元 | 输出 tok | 步数 |
|---|