Jev 拿不准再问 Opus:身份解析裁判便宜 4 倍
Hightouch 测决策模型 Jev / GPT‑6 Luna 给身份解析打分:单独还行,Jev 置信度更准;Jev 遇低置信再升级 Opus,接近前沿准确率,成本降 4 倍以上。
把「便宜模型当守门、贵模型当顾问」做成混合裁判,比一上来全用 Opus 更划算。
事实
- 任务是身份解析(IDR)里判是否 over-merge:多条记录是否被错误并成同一个人。
- 单独跑:Jev/Luna 准确率约 88.8–97.3%;决策模型比 Opus 便宜约 90×、快 10× 以上(约 $0.05–0.10 / 千身份、约 0.15 秒),难例落后约 6 个百分点。
- 混合:Jev 置信度校准更好(错时常低置信),低置信再问 Opus,号称接近 Opus、成本 >4× 更低;Luna 错时常高置信,不适合当升级开关。
- 文章强调这是特定任务基准,不是通用 coding agent 提速声明。
解读
- 产品含义:评判/路由本身可以分层——先用小模型筛,再按置信度升级,比「全员 Opus」更可持续。
- 对 Afizzy:陪伴对话里的风控、记忆合并、重复用户识别,都适合「小裁判 + 大顾问」而不是每次全量前沿模型。
- 注意校准:置信度不可信的便宜模型,升级策略会反向放大错误。
讨论
- 正方有人说同类混合在安全工程/工具调用裁判上已管用;也有人用本地 Qwen 编排再问 Claude。
- 反方有人提醒标题别过度外推:这是身份解析实验,不是通用 agent 提升。
- 有人反过来用 Opus 规划、Qwen 当子 agent 执行,也省 token。
- 共识上下文该不该动态裁剪仍吵:动态管理可能打穿 prompt cache。