PostHog 实践:不是所有任务都需要 LLM,决策模型可省 98.7% 调用

2026.11.18 · 收录日 2026.11.18 · 观点 · 技巧 · 社区热议

PostHog 用决策模型做前置过滤与模型路由,多数任务无需调用大模型。

PostHog 团队分享了在生产中使用决策模型的经验:用结构化问题加概率分数替代 LLM 的自由文本回答,决策模型比前沿模型便宜最多 444.6 倍、快 193.6 倍。在 Replay Vision 的 PII 清洗流程中,98.7% 的会话摘要直接跳过 LLM 调用。

  • 决策模型返回带概率的类型化答案,让模型不确定性显式可见,校准后 0.8 分约 80% 正确
  • 决策模型比前沿模型便宜最多 444.6 倍、快 193.6 倍,可用于判断是否需要昂贵的 LLM 调用
  • Replay Vision 用两个是非题筛查个人信息,任一得分 ≥0.4 才交给 Gemini 重写,98.7% 摘要跳过 LLM
  • 阈值应按错误代价设置:假阳性代价高时用高阈值,如 Slack 机器人要求两项均达 0.85 以上
  • 决策模型可做模型路由,用选择题挑选最便宜且能一次成功的模型;阈值不通用,需按任务和模型分别配置

为什么值得看

了解何时该用轻量决策模型替代 LLM,可大幅降本提速。

适合谁关注

做 AI 应用架构、成本优化和 LLM 工程化的开发者。

原始来源

查看收录日 2026.11.18 全部卡片 · 全部卡片归档