Berth:让 24GB 显存按需轮换,多引擎共用一块 RTX 4090

2026.10.20 · 产品 · 开源项目 · 开源项目

开源工具 Berth 自动调度显存,让多个 AI 引擎轮流独占同一块显卡。

有开发者发布开源项目 Berth,作为系统服务监控显卡,按需自动换入换出引擎,避免手动切换和显存占用冲突。它可让 Ninfer-4090(llama-swap)、strata、comfyUI、OpenWebUI 等在同一块 RTX 4090 上轮流运行,并对外提供 API 端点。

  • Berth 是监控显卡、自动换入换出引擎的系统服务
  • 运行时显存完全归当前功能独占,避免占用残留
  • 支持 Ninfer-4090、strata、comfyUI、OpenWebUI…
  • 可把 Berth 作为 API 端点加载各类自定义引擎
  • 多设备共用同一块 RTX 4090,也适用于游戏场景

为什么值得看

用调度替代手动换卡,缓解单卡显存不足。

适合谁关注

本地部署多引擎、显存吃紧的 AI 玩家。

原始来源