推理引擎 jitllm 实现回复中途迁移模型层：8 ms 停顿、0 token 重算
2026.10.14 · 产品 · 开源项目 · 本人发布
jitllm 让运行中的模型层在 GPU 间迁移，KV 缓存随层分页移动，无需重新处理提示词。
开发者发布推理引擎 jitllm，把模型层当作可放置、可迁移的进程。视频中 Llama-3.2-3B 在回复中途于两块 T4 之间来回迁移，停顿 8.1 ms 和 8.4 ms，重算 0 token；KV 缓存分页随层移动，输出与未迁移时一致。
- 2×T4 上 Llama-3.2-3B Q4_K_M 双向迁移，停顿 8.1…
- 2×V100 上 1.8k token 对话迁移，停顿 20–21 ms，重算…
- RTX 3050 Ti 笔记本上 CUDA→Vulkan 迁移，停顿 91 ms
- KV 缓存分页并随层移动，提示词不重新处理，输出与未迁移一致
- 设计目标：为未知硬件生成并调优内核，把放置变成调度
为什么值得看
展示推理引擎把层迁移做成调度原语的新思路
适合谁关注
关注 LLM 推理引擎与异构硬件的开发者