ISTA-DASLab 用 SSD 流式预填充模型，改善 Qwen3.8-27B 低量化精度

2026.10.20 · 产品 · 开源项目 · 社区热议

新方案在低显存下恢复低量化精度，且解码速度不降

ISTA-DASLab 发布演示，通过一个从 SSD 流式加载的 prefiller 模型，在保持低 VRAM 占用和快速解码的同时恢复低量化模型的精度。该方案需要 Nvidia Blackwell GPU，作者因无卡未做实测。上下文超过约 4k 时，速度相比不用 prefiller 模型应无损失，图中展示的是 MMLU-Pro 精度。