16GB 显卡跑 27B 模型：262k 上下文本地推理实测
2026.10.18 · 观点 · 技巧 · 社区热议
用户用单张 16GB 显卡和 24GB 内存跑起 27B 模型，262k 上下文下生成 42.7 tps。
一位用户分享了自己的本地大模型配置：单张 9060 XT 16GB 显卡加 24GB DDR5 内存，跑 Qwen 3.8 27B、262k 上下文，采用 unsloth iq4XS 量化与 kv cache streaming。生成速度 42.7 tps，20k 上下文预填充 658 tps，200k 时降到 35/500 tps。
- 单卡 9060 XT 16GB + 24GB DDR5 内存
- 跑 Qwen 3.8 27B，262k 上下文
- unsloth iq4XS 量化 + kv cache streaming
- 生成 42.7 tps，20k 预填充 658 tps
- 200k 上下文时 35/500 tps
为什么值得看
证明本地跑大模型不必堆昂贵多卡配置。
适合谁关注
想低成本本地部署大模型的玩家。