Ling Tiny 3.0：8B参数MoE模型在2017年老笔记本上跑出10 tokens/秒
2026.09.26 · 观点 · 行业动态 · 社区热议
8B参数MoE模型Ling Tiny 3.0在无GPU的老笔记本上以10 tokens/秒运行并完成编码任务
作者在2017年款i5、8GB内存、无GPU的老笔记本上用llama.cpp运行Ling Tiny 3.0（8B参数MoE，1B激活参数），以约10 tokens/秒的速度完成了一个扫描本地网络模型的脚本编写任务，耗时约20分钟。作者认为这预示着边缘智能的新可能——无需新硬件，现有设备即可执行智能任务。
- Ling Tiny 3.0为8B参数MoE模型，1B激活参数
- 在2017年i5/8GB无GPU笔记本上运行
- llama.cpp + Q6量化，约10 tokens/秒
- 20分钟完成脚本编写、运行、迭代全过程
- 作者认为边缘智能可能迎来新起点
为什么值得看
展示小激活参数模型在老旧硬件上运行智能任务的可行性
适合谁关注
关注端侧AI、边缘计算和本地模型部署的开发者