WebLLM：高性能浏览器端 LLM 推理引擎，支持 WebGPU 加速与 OpenAI API 兼容
2026.09.03 · 产品 · 开源项目 · 开源项目
WebLLM 发布，可在浏览器内通过 WebGPU 加速运行 LLM，兼容 OpenAI API。
WebLLM 是一个高性能的浏览器内 LLM 推理引擎，利用 WebGPU 实现硬件加速，所有计算均在浏览器本地完成，无需服务器支持。它完全兼容 OpenAI API，支持流式输出、JSON 模式、函数调用等功能，并原生支持 Llama 3、Phi 3、Gemma、Mistral、Qwen 等模型。开发者可通过 npm 或 CDN 轻松集成，并支持自定义模型和 Web Worker 优化。
- 浏览器内推理，WebGPU 硬件加速
- 完全兼容 OpenAI API
- 支持流式、JSON 模式、函数调用
- 原生支持 Llama 3、Phi 3、Gemma 等
- 支持自定义模型与 CDN 集成
为什么值得看
浏览器端运行 LLM，兼顾隐私与 GPU 加速，降低部署门槛。
适合谁关注
前端开发者、AI 应用开发者、隐私敏感用户。