直接回答
**WebLLM 是一套 JavaScript 运行时,可在兼容浏览器中通过 WebGPU 执行特定语言模型制品。**生产级 WebLLM 功能不只是一行 CreateMLCEngine,而是一套围绕模型制品、浏览器能力、存储、Worker、隐私、回退、质量与恢复的发布系统。
只有当目标工作负载适合真实设备,且本地执行能带来明确价值时,浏览器推理才值得采用。设备覆盖、启动时间、质量、能耗、无障碍或可靠性不满足契约时,应保留远端路径或非 AI 回退。
核心要点
- 把 WebLLM 包、Model ID、权重、Tokenizer、Model Library、Chat Template 和完整性信息作为一个发布单元固定。
- 先检测 WebGPU,再实际请求 Adapter 与 Device;User-Agent 字符串不足以证明可用。
- 把 OpenAI 风格方法视为适配层,不要据此推断请求与响应完全等价。
- 根据真实生命周期选择 Cache API、IndexedDB、OPFS 或实验性跨域缓存。
- UI 响应性优先使用专用 Web Worker;Service Worker 必须处理终止、重连与重载。
- 生产制品启用完整性校验,并在校验失败时关闭失败路径。
- 按设备类别测量冷启动、热启动、质量、内存压力、Device Loss、能耗和回退。
- 本地推理只缩小一条数据路径,不自动等于隐私合规或零成本。
浏览器推理技术栈
WebLLM 组合了多个独立演进的层:
包升级可能改变 API,模型制品可能改变 Tokenization 或输出行为,浏览器和驱动更新也可能改变 Feature、Limit 与内存表现。测试和发布的身份必须覆盖整个组合。
建立版本化模型制品契约
生产环境不要从可变的“最新模型列表”直接加载。为每个已验收浏览器模型保存 Manifest:
{
"release": "browser-assistant-17",
"webllm_package": "pinned npm version",
"model_id": "verified model ID",
"model_source_revision": "immutable revision",
"model_lib": "immutable URL or bundled path",
"tokenizer_revision": "immutable revision",
"chat_template_revision": "sha256:...",
"integrity": {
"config": "sha256-...",
"model_lib": "sha256-...",
"tokenizer": {
"tokenizer.json": "sha256-..."
},
"on_failure": "error"
},
"license_review": "approved record ID",
"evaluation_run": "browser-eval-42"
}
当前 WebLLM 配置支持为 Config、WebAssembly 和 Tokenizer 文件提供可选的 Subresource Integrity 信息。省略该字段时,运行时维持原行为,不会验证这些制品。受控发布中,这应该是明确风险决策,而不是被忽略的默认值。
完整性只能证明字节与声明 Digest 一致,不能证明制品安全、合法、准确或兼容当前运行时。
能力检测必须在运行时完成
navigator.gpu 只是第一层信号。可靠路径还要处理:
- 不存在 WebGPU 对象;
- 无法取得 Adapter;
- 缺少必要 Feature 或 Limit;
- Device 创建失败;
- 模型下载或完整性校验失败;
- 存储配额或缓存失败;
- 加载或生成阶段内存不足;
- 成功启动后发生 Device Loss;
- 标签页挂起或 Worker 被终止。
本地路径失败时,不要静默把内容上传云端。只要回退改变数据处理位置,就应获得明确同意;条件允许时,还应提供无需 AI 的继续路径。
OpenAI 风格不等于可直接替换
WebLLM 提供 engine.chat.completions.create(...) 接口,并记录 Streaming、JSON Mode、Seed 等熟悉字段。这有利于构建 Adapter,但兼容边界必须明确:
- 模型在 Engine 创建或 Reload 时选择,因此请求级
model字段会被忽略; - Function Calling 仍被官方文档标记为进行中;
- 模型专属 Chat Template 会影响行为;
- 支持的结构化输出约束可能不同于托管 API;
- Streaming Chunk、Usage、Cancellation 与 Error 需要实测;
- 浏览器运行时还会遇到存储、Worker、Device 和页面生命周期故障。
应用内部应定义统一 Request/Result Contract,再为 WebLLM 与远端 Provider 分别实现 Adapter。TypeScript 类型长得一样,不能证明语义一致。
有意识地选择缓存后端
当前 WebLLM 配置公开了四类 Cache Backend:
| 后端 | 主要价值 | 必须验证的边界 |
|---|---|---|
Cache API (cache) |
当前默认值,容易融入 Web 缓存 | 配额、淘汰、Origin 生命周期、升级失效 |
IndexedDB (indexeddb) |
结构化 Origin 存储 | 事务失败、配额、浏览器清理、迁移 |
OPFS (opfs) |
Origin 私有文件存储,可选 Sync Handle | Feature 支持、Access Mode、Worker 兼容、删除 |
Cross-origin (cross-origin) |
通过浏览器扩展实验性共享制品 | 扩展依赖、回退、信任、暂不支持程序删除 Tensor Cache |
官方文档明确:环境不支持 OPFS 时,相应配置会返回可用性错误;实验性跨域后端在扩展不可用时回退到默认缓存,并且当前不能由程序删除 Tensor Cache。
这些是产品需求,不是实现细节。用户请求删除或模型被撤回时,系统必须知道字节位于哪个 Backend,以及是否能够删除。
Web Worker 与 Service Worker 的生命周期不同
专用 Web Worker 适合把模型加载和推理移出当前页面的 UI 线程,可降低渲染竞争,但不会增加无限内存,也不会消除消息复制成本。
Service Worker 可以尝试跨页面复用 Engine,但浏览器拥有其生命周期,可能在没有通知应用的情况下终止它。即使 WebLLM 采用 Heartbeat,产品仍要定义:
- 重连与 Engine Ready 状态;
- 幂等请求身份;
- Worker 重启后的恢复;
- 处理中 Output 的处置策略;
- Cache 与模型重载 UX;
- 有界重试与取消。
不要承诺“首次加载后永远驻留”。浏览器进程管理、存储压力、操作系统策略和用户操作都可能让这个假设失效。
用 Go 执行设备画像发布门禁
浏览器运行时使用 JavaScript,但发布验收可以保持语言无关。下面的 Go 程序会拒绝缺少必要证据的实测设备画像:
package main
import (
"errors"
"fmt"
)
type BrowserProfile struct {
Name string
WebGPU bool
ArtifactIntegrity bool
ColdStartSeconds float64
WarmStartSeconds float64
PeakMemoryMiB int
TaskPassRate float64
FallbackVerified bool
DeletionVerified bool
DeviceLossRecovered bool
}
func qualify(profile BrowserProfile) error {
switch {
case !profile.WebGPU:
return errors.New("WebGPU unavailable")
case !profile.ArtifactIntegrity:
return errors.New("artifact integrity not enforced")
case profile.ColdStartSeconds > 20:
return errors.New("cold start exceeds product budget")
case profile.WarmStartSeconds > 4:
return errors.New("warm start exceeds product budget")
case profile.PeakMemoryMiB > 4096:
return errors.New("peak memory exceeds device-class budget")
case profile.TaskPassRate < 0.92:
return errors.New("task quality below acceptance threshold")
case !profile.FallbackVerified:
return errors.New("fallback path not verified")
case !profile.DeletionVerified:
return errors.New("artifact deletion not verified")
case !profile.DeviceLossRecovered:
return errors.New("device-loss recovery not verified")
default:
return nil
}
}
func main() {
profile := BrowserProfile{
Name: "desktop-canary",
WebGPU: true,
ArtifactIntegrity: true,
ColdStartSeconds: 11.8,
WarmStartSeconds: 1.7,
PeakMemoryMiB: 2380,
TaskPassRate: 0.95,
FallbackVerified: true,
DeletionVerified: true,
DeviceLossRecovered: true,
}
if err := qualify(profile); err != nil {
panic(err)
}
fmt.Printf("%s accepted\n", profile.Name)
}
预期输出:
desktop-canary accepted
这些阈值只是示例产品策略,不是 WebLLM 通用要求。真实门槛必须来自目标任务和设备人群。
隐私需要完整数据流审查
本地模型执行可以避免把 Prompt 发给模型 API,但外围应用仍可能传输:
- 发往 CDN 的模型与 Tokenizer 请求;
- Crash Report 与性能遥测;
- 包含用户或设备标识的 Analytics;
- 远端 Tool Call 或 Retrieval Query;
- 云端回退 Prompt;
- 账号同步数据;
- 浏览器扩展或注入脚本可见内容。
WebGPU 规范本身也列出了设备 Limit、性能特征、驱动行为、资源耗尽和指纹相关的安全与隐私问题。浏览器沙箱很重要,但不能保证页面无法通过获准网络或应用逻辑泄露数据。
本地推理、网络出口、遥测、存储、删除和远端回退需要分别控制,并通过浏览器开发者工具与受控代理进行验证。
评测工作负载,而不是演示
至少测量:
| 维度 | 证据 |
|---|---|
| 覆盖率 | 按浏览器、系统与硬件分类的 Adapter/Device 成功率 |
| 冷启动 | 下载字节、编译/加载时间、取消与重试 |
| 热启动 | Cache Hit、校验、重载与淘汰恢复 |
| 质量 | 固定任务集、准确制品身份、合格输出率 |
| 响应性 | 主线程阻塞、流式节奏、输入延迟 |
| 内存 | 加载峰值、生成峰值、Device Loss 频率 |
| 能耗 | 电量消耗、温度降频、持续任务行为 |
| 隐私 | 实际网络请求、遥测、回退与删除 |
| 可靠性 | Worker 重启、离线启动、残缺制品、升级回滚 |
应报告分布与设备切片。单台桌面的 Tokens/s 不能证明移动端支持,单次 Prompt 成功也不能证明模型适合产品。
发布与回滚
安全灰度使用不可变身份和小流量:
- 发布 Manifest 与制品 Digest;
- 在 Canary Origin 测试完整性和 Cache 迁移;
- 对支持设备运行质量与滥用夹具;
- 验证离线和远端回退体验;
- 向有限用户群发布;
- 监控加载失败、Device Loss、任务验收、能耗与回退;
- 保留上一版 Manifest 以便回滚;
- 在后端能力允许时撤回并删除有缺陷制品。
不能让可变模型 URL 静默替换缓存产品背后的二进制。
常见失败模式
| 失败 | 更好的设计 |
|---|---|
| 写死“最低显存” | 实测设备画像和加载失败处理 |
| 只维护 User-Agent 兼容表 | Feature、Adapter、Device 与任务实测 |
| “OpenAI 兼容”直接换 Base URL | Adapter 一致性测试 |
| 假设 Cache API 永久存在 | 淘汰、配额、迁移与删除测试 |
| 假设 Service Worker 不会退出 | 重连与重载状态机 |
| 把本地推理等同隐私 | 端到端网络与存储审查 |
| 不记录制品 Digest | 可选 SRI 配置为失败关闭 |
| 静默切换云端 | 明示同意并执行等价策略 |
常见问题
哪些浏览器支持 WebLLM?
支持情况取决于当前浏览器、操作系统、GPU、驱动、必要 Feature 与运行时。先查兼容资料,再请求真实 Adapter/Device,并运行小型 Canary 任务。
更小的量化模型一定更快吗?
不一定。权重大小会影响下载和内存,但 Kernel 支持、反量化、上下文、Batch、浏览器实现和设备可能改变简单位宽比较。应以合格任务为单位实测。
WebLLM 可以完全离线工作吗?
所有必要模型与应用制品进入受支持缓存后可以实现离线路径,但浏览器淘汰、Service Worker 生命周期、升级、许可证和远端工具都可能破坏该路径。必须在重启浏览器后测试离线启动。
模型升级应该怎样发布?
发布新的不可变 Manifest,校验完整性,运行同一套设备与任务测试,迁移或隔离 Cache,进行 Canary,并保留上一版 Manifest 作为回滚点。
哪些场景不应使用浏览器大模型?
目标设备覆盖不足、冷启动不可接受、任务需要更大或更高质量模型、本地能耗不合理,或者产品无法提供清晰回退和支持策略时,不应采用。
总结
WebLLM 让浏览器端大模型推理成为现实,但真正的生产能力来自外围契约:固定完整制品身份、验证字节、按删除与迁移要求选择存储、处理 Worker 终止、测试 API Adapter、观察完整数据流,并验收真实设备类别。浏览器推理是一条部署路径,不是隐私、性能或离线可靠性的自动承诺。应把它与本地服务端部署比较,并把模型量化作为独立制品决策评测。