直接回答

**WebLLM 是一套 JavaScript 运行时,可在兼容浏览器中通过 WebGPU 执行特定语言模型制品。**生产级 WebLLM 功能不只是一行 CreateMLCEngine,而是一套围绕模型制品、浏览器能力、存储、Worker、隐私、回退、质量与恢复的发布系统。

只有当目标工作负载适合真实设备,且本地执行能带来明确价值时,浏览器推理才值得采用。设备覆盖、启动时间、质量、能耗、无障碍或可靠性不满足契约时,应保留远端路径或非 AI 回退。

核心要点

  • 把 WebLLM 包、Model ID、权重、Tokenizer、Model Library、Chat Template 和完整性信息作为一个发布单元固定。
  • 先检测 WebGPU,再实际请求 Adapter 与 Device;User-Agent 字符串不足以证明可用。
  • 把 OpenAI 风格方法视为适配层,不要据此推断请求与响应完全等价。
  • 根据真实生命周期选择 Cache API、IndexedDB、OPFS 或实验性跨域缓存。
  • UI 响应性优先使用专用 Web Worker;Service Worker 必须处理终止、重连与重载。
  • 生产制品启用完整性校验,并在校验失败时关闭失败路径。
  • 按设备类别测量冷启动、热启动、质量、内存压力、Device Loss、能耗和回退。
  • 本地推理只缩小一条数据路径,不自动等于隐私合规或零成本。

浏览器推理技术栈

WebLLM 组合了多个独立演进的层:

flowchart TD A["Web 应用与产品策略"] --> B["WebLLM Engine"] B --> C["Tokenizer 与 Chat Template"] B --> D["模型配置与权重"] B --> E["WebAssembly Model Library"] B --> F["WebGPU Adapter 与 Device"] D --> G["浏览器存储后端"] E --> G B --> H["Worker 生命周期"] H --> I["流式 UI"] H --> J["远端或非 AI 回退"]

包升级可能改变 API,模型制品可能改变 Tokenization 或输出行为,浏览器和驱动更新也可能改变 Feature、Limit 与内存表现。测试和发布的身份必须覆盖整个组合。

建立版本化模型制品契约

生产环境不要从可变的“最新模型列表”直接加载。为每个已验收浏览器模型保存 Manifest:

json
{
  "release": "browser-assistant-17",
  "webllm_package": "pinned npm version",
  "model_id": "verified model ID",
  "model_source_revision": "immutable revision",
  "model_lib": "immutable URL or bundled path",
  "tokenizer_revision": "immutable revision",
  "chat_template_revision": "sha256:...",
  "integrity": {
    "config": "sha256-...",
    "model_lib": "sha256-...",
    "tokenizer": {
      "tokenizer.json": "sha256-..."
    },
    "on_failure": "error"
  },
  "license_review": "approved record ID",
  "evaluation_run": "browser-eval-42"
}

当前 WebLLM 配置支持为 Config、WebAssembly 和 Tokenizer 文件提供可选的 Subresource Integrity 信息。省略该字段时,运行时维持原行为,不会验证这些制品。受控发布中,这应该是明确风险决策,而不是被忽略的默认值。

完整性只能证明字节与声明 Digest 一致,不能证明制品安全、合法、准确或兼容当前运行时。

能力检测必须在运行时完成

navigator.gpu 只是第一层信号。可靠路径还要处理:

  1. 不存在 WebGPU 对象;
  2. 无法取得 Adapter;
  3. 缺少必要 Feature 或 Limit;
  4. Device 创建失败;
  5. 模型下载或完整性校验失败;
  6. 存储配额或缓存失败;
  7. 加载或生成阶段内存不足;
  8. 成功启动后发生 Device Loss;
  9. 标签页挂起或 Worker 被终止。

本地路径失败时,不要静默把内容上传云端。只要回退改变数据处理位置,就应获得明确同意;条件允许时,还应提供无需 AI 的继续路径。

OpenAI 风格不等于可直接替换

WebLLM 提供 engine.chat.completions.create(...) 接口,并记录 Streaming、JSON Mode、Seed 等熟悉字段。这有利于构建 Adapter,但兼容边界必须明确:

  • 模型在 Engine 创建或 Reload 时选择,因此请求级 model 字段会被忽略;
  • Function Calling 仍被官方文档标记为进行中;
  • 模型专属 Chat Template 会影响行为;
  • 支持的结构化输出约束可能不同于托管 API;
  • Streaming Chunk、Usage、Cancellation 与 Error 需要实测;
  • 浏览器运行时还会遇到存储、Worker、Device 和页面生命周期故障。

应用内部应定义统一 Request/Result Contract,再为 WebLLM 与远端 Provider 分别实现 Adapter。TypeScript 类型长得一样,不能证明语义一致。

有意识地选择缓存后端

当前 WebLLM 配置公开了四类 Cache Backend:

后端 主要价值 必须验证的边界
Cache API (cache) 当前默认值,容易融入 Web 缓存 配额、淘汰、Origin 生命周期、升级失效
IndexedDB (indexeddb) 结构化 Origin 存储 事务失败、配额、浏览器清理、迁移
OPFS (opfs) Origin 私有文件存储,可选 Sync Handle Feature 支持、Access Mode、Worker 兼容、删除
Cross-origin (cross-origin) 通过浏览器扩展实验性共享制品 扩展依赖、回退、信任、暂不支持程序删除 Tensor Cache

官方文档明确:环境不支持 OPFS 时,相应配置会返回可用性错误;实验性跨域后端在扩展不可用时回退到默认缓存,并且当前不能由程序删除 Tensor Cache。

这些是产品需求,不是实现细节。用户请求删除或模型被撤回时,系统必须知道字节位于哪个 Backend,以及是否能够删除。

Web Worker 与 Service Worker 的生命周期不同

专用 Web Worker 适合把模型加载和推理移出当前页面的 UI 线程,可降低渲染竞争,但不会增加无限内存,也不会消除消息复制成本。

Service Worker 可以尝试跨页面复用 Engine,但浏览器拥有其生命周期,可能在没有通知应用的情况下终止它。即使 WebLLM 采用 Heartbeat,产品仍要定义:

  • 重连与 Engine Ready 状态;
  • 幂等请求身份;
  • Worker 重启后的恢复;
  • 处理中 Output 的处置策略;
  • Cache 与模型重载 UX;
  • 有界重试与取消。

不要承诺“首次加载后永远驻留”。浏览器进程管理、存储压力、操作系统策略和用户操作都可能让这个假设失效。

用 Go 执行设备画像发布门禁

浏览器运行时使用 JavaScript,但发布验收可以保持语言无关。下面的 Go 程序会拒绝缺少必要证据的实测设备画像:

go
package main

import (
	"errors"
	"fmt"
)

type BrowserProfile struct {
	Name               string
	WebGPU              bool
	ArtifactIntegrity   bool
	ColdStartSeconds    float64
	WarmStartSeconds    float64
	PeakMemoryMiB       int
	TaskPassRate        float64
	FallbackVerified    bool
	DeletionVerified    bool
	DeviceLossRecovered bool
}

func qualify(profile BrowserProfile) error {
	switch {
	case !profile.WebGPU:
		return errors.New("WebGPU unavailable")
	case !profile.ArtifactIntegrity:
		return errors.New("artifact integrity not enforced")
	case profile.ColdStartSeconds > 20:
		return errors.New("cold start exceeds product budget")
	case profile.WarmStartSeconds > 4:
		return errors.New("warm start exceeds product budget")
	case profile.PeakMemoryMiB > 4096:
		return errors.New("peak memory exceeds device-class budget")
	case profile.TaskPassRate < 0.92:
		return errors.New("task quality below acceptance threshold")
	case !profile.FallbackVerified:
		return errors.New("fallback path not verified")
	case !profile.DeletionVerified:
		return errors.New("artifact deletion not verified")
	case !profile.DeviceLossRecovered:
		return errors.New("device-loss recovery not verified")
	default:
		return nil
	}
}

func main() {
	profile := BrowserProfile{
		Name:               "desktop-canary",
		WebGPU:             true,
		ArtifactIntegrity:   true,
		ColdStartSeconds:    11.8,
		WarmStartSeconds:    1.7,
		PeakMemoryMiB:       2380,
		TaskPassRate:        0.95,
		FallbackVerified:    true,
		DeletionVerified:    true,
		DeviceLossRecovered: true,
	}
	if err := qualify(profile); err != nil {
		panic(err)
	}
	fmt.Printf("%s accepted\n", profile.Name)
}

预期输出:

text
desktop-canary accepted

这些阈值只是示例产品策略,不是 WebLLM 通用要求。真实门槛必须来自目标任务和设备人群。

隐私需要完整数据流审查

本地模型执行可以避免把 Prompt 发给模型 API,但外围应用仍可能传输:

  • 发往 CDN 的模型与 Tokenizer 请求;
  • Crash Report 与性能遥测;
  • 包含用户或设备标识的 Analytics;
  • 远端 Tool Call 或 Retrieval Query;
  • 云端回退 Prompt;
  • 账号同步数据;
  • 浏览器扩展或注入脚本可见内容。

WebGPU 规范本身也列出了设备 Limit、性能特征、驱动行为、资源耗尽和指纹相关的安全与隐私问题。浏览器沙箱很重要,但不能保证页面无法通过获准网络或应用逻辑泄露数据。

本地推理、网络出口、遥测、存储、删除和远端回退需要分别控制,并通过浏览器开发者工具与受控代理进行验证。

评测工作负载,而不是演示

至少测量:

维度 证据
覆盖率 按浏览器、系统与硬件分类的 Adapter/Device 成功率
冷启动 下载字节、编译/加载时间、取消与重试
热启动 Cache Hit、校验、重载与淘汰恢复
质量 固定任务集、准确制品身份、合格输出率
响应性 主线程阻塞、流式节奏、输入延迟
内存 加载峰值、生成峰值、Device Loss 频率
能耗 电量消耗、温度降频、持续任务行为
隐私 实际网络请求、遥测、回退与删除
可靠性 Worker 重启、离线启动、残缺制品、升级回滚

应报告分布与设备切片。单台桌面的 Tokens/s 不能证明移动端支持,单次 Prompt 成功也不能证明模型适合产品。

发布与回滚

安全灰度使用不可变身份和小流量:

  1. 发布 Manifest 与制品 Digest;
  2. 在 Canary Origin 测试完整性和 Cache 迁移;
  3. 对支持设备运行质量与滥用夹具;
  4. 验证离线和远端回退体验;
  5. 向有限用户群发布;
  6. 监控加载失败、Device Loss、任务验收、能耗与回退;
  7. 保留上一版 Manifest 以便回滚;
  8. 在后端能力允许时撤回并删除有缺陷制品。

不能让可变模型 URL 静默替换缓存产品背后的二进制。

常见失败模式

失败 更好的设计
写死“最低显存” 实测设备画像和加载失败处理
只维护 User-Agent 兼容表 Feature、Adapter、Device 与任务实测
“OpenAI 兼容”直接换 Base URL Adapter 一致性测试
假设 Cache API 永久存在 淘汰、配额、迁移与删除测试
假设 Service Worker 不会退出 重连与重载状态机
把本地推理等同隐私 端到端网络与存储审查
不记录制品 Digest 可选 SRI 配置为失败关闭
静默切换云端 明示同意并执行等价策略

常见问题

哪些浏览器支持 WebLLM?

支持情况取决于当前浏览器、操作系统、GPU、驱动、必要 Feature 与运行时。先查兼容资料,再请求真实 Adapter/Device,并运行小型 Canary 任务。

更小的量化模型一定更快吗?

不一定。权重大小会影响下载和内存,但 Kernel 支持、反量化、上下文、Batch、浏览器实现和设备可能改变简单位宽比较。应以合格任务为单位实测。

WebLLM 可以完全离线工作吗?

所有必要模型与应用制品进入受支持缓存后可以实现离线路径,但浏览器淘汰、Service Worker 生命周期、升级、许可证和远端工具都可能破坏该路径。必须在重启浏览器后测试离线启动。

模型升级应该怎样发布?

发布新的不可变 Manifest,校验完整性,运行同一套设备与任务测试,迁移或隔离 Cache,进行 Canary,并保留上一版 Manifest 作为回滚点。

哪些场景不应使用浏览器大模型?

目标设备覆盖不足、冷启动不可接受、任务需要更大或更高质量模型、本地能耗不合理,或者产品无法提供清晰回退和支持策略时,不应采用。

总结

WebLLM 让浏览器端大模型推理成为现实,但真正的生产能力来自外围契约:固定完整制品身份、验证字节、按删除与迁移要求选择存储、处理 Worker 终止、测试 API Adapter、观察完整数据流,并验收真实设备类别。浏览器推理是一条部署路径,不是隐私、性能或离线可靠性的自动承诺。应把它与本地服务端部署比较,并把模型量化作为独立制品决策评测。

一手资料