核心摘要
AI 设计工具只有在真实交付流程中改善了可测量结果,才具有生产价值。漂亮截图不能证明语义 HTML、状态转换、设计系统复用、可访问性、安全、性能或可维护性。应把生成界面当作版本化软件产物:固定需求和环境,重复运行任务,检查真实交互,记录人工修改,并使用与人工代码相同的发布门禁。
先定义能力,再比较产品
“AI 设计”可以指多类任务,其产物与失败模式并不相同:
| 能力 | 主要产物 | 核心问题 |
|---|---|---|
| 视觉探索 | 图片或可编辑设计稿 | 是否帮助探索方向,同时不虚构产品能力? |
| Design Token 建议 | Token Diff 与迁移方案 | 是否保持语义命名、主题和既有契约? |
| 组件组装 | 使用批准目录的源代码 | 是否复用真实组件并实现全部必要状态? |
| 原型生成 | 可导航但可能是模拟的流程 | 是否暴露信息架构问题,而不是假装后端已完成? |
| 生产实现 | 集成代码与测试 | 完整用户流程是否通过工程门禁? |
| 设计审查 | 有证据的问题清单 | 发现能否复现、排序并经过人工确认? |
不要用同一 Prompt 给所有能力评分。擅长视觉构思的模型未必能保持仓库约定;能够正确组装既有组件的工具,也未必适合原创视觉探索。
建立版本化评测清单
每次对比都要留下足以复现的身份信息:
evaluation_id: "ui-benchmark-017"
task_fixture: "billing-settings-v4"
repository_revision: "reviewed-commit"
design_system_revision: "catalog-v12"
tool:
product: "记录确切产品"
version: "记录确切版本"
model: "记录确切模型"
inputs:
brief: "brief-v6"
assets: "synthetic-assets-v3"
api_schema: "billing-api-v9"
environment:
browsers: ["chromium-pinned", "webkit-pinned"]
viewports: ["390x844", "1440x900"]
locale: ["en-US", "zh-CN"]
review:
rubric: "ui-release-v5"
reviewer_set: "assigned-reviewers"
除非已批准的服务商和留存策略明确允许,否则不要把机密截图、客户数据、Token 或生产 Trace 放入基准。报告中的版本号只证明测试了哪个对象,不代表后续默认版本行为相同。
为 Agent 提供权威组件契约
可靠的生成路径应从已审阅组件和 Story 开始,而不是只输入截图。Context 至少需要暴露:
- 组件名称、Props、Variant 与约束;
- 语义 Token,而不是随意猜测颜色和间距;
- Loading、Empty、Error、Disabled、Selected 和权限受限状态;
- 交互与可访问性测试;
- 废弃和迁移说明;
- 文案与本地化规则。
Storybook 当前 AI 工具可以通过 MCP 暴露组件文档、Story、Preview 和测试。但官方文档也将相关能力标为版本敏感,部分功能仍处于 Preview,组件 Manifest 的框架支持也不一致。它是一种实现路径,不代表每个 Storybook 项目都已经具备完整的机器可读 Context。
组件目录不完整时,Agent 应报告缺口,而不是因为其他组件库有同名 Prop 就自行补造。
用完整用户任务做基准
评测任务必须包含行为,不能只是 Gallery 页面。一个账户权限表格 Fixture 可以要求:
- Loading、Empty、Partial Data、Error 与 Permission Denied;
- 键盘导航和可见焦点;
- 中英文长文本;
- 窄屏与宽屏布局;
- 敏感操作前的可过期确认;
- Cancel 与 Retry 行为;
- 默认只使用既有组件,新 Primitive 必须说明理由;
- 禁止生产数据和外部网络访问。
模型输出具有随机性,因此每个候选至少要重复运行。保持 Task、Repository Revision、可用工具、时间预算和验收套件一致;条件允许时随机化审查顺序并隐藏产品身份。
测试不能只比较像素
视觉比较有价值,但覆盖范围有限。Playwright 明确提醒,截图会受操作系统、浏览器版本、设置、硬件、字体和运行模式影响。应固定环境并人工审查 Baseline 更新,不能自动接受所有 Diff。
使用分层测试:
| 层级 | 证据 | 典型问题 |
|---|---|---|
| 静态检查 | Type Check、Lint、依赖与策略扫描 | 虚构 Prop、不安全依赖 |
| 组件测试 | 必要状态的 Story | 缺少错误或长文本状态 |
| 交互测试 | 键盘和指针工作流 | 焦点丢失、重复提交 |
| 可访问性 | 自动扫描加人工复核 | 无标签控件、流程不可访问 |
| 视觉测试 | 固定环境截图 | 截断、重叠、意外 Token 漂移 |
| 端到端 | 真实 API 契约与合成 Fixture | 陈旧数据、授权或恢复错误 |
| 人工审查 | 设计与工程决策 | 层级、品牌或产品意图错误 |
WCAG 2.2 提供可测试的 Success Criteria,但标准本身也指出,没有任何符合性等级能覆盖所有用户需求。因此自动扫描只能辅助键盘和辅助技术审查,不能替代它们。
用确定性代码执行发布门禁
模型可以提出修复,是否具备必要证据应由代码判断:
package main
import "fmt"
type Evidence struct {
TypeCheckPassed bool
InteractionPassed bool
RequiredStates int
ImplementedStates int
CriticalA11yIssues int
UnexpectedVisualDif int
HumanApproved bool
}
func releaseDecision(e Evidence) (bool, []string) {
var reasons []string
if !e.TypeCheckPassed {
reasons = append(reasons, "type_check_failed")
}
if !e.InteractionPassed {
reasons = append(reasons, "interaction_failed")
}
if e.ImplementedStates != e.RequiredStates {
reasons = append(reasons, "state_coverage_incomplete")
}
if e.CriticalA11yIssues > 0 {
reasons = append(reasons, "critical_accessibility_issue")
}
if e.UnexpectedVisualDif > 0 {
reasons = append(reasons, "unreviewed_visual_diff")
}
if !e.HumanApproved {
reasons = append(reasons, "human_review_missing")
}
return len(reasons) == 0, reasons
}
func main() {
evidence := Evidence{
TypeCheckPassed: true,
InteractionPassed: true,
RequiredStates: 6,
ImplementedStates: 5,
CriticalA11yIssues: 0,
UnexpectedVisualDif: 0,
HumanApproved: true,
}
accepted, reasons := releaseDecision(evidence)
fmt.Printf("accepted=%t reasons=%v\n", accepted, reasons)
}
预期输出:
accepted=false reasons=[state_coverage_incomplete]
门槛和必要状态来自产品风险策略。模型不能自行豁免失败项,也不能用截图替代交互证据。
衡量复核成本与结果质量
按任务切片记录结果,不要发布一个笼统的“提效比例”:
- 所有门禁后的合格任务率;
- 每个任务的严重与非严重缺陷;
- 按 Criteria 和交互分类的可访问性问题;
- 必要状态覆盖率;
- 未审查的视觉 Diff;
- 人工修改时间与代码行;
- 对已有组件引入的回归;
- 生成加复核的 p50 / p95 时间;
- 模型、工具、基础设施与 Reviewer 成本;
- 发布后的回滚与事故率。
应报告分布和失败运行。只给中位数会掩盖低频但代价很高的可访问性、安全和状态管理问题。
安全、隐私与供应链
生成前端处于不可信边界,至少审查:
- 不可信 HTML、Markdown、URL、Redirect 与媒体;
- Browser Storage、Cookie、Token 与 Telemetry;
- 每个受保护读写操作的服务端授权;
- 依赖来源、Install Script、许可证与 Lockfile 变化;
- Source Map 和错误上报泄露;
- 第三方字体、图片、Analytics 与 CDN 请求;
- Issue、设计文件、组件文档和 Tool Result 中的 Prompt Injection。
OWASP ASVS 5.0.0 提供版本化应用安全验证基线,NIST SSDF 则把安全实践嵌入软件生命周期。两者都不能被“请生成安全代码”的 Prompt 替代。
采用流程
- 选择一个有代表性且可逆的工作流;
- 固定需求、合成数据、仓库、组件目录、环境和 Rubric;
- 建立人工实现或当前流程基线;
- 让每个候选在相同预算下重复运行;
- 执行静态、组件、交互、可访问性、视觉与端到端检查;
- 条件允许时盲审产物,并记录人工修改;
- 比较合格结果与总复核成本;
- 在低风险范围灰度并保留回滚路径;
- 证据在不同任务、语言和用户上都成立后再扩大。
目标不是生成最多代码,而是在不牺牲质量、所有权和可维护性的前提下,降低每个合格用户结果的成本。
常见问题
AI 生成的前端代码可以直接上线吗?
它应进入与人工代码相同的审查和发布流程。作者发生变化,不会转移产品责任。
团队应该如何比较 AI 设计工具?
使用相同的版本化任务集与验收套件,比较合格结果、缺陷类型、人工修改、延迟、成本和可复现性。
自动可访问性扫描通过是否等于符合 WCAG?
不等于。还需检查完整流程中的键盘操作、焦点、屏幕阅读器、缩放、重排、本地化和错误恢复。
Storybook 能保证生成界面正确吗?
不能。它可以暴露已审阅组件和测试,但结果仍取决于 Catalog 完整度、框架支持、Story 时效、Tool 调用和独立发布门禁。
哪些场景不适合使用 AI 设计工具?
如果流程无法提供经过批准的数据、确定性控制、有意义的测试、人工复核或回滚能力,特别是敏感和高影响界面,就不适合作为主要生产路径。