核心摘要

AI 设计工具只有在真实交付流程中改善了可测量结果,才具有生产价值。漂亮截图不能证明语义 HTML、状态转换、设计系统复用、可访问性、安全、性能或可维护性。应把生成界面当作版本化软件产物:固定需求和环境,重复运行任务,检查真实交互,记录人工修改,并使用与人工代码相同的发布门禁。

先定义能力,再比较产品

“AI 设计”可以指多类任务,其产物与失败模式并不相同:

能力 主要产物 核心问题
视觉探索 图片或可编辑设计稿 是否帮助探索方向,同时不虚构产品能力?
Design Token 建议 Token Diff 与迁移方案 是否保持语义命名、主题和既有契约?
组件组装 使用批准目录的源代码 是否复用真实组件并实现全部必要状态?
原型生成 可导航但可能是模拟的流程 是否暴露信息架构问题,而不是假装后端已完成?
生产实现 集成代码与测试 完整用户流程是否通过工程门禁?
设计审查 有证据的问题清单 发现能否复现、排序并经过人工确认?

不要用同一 Prompt 给所有能力评分。擅长视觉构思的模型未必能保持仓库约定;能够正确组装既有组件的工具,也未必适合原创视觉探索。

建立版本化评测清单

每次对比都要留下足以复现的身份信息:

yaml
evaluation_id: "ui-benchmark-017"
task_fixture: "billing-settings-v4"
repository_revision: "reviewed-commit"
design_system_revision: "catalog-v12"
tool:
  product: "记录确切产品"
  version: "记录确切版本"
  model: "记录确切模型"
inputs:
  brief: "brief-v6"
  assets: "synthetic-assets-v3"
  api_schema: "billing-api-v9"
environment:
  browsers: ["chromium-pinned", "webkit-pinned"]
  viewports: ["390x844", "1440x900"]
  locale: ["en-US", "zh-CN"]
review:
  rubric: "ui-release-v5"
  reviewer_set: "assigned-reviewers"

除非已批准的服务商和留存策略明确允许,否则不要把机密截图、客户数据、Token 或生产 Trace 放入基准。报告中的版本号只证明测试了哪个对象,不代表后续默认版本行为相同。

为 Agent 提供权威组件契约

可靠的生成路径应从已审阅组件和 Story 开始,而不是只输入截图。Context 至少需要暴露:

  • 组件名称、Props、Variant 与约束;
  • 语义 Token,而不是随意猜测颜色和间距;
  • Loading、Empty、Error、Disabled、Selected 和权限受限状态;
  • 交互与可访问性测试;
  • 废弃和迁移说明;
  • 文案与本地化规则。

Storybook 当前 AI 工具可以通过 MCP 暴露组件文档、Story、Preview 和测试。但官方文档也将相关能力标为版本敏感,部分功能仍处于 Preview,组件 Manifest 的框架支持也不一致。它是一种实现路径,不代表每个 Storybook 项目都已经具备完整的机器可读 Context。

组件目录不完整时,Agent 应报告缺口,而不是因为其他组件库有同名 Prop 就自行补造。

用完整用户任务做基准

评测任务必须包含行为,不能只是 Gallery 页面。一个账户权限表格 Fixture 可以要求:

  1. Loading、Empty、Partial Data、Error 与 Permission Denied;
  2. 键盘导航和可见焦点;
  3. 中英文长文本;
  4. 窄屏与宽屏布局;
  5. 敏感操作前的可过期确认;
  6. Cancel 与 Retry 行为;
  7. 默认只使用既有组件,新 Primitive 必须说明理由;
  8. 禁止生产数据和外部网络访问。

模型输出具有随机性,因此每个候选至少要重复运行。保持 Task、Repository Revision、可用工具、时间预算和验收套件一致;条件允许时随机化审查顺序并隐藏产品身份。

测试不能只比较像素

视觉比较有价值,但覆盖范围有限。Playwright 明确提醒,截图会受操作系统、浏览器版本、设置、硬件、字体和运行模式影响。应固定环境并人工审查 Baseline 更新,不能自动接受所有 Diff。

使用分层测试:

层级 证据 典型问题
静态检查 Type Check、Lint、依赖与策略扫描 虚构 Prop、不安全依赖
组件测试 必要状态的 Story 缺少错误或长文本状态
交互测试 键盘和指针工作流 焦点丢失、重复提交
可访问性 自动扫描加人工复核 无标签控件、流程不可访问
视觉测试 固定环境截图 截断、重叠、意外 Token 漂移
端到端 真实 API 契约与合成 Fixture 陈旧数据、授权或恢复错误
人工审查 设计与工程决策 层级、品牌或产品意图错误

WCAG 2.2 提供可测试的 Success Criteria,但标准本身也指出,没有任何符合性等级能覆盖所有用户需求。因此自动扫描只能辅助键盘和辅助技术审查,不能替代它们。

用确定性代码执行发布门禁

模型可以提出修复,是否具备必要证据应由代码判断:

go
package main

import "fmt"

type Evidence struct {
	TypeCheckPassed     bool
	InteractionPassed   bool
	RequiredStates      int
	ImplementedStates   int
	CriticalA11yIssues  int
	UnexpectedVisualDif int
	HumanApproved       bool
}

func releaseDecision(e Evidence) (bool, []string) {
	var reasons []string
	if !e.TypeCheckPassed {
		reasons = append(reasons, "type_check_failed")
	}
	if !e.InteractionPassed {
		reasons = append(reasons, "interaction_failed")
	}
	if e.ImplementedStates != e.RequiredStates {
		reasons = append(reasons, "state_coverage_incomplete")
	}
	if e.CriticalA11yIssues > 0 {
		reasons = append(reasons, "critical_accessibility_issue")
	}
	if e.UnexpectedVisualDif > 0 {
		reasons = append(reasons, "unreviewed_visual_diff")
	}
	if !e.HumanApproved {
		reasons = append(reasons, "human_review_missing")
	}
	return len(reasons) == 0, reasons
}

func main() {
	evidence := Evidence{
		TypeCheckPassed:     true,
		InteractionPassed:   true,
		RequiredStates:      6,
		ImplementedStates:   5,
		CriticalA11yIssues:  0,
		UnexpectedVisualDif: 0,
		HumanApproved:       true,
	}
	accepted, reasons := releaseDecision(evidence)
	fmt.Printf("accepted=%t reasons=%v\n", accepted, reasons)
}

预期输出:

text
accepted=false reasons=[state_coverage_incomplete]

门槛和必要状态来自产品风险策略。模型不能自行豁免失败项,也不能用截图替代交互证据。

衡量复核成本与结果质量

按任务切片记录结果,不要发布一个笼统的“提效比例”:

  • 所有门禁后的合格任务率;
  • 每个任务的严重与非严重缺陷;
  • 按 Criteria 和交互分类的可访问性问题;
  • 必要状态覆盖率;
  • 未审查的视觉 Diff;
  • 人工修改时间与代码行;
  • 对已有组件引入的回归;
  • 生成加复核的 p50 / p95 时间;
  • 模型、工具、基础设施与 Reviewer 成本;
  • 发布后的回滚与事故率。

应报告分布和失败运行。只给中位数会掩盖低频但代价很高的可访问性、安全和状态管理问题。

安全、隐私与供应链

生成前端处于不可信边界,至少审查:

  • 不可信 HTML、Markdown、URL、Redirect 与媒体;
  • Browser Storage、Cookie、Token 与 Telemetry;
  • 每个受保护读写操作的服务端授权;
  • 依赖来源、Install Script、许可证与 Lockfile 变化;
  • Source Map 和错误上报泄露;
  • 第三方字体、图片、Analytics 与 CDN 请求;
  • Issue、设计文件、组件文档和 Tool Result 中的 Prompt Injection。

OWASP ASVS 5.0.0 提供版本化应用安全验证基线,NIST SSDF 则把安全实践嵌入软件生命周期。两者都不能被“请生成安全代码”的 Prompt 替代。

采用流程

  1. 选择一个有代表性且可逆的工作流;
  2. 固定需求、合成数据、仓库、组件目录、环境和 Rubric;
  3. 建立人工实现或当前流程基线;
  4. 让每个候选在相同预算下重复运行;
  5. 执行静态、组件、交互、可访问性、视觉与端到端检查;
  6. 条件允许时盲审产物,并记录人工修改;
  7. 比较合格结果与总复核成本;
  8. 在低风险范围灰度并保留回滚路径;
  9. 证据在不同任务、语言和用户上都成立后再扩大。

目标不是生成最多代码,而是在不牺牲质量、所有权和可维护性的前提下,降低每个合格用户结果的成本。

常见问题

AI 生成的前端代码可以直接上线吗?

它应进入与人工代码相同的审查和发布流程。作者发生变化,不会转移产品责任。

团队应该如何比较 AI 设计工具?

使用相同的版本化任务集与验收套件,比较合格结果、缺陷类型、人工修改、延迟、成本和可复现性。

自动可访问性扫描通过是否等于符合 WCAG?

不等于。还需检查完整流程中的键盘操作、焦点、屏幕阅读器、缩放、重排、本地化和错误恢复。

Storybook 能保证生成界面正确吗?

不能。它可以暴露已审阅组件和测试,但结果仍取决于 Catalog 完整度、框架支持、Story 时效、Tool 调用和独立发布门禁。

哪些场景不适合使用 AI 设计工具?

如果流程无法提供经过批准的数据、确定性控制、有意义的测试、人工复核或回滚能力,特别是敏感和高影响界面,就不适合作为主要生产路径。

延伸阅读

一手来源