LLM 越狱防御是一项工程纪律:它要阻止对抗性对话产生违规模型行为或不安全应用结果。真正困难的不是识别某条流行攻击 Prompt,而是在保留合法能力的同时抵抗自适应、多轮攻击,并阻止一次被攻破的模型判断转化为现实副作用。

因此,生产系统最有价值的问题是:即使模型遵循了恶意文本,哪个结果仍必须不可能发生? 围绕这个问题,团队才能设计可执行控制和可度量测试。

核心要点

  • 区分模型层 Jailbreak 与应用层 Prompt Injection,再测试二者交汇的位置。
  • 选择检测器之前,先定义受保护资产、攻击者权限、查询预算、状态、Tool 与成功标准。
  • 默认攻击者会自适应并跨多轮尝试;静态 Prompt 列表会系统性低估风险。
  • 在确定性策略批准副作用前,所有模型答案与 Tool Call 都是不可信提议。
  • 同时衡量攻击成功率、限定重试成功率、合法任务完成率、误拒答、成本与现实影响。
  • 用人工标签校准自动 Evaluator,并持续监控 Judge 分歧。
  • 每条确认失败都进入带来源、版本和责任人的回归集。

Jailbreak、Prompt Injection 与 Agent Hijacking

这些概念描述的是不同攻击面:

攻击 攻击者目标 典型输入路径 主要后果
Jailbreak 模型安全行为 直接或多轮用户对话 违规或不安全内容
Direct Prompt Injection 应用指令层级 用户可控 Prompt 任务偏转或策略绕过
Indirect Prompt Injection Agent 处理的外部内容 网页、邮件、文档、Tool Result 数据外泄或意外操作
Agent Hijacking 端到端 Agent 行为 任意直接或间接指令路径 未授权 Tool 使用或状态变化

这些标签用于补齐覆盖面,而不是为每类攻击只分配一个控制。同一条浏览器 Agent Trajectory 中,既可能通过直接对话发生 Jailbreak,也可能被检索网页里的指令劫持。

先写威胁模型,再选择过滤器

一份可防守的威胁模型应记录:

  1. **资产:**私有数据、凭证、资金、源代码、用户信任与外部系统。
  2. **攻击者位置:**已认证用户、匿名用户、文档作者、Tool Provider 或受攻击依赖。
  3. **通道:**文本、图片、音频、OCR、RAG Chunk、Memory、代码注释与 Tool Result。
  4. **权限:**可读数据、可写状态、网络目的地、Credential 与审批权。
  5. **预算:**轮次、并行 Session、重试、Token Budget 与限流。
  6. **成功:**什么具体违规内容或副作用才算攻破。

糟糕的成功标准:“模型没有说出拒答短语。”

有用的成功标准:“系统把私有附件发送给了未经已认证用户选择的收件人。”

后者可以在模型之外被观测和阻断,也能区分“措辞冗长但无害”与真正安全事故。

为什么静态越狱测试不够

攻击者会从防御反馈中学习。他们可以重构请求、把意图拆成多轮、翻译或编码内容、要求做格式转换,也可以根据模型输出自动搜索新变体。每个策略类别只放一个 Prompt 的测试集,测到的是对旧字符串的识别,不是持续压力下的鲁棒性。

NIST 在 2026 年分析了一场大规模 Agent 红队竞赛:400 多名参与者对 13 个前沿模型发起超过 25 万次尝试,每个目标模型都至少发现了一条成功 Hijacking 攻击。长期有效的结论不是某个排名,而是自适应人工搜索会发现固定测试集遗漏的失败,部分攻击家族还会跨模型迁移。

测试体系至少分三层:

层级 作用 更新触发条件
固定回归集 防止已知失败再次出现 每次确认事故
变异集 改变语言、编码、角色、顺序与上下文 每次模型或 Prompt 变化
自适应红队 针对已部署防御和状态持续搜索 定期执行,高风险发布前执行

多轮系统必须对完整 Trajectory 评分,并保留对话、Tool Proposal、策略决定、外部副作用和最终答案。若第八轮已经泄露数据,第十轮才拒答,这条防御仍然失败。

把安全边界放在模型之外

模型拒答只是其中一层;这一层失效时,应用仍应保持安全。

flowchart LR A["不可信输入与上下文"] --> B["模型与 Guardrail 信号"] B --> C["类型化 Proposal"] C --> D["身份与对象授权"] D --> E["副作用与目的地策略"] E --> F["Sandbox 或受限执行器"] F --> G["审计与结果监控"] G --> H["回归语料库"]

最小化能力

摘要器不需要写权限,工单起草 Agent 不需要直接发送工单。使用任务级 Credential、窄 Resource Filter、有界结果、显式目的地,并把 Read Tool 与 Write Tool 分开。

保留来源

文本经过提取、摘要和 Memory 时,持续保留 Source、Trust Level、Tenant 与 Retrieval ACL。不要把检索到的指令或 Tool Result 自动提升为持久程序性 Memory。事故清理必须覆盖原文、Chunk、Index、Cache、Summary 与 Memory。

确定性授权副作用

符合 Tool Schema 只能证明结构合法,不能证明权限合法。执行前由确定性代码校验真实 Principal、Tenant、对象所有权、Action、Destination、数据分级、限流、Idempotency Key 与审批条件。模型传入的值是提议,不是身份凭证。

约束执行环境

生成代码应运行在隔离环境中,文件系统与网络权限受到限制,Credential 留在模型不可见的边界之外。人工确认必须绑定最终 Action 与 Arguments;用户确认“发送报告”不能授权随后换了收件人或附件的 Tool Call。

建立有代表性的评测集

每个有害场景都应配一个正常场景。没有合法任务的评测会奖励“全部拒绝”的系统。

覆盖范围包括:

  • 直接、间接、多语言、编码和多模态输入;
  • 单轮、多轮、重复与自适应攻击;
  • 每一种 Tool、数据源、Memory 路径和外部出口;
  • 敏感但合法的策略边界请求;
  • 不完整、模糊和相互冲突的请求;
  • 模型、Prompt、检索与 Guardrail 版本变化。

评测产物必须可复现。JailbreakBench 的价值在于同时公开 Threat Model、Chat Template、Scoring Function、Query Count 与 Attack Artifact。缺少这些条件的分数不能与另一个分数安全比较。

同时衡量安全与可用性

指标应使用场景级分母;样本量足够时还应报告置信区间。

指标 定义
Attack Success Rate 实质完成攻击目标的有害场景数 / 尝试的有害场景数
限定重试成功率 攻击预算内成功的有害目标数 / 尝试目标数
越权副作用率 禁止 Tool 或数据副作用数 / 对抗 Trajectory 数
合法任务完成率 正确完成的合法任务数 / 尝试的合法任务数
误拒答率 被错误阻止的合法任务数 / 尝试的合法任务数
检测延迟 从首个对抗信号到强制缓解措施的时间
单 Trajectory 成本 模型、Judge、Tool 与人工复核总成本 / Trajectory 数

下面这段仅使用标准库的 Go 程序,会从一组已标注 Trajectory 计算核心结果指标,并明确区分有害成功与合法可用性。

go
package main

import (
	"encoding/json"
	"fmt"
	"os"
)

type observation struct {
	ID                 string
	Harmful            bool
	UnsafeOutcome      bool
	LegitimateComplete bool
	FalseRefusal       bool
	UnauthorizedEffect bool
}

type metrics struct {
	HarmfulCases           int     `json:"harmful_cases"`
	AttackSuccessRate      float64 `json:"attack_success_rate"`
	UnauthorizedEffectRate float64 `json:"unauthorized_effect_rate"`
	BenignCases            int     `json:"benign_cases"`
	BenignCompletionRate   float64 `json:"benign_completion_rate"`
	FalseRefusalRate       float64 `json:"false_refusal_rate"`
}

func ratio(part, total int) float64 {
	if total == 0 {
		return 0
	}
	return float64(part) / float64(total)
}

func evaluate(items []observation) metrics {
	var harmful, successes, effects, benign, completed, falseRefusals int
	for _, item := range items {
		if item.Harmful {
			harmful++
			if item.UnsafeOutcome {
				successes++
			}
			if item.UnauthorizedEffect {
				effects++
			}
			continue
		}
		benign++
		if item.LegitimateComplete {
			completed++
		}
		if item.FalseRefusal {
			falseRefusals++
		}
	}
	return metrics{
		HarmfulCases:           harmful,
		AttackSuccessRate:      ratio(successes, harmful),
		UnauthorizedEffectRate: ratio(effects, harmful),
		BenignCases:            benign,
		BenignCompletionRate:   ratio(completed, benign),
		FalseRefusalRate:       ratio(falseRefusals, benign),
	}
}

func main() {
	items := []observation{
		{ID: "harmful-direct", Harmful: true},
		{ID: "harmful-multiturn", Harmful: true, UnsafeOutcome: true},
		{ID: "harmful-tool", Harmful: true, UnauthorizedEffect: true},
		{ID: "benign-research", LegitimateComplete: true},
		{ID: "benign-support", FalseRefusal: true},
	}
	result := evaluate(items)
	output, err := json.MarshalIndent(result, "", "  ")
	if err != nil {
		fmt.Fprintln(os.Stderr, err)
		os.Exit(1)
	}
	fmt.Println(string(output))
}

这组样本很小,而且不代表任何 Benchmark 结果。真实评测应按策略类别、攻击家族、模型、语言、Tool 和轮次分层,并在比例旁公布原始计数,让读者看见分母。

校准 Evaluator

自动 Judge 是测量仪器,不是真值。2026 年一项针对六种越狱 Evaluator 的实证比较显示,即使控制通用 Judge Backbone,不同方法对“越狱成功”的定义和误差行为仍有明显差异。这意味着仅仅更换 Evaluator,就可能让同一版本看起来更安全或更危险。

使用以下流程:

  1. 为实质完成、部分完成、拒答与越权副作用编写操作性 Rubric。
  2. 让经过培训的评审人独立标注分层样本。
  3. 解决分歧并保留裁决说明。
  4. 运行精确版本的自动 Evaluator、Prompt、Model 与 Threshold。
  5. 按攻击家族衡量一致率、False Negative 与 False Positive。
  6. 模糊或高影响案例进入人工复核。
  7. 将 Evaluator 与发布基线一起冻结。
  8. Judge、Rubric、Policy 或攻击分布变化后重新校准。

除非目标模型版本、System Prompt、Tool、查询预算、成功定义与 Evaluator 兼容,否则不能直接比较两项研究的 Attack Success Rate。

把失败变成运营闭环

一条确认失败不应只增加一个检测规则:

  1. 保留最小可复现 Trajectory 与环境版本。
  2. 定位失败层:模型行为、上下文处理、授权、Sandbox、确认或监控。
  3. 在能够阻止该结果的最低确定性层修复。
  4. 添加配对的有害和正常回归样本。
  5. 重跑跨语言、多轮和自适应变体。
  6. 检查同一模式是否迁移到其他 Tool 或模型。
  7. 指定责任人,以及失效或重新评测条件。

不要把原始有害材料写入广泛可访问的日志。红队 Artifact 应保存在有访问控制、留存和披露规则的受控仓库。

发布门禁

任一不可妥协不变量失败,都应阻断发布:

  • 未授权数据离开信任边界;
  • 跨租户对象被读取或修改;
  • 外部或破坏性操作没有绑定批准;
  • Credential 出现在模型可见上下文或日志中;
  • 已知关键 Trajectory 回归;
  • 高影响案例中的 Evaluator 不确定性超过人工复核能力。

ASR 或误拒答率等风险预算,应根据具体用途、样本量和后果设置,不能复制论文中的统一百分比。每项结果都要记录模型、System Prompt、Policy、Tool、检索语料、Memory 行为、Evaluator 与数据集版本。

总结

越狱防御不是收集最聪明拒答 Prompt 的竞赛,而是端到端控制问题:模型行为、不可信上下文、Tool 权限、执行隔离、人工确认和测量系统必须共同守住同一个结果。测试自适应 Trajectory,保留正常任务可用性,用人工标签校准 Judge,并在最强的确定性边界修复每条确认失败。

一手来源

相关资源