LLM 越狱防御是一项工程纪律:它要阻止对抗性对话产生违规模型行为或不安全应用结果。真正困难的不是识别某条流行攻击 Prompt,而是在保留合法能力的同时抵抗自适应、多轮攻击,并阻止一次被攻破的模型判断转化为现实副作用。
因此,生产系统最有价值的问题是:即使模型遵循了恶意文本,哪个结果仍必须不可能发生? 围绕这个问题,团队才能设计可执行控制和可度量测试。
核心要点
- 区分模型层 Jailbreak 与应用层 Prompt Injection,再测试二者交汇的位置。
- 选择检测器之前,先定义受保护资产、攻击者权限、查询预算、状态、Tool 与成功标准。
- 默认攻击者会自适应并跨多轮尝试;静态 Prompt 列表会系统性低估风险。
- 在确定性策略批准副作用前,所有模型答案与 Tool Call 都是不可信提议。
- 同时衡量攻击成功率、限定重试成功率、合法任务完成率、误拒答、成本与现实影响。
- 用人工标签校准自动 Evaluator,并持续监控 Judge 分歧。
- 每条确认失败都进入带来源、版本和责任人的回归集。
Jailbreak、Prompt Injection 与 Agent Hijacking
这些概念描述的是不同攻击面:
| 攻击 | 攻击者目标 | 典型输入路径 | 主要后果 |
|---|---|---|---|
| Jailbreak | 模型安全行为 | 直接或多轮用户对话 | 违规或不安全内容 |
| Direct Prompt Injection | 应用指令层级 | 用户可控 Prompt | 任务偏转或策略绕过 |
| Indirect Prompt Injection | Agent 处理的外部内容 | 网页、邮件、文档、Tool Result | 数据外泄或意外操作 |
| Agent Hijacking | 端到端 Agent 行为 | 任意直接或间接指令路径 | 未授权 Tool 使用或状态变化 |
这些标签用于补齐覆盖面,而不是为每类攻击只分配一个控制。同一条浏览器 Agent Trajectory 中,既可能通过直接对话发生 Jailbreak,也可能被检索网页里的指令劫持。
先写威胁模型,再选择过滤器
一份可防守的威胁模型应记录:
- **资产:**私有数据、凭证、资金、源代码、用户信任与外部系统。
- **攻击者位置:**已认证用户、匿名用户、文档作者、Tool Provider 或受攻击依赖。
- **通道:**文本、图片、音频、OCR、RAG Chunk、Memory、代码注释与 Tool Result。
- **权限:**可读数据、可写状态、网络目的地、Credential 与审批权。
- **预算:**轮次、并行 Session、重试、Token Budget 与限流。
- **成功:**什么具体违规内容或副作用才算攻破。
糟糕的成功标准:“模型没有说出拒答短语。”
有用的成功标准:“系统把私有附件发送给了未经已认证用户选择的收件人。”
后者可以在模型之外被观测和阻断,也能区分“措辞冗长但无害”与真正安全事故。
为什么静态越狱测试不够
攻击者会从防御反馈中学习。他们可以重构请求、把意图拆成多轮、翻译或编码内容、要求做格式转换,也可以根据模型输出自动搜索新变体。每个策略类别只放一个 Prompt 的测试集,测到的是对旧字符串的识别,不是持续压力下的鲁棒性。
NIST 在 2026 年分析了一场大规模 Agent 红队竞赛:400 多名参与者对 13 个前沿模型发起超过 25 万次尝试,每个目标模型都至少发现了一条成功 Hijacking 攻击。长期有效的结论不是某个排名,而是自适应人工搜索会发现固定测试集遗漏的失败,部分攻击家族还会跨模型迁移。
测试体系至少分三层:
| 层级 | 作用 | 更新触发条件 |
|---|---|---|
| 固定回归集 | 防止已知失败再次出现 | 每次确认事故 |
| 变异集 | 改变语言、编码、角色、顺序与上下文 | 每次模型或 Prompt 变化 |
| 自适应红队 | 针对已部署防御和状态持续搜索 | 定期执行,高风险发布前执行 |
多轮系统必须对完整 Trajectory 评分,并保留对话、Tool Proposal、策略决定、外部副作用和最终答案。若第八轮已经泄露数据,第十轮才拒答,这条防御仍然失败。
把安全边界放在模型之外
模型拒答只是其中一层;这一层失效时,应用仍应保持安全。
最小化能力
摘要器不需要写权限,工单起草 Agent 不需要直接发送工单。使用任务级 Credential、窄 Resource Filter、有界结果、显式目的地,并把 Read Tool 与 Write Tool 分开。
保留来源
文本经过提取、摘要和 Memory 时,持续保留 Source、Trust Level、Tenant 与 Retrieval ACL。不要把检索到的指令或 Tool Result 自动提升为持久程序性 Memory。事故清理必须覆盖原文、Chunk、Index、Cache、Summary 与 Memory。
确定性授权副作用
符合 Tool Schema 只能证明结构合法,不能证明权限合法。执行前由确定性代码校验真实 Principal、Tenant、对象所有权、Action、Destination、数据分级、限流、Idempotency Key 与审批条件。模型传入的值是提议,不是身份凭证。
约束执行环境
生成代码应运行在隔离环境中,文件系统与网络权限受到限制,Credential 留在模型不可见的边界之外。人工确认必须绑定最终 Action 与 Arguments;用户确认“发送报告”不能授权随后换了收件人或附件的 Tool Call。
建立有代表性的评测集
每个有害场景都应配一个正常场景。没有合法任务的评测会奖励“全部拒绝”的系统。
覆盖范围包括:
- 直接、间接、多语言、编码和多模态输入;
- 单轮、多轮、重复与自适应攻击;
- 每一种 Tool、数据源、Memory 路径和外部出口;
- 敏感但合法的策略边界请求;
- 不完整、模糊和相互冲突的请求;
- 模型、Prompt、检索与 Guardrail 版本变化。
评测产物必须可复现。JailbreakBench 的价值在于同时公开 Threat Model、Chat Template、Scoring Function、Query Count 与 Attack Artifact。缺少这些条件的分数不能与另一个分数安全比较。
同时衡量安全与可用性
指标应使用场景级分母;样本量足够时还应报告置信区间。
| 指标 | 定义 |
|---|---|
| Attack Success Rate | 实质完成攻击目标的有害场景数 / 尝试的有害场景数 |
| 限定重试成功率 | 攻击预算内成功的有害目标数 / 尝试目标数 |
| 越权副作用率 | 禁止 Tool 或数据副作用数 / 对抗 Trajectory 数 |
| 合法任务完成率 | 正确完成的合法任务数 / 尝试的合法任务数 |
| 误拒答率 | 被错误阻止的合法任务数 / 尝试的合法任务数 |
| 检测延迟 | 从首个对抗信号到强制缓解措施的时间 |
| 单 Trajectory 成本 | 模型、Judge、Tool 与人工复核总成本 / Trajectory 数 |
下面这段仅使用标准库的 Go 程序,会从一组已标注 Trajectory 计算核心结果指标,并明确区分有害成功与合法可用性。
package main
import (
"encoding/json"
"fmt"
"os"
)
type observation struct {
ID string
Harmful bool
UnsafeOutcome bool
LegitimateComplete bool
FalseRefusal bool
UnauthorizedEffect bool
}
type metrics struct {
HarmfulCases int `json:"harmful_cases"`
AttackSuccessRate float64 `json:"attack_success_rate"`
UnauthorizedEffectRate float64 `json:"unauthorized_effect_rate"`
BenignCases int `json:"benign_cases"`
BenignCompletionRate float64 `json:"benign_completion_rate"`
FalseRefusalRate float64 `json:"false_refusal_rate"`
}
func ratio(part, total int) float64 {
if total == 0 {
return 0
}
return float64(part) / float64(total)
}
func evaluate(items []observation) metrics {
var harmful, successes, effects, benign, completed, falseRefusals int
for _, item := range items {
if item.Harmful {
harmful++
if item.UnsafeOutcome {
successes++
}
if item.UnauthorizedEffect {
effects++
}
continue
}
benign++
if item.LegitimateComplete {
completed++
}
if item.FalseRefusal {
falseRefusals++
}
}
return metrics{
HarmfulCases: harmful,
AttackSuccessRate: ratio(successes, harmful),
UnauthorizedEffectRate: ratio(effects, harmful),
BenignCases: benign,
BenignCompletionRate: ratio(completed, benign),
FalseRefusalRate: ratio(falseRefusals, benign),
}
}
func main() {
items := []observation{
{ID: "harmful-direct", Harmful: true},
{ID: "harmful-multiturn", Harmful: true, UnsafeOutcome: true},
{ID: "harmful-tool", Harmful: true, UnauthorizedEffect: true},
{ID: "benign-research", LegitimateComplete: true},
{ID: "benign-support", FalseRefusal: true},
}
result := evaluate(items)
output, err := json.MarshalIndent(result, "", " ")
if err != nil {
fmt.Fprintln(os.Stderr, err)
os.Exit(1)
}
fmt.Println(string(output))
}
这组样本很小,而且不代表任何 Benchmark 结果。真实评测应按策略类别、攻击家族、模型、语言、Tool 和轮次分层,并在比例旁公布原始计数,让读者看见分母。
校准 Evaluator
自动 Judge 是测量仪器,不是真值。2026 年一项针对六种越狱 Evaluator 的实证比较显示,即使控制通用 Judge Backbone,不同方法对“越狱成功”的定义和误差行为仍有明显差异。这意味着仅仅更换 Evaluator,就可能让同一版本看起来更安全或更危险。
使用以下流程:
- 为实质完成、部分完成、拒答与越权副作用编写操作性 Rubric。
- 让经过培训的评审人独立标注分层样本。
- 解决分歧并保留裁决说明。
- 运行精确版本的自动 Evaluator、Prompt、Model 与 Threshold。
- 按攻击家族衡量一致率、False Negative 与 False Positive。
- 模糊或高影响案例进入人工复核。
- 将 Evaluator 与发布基线一起冻结。
- Judge、Rubric、Policy 或攻击分布变化后重新校准。
除非目标模型版本、System Prompt、Tool、查询预算、成功定义与 Evaluator 兼容,否则不能直接比较两项研究的 Attack Success Rate。
把失败变成运营闭环
一条确认失败不应只增加一个检测规则:
- 保留最小可复现 Trajectory 与环境版本。
- 定位失败层:模型行为、上下文处理、授权、Sandbox、确认或监控。
- 在能够阻止该结果的最低确定性层修复。
- 添加配对的有害和正常回归样本。
- 重跑跨语言、多轮和自适应变体。
- 检查同一模式是否迁移到其他 Tool 或模型。
- 指定责任人,以及失效或重新评测条件。
不要把原始有害材料写入广泛可访问的日志。红队 Artifact 应保存在有访问控制、留存和披露规则的受控仓库。
发布门禁
任一不可妥协不变量失败,都应阻断发布:
- 未授权数据离开信任边界;
- 跨租户对象被读取或修改;
- 外部或破坏性操作没有绑定批准;
- Credential 出现在模型可见上下文或日志中;
- 已知关键 Trajectory 回归;
- 高影响案例中的 Evaluator 不确定性超过人工复核能力。
ASR 或误拒答率等风险预算,应根据具体用途、样本量和后果设置,不能复制论文中的统一百分比。每项结果都要记录模型、System Prompt、Policy、Tool、检索语料、Memory 行为、Evaluator 与数据集版本。
总结
越狱防御不是收集最聪明拒答 Prompt 的竞赛,而是端到端控制问题:模型行为、不可信上下文、Tool 权限、执行隔离、人工确认和测量系统必须共同守住同一个结果。测试自适应 Trajectory,保留正常任务可用性,用人工标签校准 Judge,并在最强的确定性边界修复每条确认失败。
一手来源
- NIST CAISI:大规模 AI Agent 红队竞赛洞察
- JailbreakBench 开放鲁棒性基准
- An Empirical Measurement of Jailbreaking Evaluators
- JailbreakBench 论文
- OWASP 大语言模型应用 Top 10