当 LLM 应用读取用户或外部内容时,这些内容都可能影响模型的下一次决策。Prompt 注入在被影响的模型能够接触私有数据、调用工具、修改持久状态或向外通信时,才会成为安全问题。
本文是实用入门;需要了解完整威胁模型、来源追踪的数据流、绑定式审批、沙箱和事件响应时,请阅读 Prompt Injection 防御:从架构上保护 LLM Agent。
先给结论
Prompt 注入防火墙不是放在 LLM 前面的一个分类器,而是围绕完整应用构建的控制平面:
不可信来源 -> 模型提案 -> 策略决策 -> 受约束的副作用
| |
仅作信号 可信代码
检测可以识别已知攻击并提高审核强度。真正的安全来自限制 Source 与 Sink、传递信任元数据、对每个副作用鉴权、校验输出,并使高影响操作可恢复。即使系统没有识别某段攻击措辞,只要受影响模型仍无法跨 Tenant 或把数据发往未批准目标,攻击影响就受到限制。
1. 定义安全不变量
不要从可疑短语清单开始,而要先写出即使模型遵循恶意内容也必须成立的规则:
- Tenant A 的数据绝不能返回给 Tenant B;
- 客服工单不能授权退款;
- 检索文本不能选择新的网络目标;
- 摘要不能把不可信内容静默转成可信 Memory;
- 审批只对用户看到的最终接收人、资源、字段、金额与操作生效;
- 重试不能重复已经提交的副作用。
例如,工单内容可以影响回复草稿,但不能选择收件人、读取其他租户的订单或批准退款。这些是应用策略,而不是 Prompt 可以保证的承诺。
需要同时画出每条危险路径的两端:
| 不可信 Source | 敏感 Sink | 必需控制 |
|---|---|---|
| 用户消息或上传文件 | 私有检索 | 检索前执行对象与 Tenant 鉴权 |
| 网页、邮件或代码仓库 | Tool 参数 | Schema、业务语义与策略校验 |
| OCR 或图片文字 | 浏览器或网络请求 | 精确目标白名单与跳转检查 |
| Tool Result | 持久 Memory | 来源、同意、保留期限与写入授权 |
| 模型生成摘要 | 后续 Agent 运行 | 来源引用、过期时间与重新校验 |
2. 理解检测能做什么、不能做什么
注入既可能来自用户直接输入,也可能来自网页、邮件、仓库、RAG Chunk、图片或 Tool Result 等间接内容,还可能通过生成的摘要、配置或 Memory 持久化。所有外部来源都应被视为数据,而不是已授权的政策。
关键词模式、编码规范化、Prompt Shields 与安全分类器可以用于 Telemetry、Triage、限流和拦截已知攻击,却无法跨语言、编码、多模态输入和长交互历史可靠判断意图。OpenAI 2026 年的安全实践把成熟 Prompt 注入描述为更接近社会工程,而不是固定恶意字符串,并建议约束攻击影响,而非依赖纯检测防火墙。OWASP 也明确指出,模型内部不存在万无一失的防御。
检测结果应非对称使用:
- 高风险信号可以触发阻断、隔离、脱敏或人工复核;
- 低风险信号绝不能解锁数据、工具或网络目标;
- 多个检测器意见不一致时,应形成证据,而不是自动放行;
- 模型自评不能批准模型自己提出的副作用。
3. 围绕实际影响构建防火墙
把权威放在自然语言之外
使用提供方支持的角色与明确的数据分隔符,帮助模型更可靠地理解任务;不要把秘密拼进 Prompt。但这只能减少混淆,不能成为访问控制:手写 XML 或 JSON 边界不会使不可信文本变得安全。
为每个上下文项附加机器可读元数据,包括来源、所有者、Tenant、敏感级别、版本、新鲜度,以及它能否影响某类决策。经过 OCR、抽取、摘要与 Agent 间交接后,仍要保留这些标签。
最小权限与确定性鉴权
模型只能获得任务范围内的能力。优先开放 invoice.read、ticket.create 等窄操作,而不是通用 HTTP、SQL、Shell 或云管理员工具。执行前,可信代码应检查真实 Principal、Tenant、对象所有权、操作、最终参数、目的地、数据标签、配额和审批。
下面这个仅使用 Go 标准库的示例不判断 Prompt 文本,而是直接拒绝数据外发目标:
package main
import (
"errors"
"fmt"
"net/url"
)
type Claims struct {
Tenant string
Scopes map[string]bool
}
type Effect struct {
Tenant string
Tool string
Destination string
HighImpact bool
}
func authorize(claims Claims, effect Effect, allowedHosts map[string]bool, userConfirmed bool) error {
if claims.Tenant == "" || claims.Tenant != effect.Tenant {
return errors.New("tenant denied")
}
if !claims.Scopes[effect.Tool] {
return errors.New("tool denied")
}
destination, err := url.Parse(effect.Destination)
if err != nil || destination.Scheme != "https" || !allowedHosts[destination.Hostname()] {
return errors.New("destination denied")
}
if effect.HighImpact && !userConfirmed {
return errors.New("confirmation required")
}
return nil
}
func main() {
claims := Claims{Tenant: "tenant-a", Scopes: map[string]bool{"ticket.create": true}}
effect := Effect{
Tenant: "tenant-a",
Tool: "ticket.create",
Destination: "https://attacker.example/upload",
}
allowedHosts := map[string]bool{"support.example.com": true}
if err := authorize(claims, effect, allowedHosts, false); err != nil {
fmt.Println("blocked:", err)
return
}
fmt.Println("authorized")
}
实际策略还需要对象级检查和服务端二次鉴权。关键性质是外部内容无法改写 claims、Host 白名单或确认记录。
控制上下文、输出与外发
- 在 RAG 排序前执行文档 ACL,而不是等模型看到内容后再过滤;
- 为持久 Memory 写入单独鉴权并设置过期时间;
- 在结构化输出成为 Tool 参数前校验它;
- 在 Sandbox 中运行生成代码,并限制网络、文件系统、子进程和密钥访问;
- 校验跳转和每个外发 Host,而不只检查初始 URL;
- 避免让密钥进入模型上下文、Trace、错误文本与渲染链接;
- 将审批绑定到最终不可变副作用,任何字段变化都使审批失效。
4. 设计失败与恢复路径
操作被阻断后,应提供可用替代路径:解释缺少的权限、请求范围明确的确认、生成但不发送草稿,或升级给人工。当身份、策略、目的地或提交状态未知时,应安全失败。
Tool 重试需要 Idempotency Key,并持久记录副作用是否已经提交。超时不代表失败;结果未知时应先向下游对账,再决定是否重试。否则 Prompt 注入或普通格式错误都可能导致邮件、工单、购买或退款重复执行。
5. 测试完整攻击链
在隔离环境中使用 AI 红队测试,覆盖直接和间接来源、Tool 参数操纵、RAG 与 Memory 投毒、多语言或多模态变体,以及重复尝试。与合法任务正确率、误拒答、延迟和成本一起,测量未授权操作、数据外发与持久状态变更。若外部操作已经发生,模型再拒答也不代表防御成功。
按照 Source 到 Sink 建立测试矩阵:
- 在每种受支持输入通道放入攻击内容;
- 改变编码、语言、文档位置和多轮触发时机;
- 使用真实权限模型,但只访问隔离资源;
- 验证下游鉴权和审计证据,而不只检查聊天回复;
- 标记每个失败是被预防、检测、遏制、恢复还是遗漏;
- 将确认过的事故和险情加入锁定回归集。
发布门禁应为跨 Tenant 访问与未授权写入设置零容忍不变量,再为任务成功、误拒答、延迟和成本设置工作负载专属阈值。单一「防火墙得分」会隐藏真正可能发生损害的位置。
6. 把它作为安全控制运营
对 Model、System Instruction、检测器、检索策略、Tool Schema、外发规则和评测集进行版本化。对被拒绝的高影响调用、目的地变化、重复编码异常、反常工具序列以及来自低信任来源的持久 Memory 写入告警。日志应支持事件重建,但不能记录密钥或非必要个人数据。
发生事故后,应撤销凭据、停用危险 Tool、保存脱敏证据、核对结果未知的副作用、清除被污染 Memory、找出所有复用该内容的路径,并增加回归用例。只替换 System Prompt 无法修复已经受影响的状态。
总结
LLM 防火墙是一组阻止不可信语言获得权威的控制。检测有价值,但持久安全边界来自受限能力、确定性鉴权、来源感知数据流、受控外发、精确审批、可恢复副作用和持续评测。