当 LLM 应用读取用户或外部内容时,这些内容都可能影响模型的下一次决策。Prompt 注入在被影响的模型能够接触私有数据、调用工具、修改持久状态或向外通信时,才会成为安全问题。

本文是实用入门;需要了解完整威胁模型、来源追踪的数据流、绑定式审批、沙箱和事件响应时,请阅读 Prompt Injection 防御:从架构上保护 LLM Agent。

先给结论

Prompt 注入防火墙不是放在 LLM 前面的一个分类器,而是围绕完整应用构建的控制平面:

text
不可信来源 -> 模型提案 -> 策略决策 -> 受约束的副作用
                  |            |
               仅作信号      可信代码

检测可以识别已知攻击并提高审核强度。真正的安全来自限制 Source 与 Sink、传递信任元数据、对每个副作用鉴权、校验输出,并使高影响操作可恢复。即使系统没有识别某段攻击措辞,只要受影响模型仍无法跨 Tenant 或把数据发往未批准目标,攻击影响就受到限制。

1. 定义安全不变量

不要从可疑短语清单开始,而要先写出即使模型遵循恶意内容也必须成立的规则:

  • Tenant A 的数据绝不能返回给 Tenant B;
  • 客服工单不能授权退款;
  • 检索文本不能选择新的网络目标;
  • 摘要不能把不可信内容静默转成可信 Memory;
  • 审批只对用户看到的最终接收人、资源、字段、金额与操作生效;
  • 重试不能重复已经提交的副作用。

例如,工单内容可以影响回复草稿,但不能选择收件人、读取其他租户的订单或批准退款。这些是应用策略,而不是 Prompt 可以保证的承诺。

需要同时画出每条危险路径的两端:

不可信 Source 敏感 Sink 必需控制
用户消息或上传文件 私有检索 检索前执行对象与 Tenant 鉴权
网页、邮件或代码仓库 Tool 参数 Schema、业务语义与策略校验
OCR 或图片文字 浏览器或网络请求 精确目标白名单与跳转检查
Tool Result 持久 Memory 来源、同意、保留期限与写入授权
模型生成摘要 后续 Agent 运行 来源引用、过期时间与重新校验

2. 理解检测能做什么、不能做什么

注入既可能来自用户直接输入,也可能来自网页、邮件、仓库、RAG Chunk、图片或 Tool Result 等间接内容,还可能通过生成的摘要、配置或 Memory 持久化。所有外部来源都应被视为数据,而不是已授权的政策。

关键词模式、编码规范化、Prompt Shields 与安全分类器可以用于 Telemetry、Triage、限流和拦截已知攻击,却无法跨语言、编码、多模态输入和长交互历史可靠判断意图。OpenAI 2026 年的安全实践把成熟 Prompt 注入描述为更接近社会工程,而不是固定恶意字符串,并建议约束攻击影响,而非依赖纯检测防火墙。OWASP 也明确指出,模型内部不存在万无一失的防御。

检测结果应非对称使用:

  • 高风险信号可以触发阻断、隔离、脱敏或人工复核;
  • 低风险信号绝不能解锁数据、工具或网络目标;
  • 多个检测器意见不一致时,应形成证据,而不是自动放行;
  • 模型自评不能批准模型自己提出的副作用。

3. 围绕实际影响构建防火墙

把权威放在自然语言之外

使用提供方支持的角色与明确的数据分隔符,帮助模型更可靠地理解任务;不要把秘密拼进 Prompt。但这只能减少混淆,不能成为访问控制:手写 XML 或 JSON 边界不会使不可信文本变得安全。

为每个上下文项附加机器可读元数据,包括来源、所有者、Tenant、敏感级别、版本、新鲜度,以及它能否影响某类决策。经过 OCR、抽取、摘要与 Agent 间交接后,仍要保留这些标签。

最小权限与确定性鉴权

模型只能获得任务范围内的能力。优先开放 invoice.read、ticket.create 等窄操作,而不是通用 HTTP、SQL、Shell 或云管理员工具。执行前,可信代码应检查真实 Principal、Tenant、对象所有权、操作、最终参数、目的地、数据标签、配额和审批。

下面这个仅使用 Go 标准库的示例不判断 Prompt 文本,而是直接拒绝数据外发目标:

go
package main

import (
	"errors"
	"fmt"
	"net/url"
)

type Claims struct {
	Tenant string
	Scopes map[string]bool
}

type Effect struct {
	Tenant      string
	Tool        string
	Destination string
	HighImpact  bool
}

func authorize(claims Claims, effect Effect, allowedHosts map[string]bool, userConfirmed bool) error {
	if claims.Tenant == "" || claims.Tenant != effect.Tenant {
		return errors.New("tenant denied")
	}
	if !claims.Scopes[effect.Tool] {
		return errors.New("tool denied")
	}
	destination, err := url.Parse(effect.Destination)
	if err != nil || destination.Scheme != "https" || !allowedHosts[destination.Hostname()] {
		return errors.New("destination denied")
	}
	if effect.HighImpact && !userConfirmed {
		return errors.New("confirmation required")
	}
	return nil
}

func main() {
	claims := Claims{Tenant: "tenant-a", Scopes: map[string]bool{"ticket.create": true}}
	effect := Effect{
		Tenant:      "tenant-a",
		Tool:        "ticket.create",
		Destination: "https://attacker.example/upload",
	}
	allowedHosts := map[string]bool{"support.example.com": true}

	if err := authorize(claims, effect, allowedHosts, false); err != nil {
		fmt.Println("blocked:", err)
		return
	}
	fmt.Println("authorized")
}

实际策略还需要对象级检查和服务端二次鉴权。关键性质是外部内容无法改写 claims、Host 白名单或确认记录。

控制上下文、输出与外发

  • 在 RAG 排序前执行文档 ACL,而不是等模型看到内容后再过滤;
  • 为持久 Memory 写入单独鉴权并设置过期时间;
  • 在结构化输出成为 Tool 参数前校验它;
  • 在 Sandbox 中运行生成代码,并限制网络、文件系统、子进程和密钥访问;
  • 校验跳转和每个外发 Host,而不只检查初始 URL;
  • 避免让密钥进入模型上下文、Trace、错误文本与渲染链接;
  • 将审批绑定到最终不可变副作用,任何字段变化都使审批失效。

4. 设计失败与恢复路径

操作被阻断后,应提供可用替代路径:解释缺少的权限、请求范围明确的确认、生成但不发送草稿,或升级给人工。当身份、策略、目的地或提交状态未知时,应安全失败。

Tool 重试需要 Idempotency Key,并持久记录副作用是否已经提交。超时不代表失败;结果未知时应先向下游对账,再决定是否重试。否则 Prompt 注入或普通格式错误都可能导致邮件、工单、购买或退款重复执行。

5. 测试完整攻击链

在隔离环境中使用 AI 红队测试,覆盖直接和间接来源、Tool 参数操纵、RAG 与 Memory 投毒、多语言或多模态变体,以及重复尝试。与合法任务正确率、误拒答、延迟和成本一起,测量未授权操作、数据外发与持久状态变更。若外部操作已经发生,模型再拒答也不代表防御成功。

按照 Source 到 Sink 建立测试矩阵:

  1. 在每种受支持输入通道放入攻击内容;
  2. 改变编码、语言、文档位置和多轮触发时机;
  3. 使用真实权限模型,但只访问隔离资源;
  4. 验证下游鉴权和审计证据,而不只检查聊天回复;
  5. 标记每个失败是被预防、检测、遏制、恢复还是遗漏;
  6. 将确认过的事故和险情加入锁定回归集。

发布门禁应为跨 Tenant 访问与未授权写入设置零容忍不变量,再为任务成功、误拒答、延迟和成本设置工作负载专属阈值。单一「防火墙得分」会隐藏真正可能发生损害的位置。

6. 把它作为安全控制运营

对 Model、System Instruction、检测器、检索策略、Tool Schema、外发规则和评测集进行版本化。对被拒绝的高影响调用、目的地变化、重复编码异常、反常工具序列以及来自低信任来源的持久 Memory 写入告警。日志应支持事件重建,但不能记录密钥或非必要个人数据。

发生事故后,应撤销凭据、停用危险 Tool、保存脱敏证据、核对结果未知的副作用、清除被污染 Memory、找出所有复用该内容的路径,并增加回归用例。只替换 System Prompt 无法修复已经受影响的状态。

总结

LLM 防火墙是一组阻止不可信语言获得权威的控制。检测有价值,但持久安全边界来自受限能力、确定性鉴权、来源感知数据流、受控外发、精确审批、可恢复副作用和持续评测。

一手来源