核心摘要

LLM 语义缓存会近似复用历史完整响应。它能省去昂贵的生成调用,但误命中可能悄悄回答另一个问题、泄露其他 Tenant 数据,或重放陈旧策略。一次安全命中必须经过两道 Gate:所有硬 Scope 字段精确相等,然后才对请求表示执行经过校准的语义比较。此外,缓存必须具备准入、失效、旁路与基于证据的灰度机制。

先区分不同“缓存”

机制 复用对象 匹配方式 是否执行生成 主要风险
精确响应缓存 完整答案 规范化请求 Hash 否 Key 不完整或条目陈旧
语义响应缓存 完整答案 硬过滤加向量相似度 否 为不同意图返回合理外观答案
厂商 Prompt Cache 前缀计算 厂商定义的 Token Prefix 是 错把命中与计费语义当成跨厂商通用
KV Cache Attention K/V State Token 与 Runtime Identity 是 容量、隔离与错误复用
RAG Retrieval Evidence Passage Query Relevance 是 证据缺失、陈旧或未授权

语义缓存可能使用向量数据库与嵌入,但它不是 RAG。RAG 检索证据后生成新答案;语义响应缓存可能跳过模型并重放旧答案。

定义可缓存单元

先从一个 Route 和一种 Response Type 开始。适合的请求通常是公开、稳定、高频、重复、只读且有 Canonical Answer 的问题。以下类型通常不适合:

  • 个性化账户或健康信息;
  • 授权、欺诈、法律、医疗或金融决策;
  • 库存、价格、事故状态等快速变化事实;
  • 表达本身就是产品的开放式创作;
  • Tool Call、写入、购买、删除等副作用;
  • 省略历史会改变语义的对话。

不能因为请求返回 HTTP 200 就写入缓存。Refusal、截断 Stream、无证据 Claim 或下游故障期间生成的答案通常不可复用。

构建完整 Cache Identity

Embedding 只是一个字段。所有会改变答案有效性的非语义输入都要分区或过滤:

json
{
  "tenant": "tenant-a",
  "subject_class": "member",
  "authorization_scope": "support:public",
  "task": "returns-policy",
  "locale": "zh-CN",
  "conversation_revision": "standalone-v2",
  "model_revision": "model-family/rev-8",
  "prompt_revision": "support-answer/v12",
  "toolset_revision": "read-only-tools/v4",
  "source_revision": "kb/rev-31",
  "policy_revision": "safety/v8",
  "output_schema": "answer/v3",
  "freshness_class": "24h"
}

Tenant 与 Authorization Filter 应在最近邻查询内部或之前执行。先查全局最近邻、再丢弃未授权 Top Result,可能通过 Timing、Ranking、Metric 或 Diagnostic 泄露存在性,也可能错过最佳的授权候选。

请求需要任务专用的 Canonical Representation。只取最后一条用户消息可能漏掉重要对话状态;使用完整 Transcript 又可能带入个人数据和无关历史。应明确哪些字段影响语义、为该表示设置版本,并单独测试。

两阶段命中协议

下面的可运行 Go 示例先检查精确 Partition 与 Freshness,再计算 Cosine Similarity:

go
package main

import (
	"fmt"
	"math"
	"time"
)

type Scope struct {
	Tenant         string
	Authorization  string
	Locale         string
	PromptRevision string
	SourceRevision string
	PolicyRevision string
}

type Entry struct {
	Scope     Scope
	Vector    []float64
	Response  string
	ExpiresAt time.Time
}

func cosine(left, right []float64) float64 {
	if len(left) == 0 || len(left) != len(right) {
		return -1
	}
	var dot, leftNorm, rightNorm float64
	for index := range left {
		dot += left[index] * right[index]
		leftNorm += left[index] * left[index]
		rightNorm += right[index] * right[index]
	}
	if leftNorm == 0 || rightNorm == 0 {
		return -1
	}
	return dot / (math.Sqrt(leftNorm) * math.Sqrt(rightNorm))
}

func lookup(entry Entry, scope Scope, vector []float64, threshold float64, now time.Time) (string, bool) {
	if entry.Scope != scope || !now.Before(entry.ExpiresAt) {
		return "", false
	}
	if cosine(entry.Vector, vector) < threshold {
		return "", false
	}
	return entry.Response, true
}

func main() {
	now := time.Date(2026, time.October, 4, 10, 0, 0, 0, time.UTC)
	scope := Scope{
		Tenant:         "public",
		Authorization:  "docs:read",
		Locale:         "zh-CN",
		PromptRevision: "v12",
		SourceRevision: "kb-31",
		PolicyRevision: "v8",
	}
	entry := Entry{
		Scope:     scope,
		Vector:    []float64{1, 0.2, 0},
		Response:  "退货期限以当前已发布政策为准。",
		ExpiresAt: now.Add(time.Hour),
	}

	answer, hit := lookup(entry, scope, []float64{0.98, 0.21, 0.01}, 0.99, now)
	fmt.Printf("hit=%t answer=%q\n", hit, answer)

	otherTenant := scope
	otherTenant.Tenant = "tenant-b"
	_, hit = lookup(entry, otherTenant, []float64{0.98, 0.21, 0.01}, 0.99, now)
	fmt.Printf("cross_tenant_hit=%t\n", hit)
}

预期输出:

text
hit=true answer="退货期限以当前已发布政策为准。"
cross_tenant_hit=false

代码中的阈值只是 Fixture。真实向量服务必须确认 API 返回 Similarity 还是 Distance、分值范围与方向、Normalization、近似搜索 Recall 和 Filter Semantics。

根据危害校准阈值

不存在通用安全的 0.8、0.95 或其他阈值。同一个数字在不同 Embedding Model 与 Distance Metric 中含义不同。

从真实且已脱敏流量构造标注 Pair:

请求对 预期
“如何退货?”/“退货流程是什么?” 可以复用
“尾货能退吗?”/“如何退货?” 通常不可复用
“重置我的密码”/“重置另一个用户的密码” 不可复用
同一句话、不同 Tenant 在相似度前阻断

按任务与风险切片扫描阈值,并记录:

  • Eligible Request Rate;
  • Useful Hit Rate;
  • False Hit 与 Harmful False Hit Rate;
  • Stale Hit Rate;
  • Abstention 与 Fallback 质量;
  • 查询及端到端 p50、p95、p99 延迟;
  • Embedding、Storage、Invalidation 与 Generation 成本;
  • 每个合格答案的成本。

2024 年 GPT Semantic Cache 预印本在其生成式 Query 实验中报告了较大的 API 调用减少,并为该实验选择 0.8。论文也说明 Query 复杂度有限、测试由合成生成、阈值敏感且评测简化。它能证明技术在该条件下可行,不能提供生产默认值。

控制写入准入

只有满足以下条件的结果才进入缓存:

  • Route 与 Response Type 明确允许缓存;
  • 生成完成且 Output Schema 有效;
  • 必要 Evidence 与 Citation 通过;
  • 不含 Secret 或 Personalized Field;
  • Source、Model、Prompt、Policy 与 Evaluator Revision 已知;
  • Expiry 和 Invalidation Trigger 已定义;
  • 答案通过确定性校验,必要时也通过人工审查。

同时记录源答案的 Evidence ID 和 Validation State。缓存只能放大已经满足直接响应契约的结果。

按事件与版本失效

TTL 只能限制年龄,不能表达答案为什么失效。以下事件发生时应轮换 Namespace 或失效条目:

  • Source 更新、纠正、过期或删除;
  • Access 或 Tenant Ownership 变化;
  • Model、Embedding、Prompt、Tool Set、Policy 或 Schema 变化;
  • 安全事故影响某类答案;
  • 用户报告有害响应;
  • Canonical Representation 改变。

优先使用不可变版本 Namespace 加 Expiry,避免扫描修改数百万条目。需要紧急失效时,应维护 Source / Policy Revision 到 Cache Entry 的 Reverse Index。

Sliding TTL 可能让热门旧答案永不过期。Policy 与 Knowledge Answer 更适合绝对过期,除非重新验证时同步刷新 Source Revision。

防止 Stampede 与部分结果

同一 Cache Identity 的并发 Miss 可能触发重复模型调用。应实现有界 Request Collapsing:

  1. 为精确 Cache Identity 选出一个短租约 Leader;
  2. Follower 只在自己的 Deadline 内等待;
  3. 正确传播 Cancellation;
  4. 不要用跨 Tenant 的全局锁;
  5. Timeout 或 Cancel 后的部分 Stream 不得写入;
  6. Cache 不可用时回退到新鲜路径。

Negative Cache 只适合“资源不存在”这类确定性、短时效、精确授权 Scope 的结果。不要跨用户语义复用 Denial、安全拒答或 Rate Limit Error。

防御缓存投毒

攻击者可能构造 Query 或检索来源,让系统生成看似合理的恶意答案,再通过缓存反复分发。控制措施包括:

  • 只有 Evidence 与 Policy 校验通过才能准入;
  • 仅可信 Writer 可以写入或失效;
  • 按 Route 与 Tenant 分区;
  • 限制文本、Metadata、Vector 和 Response 大小;
  • 保存 Source Provenance 与 Content Digest;
  • 检测异常 Hit 集中;
  • 抽样绕过并与新生成结果比较;
  • 支持即时 Kill Switch 和按 Source / Policy Revision 清除。

静态加密不能让错误共享的条目变得安全。

分阶段上线

  1. 离线 Replay:标注 Pair 并估计安全运行区间。
  2. Shadow Lookup:计算候选但不返回。
  3. 已审查公开意图:只启用稳定、非个性化 Route。
  4. 有限 Canary:开放少量流量并支持即时 Bypass。
  5. 抽样新生成:审计 Hit 是否仍然等价。
  6. 受控扩展:有害误命中持续满足策略后再增加 Slice。

监控 Lookup Error、Filter Miss、False Hit、Stale Hit、Hit Age、Invalidation Lag、Bypass、Tail Latency 与 Cost。运营日志通常不需要 Raw Prompt,优先记录脱敏 Intent 和 Digest。

常见问题

什么是 LLM 语义缓存?

它是完整响应的近似复用。系统先匹配硬 Scope 和 Version 字段,再对请求表示应用经过校准的语义规则。

它与 Prompt Cache 有什么区别?

语义响应缓存可以跳过生成;厂商 Prompt Cache 复用符合条件的前缀计算,但仍生成新的 Continuation。

Cache Key 应包含什么?

包含所有会改变答案有效性的字段:Tenant、授权、Task、Locale、Conversation Representation、Model、Prompt、Tool Set、Source、Policy、Schema 与 Freshness。

如何选择阈值?

使用目标 Workload 的正负标注 Pair,按风险切片优化有害误命中容忍度与合格答案价值,不要复制固定数字。

语义缓存可以跨用户共享吗?

只有真正公开且不随用户变化的答案才适合共享。个性化或权限敏感条目必须位于精确可信分区,其中很多内容根本不应缓存。

延伸阅读

一手来源