核心摘要
LLM 语义缓存会近似复用历史完整响应。它能省去昂贵的生成调用,但误命中可能悄悄回答另一个问题、泄露其他 Tenant 数据,或重放陈旧策略。一次安全命中必须经过两道 Gate:所有硬 Scope 字段精确相等,然后才对请求表示执行经过校准的语义比较。此外,缓存必须具备准入、失效、旁路与基于证据的灰度机制。
先区分不同“缓存”
| 机制 | 复用对象 | 匹配方式 | 是否执行生成 | 主要风险 |
|---|---|---|---|---|
| 精确响应缓存 | 完整答案 | 规范化请求 Hash | 否 | Key 不完整或条目陈旧 |
| 语义响应缓存 | 完整答案 | 硬过滤加向量相似度 | 否 | 为不同意图返回合理外观答案 |
| 厂商 Prompt Cache | 前缀计算 | 厂商定义的 Token Prefix | 是 | 错把命中与计费语义当成跨厂商通用 |
| KV Cache | Attention K/V State | Token 与 Runtime Identity | 是 | 容量、隔离与错误复用 |
| RAG Retrieval | Evidence Passage | Query Relevance | 是 | 证据缺失、陈旧或未授权 |
语义缓存可能使用向量数据库与嵌入,但它不是 RAG。RAG 检索证据后生成新答案;语义响应缓存可能跳过模型并重放旧答案。
定义可缓存单元
先从一个 Route 和一种 Response Type 开始。适合的请求通常是公开、稳定、高频、重复、只读且有 Canonical Answer 的问题。以下类型通常不适合:
- 个性化账户或健康信息;
- 授权、欺诈、法律、医疗或金融决策;
- 库存、价格、事故状态等快速变化事实;
- 表达本身就是产品的开放式创作;
- Tool Call、写入、购买、删除等副作用;
- 省略历史会改变语义的对话。
不能因为请求返回 HTTP 200 就写入缓存。Refusal、截断 Stream、无证据 Claim 或下游故障期间生成的答案通常不可复用。
构建完整 Cache Identity
Embedding 只是一个字段。所有会改变答案有效性的非语义输入都要分区或过滤:
{
"tenant": "tenant-a",
"subject_class": "member",
"authorization_scope": "support:public",
"task": "returns-policy",
"locale": "zh-CN",
"conversation_revision": "standalone-v2",
"model_revision": "model-family/rev-8",
"prompt_revision": "support-answer/v12",
"toolset_revision": "read-only-tools/v4",
"source_revision": "kb/rev-31",
"policy_revision": "safety/v8",
"output_schema": "answer/v3",
"freshness_class": "24h"
}
Tenant 与 Authorization Filter 应在最近邻查询内部或之前执行。先查全局最近邻、再丢弃未授权 Top Result,可能通过 Timing、Ranking、Metric 或 Diagnostic 泄露存在性,也可能错过最佳的授权候选。
请求需要任务专用的 Canonical Representation。只取最后一条用户消息可能漏掉重要对话状态;使用完整 Transcript 又可能带入个人数据和无关历史。应明确哪些字段影响语义、为该表示设置版本,并单独测试。
两阶段命中协议
下面的可运行 Go 示例先检查精确 Partition 与 Freshness,再计算 Cosine Similarity:
package main
import (
"fmt"
"math"
"time"
)
type Scope struct {
Tenant string
Authorization string
Locale string
PromptRevision string
SourceRevision string
PolicyRevision string
}
type Entry struct {
Scope Scope
Vector []float64
Response string
ExpiresAt time.Time
}
func cosine(left, right []float64) float64 {
if len(left) == 0 || len(left) != len(right) {
return -1
}
var dot, leftNorm, rightNorm float64
for index := range left {
dot += left[index] * right[index]
leftNorm += left[index] * left[index]
rightNorm += right[index] * right[index]
}
if leftNorm == 0 || rightNorm == 0 {
return -1
}
return dot / (math.Sqrt(leftNorm) * math.Sqrt(rightNorm))
}
func lookup(entry Entry, scope Scope, vector []float64, threshold float64, now time.Time) (string, bool) {
if entry.Scope != scope || !now.Before(entry.ExpiresAt) {
return "", false
}
if cosine(entry.Vector, vector) < threshold {
return "", false
}
return entry.Response, true
}
func main() {
now := time.Date(2026, time.October, 4, 10, 0, 0, 0, time.UTC)
scope := Scope{
Tenant: "public",
Authorization: "docs:read",
Locale: "zh-CN",
PromptRevision: "v12",
SourceRevision: "kb-31",
PolicyRevision: "v8",
}
entry := Entry{
Scope: scope,
Vector: []float64{1, 0.2, 0},
Response: "退货期限以当前已发布政策为准。",
ExpiresAt: now.Add(time.Hour),
}
answer, hit := lookup(entry, scope, []float64{0.98, 0.21, 0.01}, 0.99, now)
fmt.Printf("hit=%t answer=%q\n", hit, answer)
otherTenant := scope
otherTenant.Tenant = "tenant-b"
_, hit = lookup(entry, otherTenant, []float64{0.98, 0.21, 0.01}, 0.99, now)
fmt.Printf("cross_tenant_hit=%t\n", hit)
}
预期输出:
hit=true answer="退货期限以当前已发布政策为准。"
cross_tenant_hit=false
代码中的阈值只是 Fixture。真实向量服务必须确认 API 返回 Similarity 还是 Distance、分值范围与方向、Normalization、近似搜索 Recall 和 Filter Semantics。
根据危害校准阈值
不存在通用安全的 0.8、0.95 或其他阈值。同一个数字在不同 Embedding Model 与 Distance Metric 中含义不同。
从真实且已脱敏流量构造标注 Pair:
| 请求对 | 预期 |
|---|---|
| “如何退货?”/“退货流程是什么?” | 可以复用 |
| “尾货能退吗?”/“如何退货?” | 通常不可复用 |
| “重置我的密码”/“重置另一个用户的密码” | 不可复用 |
| 同一句话、不同 Tenant | 在相似度前阻断 |
按任务与风险切片扫描阈值,并记录:
- Eligible Request Rate;
- Useful Hit Rate;
- False Hit 与 Harmful False Hit Rate;
- Stale Hit Rate;
- Abstention 与 Fallback 质量;
- 查询及端到端 p50、p95、p99 延迟;
- Embedding、Storage、Invalidation 与 Generation 成本;
- 每个合格答案的成本。
2024 年 GPT Semantic Cache 预印本在其生成式 Query 实验中报告了较大的 API 调用减少,并为该实验选择 0.8。论文也说明 Query 复杂度有限、测试由合成生成、阈值敏感且评测简化。它能证明技术在该条件下可行,不能提供生产默认值。
控制写入准入
只有满足以下条件的结果才进入缓存:
- Route 与 Response Type 明确允许缓存;
- 生成完成且 Output Schema 有效;
- 必要 Evidence 与 Citation 通过;
- 不含 Secret 或 Personalized Field;
- Source、Model、Prompt、Policy 与 Evaluator Revision 已知;
- Expiry 和 Invalidation Trigger 已定义;
- 答案通过确定性校验,必要时也通过人工审查。
同时记录源答案的 Evidence ID 和 Validation State。缓存只能放大已经满足直接响应契约的结果。
按事件与版本失效
TTL 只能限制年龄,不能表达答案为什么失效。以下事件发生时应轮换 Namespace 或失效条目:
- Source 更新、纠正、过期或删除;
- Access 或 Tenant Ownership 变化;
- Model、Embedding、Prompt、Tool Set、Policy 或 Schema 变化;
- 安全事故影响某类答案;
- 用户报告有害响应;
- Canonical Representation 改变。
优先使用不可变版本 Namespace 加 Expiry,避免扫描修改数百万条目。需要紧急失效时,应维护 Source / Policy Revision 到 Cache Entry 的 Reverse Index。
Sliding TTL 可能让热门旧答案永不过期。Policy 与 Knowledge Answer 更适合绝对过期,除非重新验证时同步刷新 Source Revision。
防止 Stampede 与部分结果
同一 Cache Identity 的并发 Miss 可能触发重复模型调用。应实现有界 Request Collapsing:
- 为精确 Cache Identity 选出一个短租约 Leader;
- Follower 只在自己的 Deadline 内等待;
- 正确传播 Cancellation;
- 不要用跨 Tenant 的全局锁;
- Timeout 或 Cancel 后的部分 Stream 不得写入;
- Cache 不可用时回退到新鲜路径。
Negative Cache 只适合“资源不存在”这类确定性、短时效、精确授权 Scope 的结果。不要跨用户语义复用 Denial、安全拒答或 Rate Limit Error。
防御缓存投毒
攻击者可能构造 Query 或检索来源,让系统生成看似合理的恶意答案,再通过缓存反复分发。控制措施包括:
- 只有 Evidence 与 Policy 校验通过才能准入;
- 仅可信 Writer 可以写入或失效;
- 按 Route 与 Tenant 分区;
- 限制文本、Metadata、Vector 和 Response 大小;
- 保存 Source Provenance 与 Content Digest;
- 检测异常 Hit 集中;
- 抽样绕过并与新生成结果比较;
- 支持即时 Kill Switch 和按 Source / Policy Revision 清除。
静态加密不能让错误共享的条目变得安全。
分阶段上线
- 离线 Replay:标注 Pair 并估计安全运行区间。
- Shadow Lookup:计算候选但不返回。
- 已审查公开意图:只启用稳定、非个性化 Route。
- 有限 Canary:开放少量流量并支持即时 Bypass。
- 抽样新生成:审计 Hit 是否仍然等价。
- 受控扩展:有害误命中持续满足策略后再增加 Slice。
监控 Lookup Error、Filter Miss、False Hit、Stale Hit、Hit Age、Invalidation Lag、Bypass、Tail Latency 与 Cost。运营日志通常不需要 Raw Prompt,优先记录脱敏 Intent 和 Digest。
常见问题
什么是 LLM 语义缓存?
它是完整响应的近似复用。系统先匹配硬 Scope 和 Version 字段,再对请求表示应用经过校准的语义规则。
它与 Prompt Cache 有什么区别?
语义响应缓存可以跳过生成;厂商 Prompt Cache 复用符合条件的前缀计算,但仍生成新的 Continuation。
Cache Key 应包含什么?
包含所有会改变答案有效性的字段:Tenant、授权、Task、Locale、Conversation Representation、Model、Prompt、Tool Set、Source、Policy、Schema 与 Freshness。
如何选择阈值?
使用目标 Workload 的正负标注 Pair,按风险切片优化有害误命中容忍度与合格答案价值,不要复制固定数字。
语义缓存可以跨用户共享吗?
只有真正公开且不随用户变化的答案才适合共享。个性化或权限敏感条目必须位于精确可信分区,其中很多内容根本不应缓存。