大模型评估治理与安全

消除 Harness Engineering 与机械/线束工程歧义，定义 AI Agent 运行时控制学科：覆盖身份、工具权限、状态、预算、审批、可观测事件、评测与恢复，并明确 Prompt、MCP、Sandbox、DevOps、架构、实现和测试各自负责什么，帮助生产 Agent 团队避免把框架、沙盒或模型自评误当成授权与安全保证。

系统讲解 Agent Harness 实战：从类型化运行状态、权限策略和 MCP 工具适配，到持久化审批、幂等副作用、未知结果恢复、脱敏观测与故障测试，帮助团队把模型输出限制为待审提案，构建可恢复、可审计且不会因盲目重试重复执行外部写入的生产级智能体运行时，并建立贯穿开发测试、灰度发布和事故调查的统一证据链，避免把框架能力误当成安全保证。

系统讲解 LLM 越狱防御的生产实践：以资产、权限和副作用为中心建立威胁模型，结合分层 AI 护栏、最小权限工具、确定性鉴权、RAG 与 Memory 保护、输出和外发控制、精确人工确认、红队评测及事件响应降低风险，并明确 Jailbreak 与 Prompt Injection 的工程区别，适合开发浏览器 Agent、RAG、客服与高权限自动化工作流的团队。

设计可复现的 Agent Harness：隔离工具、回放场景、注入故障、执行步数与成本预算，并分别评估任务结果、安全性、恢复能力、延迟和成本。本文还说明如何使用 LLM 裁判而不暴露私有思维链，适合构建生产级 Agent、RAG、Tool Calling 和浏览器自动化系统的评测门禁和上线前回归实践。

构建超越 ROUGE 和 BLEU 的可校准 LLM-as-a-Judge 流水线，系统掌握 Judge Contract、Pairwise 换序测试、人类控制集、切片指标、偏差审计与发布门禁，并区分评估证据、事实真值与高影响动作授权边界，避免把固定一致率误作通用准确度，适合生产级 LLM、RAG 和 Agent 评测团队。

面向生产环境讲解模型护栏 Guardrails 的工程落地方法。覆盖输入审查、输出验证、对话流控制、提示词注入防御、PII 脱敏、幻觉检测、NeMo Guardrails、Guardrails AI、Llama Guard 和 Node.js 轻量拦截实现，帮助团队在不重新训练模型的情况下建立可编程的语义防火墙，平衡安全、合规与延迟成本。

当公开分数只是有限证据时，如何严谨评估大语言模型，适合企业模型选型、Agent 发布和长期回归治理。本文解释数据污染、天花板效应、标注分歧、Goodhart 效应、Judge 偏差和工作负载错配，进一步给出版本化任务集、数据来源记录、确定性 Oracle、校准的人类或模型复核、成本延迟测量与发布门禁的方法。

系统解析 AI 爬虫与内容发布者之间的攻防升级。覆盖 robots.txt、GPTBot、ClaudeBot、Google-Extended、Cloudflare AI Labyrinth、User-Agent 检测、法律诉讼、内容授权和多层防御策略，帮助网站保护原创内容免遭未授权训练数据采集，并重新评估搜索流量与 AI 引用回报。

围绕目的限定、数据最小化、来源追踪、保留期限、访问控制、删除传播和可验证证据设计 AI Agent 记忆。解释向量、摘要、缓存、备份、微调与模型输出为什么需要独立治理，帮助构建符合 GDPR 风险管理思路的长期记忆系统，适用于个人助手、企业 RAG、客服 Agent 和包含敏感数据的自动化工作流与知识库。

面向出海开发者的 EU AI Act 工程合规实操清单，覆盖适用性与风险分类、附件四技术文档、审计日志、评测、人类监督、合格评定和证据归档，并采用 Digital Omnibus 后的时间线：Article 50 自 2026 年 8 月适用，Annex III 高风险规则自 2027 年 12 月适用，Annex I 产品嵌入式高风险规则自 2028 年 8 月适用。