什么是 Agent 轨迹(Agent Trajectory)?
Agent 轨迹(Agent Trajectory)是一次 AI Agent Run 中可观察 Decision、Message、Tool Proposal、Policy Outcome、Execution、Observation、State Transition、Approval、Error、Cost 与 Terminal Outcome 的结构化因果记录。
快速了解
| 规范文档 | 官方规范 |
|---|
工作原理
把可观察事件建模为因果图
记录 Model Output、Action Proposal、Policy Decision、Tool Version、脱敏 Argument Digest、Execution、External Effect、有界 Observation、State Transition、Approval、Error、Cost 与 Terminal Reason。每个 Event 需要稳定的 Run、Step、Parent、Call、Operation、Attempt、Schema 与 Release ID。
并行分支构成 Partial Order,只按 Wall-clock 排序会虚构因果。OpenTelemetry 提供持续演进的技术约定,但任务级 Trajectory 应跨 Telemetry Vendor 保持稳定。
分别评测执行路径与环境结果
最终回答看似合理时,Agent 仍可能调用越权 Tool、跳过证据、重复写入或没有真正改变源系统。当前 [Agent 评测指南](https://www.anthropic.com/engineering/demystifying-evals-for-ai-agents)区分 Task、Trial、Transcript / Trajectory、Grader 与 Outcome。把确定性的顺序、参数、预算、授权和副作用检查,与校准后的 Rubric Judge、重复 Trial 和外部 Outcome Oracle 组合;安全关键违规应作为 Veto,不能被平均分抵消。
回放时避免重复副作用与泄露 Secret
Static Replay 把已记录 Observation 输入新编排或 Policy Code,Mock Replay 模拟 Tool,Live Replay 调用当前依赖并可能产生分叉、成本和重复 Effect。NVIDIA 的 [Agent Trace Replay](https://docs.nvidia.com/dynamo/user-guides/agents/agent-simulation.md)刻意只重放服务负载形态,不重新运行 Agent 决策或 Tool,说明 Replay 语义必须明确命名。
Export 前脱敏,限制 Tenant 访问并记录 Sampling / Deletion;没有 Sandbox、Idempotency、Reconciliation 与显式审批时禁止回放 Write。
主要特点
- 任务级因果事件记录,不等于聊天记录、原始日志或完整分布式 Trace
- 覆盖可观察 Proposal、Policy、Call、Effect、Observation、Approval、Error 与 Outcome
- 稳定关联 Run、Step、Parent、Call、Operation、Attempt、Schema 与 Release ID
- 用 Partial Order 表达并行工作,不虚构全局线性顺序
- Purpose-bound Collection、Export 前脱敏、租户权限、Retention 与 Deletion
- 结合 Single-step、Path 与 Final Outcome 的确定性和校准 Judge 评测
常见用途
- 定位失败 Run 中第一个错误、无用、拒绝或不安全步骤
- 检查高影响 Write 前是否完成授权与证据步骤
- 跨 Release 比较 Strict、Unordered、Subset 或 Superset Tool-call Path
- 从已审阅生产故障构建不保留 Secret 的 Regression Dataset
- 把 Latency、Token、Tool Cost、Retry 与 Cancellation 归因到因果步骤
- 在 Sandbox 中用已记录 Observation 回放新 Orchestration 或 Policy Code
示例
Loading code...常见问题
Agent Trajectory 与 Trace 或 Transcript 有什么区别?
Transcript 包含可见 Message;Distributed Trace 包含跨服务技术 Span;Trajectory 是从 Runtime Event 与 Trace 中选取的任务级行为记录,用于调试、评测、审计和 Outcome 分析。
Agent Trajectory 应包含思维链吗?
不应。记录可观察 Output、Action Proposal、Policy Decision、Tool Call、Result、Effect 与 Outcome 即可。隐藏推理对多数评测并非必需,还会增加隐私、安全与保留风险。
并行 Agent 步骤可以存成一个有序列表吗?
可以序列化存储,但评测必须保留 Parent 与 Causal Link。仅按时间排序可能误述 Concurrent Branch、Retry 与 Join。
Trajectory 可以安全回放吗?
使用已记录 Observation 的 Static Replay 最安全。Live Replay 非确定且可能重复外部 Effect,因此需要 Sandbox、固定版本、Idempotency,并为高影响操作取得显式审批。
应该如何评测 Agent Trajectory?
结合确定性 Policy / Path Check、Single-step Evaluator、Trajectory Comparison 或校准后的 Rubric Judge,并验证源系统最终 Outcome;不能只评最终答案。