什么是 Agent 运行时(Agent Runtime)?
Agent 运行时(Agent Runtime)是创建、调度、隔离、推进、暂停、恢复、取消并记录 AI Agent Run 的执行环境,同时中介模型、工具、状态、记忆、凭证、策略与外部副作用。
快速了解
| 规范文档 | 官方规范 |
|---|
工作原理
执行生命周期
Runtime 加载固定 Release Configuration,解析 Principal 与 Tenant,组装有界 Context,调用 Model Adapter,接收 Action Proposal,应用 Policy,派发获准工作,记录 Observation,更新 Authoritative State,并评估 Stop Condition。
与 Harness、Workflow Engine 的边界
Runtime 是执行 Run / Step Lifecycle 的底座。Agent Harness 是模型周围更广的控制设计,包含 Policy、Context Construction、Evaluation、Observability 与 Governance。Workflow Engine 提供 History、Timer、Signal、Retry 和 Task Queue 等 Durable Process Primitive;Agent Runtime 可以使用它,但仍需实现 Agent 特有的 Model、Tool、Context 与 Policy Adapter。
运行状态与并发控制
一个 Run 需要稳定 run_id、Release Identity、Principal、Tenant、Status、State Version、Budget、Active Work、Cancellation Intent 与 Terminal Reason。使用 Compare-and-set 或等价并发契约,防止两个 Worker 从同一 State Version 静默推进同一 Run。
Conversation Transcript、Model Context、Durable Execution State、Long-term Memory 与 External Effect Record 应分开存储,因为它们的 Retention、Privacy、Consistency 与 Replay 要求不同。
调度与取消
Scheduler 强制执行 Lease、Heartbeat、Queue Priority、Concurrency、Backpressure、Deadline、Retry Class 与 Graceful Drain。Cancellation 应尽可能传播到 Model Stream、Tool Call、Child Run、Sandbox 与 Waiting Task,但收到 Cancellation Acknowledgement 不能证明外部 Write 已回滚。Worker Process 可以无状态,Run State 则保存在 Durable Store。
模型与工具适配
Model / Tool Adapter 规范化 Provider 特有 ID、Streaming Event、Structured Output、Usage、Error 与 Cancellation,同时保留语义差异。每个 Tool Call 都是 Proposal。Runtime 解析可信 Identity 与 Resource State,执行 Policy / Approval,以最小凭证调用,校验并限制 Result,阻止不可信输出改变权限。
恢复与副作用对账
Checkpoint 支持恢复,但 Write 需要稳定 Operation Key 和 Effect Journal,状态至少区分 prepared、dispatched、committed、failed 与 outcome_unknown。派发后 Timeout 或 Worker Crash 后,重试前先向下游对账。Approval 与 Callback Signal 要独立于活动进程持久化。Model、Prompt、Tool Schema、Policy 或 Runtime Version 变化时,应把 In-flight Run 路由到兼容代码或显式迁移 State。
可观测性与发布验证
Runtime Event 应关联 Run、Step、Attempt、Parent、Model、Tool、Policy、Operation、Approval、Effect、Latency、Usage、Cost、Cancellation 与 Terminal Status。脱敏 Secret 和不必要私密 Payload,不存储隐藏思维链。
发布前验证 Tenant Isolation、Stale Write、Duplicate Delivery、Crash-after-effect、Provider Fallback、Poisoned Result、Cancellation Race、Budget Exhaustion、Schema Migration、Queue Overload 与 Replay。
主要特点
- 负责 Run 与 Step 的创建、调度、执行、等待、恢复、取消和终止
- 分离 Durable Run State、Model Context、Memory、Transcript 与 Effect Record
- 中介 Provider、Model、Tool、Sandbox、Storage、Policy 与 Credential Adapter
- 强制 Tenant Isolation、乐观并发、Lease、Budget、Backpressure 与 Cancellation
- 通过 Checkpoint、幂等 Effect Accounting 与未知结果对账恢复
- 输出版本化、脱敏事件,用于运维、评测、审计与事故分析
常见用途
- 承载大量相互隔离的客服或企业 Agent Session
- 跨可替换 Worker 调度长期 Coding 与 Research Agent
- 通过统一 Policy Boundary 中介 MCP、API、Browser、Shell 与 Code Tool
- 暂停 Run 等待 Durable Human Approval,并在另一个 Worker 恢复
- 在保留 Model 特有 Result / Usage 语义时执行 Provider Fallback
- 向 Observability 与 Evaluation System 输出规范化 Lifecycle Event
示例
Loading code...常见问题
Agent Runtime 与 Agent Harness 有什么区别?
Runtime 执行并调度 Run 与 Step;Harness 是模型周围更广的控制设计,覆盖 Context、Policy、Tool、Evidence、Evaluation、Observability 与 Governance。一个产品可以同时封装两者。
Agent Runtime 与 Workflow Engine 是同一个概念吗?
不是。Workflow Engine 提供 Durable Process Primitive;Agent Runtime 可以构建在它之上,但还负责 Agent 特有的模型和工具适配、上下文组装、策略中介、预算、结果处理与规范化事件。
Agent Runtime Worker 可以无状态吗?
可以。可替换 Worker 从 Durable Storage 加载权威 Run State、获取 Lease、执行有界 Step,再提交版本化 Transition。Worker Process 可以无状态,但 Run 本身有状态。
取消 Agent Run 会撤销 Tool Call 吗?
不会。Cancellation 尽可能阻止或中断后续工作,但已提交的外部 Effect 仍存在。Runtime 必须记录 Effect Status,并在业务需要恢复时执行对账或显式 Compensation。
Agent Runtime 发布前应测试什么?
应测试租户隔离、并发过期写、重复投递、提交后崩溃、未知结果、取消竞态、Provider Failure、Poisoned Tool Result、预算耗尽、Queue Overload、State Migration 与 Replay Compatibility。