什么是 路由智能体(Router Agent)?

路由智能体(Router Agent)是一种 AI 辅助或确定性的路由组件,它在明确的候选目录、决策策略和降级契约下,把请求映射到一个或多个经过授权的执行路径。

工作原理

建立带版本的候选目录

每条 Route 应具有稳定 ID、所有者、能力说明、输入 schema、所需 Scope、支持的风险等级、成本与延迟预算,以及终止或返回行为。在语义打分前,先根据身份认证、授权、地域、数据策略和能力过滤候选。模型生成的 Route 名称只是提议,应用代码必须拒绝未知、停用或未授权目标。

规则、分类器与 LLM 路由

稳定且要求高精确率的条件适合确定性规则;Embedding 与训练分类器能以较低运行成本处理重复语义类别,但需要标注数据和漂移监控;LLM Router 能处理细微或组合输入,也能生成多条定向子问题,却会增加波动、延迟和提示注入面。混合系统通常先执行硬策略,再只对剩余安全候选做语义排序。

拒判、降级与所有权

路由结果应包含目录版本、选中候选、分数或原因码,以及 Fallback。低置信度、候选分数接近、意图不支持、数据缺失和高影响请求,不应被强制猜测,而应澄清、选择安全默认路径或升级人工。Routing 与 Handoff 也不同:前者选择路径,后者会改变当前任务所有者和上下文契约。

用下游结果评测路由

从代表性流量、歧义场景、策略边界和生产事故构建带标签路由集。应报告混淆矩阵,以及每条 Route 的 Precision、Recall、Abstention、Unsafe Route 和 No Route 比例;整体准确率可能掩盖危险的小众路径。同时衡量路由延迟、下游任务成功率、重试、总成本、人工改派与漂移。只有分类命中而执行失败,不能算成功路由。

主要特点

  • 从有限且带版本的可执行目标目录中选择路径
  • 在语义打分前根据策略和能力过滤候选
  • 可采用规则、分类器、Embedding、LLM 或混合方案
  • 显式支持澄清、拒判、降级和人工升级状态
  • 记录路由版本、决策证据、预算和下游结果
  • 需要逐路由评测,因为不同错误的代价并不对称

常见用途

  1. 把客服请求分派到账单、访问、事故或人工复核工作流
  2. 为知识请求选择已授权数据源并生成定向子问题
  3. 在质量、能力、延迟和成本约束下选择模型路径
  4. 把 Agent 步骤交给专家,同时保留原任务所有权
  5. 当目标需要未具备权限时阻断或升级请求

示例

loading...
Loading code...

常见问题

Router Agent 必须是 LLM 吗?

不需要。稳定且要求高精确率的条件通常适合确定性规则;Embedding 或训练分类器适合重复语义类别;LLM 可以处理细微或多路请求。应选择能够通过逐路由结果、延迟、成本和审计要求的最简单方案。

Router Agent 与 Supervisor Agent 有什么区别?

Router 的主要职责是选择下一条路径,分派后可以不再持有状态;Supervisor 会持续拥有共享任务状态,负责委派、处理结果、管理预算并决定整个运行何时结束。系统可以在 Supervisor 内部使用 Router,但两者不能视为同一概念。

分类器置信度能直接作为路由阈值吗?

只有在代表性流量上完成校准后才可以。原始概率或 LLM 自报置信度不一定对应真实正确率,而且会按 Route 漂移。应逐路由校准和监控错误,为安全策略类设置更严格门禁,并在证据不足时拒判或转人工。

Router Agent 什么时候应该追问?

当必填字段缺失、安全候选打平、置信度低于校准阈值,或不同路径会产生实质不同的副作用时应先澄清。如果确定性策略已经要求拒绝或人工审批,就不应通过追问绕过门禁。

应该如何评测路由质量?

使用带版本的标注集,报告混淆矩阵、逐 Route 的 Precision 与 Recall、拒判率、危险误路由率和无路由率,再衡量下游任务成功、延迟、总成本、重试、人工改派和生产漂移。只有标签正确但处理器失败,不应算成功。

相关术语

相关文章