Agent Hub Policy Governance · Phase 1

不是再造一个引擎,
而是让每次 Agent 决策都
管得住、测得准、说得清

汇丰已有 Agent Hub 和确定性 Policy 执行能力。Phase 1要补齐的是工程与治理基础:Policy可管理、上线前可测试、运行中可度量、事后可审计。

一句话分工

SCUT设计方法、规范、Benchmark和评价体系;汇丰把它们接入现有Agent Hub,建设生产功能并负责上线运行。

Why now

汇丰现在缺的,不是“会不会拦截”

OPA、Cedar等工具擅长根据明确规则给出允许或拒绝。更困难的是:规则怎么管理、是否正确、升级会不会出问题、出了问题能否还原。

01

Policy越来越多,谁负责?

版本、责任人、审批状态和生效范围不清楚,容易出现旧规则仍在运行。

→ 建立完整生命周期
02

上线前,怎么知道不会误伤?

缺少标准场景和预期结果,Policy修改后无法系统判断是改善还是倒退。

→ 建立测试、Replay与Benchmark
03

事后,为什么允许了?

没有统一Decision Log和Trace,就无法还原当时用户、Agent、工具、数据与Policy版本。

→ 建立可审计证据链
The operating model

把Policy Engine放进一个完整闭环

点击模块查看作用。Policy Engine只是中间的“判断器”;上面需要管理,下面需要证据、测试和改进。

A · 管理与发布Before runtime
B · Agent Hub运行During runtime
C · 证据与改进After runtime
完整闭环上层负责“谁制定、谁审批、何时生效”;中层负责“每次Agent操作如何判断和执行”;下层负责“如何证明、评价和持续改进”。
A simple story

用一个业务请求看懂交互流程

不用专业缩写:一位员工请Agent汇总受限客户资料,系统需要同时判断人、数据、用途和工具。

业务员工 李女士企业业务团队

她向Agent提出请求

“请汇总这家客户的基本信息,并生成一份内部沟通摘要。”

系统不能只判断“她是不是员工”,还要结合她的角色、数据敏感等级、用途、准备调用的工具,以及当前Policy版本。

1
Agent Hub理解任务准备查询客户资料并生成摘要
继续
2
Policy Adapter整理Context用户角色、数据等级、用途、工具、Policy版本
信息完整
3
Policy Engine作出判断基本信息可访问;受限字段需要更高权限
部分允许
4
Agent Hub执行限制只返回允许字段,隐藏受限内容
已阻止
5
留下完整证据记录Context、Policy版本、判断和执行动作
可审计
12-month plan

Phase 1:六步把基础做扎实

点击阶段查看SCUT重点工作和可验收交付。每两个月形成一个明确Gate,避免研究与工程长期脱节。

Clear ownership

研究任务与产品建设不能混在一起

SCUT回答“应该怎样设计、如何验证、怎样衡量”;汇丰回答“如何接入现有Agent Hub、如何安全上线和稳定运行”。

SCUT OWNS RESEARCH & METHODOLOGY

SCUT负责

  • Policy生命周期、Context和证据模型
  • 冲突、覆盖缺口和回归测试方法
  • Benchmark场景与预期结果数据集
  • Replay、Simulation和Evaluation方法
  • 参考算法、脚本与验证原型
  • 技术报告、论文和Phase 2准入评估

不承担:Agent Hub生产UI、运行保障、正式系统运维。

HSBC OWNS PRODUCT & PRODUCTION

汇丰负责

  • 提供Agent Hub设计和代表性用例
  • 提供脱敏或合成的Policy、Trace与Decision Log
  • 实现Policy创建、审批、发布和附着功能
  • 接入OPA或其他Policy Engine及业务系统
  • 建设正式测试、Replay、Dashboard与审计功能
  • 负责安全、性能、合规、上线和持续运营

双方共同:范围确认、阶段验收、数据治理、知识产权与成果发表。

AI research, applied

三条协同链路,一套闭环架构

以三个协同的引擎形成完整闭环:评测引擎让 Benchmark 持续进化,证据链让每次决策可验证,重放沙盒为测试与审计提供统一的可复现环境。

01

生成式对抗评测引擎

面向 Benchmark:把静态用例集升级成能自我生成、自我校准、自我进化的闭环。

LLM 生成器对抗、边界、缺口场景
覆盖导向调度未命中规则 / 未覆盖 Context
差分执行新旧 Policy 并行跑同一批输入
校准评测器LLM-as-Judge + 覆盖率/误拦截指标
硬样本回流生产 Trace 里的难判案例

闭环:生成 → 执行 → 打分 → 回流。Benchmark 不是一次性交付,而是持续进化的资产。

02

可验证决策证据链

面向审计:把“能查日志”升级为可追溯、可解释、防篡改。

结构化溯源采集决策/Context/Policy/模型/工具/输出
哈希承诺链WORM + 签名,逐条链接
证据检索 + 忠实解释RAG 定位,解释引用命中规则
异常检测告警越权覆盖、异常放行模式

从记录到承诺、再到解释与监控,证据链形成完整闭环。

03

反事实重放沙盒

共享底座:为“测试”与“审计”提供同一个可复现环境。

Trace + Policy 版本库历史决策与各版本 Policy
重放 / 注入回放历史、注入对抗场景
差分结果 + 证据快照行为差异 + 可追溯证据
双路输出喂评测引擎算指标 / 喂证据链做复盘

作为共享执行环境,它把评测与审计统一到同一套事实来源上。

统一事实来源:三个引擎共享同一套 Trace 与 Policy 版本库——Benchmark 的用例、审计的证据、重放的场景互相印证,形成“生成 → 测试 → 沉淀 → 审计 → 反哺”的单一闭环。

What SCUT delivers

不是一份报告,而是五个可接管的交付包

每个交付包既有设计说明,也有能在代表性业务场景中演示和验证的具体产物。

总体设计包

调研、差距分析、目标架构、路线图与任务清单。

Policy规范包

生命周期、元数据、Context、Decision Log、Trace与审计证据。

验证工具包

冲突、缺口、回归测试方法,以及参考脚本和原型。

Benchmark包

标准场景、预期结果、Replay方法、指标和基线结果。

技术转移包

最终报告、培训、论文初稿和Phase 2准入评估。

Definition of success

验收要看“获得了什么能力”

示意看板不代表汇丰现状。Phase 1需要先定义口径,再用真实或脱敏场景计算基线。

可计算Policy覆盖率
可区分误拦截与漏拦截
可追溯完整决策证据
可比较新旧Policy版本
每条Policy有责任人、版本和审批记录知道谁负责、为何改变、何时生效
每次关键操作经过Policy判断高风险工具与数据访问不能绕开
上线前可以测试与模拟新版本先在Benchmark和历史Trace中验证
升级后可以发现行为变化明确哪些场景从允许变成拒绝,或相反
每次判断都可以解释还原当时的Context、Policy版本和执行动作
用证据决定是否进入Phase 2数据、流程和基线成熟后再研究智能建议
Plain-language glossary

本方案中的关键词

保留难以准确翻译的英文,同时用一句话说明作用。

Policy规定Agent在什么条件下可以做什么、不能做什么,以及何时需要人工确认。
Policy Engine根据Policy和Context作出允许、拒绝、复核或降级判断。
Context用户角色、Agent、工具、数据等级和用途等现场信息。
Decision Log / Trace记录为何这样判断以及完整调用过程,用于审计和复现。
Replay / Simulation重放历史或模拟新场景,不影响真实业务地测试Policy。
Benchmark固定的标准场景和预期答案,用来客观比较Policy版本。

Phase 1的真正终点

汇丰不只是“装上一个Policy Engine”,而是拥有能持续管理、验证、度量和审计Agent行为的治理能力;SCUT的成果也能被工程团队直接接管。

从M1–2开始