生成式对抗评测引擎
面向 Benchmark:把静态用例集升级成能自我生成、自我校准、自我进化的闭环。
闭环:生成 → 执行 → 打分 → 回流。Benchmark 不是一次性交付,而是持续进化的资产。
OPA、Cedar等工具擅长根据明确规则给出允许或拒绝。更困难的是:规则怎么管理、是否正确、升级会不会出问题、出了问题能否还原。
版本、责任人、审批状态和生效范围不清楚,容易出现旧规则仍在运行。
→ 建立完整生命周期缺少标准场景和预期结果,Policy修改后无法系统判断是改善还是倒退。
→ 建立测试、Replay与Benchmark没有统一Decision Log和Trace,就无法还原当时用户、Agent、工具、数据与Policy版本。
→ 建立可审计证据链点击模块查看作用。Policy Engine只是中间的“判断器”;上面需要管理,下面需要证据、测试和改进。
不用专业缩写:一位员工请Agent汇总受限客户资料,系统需要同时判断人、数据、用途和工具。
“请汇总这家客户的基本信息,并生成一份内部沟通摘要。”
系统不能只判断“她是不是员工”,还要结合她的角色、数据敏感等级、用途、准备调用的工具,以及当前Policy版本。
点击阶段查看SCUT重点工作和可验收交付。每两个月形成一个明确Gate,避免研究与工程长期脱节。
SCUT回答“应该怎样设计、如何验证、怎样衡量”;汇丰回答“如何接入现有Agent Hub、如何安全上线和稳定运行”。
不承担:Agent Hub生产UI、运行保障、正式系统运维。
双方共同:范围确认、阶段验收、数据治理、知识产权与成果发表。
以三个协同的引擎形成完整闭环:评测引擎让 Benchmark 持续进化,证据链让每次决策可验证,重放沙盒为测试与审计提供统一的可复现环境。
面向 Benchmark:把静态用例集升级成能自我生成、自我校准、自我进化的闭环。
闭环:生成 → 执行 → 打分 → 回流。Benchmark 不是一次性交付,而是持续进化的资产。
面向审计:把“能查日志”升级为可追溯、可解释、防篡改。
从记录到承诺、再到解释与监控,证据链形成完整闭环。
共享底座:为“测试”与“审计”提供同一个可复现环境。
作为共享执行环境,它把评测与审计统一到同一套事实来源上。
统一事实来源:三个引擎共享同一套 Trace 与 Policy 版本库——Benchmark 的用例、审计的证据、重放的场景互相印证,形成“生成 → 测试 → 沉淀 → 审计 → 反哺”的单一闭环。
每个交付包既有设计说明,也有能在代表性业务场景中演示和验证的具体产物。
调研、差距分析、目标架构、路线图与任务清单。
生命周期、元数据、Context、Decision Log、Trace与审计证据。
冲突、缺口、回归测试方法,以及参考脚本和原型。
标准场景、预期结果、Replay方法、指标和基线结果。
最终报告、培训、论文初稿和Phase 2准入评估。
示意看板不代表汇丰现状。Phase 1需要先定义口径,再用真实或脱敏场景计算基线。
保留难以准确翻译的英文,同时用一句话说明作用。
汇丰不只是“装上一个Policy Engine”,而是拥有能持续管理、验证、度量和审计Agent行为的治理能力;SCUT的成果也能被工程团队直接接管。