企业按自身情况设计 AI 治理的六个因素

一家摄像头企业准备推出两项 AI 功能：

1. 只在发现有人翻窗时向住户发出提醒，由住户查看画面后决定怎么处理。
2. 项把摄像头接入门禁，识别访客身份并参与放行判断。

两项功能由同一家公司开发，但误判的后果不同。前者可能造成误报或漏报，后者还可能让无权进入的人获准通行，或把有权限的人挡在门外。企业需要为它们分别设定测试、审批和人工介入要求。

这就是 AI 治理的适配（Tailoring AI governance）。企业根据自身情况和具体用途，决定由谁负责、上线前验证什么、留下哪些证据，以及出现问题时如何处理。用于调整 AI 治理方式可以考虑这六个因素：公司规模、治理成熟度、所属行业、产品与服务、业务目标和风险容忍度。企业在落实这些考虑时，可参考 NIST AI RMF 的用例配置（Use-case profile）方法，根据具体用途、适用要求和可用资源安排治理措施。

六个因素分别影响哪些治理决定？

把六个因素落实到一次上线评审

假设这家摄像头企业准备在住宅小区试点门禁联动，希望缩短物业人员核验访客的时间。企业可以从治理、证据、系统控制和上市后管理四个方向开展评审，把六个因素落实到具体决定中。

1. 治理：考虑公司规模（Company size），由产品负责人协调研发、隐私和安全人员参加评审，并明确谁批准上线。考虑治理成熟度（Governance maturity），如果企业已有发布审批和缺陷跟踪流程，就在原流程中加入 AI 检查项。如果这些流程还不健全，先建立一份简明的评审记录，写清谁测试、谁复核、谁批准。
2. 证据：根据所属行业（Industry sector），结合住宅物业管理的业务场景，把访客核验、未经授权的放行和正常通行受阻列为测试重点。再按实际部署环境，记录夜间、逆光和遮挡条件下的比对结果。根据业务目标（Business objectives），比较使用 AI 前后的访客核验时间，同时检查误匹配、漏匹配和转人工核验的比例。这样才能判断流程是否更快，以及效率提升有没有带来新的问题。
3. 系统控制：根据产品与服务（Products and services），明确比对结果是供值班人员参考，还是能够直接触发放行。这两种做法需要不同的控制措施。再根据风险容忍度（Risk tolerance）确定上线条件。例如，企业可在试点前约定：如果测试发现系统可能因误匹配而直接放行未经授权的人员，就暂不启用自动放行，先采用人工核验方式试点。
4. 上市后管理：上线前，约定由物业记录访客核验时间、误识别、异常放行和投诉，由产品负责人汇总反馈并协调处理。同时明确哪些情况需要复测、转回人工核验或暂停功能。例如，如果某个入口在逆光时反复误判，物业可先改用人工核验，研发在现场条件下复测，通过后再恢复该入口的 AI 辅助核验。若客户计划把系统从住宅小区扩展到养老机构，或从辅助核验改为自动放行，应在变更前重新评估使用场景、适用要求和控制措施。

企业可以根据规模和成熟度调整流程怎么组织，再根据具体用途和失效后果决定验证做到多深。欧盟《人工智能法案》第 17 条第 2 款就体现了这一点。对适用该条的高风险 AI 系统提供者，质量管理体系的实施可以与组织规模相称，同时仍须达到法规要求的严谨程度和保护水平。

实际起步时，可以先选一个准备上线的 AI 功能，写清楚它用于什么场景、出错会影响谁、凭什么批准上线、什么变化会触发重新评估。这份记录比先拟一套适用于所有部门的审批流程，更容易看出企业当前需要哪些治理措施。

参考文献

NIST AI RMF 1.0，第 6 章

欧盟《人工智能法案》第 17 条