AI 风险与传统软件风险的差异

为什么 AI 风险需要单独关注？

与传统软件一样，基于 AI 的技术所带来的风险可能超出单个企业的范围，波及多个组织，并对社会产生影响。AI 系统还带来了一些当前风险框架和方法尚未充分应对的风险。某些会带来风险的 AI 系统特征，也可能带来益处。例如，与其他模型和方法相比，预训练模型和迁移学习可以推动研究，并提高准确性和韧性。在“映射”（MAP）职能中识别具体情境因素，有助于 AI 相关参与方判断风险等级及可能需要采取的管理措施。

AI 新增或加剧了哪些风险？

与传统软件相比，AI 特有的新增风险或加剧的风险包括：

数据与训练

• 用于构建 AI 系统的数据，可能无法真实或恰当地反映系统所处的情境或预期用途；也可能不存在“真实值”（ground truth），或无法获得真实值。此外，有害偏见和其他数据质量问题会影响 AI 系统的可信度，并可能造成负面影响。
• AI 系统依赖数据执行训练任务；与此相关的数据量和复杂度通常也更高。
• 训练过程中的有意或无意变化，可能从根本上改变 AI 系统的性能。
• 用于训练 AI 系统的数据集，可能脱离其原有情境和预期用途；也可能相对于系统的实际部署情境变得陈旧或过时。

模型复杂性与运行变化

• AI 系统规模更大、复杂度更高，且可能嵌入传统软件应用之中。许多系统包含数十亿甚至数万亿个决策点。
• 使用预训练模型可以推动研究、提升性能，但也可能增加统计不确定性，并引发偏见管理、科学有效性和可重复性方面的问题。
• 大规模预训练模型可能出现涌现特性，其故障模式更难预测。
• AI 系统汇集数据的能力增强，可能带来隐私风险。
• 由于数据漂移、模型漂移或概念漂移，AI 系统可能需要更频繁地维护，并更频繁地触发纠正性维护。

透明度、测试与其他影响

• AI 系统的透明度较低，可重复性也令人担忧。
• 除最简单的情况外，AI 软件测试标准仍不够成熟；与传统工程软件通常要求的标准相比，AI 开发实践也较难完整记录。
• AI 系统的开发不受传统代码开发中同等控制措施的约束，因此难以定期开展 AI 软件测试，也难以确定应测试哪些内容。
• 开发 AI 系统所需的计算成本较高，并可能对环境和地球造成影响。
• 除统计指标之外，难以预测或检测 AI 系统的副作用。

现有安全与隐私框架能提供什么帮助？

隐私和网络安全风险管理的考量与方法，适用于 AI 系统的设计、开发、部署、评估和使用。隐私和网络安全风险也属于更广泛的企业风险管理范畴，其中可能包括 AI 风险。为了实现 AI 的可信特性，例如“安全与韧性”以及“隐私增强”，组织可以参考有助于降低安全和隐私风险的现有标准与指南，例如 NIST 网络安全框架、NIST 隐私框架、NIST 风险管理框架和安全软件开发框架。

这些框架与 AI RMF 有一些共同点。与多数风险管理方法一样，它们以结果为导向，而不是规定唯一做法；通常围绕一组核心职能、类别和子类别组织。不过，由于各框架针对的领域不同，彼此之间仍存在重要差异。AI 风险管理还需要应对许多其他类型的风险，因此，上述框架可以为 AI RMF 的“映射”（MAP）、“测量”（MEASURE）和“管理”（MANAGE）职能中的安全与隐私考量提供参考。

还需要关注哪些 AI 特有问题？

与此同时，既有框架和指南尚未充分涵盖许多 AI 系统风险。本 AI RMF 可帮助组织识别和管理这些风险，例如：

• 充分管理 AI 系统中的有害偏见；
• 应对生成式 AI 带来的复杂风险；
• 应对逃逸攻击、模型提取、成员推断等机器学习攻击，以及导致系统无法正常提供服务的安全风险；
• 考虑 AI 系统复杂的攻击面，以及 AI 系统可能促成的其他安全滥用行为；
• 考虑第三方 AI 技术、迁移学习和非预期用途（off-label use）相关的风险。例如，AI 系统可能在组织安全控制之外接受决策用途训练，也可能先在一个领域训练，再针对另一个领域进行“微调”。

AI 技术和传统软件技术及系统都在快速创新。组织应持续关注技术进展，并适时采用新技术，以利用这些进展，推动实现可信且负责任的 AI 未来。

参考资料与阅读说明

本文依据 NIST AI RMF 附录 B：How AI Risks Differ from Traditional Software Risks 整理。