生成式AI有哪些风险？NIST提出的12类风险值得了解

为什么需要关注生成式 AI 风险？

生成式人工智能（Generative Artificial Intelligence，简称GenAI）可以写文章、生成图片、编写代码，也正在进入越来越多的企业业务流程。它带来的风险，既包括传统AI已有风险的加剧，也包括新的风险。

美国国家标准与技术研究院（National Institute of Standards and Technology，NIST）在2024年发布的《生成式人工智能画像》（Generative Artificial Intelligence Profile）中，梳理了12类值得关注的风险：

NIST 提出的 12 类风险

1. 化学、生物、放射性或核相关信息与能力

CBRN Information or Capabilities
AI可能降低获取化学（Chemical）、生物（Biological）、放射性（Radiological）或核（Nuclear）武器相关危险信息与设计能力的门槛，使其更容易被滥用。

2. 虚构内容

Confabulation
通常称为“幻觉”（Hallucination）。AI可能以自信的语气提供错误事实、虚构引用或不一致的解释，使用户误信并据此行动。

3. 危险、暴力或仇恨内容

Dangerous, Violent, or Hateful Content
AI可能生成危险建议、暴力煽动、仇恨言论，或帮助传播这些内容。

4. 数据隐私

Data Privacy
AI可能泄露个人信息（Personally Identifiable Information，PII），也可能通过不同来源的信息推断敏感属性。错误推断同样可能造成伤害。

5. 环境影响

Environmental Impacts
模型训练（Training）、微调（Fine-tuning）和推理（Inference）需要计算资源，可能带来能源、水资源消耗及碳排放。

6. 有害偏见或同质化

Harmful Bias or Homogenization
AI可能强化刻板印象，对不同群体或语言表现不一，也可能使内容和判断过度趋同。过度依赖AI生成的数据训练后续模型，还可能导致模型崩溃（Model Collapse），使输出逐渐丧失多样性和准确性。

7. 人机配置与交互风险

Human-AI Configuration
用户可能出现自动化偏见（Automation Bias），过度相信AI建议；也可能产生算法厌恶（Algorithmic Aversion）、拟人化（Anthropomorphization）或情感依附（Emotional Entanglement）。

8. 信息完整性与可信度

Information Integrity
AI降低了大规模制造和传播错误信息（Misinformation）及蓄意虚假信息（Disinformation）的成本。深度伪造（Deepfakes）也可能损害公众对真实信息的信任。

9. 信息安全

Information Security
AI可能被用于网络攻击；AI系统自身也可能遭受提示注入（Prompt Injection）、数据投毒（Data Poisoning）和模型提取（Model Extraction）等攻击。

10. 知识产权

Intellectual Property，IP
训练数据、生成内容或使用方式可能涉及未经授权使用受保护作品、复制内容或泄露商业秘密（Trade Secrets）。

11. 淫秽、贬损或虐待性内容

Obscene, Degrading, and/or Abusive Content
AI可能被用于生成非自愿私密影像（Non-Consensual Intimate Imagery，NCII）或儿童性虐待材料（Child Sexual Abuse Material，CSAM），造成隐私、心理甚至身体伤害。

12. 价值链与组件集成风险

Value Chain and Component Integration
第三方模型（Third-party Models）、数据、软件库和插件可能来源不透明、未经充分审查，其问题可能传递到下游应用（Downstream Applications）。

企业如何确定管理重点？

这12类风险并非彼此独立。例如，AI虚构某人的健康信息，可能同时涉及虚构内容、数据隐私和信息可信度。

它们也不意味着每个应用都具有同等风险。企业需要结合具体用途、数据、用户、接入组件以及可能造成的影响，确定管理重点。同一个模型用于创作故事和辅助医疗决策，需要的控制措施显然不同。

NIST进一步将建议措施对应到《AI风险管理框架》（AI Risk Management Framework，AI RMF）的四项职能：治理（GOVERN）、映射（MAP）、测量（MEASURE）和管理（MANAGE），帮助组织从识别风险走向实际行动。

参考资料与术语说明

本文依据 NIST AI 600-1 的风险概述整理。悬浮提示是依据所链接章节编写的简要释义，不是官方中文定义或逐字译文；提示中的例子和解释用于帮助理解。

• NIST AI 600-1：生成式人工智能画像，第 2 节风险概述与第 3 节建议措施
• NIST AI 100-2e2025：对抗性机器学习——攻击与缓解措施的分类及术语
• NIST AI RMF 1.0：核心功能 GOVERN、MAP、MEASURE、MANAGE