同样是 AI,回答产品问题的客服助手与通过摄像头识别人脸的系统,在欧盟可能面临不同的合规要求。关键在于系统的预期用途、使用场景、影响对象,以及如何参与判断或决策。欧盟《人工智能法案》采用基于风险的监管框架,通常可概括为四类风险:不可接受风险、高风险、有限风险和最低或无风险。
四类风险概览
| 分类 | 典型用途 | 企业应如何理解 |
|---|---|---|
| 不可接受风险(禁止的 AI 实践) | 有害操纵、社会评分、特定生物识别用途等。 | 触及禁止规则时,不能通过普通认证或免责声明取得使用资格。 |
| 高风险 | 招聘筛选、教育录取、个人信用评估,以及满足法定条件的产品安全相关 AI。 | 原则上允许,但须按角色满足高风险要求;先核对AI法案第 6 条与附录。 |
| 有限风险(透明度风险) | 与人直接互动的 AI、特定生成内容、深度伪造等。 | 重点核对AI法案第 50 条的告知、机器可读标记和披露义务。 |
| 最低或无风险 | 通常用途下的垃圾邮件过滤、游戏 AI 等。 | 一般不因该用途触发高风险制度;仍需核对其他适用义务。 |
透明度义务可以与高风险义务叠加;通用人工智能模型也有单独的规则。
一、不可接受风险:禁止的 AI 实践
法案第 5 条针对特定的有害实践设定禁令。判断时要同时看行为、目的、影响和法律条文的条件,不能把所有营销、所有评分或所有人脸识别一概认定为禁止。
| 关键实践 | 判断重点与边界 |
|---|---|
| 有害操纵与欺骗 | 以潜意识、操纵或欺骗技术实质扭曲决策,并造成或可能造成重大伤害;普通推荐不因此自动被禁。 |
| 利用脆弱性 | 利用年龄、残障或特定社会经济处境的脆弱性,扭曲行为并造成或可能造成重大伤害。 |
| 社会评分 | 跨情境使用评分导致不利待遇,或导致不合理、不成比例的不利待遇。 |
| 个体犯罪风险预测 | 仅凭个人画像或人格特征预测犯罪风险;条文对基于相关客观事实的人工评估辅助另有边界。 |
| 无差别抓取人脸 | 从互联网或闭路电视无差别抓取人脸图像,以建立或扩展人脸识别数据库。 |
| 工作场所和教育机构中的情绪识别 | 在工作场所或教育机构推断自然人情绪,原则上被禁,例如分析员工情绪的系统就是被禁止的; 医疗或安全目的存在例外,适用时仍需核查其他规则。 |
| 生物识别分类以推断某些受保护的特征 | 通过生物特征推断种族、政治观点、工会成员身份、宗教或哲学信仰、性生活或性取向等;存在限定例外。 |
| 在公共场所用于执法目的的实时远程生物特征识别 | 公共可进入空间中的执法用途原则上禁止;法定目标、必要性、授权和保障条件下存在严格例外。 |
| 未经同意生成或操纵私密及性露骨内容 | 生成或操纵涉及可识别自然人私密部位或性露骨活动的逼真内容,且未取得该人自由作出、具体、知情、明确且明示的同意。须结合系统预期用途、可预见的滥用及防护措施等条件判断。相关禁令自 2026 年 12 月 2 日起适用。 |
| 生成或操纵儿童性虐待材料 | 生成或操纵法定范围内的儿童性虐待材料或相关表演。须结合系统用途、防护措施及成员国法律规定的特定抗辩条件判断。相关禁令自 2026 年 12 月 2 日起适用。 |
例如,为企业设计一套通过摄像头推断员工情绪并用于管理的系统,不能只在界面增加“正在使用 AI”的提示。应先核查是否触及职场情绪识别禁令,再讨论产品能否以及如何提供。
对生成式系统还须结合预期用途、可预见的滥用及防护措施等具体条件分析。
二、高风险 AI:两条判断路径
《AI法案》第6条规定了两条相互独立的高风险AI判断路径:
- 产品路径:根据第6(1)条和附件一,判断AI是否属于受监管产品或其安全组件,并且相关产品依法必须接受第三方合格评定;
- 用途路径:根据第6(2)条和附件三,判断AI的预期用途是否属于生物识别、关键基础设施、教育、就业、基本公共服务、执法、移民与边境管理、司法与民主进程等列明场景。
AI系统符合第6(1)条产品路径的两个条件,或者属于附件三列明用途且不适用下文所述有限例外的,应被认定为高风险AI。判断的关键不是AI采用何种技术或应用于哪个行业,而是其预期用途、具体功能、可能造成的影响,以及法律规定的合格评定要求。
产品路径:附件一
根据附件一所列产品法规,结合“安全功能”和“第三方合格评定”进行判断。
无论AI系统是随产品一同上市,还是作为独立软件单独提供,只要同时满足以下两个条件,就属于第6(1)条规定的高风险AI:
条件一:AI是受监管产品或其安全组件
AI系统必须符合下列情形之一:
- AI系统本身是附件一所列欧盟协调立法覆盖的产品;或者
- AI系统被预期用作该产品的安全组件。
例如,符合医疗器械定义的AI诊断软件,可能是受监管产品本身;汽车自动紧急制动系统中的AI,则可能是车辆的安全组件。
仅用于非安全性质的用户辅助、性能优化、服务效率、自动化、便利功能或质量控制的AI,原则上不属于安全组件。但是,如果这类AI的失效或故障会危及健康与安全,它仍然属于安全组件。
条件二:产品必须接受第三方合格评定
相关产品或者作为产品的AI系统,必须依据相应的附件一法规,在上市或投入使用前接受第三方合格评定,而不是企业自愿进行的普通外部审计。
第三方合格评定由独立的合格评定机构实施,可能包括测试、认证、检查等活动。经成员国主管机关指定并正式向欧盟通报、获准执行特定合格评定任务的机构,称为公告机构。
“第三方合格评定”不等于所有情况下都必须采用同一种认证程序。具体采用何种程序,应依照相关产品法规和《AI法案》第43条确定。如果产品仅因健康安全以外的风险而需要第三方合格评定,例如无线电频谱分配或者不影响健康安全的电磁干扰,就不满足第6(1)(b)条的条件。
上述两个条件必须同时成立:第一,AI系统本身是附件一法规覆盖的产品,或者被预期用作该产品的安全组件;第二,相关产品依据附件一法规,在上市或投入使用前必须接受符合第6(1)(b)条规定的第三方合格评定。
AI属于附件一产品或安全组件,但相关产品无须接受第三方合格评定的,不能仅通过第6(1)条产品路径被归类为高风险AI。举例如下:
产品属于医疗器械、机械、汽车、玩具等附件一领域,并不意味着其中使用的所有AI都自动属于高风险。仅用于用户辅助、性能优化、提高服务效率、一般自动化、便利功能或非安全性质量控制的AI,原则上不属于安全组件;但是,如果这类AI发生故障仍可能危及健康或安全,就不能仅凭“辅助”或“优化”的名称排除其安全组件属性。
因此,判断重点不是企业所属行业,也不是AI是否嵌入实体设备,而是AI的预期用途、在产品中的具体功能、失效可能造成的后果,以及相应产品是否依法必须接受第三方合格评定。
真正的判断核心
判断附件一产品中的AI是否属于高风险,不能只问:这家公司是否生产医疗器械、汽车、玩具或机械?
真正需要回答的是:
- AI的预期用途是什么?
- AI本身是否是附件一法规覆盖的受监管产品?
- 如果AI不是产品本身,它是否承担防止或减轻健康、安全风险的功能?
- AI的失效或故障是否会危及人员健康与安全或财产安全?
- 相关产品是否必须接受第三方合格评定?
- 第三方合格评定是否由健康与安全风险触发?
最终决定AI是否属于高风险的,不是企业名称、行业标签,也不是产品中是否出现了AI,而是AI的预期用途、具体功能、失效后果以及相应产品的合格评定要求。
哪些AI可能属于产品型高风险AI
可能满足《AI法案》第6(1)条条件的例子包括:
- 本身符合医疗器械定义,并用于疾病诊断或辅助诊断的AI软件;
- 控制手术机器人运动或手术操作的AI系统;
- 如果AI不是产品本身,它是否承担防止或减轻健康、安全风险的功能?
- 汽车中的自动紧急制动或其他安全控制AI;
- 电梯中负责危险检测、故障响应或紧急停止的AI系统;
- 工业机器人中负责人员检测、防碰撞或紧急停止的AI系统;
- 在防爆设备、压力设备等产品中监测安全参数,并在异常情况下发出警报或关闭设备的AI系统。
- 第三方合格评定是否由健康与安全风险触发?
这些AI可能直接参与临床判断、产品安全或物理控制。系统一旦失效或发生故障,可能危及人员健康与安全或财产安全。
哪些AI通常不能通过附件一路径成为高风险AI
机械、汽车或医疗器械企业使用下列AI,通常不会仅因企业所处行业而成为产品型高风险AI:
- 生成营销文案;
- 预测市场需求;
- 安排销售人员日程;
- 整理一般客户咨询;
- 优化与安全无关的用户界面;
- 提供不会影响产品安全的便利功能。
这些AI通常既不是附件一法规覆盖的产品本身,也没有承担产品的安全功能。
用途路径:附件三
第二条是用途路径:根据AI的预期用途是否落入附件三列明的具体高风险场景进行判断。
第6(2)条及附件三列出了八个领域中的特定高风险用途。附件三是“用途清单”,不是“行业清单”;只有预期用途与具体场景相匹配的AI才可能属于高风险,同一领域中的其他AI不会自动被归类为高风险。以下为《AI法案》附件三——高风险AI用途清单:
| 领域 | 典型高风险AI用途 |
|---|---|
| 生物识别 Biometrics | 法律允许的远程身份识别(remote biometric identification)、特定生物特征分类(biometric categorisation)与情绪识别(emotion recognition);仅确认声明身份的一对一验证不属于该远程识别项目,例如手机人脸解锁。 |
| 关键基础设施 Critical infrastructure | 作为关键数字基础设施、道路交通或水、气、热、电供应管理运行中的安全组件。 |
| 教育与职业培训 Education and vocational training | 录取或分配、学习结果评估、教育层级评判,以及考试违规行为监测。 |
| 就业与劳动者管理 Employment and workers' management | 招聘与选拔:预期用于招聘或选拔自然人的 AI 系统,特别是用于投放定向招聘广告、分析和筛选求职申请,以及评价候选人的系统。 工作关系与人员管理:决定工作关系中的相关条件、作出晋升决定,或决定是否终止与工作有关的合同关系;根据个人行为、个人特质或特征分配任务;或者监测和评价相关人员的工作表现与行为的 AI 系统。 应用示例:招聘聊天机器人如果用于分析、筛选或评价候选人,应核查上述高风险分类规则;如果仅回答职位信息或安排面试,不能仅凭“招聘聊天机器人”这一名称作出分类判断。直接与自然人互动时,还应另行核查第 50 条的告知要求。 |
| 基本私人和公共服务 Essential private and public services | 评估公共援助资格、个人信用评估、寿险与健康险风险评估及定价、紧急救援调度;金融欺诈检测有明确例外。 |
| 执法 Law enforcement | 法律允许的AI系统用途:评估自然人成为犯罪行为受害者的风险、测谎仪或类似工具、在刑事犯罪调查或起诉过程中证据可靠性评价、评估特定犯罪风险和特征、或在执法过程中对自然人画像等。 |
| 移民、庇护与边境管控 Migration, asylum and border control | 主管机关使用AI系统用于:测谎仪或类似工具、评估拟进入或已进入成员国领土的自然人所构成风险、庇护及签证申请审查辅助、检测识别或辨认自然人等。 |
| 司法与民主进程 Justice and democratic processes | 旨在协助司法机关调查和解释事实和法律,并将法律应用于具体事实,或以类似方式用于替代性争议解决; 旨在影响选举结果、投票行为。 |
附件三的有限例外:附件三所列AI系统如果不会对自然人的健康、安全或基本权利造成重大伤害风险,包括不会实质影响决策结果,并且属于下列情形之一,提供者可以经评估认定其不属于高风险:仅执行狭窄的程序性任务(narrow procedural task);改进此前已经完成的人工活动结果;检测决策模式或与既有决策模式的偏差,但无意在未经适当人工复核的情况下取代或影响此前完成的人工评估;或者执行附件三用途评估所需的准备性任务。提供者应在系统上市或投入使用前记录该项评估(document its assessment),并依照第49(2)条履行注册义务(registration obligation)。但是,对自然人实施画像的附件三AI系统始终属于高风险,不得适用上述例外。
合规提示: 高风险不等于禁止使用。AI系统被认定为高风险后,提供者、部署者及其他相关主体应根据各自角色履行相应义务。不同类型的高风险AI适用的合格评定程序(conformity assessment procedure)并不相同:部分系统可以采用内部控制程序,部分系统则需要公告机构(notified body)参与第三方合格评定(third-party conformity assessment)。具体应依照第43条完成适用于该系统的合格评定程序(conformity assessment procedure)。
三、有限风险:透明度义务
“有限风险”是常用概括,并非《AI法案》正式定义的独立风险类别;这里主要指第50条透明度义务所覆盖的系统。以下是一些可以归为有限风险的典型情形,前提是该系统没有同时落入禁止或高风险用途。
| 系统或用途 | 为什么属于有限风险 | 主要义务 |
|---|---|---|
| 普通客服聊天机器人 | 直接与自然人交互,但不参与招聘、贷款、福利等高风险决定 | 原则上告知用户正在与AI交互;根据具体情形和使用上下文,用户已经明显知晓时除外。 |
| AI虚拟助手、AI代理、虚拟人物 | 与人进行直接双向交流 | AI身份告知 |
| 普通图像生成器 | 生成合成图像,但用途本身不是高风险 | 输出采用机器可读标记 |
| 普通音频、视频或文本生成系统 | 生成或操纵合成内容 | 输出可被检测为AI生成或操纵 |
| 深度伪造内容 | 内容逼真地模仿真实人物、物体、地点或事件 | 发布时披露经过AI生成或操纵 |
| 自动生成并发布公共利益信息的系统 | 向公众发布公共利益文本,且没有充分的人工审查或编辑责任 | 部署者应披露文本由AI生成或操纵;已经过人工审查或编辑控制,并由自然人或法人承担编辑责任的除外。 |
| 普通AI娱乐角色或陪伴机器人 | 与用户互动,但不作高影响决定 | 重点核对AI交互告知义务,并检查个人数据保护、消费者保护等其他适用要求。 |
有限风险重点关注透明度,这些义务不能简单合并成一句“所有 AI 内容都必须加水印”。机器可读标记主要是提供者义务;深度伪造和公共利益文本披露主要是部署者义务。每项义务还各有适用条件和例外。
四、最低或无风险:其他合规要求
用于普通垃圾邮件过滤或游戏角色行为的 AI,通常不因这些用途触发高风险制度。但“最低风险”不是监管机构颁发的通行证,也不代表产品没有任何风险。
企业仍应检查AI素养、个人数据保护、消费者保护、版权和产品安全等适用要求。按照现行第4条,提供者和部署者应采取措施,支持其员工以及代表其操作或使用AI系统的其他人员发展AI素养。例如,把客户邮件交给AI进行分类,可能不属于高风险用途,却仍需评估个人数据处理和供应商安排。
通用人工智能模型(GPAI)
通用人工智能模型有单独的监管规则。欧盟《人工智能法案》第五章规定了模型提供者的义务,并对具有系统性风险的通用人工智能模型提出额外要求。对于基于这些模型开发的 AI 系统,仍需结合具体用途,分别判断是否涉及禁止实践、高风险要求或透明度义务。
应用场景与分类示例
以下是帮助理解条文的假设场景,不是针对具体产品作出的法律结论。系统的实际功能、预期用途和部署方式变化后,判断也需要重新检查。
| 产品或用途 | 初步判断 | 需要追问的问题 |
|---|---|---|
| 电商售前客服 | 通常先检查透明度 | 是否仅回答商品问题,还是参与信用、保险或其他重大资格判断? |
| 招聘简历筛选 | 通常进入高风险核查 | 是否分析、过滤或评价候选人?人工复核不自动改变分类。 |
| 员工情绪监测 | 先检查禁止规则 | 是否基于生物特征推断情绪?是否确属法定医疗或安全例外? |
| 手机人脸解锁 | 不自动归为高风险 | 是否仅做一对一身份验证?是否另含身份搜索或敏感属性推断? |
| 医疗诊断 | 检查产品高风险路径 | 是否属于受规管医疗器械,并依法需要第三方合格评定? |
| 个人贷款信用评分 | 通常进入高风险核查 | 是信用评价,还是仅用于金融欺诈检测? |
| AI 视频与虚拟人物 | 检查透明度及禁止边界 | 是否属于深度伪造、直接人机互动,或触及特定禁止内容? |
| 普通垃圾邮件过滤 | 通常为最低风险用途 | 是否扩展到员工评价或其他敏感决策?是否涉及个人数据处理? |
企业内部可以按以下顺序整理判断记录:先确认是否属于 AI 系统及法案适用范围,再筛查禁止用途,随后检查两条高风险路径,并独立核对透明度义务。最后明确自己是提供者、部署者、进口商还是分销商,以及其他法律是否同时适用。
建议至少记录六项信息:产品及版本、预期用途、用户与受影响人群、输入和输出数据、结果如何影响决策、人工介入方式。把每个判断与具体功能、条文和证据对应,能让研发、业务及法律团队围绕同一事实讨论。
适用日期与过渡安排
“属于哪一类”与“哪些义务已经适用”是两个问题。下面列出与本文相关的主要节点;既有系统、特定运营主体及其他过渡情形仍需单独核对。
| 事项 | 主要适用日期 |
|---|---|
| 原有禁止实践 | 2025 年 2 月 2 日 |
| AI 素养 | 2025年2月2日;修订后的第4条自2026年7月27日起生效 |
| 第 50 条透明度义务 | 2026 年 8 月 2 日;部分在此前上市的系统,其第 50 条第 2 款标记义务过渡至 2026 年 12 月 2 日。 |
| 新增特定合成内容禁令 | 2026 年 12 月 2 日 |
| 附件三 高风险主要要求 | 2027 年 12 月 2 日 |
| 附件一 产品路径高风险主要要求 | 2028 年 8 月 2 日 |
对于正在准备欧洲上线的产品,实用的起点是选定一个具体使用场景,形成可解释的分类记录,再据此安排产品调整、透明度设计、数据保护评估和资料准备。范围清楚后,才能合理估算实施工作量。
官方参考资料
以下链接供进一步核查。本文中文表述为解释性概括;具体判断以适用法规及产品事实为准。
5. 《欧盟人工智能法案》第50条——特定AI系统的透明度义务
8. 法规 (EU) 2026/1744——关于简化AI协调规则实施的2026年修订法规
9. 欧盟委员会:关于《AI法案》第50条透明度义务、适用日期及过渡期的问答
第2—7项链接均为《AI法案》经2026年修订后的最新条文。
有具体的合规问题吗?欢迎咨询!
若贵公司在拓展或运营欧洲业务时,遇到隐私与数据保护、客户合规审查、认证准备或产品准入等合规问题,欢迎联系我们。我们将结合贵公司的业务与产品情况,协助梳理相关要求,明确准备事项,为后续合规工作提供支持。
联系 BEPSUN此处指远程生物特征身份识别系统:在自然人无需主动参与的情况下,通常从一定距离将其生物特征数据与参考数据库中的数据进行比较,以识别其身份的 AI 系统。
此处指生物特征分类系统:根据自然人的生物特征数据,将其归入特定类别的 AI 系统;作为其他商业服务的附属功能,且基于客观技术原因严格必要的情形除外。
指利用个人数据,通过自动化处理评价自然人的某些个人方面,尤其是分析或预测其工作表现、经济状况、健康、个人偏好、兴趣、可靠性、行为、位置或行踪。《AI法案》第3条第(52)项援引《通用数据保护条例》(GDPR)第4条第(4)项的定义。
指由 AI 生成或操纵的图像、音频或视频内容,其与现实中的人物、物体、地点、实体或事件相似,并会使人误以为是真实或属实的内容。
指提供基本服务所必需的资产、设施、设备、网络或系统,或者其组成部分。《AI法案》第3条第(62)项援引指令(EU)2022/2557第2条第(4)项的定义。
指通用人工智能模型的高影响能力所特有的风险:因模型的覆盖范围,或其对公共健康、安全、公共安全、基本权利或整个社会实际或可合理预见的负面影响,对欧盟市场产生重大影响,并可沿价值链大规模传播。
指自行开发或委托开发 AI 系统或通用人工智能模型,并以自身名称或商标将其投放市场,或将 AI 系统投入使用的自然人、法人、公共机关、机构或其他组织,无论是否收费。
指供应链中除提供者或进口商以外,在欧盟市场供应 AI 系统的自然人或法人。供应包括在商业活动中提供系统供分销或使用,无论是否收费。
是指产品或人工智能系统中履行安全功能的组件,或者其故障或失灵会危及人身或财产的健康和安全的组件;就本定义而言,组件履行安全功能的前提是其预期用途是防止或减轻对人身或财产的健康和安全的风险。
指理解和适当使用 AI 所需的知识与能力,包括了解其用途、局限及潜在风险。提供者和部署者应结合人员背景、使用场景及受影响人群,采取培训、操作指导等措施支持相关人员提升素养,但不要求保证每个人达到特定水平。
由独立于提供者的合格评定机构实施的评定活动,包括测试、认证和检查等。第6(1)条分类条件由相关产品法规判断;分类后的实际合格评定程序由第43条及相关产品法规确定。
经成员国主管机关指定,并正式向欧盟委员会及其他成员国通报、获准执行特定合格评定任务的合格评定机构。并非所有合格评定机构都是公告机构;只有经过正式指定和通报的机构,才是“公告机构”。
功能范围有限、主要执行特定程序步骤的任务,不会对最终决策结果产生实质影响。法条本身没有给出更具体的定义。
提供者认为附件三系统不属于高风险时,应在系统上市或投入使用前记录判断依据,并在主管机关要求时提供该文件。比“书面评估”更贴近法条。
提供者应按照第49(2)条,将其自身及相关AI系统的信息登记到欧盟数据库(第71条说明)中。
用于证明AI系统是否符合《AI法案》要求的法定评估程序;可能采用内部控制,也可能需要公告机构参与。