2026年10月14日 Wed

《人工智能安全治理框架3.0》最大的升级亮点,是贴合当前AI从‘被动应答’向‘主动执行’的能力跃迁,重构了更贴合新业态的风险识别体系。框架跳出单一技术漏洞排查的传统思维,立足人工智能全生命周期运行逻辑,将安全隐患凝练为内生、应用、衍生三大风险层级,形成由内到外、从技术到社会的全覆盖风险体系,为行业精准治险、科学防控提供清晰指引。

从“被动应答”到“主动执行”:AI安全治理3.0读解

《中华读书报》(2026年10月14日 18版)
s
18版:电脑书城
中华读书报 2026年10月14日 Wed
2026年10月14日

《人工智能安全治理框架3.0》最大的升级亮点,是贴合当前AI从‘被动应答’向‘主动执行’的能力跃迁,重构了更贴合新业态的风险识别体系。框架跳出单一技术漏洞排查的传统思维,立足人工智能全生命周期运行逻辑,将安全隐患凝练为内生、应用、衍生三大风险层级,形成由内到外、从技术到社会的全覆盖风险体系,为行业精准治险、科学防控提供清晰指引。

从“被动应答”到“主动执行”:AI安全治理3.0读解

  近年来,我国人工智能产业进入技术爆发与场景普及的双重提速期,产业规模持续扩容、应用深度持续攀升,已成为赋能新型工业化、培育新质生产力的核心支撑。为适配产业快速发展节奏,国家持续完善智能化、数字化治理体系,2026年下半年密集出台网信高质量发展、数字化绿色化协同转型、“人工智能+软件”专项行动等配套政策,持续夯实产业发展底座。尤其在9月网络安全宣传周期间,《人工智能安全治理框架3.0》正式发布,针对智能体自主决策、人机深度交互等新业态补齐治理短板,标志着我国AI治理正式迈入新阶段。

  从产业态势来看,我国AI技术迭代速度、场景落地数量、专利保有量持续领跑全球,智能技术全面渗透民生、工业、公共治理等领域。但技术快速普及也带来风险迭代升级,传统的数据泄露、算法不公等老问题尚未根除,智能体越权操作、深度伪造滥用、模型失控等新型风险持续涌现,风险的隐蔽性、传导性、复合性显著增强。在技术创新加速向前的背景下,构建匹配产业节奏的现代化安全治理体系,实现发展与安全动态平衡,是我国人工智能产业高质量、可持续发展的时代刚需。

  基于3.0框架的AI安全风险体系

  《人工智能安全治理框架3.0》最大的升级亮点,是贴合当前AI从“被动应答”向“主动执行”的能力跃迁,重构了更贴合新业态的风险识别体系。框架跳出单一技术漏洞排查的传统思维,立足人工智能全生命周期运行逻辑,将安全隐患凝练为内生、应用、衍生三大风险层级,形成由内到外、从技术到社会的全覆盖风险体系,为行业精准治险、科学防控提供清晰指引。

  第一是模型内生风险,属于人工智能的“原生短板”。这类风险根植于算法架构、训练数据与模型迭代本身,并非外部攻击导致,而是技术发展过程中天然存在的缺陷。训练数据的偏差、污染与缺失会直接造成模型认知偏差;算法结构的局限性容易引发结果幻觉、判断失误;模型价值对齐不足、开源组件自带隐性漏洞,则会导致智能系统决策失准、运行不稳——这些是所有安全问题的底层根源,也是制约AI可信应用的基础瓶颈。

  第二是场景应用风险,是3.0框架重点迭代的新型风险,聚焦AI智能体新业态。随着具备自主规划、工具调用、闭环执行能力的智能体广泛落地,传统固定指令式AI的安全规则已然失效。智能体拥有自主决策权限,极易出现权限过度开放、跨域越权操作、自主行为失控等新问题。同时,提示词注入、人机交互漏洞、关键场景不规范部署等实操风险频发,成为当前产业落地最突出的安全痛点,也是治理监管的核心重点。

  第三是社会衍生风险,属于技术滥用带来的外延式风险。人工智能技术的普及降低了数字技术使用门槛,也让恶意利用技术的成本大幅降低。不法分子可依托AI技术制作深度伪造内容、实施网络诈骗、发起智能化网络攻击,同时批量窃取个人隐私数据、操纵网络舆论。这类风险突破技术本身范畴,延伸至民生权益、市场秩序、公共安全乃至国家安全,传播范围广、社会危害大,是AI社会治理的关键难点。

  AI安全防控关键技术

  面对多层级、复合型的人工智能安全风险,单纯依靠制度约束难以实现有效防控,必须构建“技术筑基、主动防御、全程管控”的安全技术体系。当前AI安全领域已形成五大核心支撑技术,覆盖模型研发、数据治理、场景运行、内容管控、应急处置全链条,构建起适配新技术、新场景的立体化安全屏障。

  一是模型安全测评技术,聚焦破解内生风险难题。区别于传统单一漏洞检测,该技术通过全方位攻防测试、对抗性验证、多场景模拟测评,能够精准排查模型幻觉、算法偏见、隐性后门、价值错位等深层问题,从研发源头提升模型稳定性与可信度,筑牢AI系统的底层安全根基,是大模型、智能体上线落地的前置必备环节。

  二是全流程数据安全技术,守护AI数据源头合规。数据是人工智能训练迭代的核心资源,也是安全风险高发环节。该技术体系涵盖数据清洗脱敏、隐私安全计算、数据溯源审计、合规管控等能力,在保障数据要素高效流通、支撑模型迭代的同时,有效规避数据污染、隐私泄露、非法复用等问题,实现数据可用不可见、流转可溯源。

  三是智能体行为管控技术,针对性解决新型应用风险。该技术通过最小权限管控、权限隔离机制、全时段行为监测、异常行为自动拦截等手段,约束智能体自主决策边界,杜绝越权访问、工具滥用、自主失控等风险,让具备自主能力的智能系统“有权不越界、智能不任性”。

  四是AI内容溯源鉴别技术,遏制衍生滥用风险。针对深度伪造、AI造谣、虚假内容泛滥等问题,通过水印嵌入、全链路溯源、智能鉴别核验等技术手段,实现AI生成内容可追溯、可甄别、可追责,斩断虚假内容传播链条,规范AI内容生产与传播秩序,防范技术滥用带来的社会风险。

  五是安全态势感知与动态响应技术,实现风险前置防控。依托大数据与智能监测能力,对AI系统运行状态、网络攻击、异常行为进行全天候动态研判,实现风险提前预警、精准定位、快速处置,配套应急熔断、故障回滚机制,改变传统事后处置模式,构建起动态适配、随行伴跑的现代化安全防御体系。

  重点领域AI安全治理实践

  现代化AI安全治理坚持“因场景施策、分级分类管控”的核心思路。不同应用场景依据风险等级、影响范围、公共属性,建立差异化治理模式,其中民生服务、工业制造、公共治理三大高频场景的治理体系最为成熟,实现了安全治理与产业应用的精准适配。

  在民生服务场景,治理核心是守护群众权益、防范隐私与内容风险。当前智慧政务、智能客服、生成式便民工具广泛服务大众,存在隐私泄露、虚假内容推送、算法诱导、深度伪造诈骗等民生隐患。严格落实用户数据最小采集、全程脱敏,建立算法伦理审查与常态化内容审核机制,对AI生成不良信息、误导性内容实时拦截,同时完善内容溯源追责体系,全方位守护民众数字生活安全。

  在工业智能制造场景,治理核心是保障生产稳定、守住产业安全底线。工业AI质检、工业智能体、机器人作业等系统深度融入生产线,一旦出现模型故障、网络入侵、智能体越权操作,极易引发设备故障、生产停滞甚至安全事故。该场景落实工业AI设备登记备案制度,搭建专属工业安全监测平台,常态化开展安全测评与攻防演练,设置应急熔断机制,确保智能生产系统始终处于可控、可管、可溯源状态。

  在公共治理场景,治理核心是维护公共秩序、防范系统性风险。智慧城市管理、公共舆情研判、应急智能预警等AI系统,服务覆盖面广、社会影响力大,一旦失控极易引发公共安全问题。对此,行业实行分级精准管控,对高风险公共AI系统重点监管,覆盖研发、部署、迭代、下线全生命周期,严厉打击AI技术滥用扰乱公共秩序的行为,筑牢数字社会公共安全屏障。

  当前,人工智能深度赋能千行百业,持续重塑生产模式、服务模式与治理模式,为新质生产力培育、数字中国建设提供强大动能。但技术快速迭代伴随风险持续演化,模型固有缺陷、场景应用漏洞、技术滥用风险相互叠加,使得AI安全治理成为数字治理的重中之重,没有安全底线,就没有高质量发展。

  未来,我国人工智能领域需始终坚持“发展与安全并重、创新与规范并行”,持续攻坚核心安全技术,完善分级分类治理体系与行业伦理标准。随着治理体系持续完善、安全能力不断提升,人工智能将实现更加安全、规范、普惠、有序的发展,持续释放技术创新活力,为我国经济社会高质量发展保驾护航。

下一篇 返回目录

光明日报社概况 | 关于光明网 | 报网动态 | 联系我们 | 法律声明 | 光明网邮箱 | 网站地图

光明日报版权所有