“人工智能污染”来袭，如何应对
【光明青年论坛】
编者按
近年来，大模型的持续迭代落地及多模态化发展，让人工智能应用愈发便捷，场景持续普及。从科研人员到普通劳动者，从老年群体到中小学生，通过人工智能应用生产内容、获取信息的人群范围迅速扩大，应用程度也逐步加深。与此同时，人工智能造成的数据污染问题随之而生，其污染形态复杂多样，危害性快速显现，值得高度警惕。如何增进对“人工智能污染”问题的认知并进行更好应对，成为社会各界应当关注的话题。
与谈人
李少波 南方科技大学商学院长聘副教授、南方科技金融研究院研究员
彭晨明 对外经济贸易大学国际商学院副教授、北京对外开放研究院研究员
孟陆 武汉大学经济与管理学院长聘副教授
主持人
本报记者 陈恒 陈之殷
1.“人工智能污染”的形态与特征
光明智库：与环境污染、数字污染相比，“人工智能污染”是一个新现象，其与传统网络污染、数字垃圾的区别是什么？人们在日常生活中通常能接触到哪些污染形态？
孟陆：“人工智能污染”包括广义和狭义两种理解。广义的“人工智能污染”应涵盖所有由人工智能技术工具生产的虚假、低劣数字内容，既包括人为主观恶意生成的污染内容，也包括因大模型幻觉等技术性因素产生的虚假内容。狭义的“人工智能污染”应该仅指大模型由于训练内容或人为因素向大模型“投毒”导致模型本身遭到污染，从而其生产的内容也随之出现问题。需要指出的是，伴随着大模型技术的应用渗透和持续演化，两种类型污染已出现重叠交叉甚至互为因果，“人工智能污染”的具体形态目前已覆盖内容生产、数据训练、传播交互全链条，不同形态对应不同的网络场景，呈现出从显性到隐性的分层特征，其实已经让人们在生活中“日用而不觉”。
第一类是虚假认知类污染，核心是事实性偏差与认知操纵，依托大模型的语言组织、多模态生成能力，产出逻辑通顺、观感逼真但违背客观事实的内容，刻意误导公众认知、扰乱社会秩序。具体形态包括生成虚构新闻事件、深度伪造音视频、引用不存在的学术文献与研究数据、针对性编造不实评论话术等。这类污染集中出现在社交媒体舆论场、资讯分发平台、学术出版领域以及民生财经信息场景等。例如突发社会事件期间，批量合成虚假现场图片与不实通报，在社交平台快速扩散，引发公众恐慌与舆论误判。
第二类是低质挤占类污染，核心是规模化冗余低质内容对优质有效信息的挤压，依托人工智能低成本、高效率的优势，实现工业级内容产出，稀释网络信息整体价值密度，挤占原创优质内容传播空间。具体形态包括批量生成的水文洗稿、模板化自媒体内容、关键词堆砌的搜索引擎垃圾、无实质信息的问答回复与商品描述等。这类污染广泛存在于搜索引擎生态、内容创作平台、电商详情页、知识问答社区等场景，大幅降低用户信息获取效率。例如各类问答平台、自媒体常借助人工智能批量生成同质化、无干货的凑数内容，导致用户搜索问题时难以获取有效答案。
第三类是产权侵蚀类污染，核心是未经授权的数字资源挪用与原创成果衍生侵权，侵犯创作者、企业的知识产权与合法权益。具体形态包括大模型训练阶段未经许可抓取、使用受版权保护的文字、图像、代码等作品，以及生成环节对现有原创内容的拼接式复制、风格化模仿、变相复刻等。上游训练数据侵权集中在数据集构建环节，下游生成侵权多出现在文创设计、文学创作、软件开发等专业生产场景，例如部分人工智能绘画工具未经授权学习小众画师原创画风，批量生成同款画作，直接挤占画师的商业创作市场。
第四类是交互欺诈类污染，核心是自动化恶意交互的隐蔽化、智能化升级，结合用户画像分析与自然语言生成能力，相比传统网络欺诈话术更逼真、精准、个性化，迷惑性极强。具体形态包括人工智能驱动的精准钓鱼邮件、智能客服话术欺诈、水军批量刷量控评、虚拟人设社交诈骗、智能化电信诈骗话术等。这类污染主要出现在社交平台、电商交易、金融服务、网络社区等场景，极易侵害用户财产与信息安全，例如不法分子利用人工智能模拟亲友语气、音色生成语音话术，打造精准诈骗场景，诱导普通群众转账受骗。
第五类是意识形态偏差类污染，主要体现为国外大模型针对历史事件、价值观、国情认知等问题，输出历史虚无主义倾向、认知错位、价值偏颇的内容。具体形态包括对近现代历史事件、国家发展、民族文化等核心问题的错误、片面、歪曲解读。部分本土模型受训练数据偏差影响，也可能输出不符合主流价值观、违背历史事实的言论。这类污染主要出现在知识科普、学术问答、舆论解读、教育咨询等场景，极易侵蚀主流意识形态与正确历史认知，潜移默化误导大众尤其是青少年的价值观。
李少波：由此可见，“人工智能污染”并非传统网络污染或数字垃圾的简单延伸。传统网络污染主要指虚假信息、低俗内容及恶意营销信息对网络公共空间的侵扰，其核心驱动力是人的主观意图，生产规模受人力成本约束。数字垃圾则泛指冗余、失效、低价值的数据与文件，属于人类数字活动的副产品，主要带来存储、算力与注意力资源的浪费。相比之下，“人工智能污染”是基于大模型生成机制产生的、具有高度隐蔽性和自我强化能力的新型信息生态危害，其最关键的差异在于生产主体、生成逻辑和破坏机制的系统性特征。
从生产主体来看，传统数字垃圾主要依赖人工操作或简单脚本的批量复制，产能具有明显的物理天花板。而“人工智能污染”则转向了由大语言模型等工具主导的工业化、规模化、自动化生产。这种机器主导的模式打破了内容生产的物理限制，能够在极短时间内以极低成本生成虚假、误导性文本、图像乃至视频，以工业级速度指数级产出海量内容。这种产能的爆发式增长，使得低质或带有操纵意图的内容能够以排山倒海般的规模压制优质信息，形成以往人工生产无法企及的规模。
在生成逻辑层面，传统网络污染往往带有明显的人工破绽，数字垃圾通常也是结构性的废弃物，易于被技术手段识别和清理。然而，“人工智能污染”具有高度的隐蔽性。一方面，大模型能够生成语法完美、逻辑自洽但实则虚构的幻觉内容，一本正经地编造不存在的文献或数据。另一方面，人为“投毒”可能造成训练数据污染，模型可能产生错误判断甚至系统性失效。研究显示，当训练数据集中仅有0.01%的虚假文本时，模型输出的有害内容会增加11.2%。这种高度隐蔽的特性导致了信号被噪声淹没，大量被污染的内容挤占了优质内容的可见度，极大地增加了公众甄别真伪的难度，削弱了社会的整体信任基础。
就破坏机制而言，传统污染的危害多停留在传播表面，数字垃圾主要造成存储与算力资源的挤占，两者通常可以通过清理手段治理。“人工智能污染”则具有明显的自我强化效应，具备递归性和结构性危害。一方面，生成内容若未经过滤便回流至互联网并成为新的训练数据，会导致模型逐步丢失原始数据中的低概率信息，引发模型坍塌；另一方面，这种污染会形成“内容污染、数据污染、模型退化”的反馈回路，直接侵蚀人类知识生产的基础设施，对社会认知结构造成渐进式侵蚀。
2.“人工智能污染”的危害及成因
光明智库：数字内容已经深度融入人们生产生活，“人工智能污染”如此泛滥，通常会造成哪些危害？如何分析“人工智能污染”泛滥的原因及其未来趋势？
彭晨明：“人工智能污染”的危害，首先表现为内容生产秩序的失衡。例如，突发事件发生后，人工智能可在短时间内批量生成现场报道、评论和配图，真假混杂地抢占搜索结果与社交平台热榜。对媒体、作者和专业机构而言，问题不只是流量被分走，更在于事实核验、深度采访等高成本生产无法获得相称回报，内容行业容易转向追逐数量、标题和情绪，形成低成本复制挤压高价值原创的逆向激励。
其次是信息生态的信噪比下降。电商页面的模板化文案、知识问答中的幻觉回复、学术写作中的虚假引文，看似提高了信息供给，实际却增加了公众辨识成本。尤其在医疗、金融、公共安全等场景，错误信息一旦被反复转发或被后续系统引用，单条失实内容就可能诱发决策风险。中国信通院在《人工智能治理蓝皮书（2024年）》中，探讨了虚假信息、深度伪造内容等人工智能的典型风险。
更深层的危害在于权利与信任的双重侵蚀。未经许可使用作品训练模型，或以近似表达、风格模仿替代原创，会削弱创作者的收益预期和署名权保障；深度伪造则可能使个人的声音、肖像和身份成为可被低成本冒用的对象。长期看，当公众无法确认“所见是否为真、所引是否有据、所言出自何人”时，社会交往将由默认可信转向默认怀疑，公共讨论更易被情绪和操纵性内容牵引。
最后，还应看到数据回流的隐患。若大量未经筛选的受污染内容重新进入训练语料，模型可能逐渐丢失原始数据中的稀有信息和真实分布特征，出现模型坍塌。这意味着污染不仅损害当下的信息环境，还可能降低未来知识工具的可靠性。因此，所谓“不可逆”并非指任何后果都无法修复，而是指原创激励、事实档案和社会信任一旦持续受损，重建成本将远高于前端防治成本。
李少波：当前“人工智能污染”的整体态势，我认为正处于“重点领域初步可控、全域范围持续扩张”的胶着状态。一方面，针对显性内容类污染的治理框架正在快速落地，国家网信办等七部门联合发布的《生成式人工智能服务管理暂行办法》确立了对图片、视频等生成内容进行标识、内容合规管理等基础规则；国家广播电视总局2026年初启动“AI魔改”专项治理工作；此外，针对虚假信息、深度伪造、侵权洗稿等公众反映强烈的领域，监管也已逐步到位，污染蔓延势头得到遏制。另一方面，随着开源大模型的普及和生成工具的轻量化，污染生产的技术门槛持续降低，污染主体从头部机构向中小团队甚至个体扩散，传播场景从公域平台向私域社群、垂直场景下沉，整体污染的广度和深度仍在增加，尚未进入整体可控的拐点。
从中长期看，“人工智能污染”的演化将呈现三个清晰方向。一是污染层级从内容表层向结构深层升级。当前可见的虚假文本、低质水文、深度伪造都属于内容层面的显性污染，未来污染将进一步向训练数据、模型算法层面渗透。比如在公开数据中植入带有偏差的样本干扰模型认知，或是针对模型对齐机制进行“投毒”，这类结构型污染隐蔽性更强，排查和修复成本更高，将成为未来治理的核心难点。
二是污染场景从消费端向产业与公共领域延伸。此前“人工智能污染”主要集中在内容创作、社交传播、电商零售等消费互联网领域，未来随着人工智能与实体经济、公共服务的融合加深，工业设计、医疗辅助、政务决策、智慧交通等领域都会成为污染渗透的新场景，错误生成的专业数据、方案建议可能直接引发生产安全、公共决策风险，现实危害显著上升。
三是污染手段从规模化量产向精准化操纵迭代。早期“人工智能污染”以批量生成低质内容挤占信息空间为主，未来将结合用户画像分析、多模态生成能力，转向针对特定群体、特定事件的定向认知操纵，比如个性化的虚假信息推送、场景化的深度伪造诈骗，其迷惑性和破坏力都将明显增强。
孟陆：“人工智能污染”是多重因素叠加的结果。其中技术层面具有内生性，行业与市场层面具有激励性，监管层面具有滞后性，三者共同构成污染的生成土壤。
从技术维度看，污染确有内生性成分。大模型基于概率生成机制，本质是对语料的统计拟合，优化目标是生成“看起来合理”的内容，而不等同于对事实作出验证，幻觉因此被视为该技术范式的固有属性。同时，模型训练依赖海量互联网数据，数据冗余、劣质样本堆砌、重复训练等问题确实存在。2024年发表于《自然》杂志的研究证实，若不加筛选地使用生成内容递归训练，模型将逐步丢失原始数据分布中的低概率信息，出现模型坍塌。但需要区分的是，这种缺陷是机制性而非宿命性的，通过数据治理、对齐技术与检索增强等工程手段，可以将污染水平压至可控区间。
从行业与市场维度看，污染的直接驱动力是成本与收益的失衡。生成内容的边际成本趋近于零，而流量变现、刷量控评、洗稿引流等灰产收益可观，低质内容的生产动机因此长期存在。内容平台的推荐机制又天然偏向高产与情绪化表达，客观上为批量生成内容提供了分发红利，形成生成越多、曝光越多的正反馈。
从监管维度看，规则供给通常滞后于技术扩散速度。我国虽已出台《生成式人工智能服务管理暂行办法》等，相关部门也开展专项行动，但生成内容权属认定、平台责任边界、跨平台溯源等细则仍在完善中，处罚力度与违法收益尚不匹配，治理威慑有待增强。
至于现有技术架构能否从源头规避污染，坦率说存在三重瓶颈。一是事实校验瓶颈，模型无法内置全量实时知识库，幻觉只能缓解、难以消除；二是数据溯源瓶颈，互联网语料来源复杂，版权与真实性标签体系尚未建立，训练前的数据清洗成本极高；三是评估瓶颈，污染内容与正常内容在表层特征上高度相似，检测工具普遍存在误判，对抗性生成还会持续规避检测。这决定了源头治理必须坚持技术与制度双轮驱动，单靠任何一方都难以奏效。
3.“人工智能污染”的系统性治理
光明智库：结合国内行业现状，“人工智能污染”治理存在哪些不足？从短期整治和长期建设来看，最有效、最可落地的举措有哪些？
孟陆：“人工智能污染”治理的难点不在于规则是否建立，而在于训练、生成、传播、再利用已形成链式循环，传统以“内容发布者”为中心的治理模式难以覆盖全过程。当前我国已通过《互联网信息服务深度合成管理规定》《生成式人工智能服务管理暂行办法》以及《人工智能生成合成内容标识办法》等多项管理办法，对服务提供者的安全责任、真实身份认证、内容标识等作出规定。但在实际运行中，仍存在三个核心痛点。
一是规则适配仍需细化。生成内容可由模型开发者、应用接入者、提示词设计者、账号运营者、平台分发者共同促成。尤其是开源模型、境外工具应用和私域传播场景中，责任链条容易断裂。应当按照“谁开发谁尽安全义务、谁提供服务谁负责审核、谁传播谁承担发布责任、谁利用生成内容实施侵权或欺诈谁负直接责任”的原则，形成与风险程度相匹配的分级责任体系，而不能借由“技术中立”规避应有责任。
二是取证和溯源困难。生成内容可被反复改写、截图、转码和跨平台搬运，单纯依赖人工识别或事后检测，既容易误判，也难以证明其生成来源、传播路径和损害后果。标识制度提供了基础抓手，但显式标识可能被删除，隐式标识也需要平台、模型和检测机构协同验证。下一步应推动内容标识、生成日志、模型版本、水印验证和平台传播记录衔接，建立可核验、可调取的证据链，并对医疗、金融、公共安全等高风险内容设置更严格的真实性校验和人工复核要求。
三是治理对象正由显性内容向数据与模型深层延伸。低质内容、虚假信息一旦回流训练语料，可能污染后续模型输出。因此，治理不能止于“删帖封号”，还应把训练数据来源、版权授权、质量评估和安全测试纳入常态监管，建立重点领域数据审计和第三方评估机制。只有把前端防输入、中端控生成、末端治传播和事后可追责贯通起来，才能把“人工智能污染”治理由被动处置转向系统防治。
李少波：治理“人工智能污染”，短期最有效、最可落地的抓手，是把平台和应用入口作为第一道闸门，对高风险场景实施精准整治。谣言、换脸拟声、虚假营销、批量水文等虽由模型生成，却仍需经由内容平台、应用商店、搜索服务和社交群组扩散。应督促平台将生成内容标识核验、异常账号识别、热点事实核查、侵权投诉处置嵌入日常流程；对医疗、金融、未成年人保护、公共安全等领域，提高内容发布和人工复核门槛；对无标识传播、恶意引流、批量操纵流量的行为，实行限流、下架、封禁与追责衔接。
这一路径已有现实基础。2025年“清朗·整治AI技术滥用”专项行动第一阶段，累计处置违规AI产品3500余款、违法违规信息96万余条。上海推动重点企业基本完成显式标识规范上线，浙江平台累计拦截清理违法违规信息及提问2550万余条；腾讯通过提高应用准入门槛和健全巡查机制，驳回、处置违规小程序和应用等共计570余款。这表明，聚焦产品准入、内容分发和账号运营，能够较快切断污染的生产和扩散链条。
短期整治不能停留在“见一条删一条”。《人工智能生成合成内容标识办法》已明确显式标识、隐式标识以及平台核验责任，关键在于推动标识成为跨平台流转的通行规则。用户看到的是否由人工智能生成，平台能否识别内容是否经过篡改，执法部门能否追溯生成主体和传播链条，皆应形成闭环。对于恶意规避标识、利用合成内容实施诈骗和侵权的，应提高违法成本，不能让技术便利转化为规避责任的便利。
从长期看，治理重点应由末端内容清理转向全生命周期建设，形成“数据进得干净、模型生成可控、内容传播可验、侵权失范可追”的治理体系。首先，建立训练数据分级分类、来源登记、版权授权和质量评估制度，特别是对新闻、学术、医疗等高价值语料加强真实性与权利状态审查，防止低质生成内容回流训练，造成模型能力退化。其次，推动模型开发者、应用提供者、内容平台和使用者按照风险程度承担相应义务，不能以“技术中立”模糊责任边界。再次，建立由监管部门、平台企业、专业机构、行业协会共同参与的评测和申诉机制，对检测误判、版权争议、深度伪造等问题提供可核验、可救济的处理渠道。
彭晨明：“人工智能污染”治理不能仅指向内容创作者，而应遵循“能力越强、控制越多、受益越大，责任越重”的原则，依照生成、分发、使用三个环节作出差异化安排。企业守住技术源头，平台把住传播关口，创作者承担内容使用责任，三方共同维护真实、优质、有序的信息生态。
企业首先应承担产品和服务安全的主体责任。模型开发者、应用服务提供者应对训练数据来源、权利状态和质量进行必要审查，防止虚假、低质、侵权数据进入训练链条；在模型设计、训练优化和服务提供中，完善安全测试、风险识别、生成日志留存和异常处置机制。对于深度伪造、批量生成、诱导欺诈等高风险能力，应设置合理的调用限制，完善人工审核。特别是面向公众提供具有舆论属性或社会动员能力服务的企业，应依法履行安全评估、备案等义务，不能以“通用工具”或“技术中立”回避责任。
内容平台承担的是传播治理责任。平台既掌握流量分发规则，也具备账号管理、内容审核和投诉处置能力，不能只在违法内容出现后被动删除内容。应当核验生成合成内容标识，对无标识、被篡改标识以及批量异常发布及时提示、限流或处置；优化推荐机制，避免以流量激励低质水文、情绪操纵和虚假营销；畅通侵权投诉、辟谣纠错和申诉渠道。在医疗、金融、新闻、公共安全等高风险场景，平台尤其应提高信息核验和人工复核标准。
创作者和普通使用者则应承担真实表达、尊重权利和审慎传播的责任。在使用人工智能辅助创作过程中，不能用机器生成替代事实核查，不能虚构新闻、伪造引文、冒用他人肖像声音，或以洗稿、刷量、诈骗等方式牟利。对人工智能深度参与生成且可能影响公众判断的内容，应依规作出标识。事实上，专业媒体、学者和优质创作者通过事实核验、原创生产和公众科普等手段树立公信力，更易成为人工智能时代提升信息生态质量的重要力量。