当AI“一本正经胡说八道”……

    当前，AI正赋能千行百业，为人们的工作、学习、生活带来极大便利。与此同时，不少人发现，用AI搜索数据，给出的内容查无实据，甚至凭空捏造；用AI辅助诊疗，出现误判干扰正常治疗……AI频频上演“一本正经胡说八道”。

    今年2月，清华大学新媒沈阳团队发布的报告指出，市场上多个热门大模型在事实性幻觉评测中幻觉率超过19%。

    AI幻觉为什么会发生

    受访专家认为，AI幻觉的背后存在多重因素。

    ——数据污染。AI“养成”过程中，数据“投喂”是关键环节。研究显示，当训练数据中仅有0.01%的虚假文本时，模型输出的有害内容会增加11.2%；即使是0.001%的虚假文本，其有害输出也会相应上升7.2%。

    奇安信集团行业安全研究中心主任裴智勇解释说，人工智能大模型需要海量数据，训练数据来自开源网络，难免会错误学习一些虚假、谬误数据，还有一些不法分子会恶意进行“数据投毒”。

    “如果把AI比作一个学生，数据污染就像是给学生看了错误的教科书，自然会导致‘胡说八道’。”暨南大学网络空间安全学院教授翁健说。

    ——AI本身“认知边界模糊”。翁健认为，人类智能的一个重要特征是“元认知”能力——知道自己懂什么、不懂什么，而当前AI技术架构缺乏这种自我认知机制。

    翁健解释称，AI可以博览群书，但并不一定理解书里的内容，只是根据统计规律把最有可能的词语组合在一起，在准确评估自身输出的可信度方面尚存盲点。

    ——人为调校和干预。在中国通信学会数据安全专业委员会副主任委员左晓栋看来，相较于事实真相，AI更在意自己的回答是否契合用户需求，从而导致AI有时为了“讨好”用户而编造答案。

    “针对不同需求，AI的训练、打分方式也不同。”一位从事大模型训练的技术人员说，当面对写作等创意性需求时，偏理性的事实严谨在打分系统中占比相对较低，偏感性的词语优美、富有感情色彩等占比更高。“所以可能会出现一篇辞藻华丽但词不达意的文章，里面内容甚至与事实相悖。”

    多方合力减少AI幻觉

    第55次《中国互联网络发展状况统计报告》显示，截至去年12月，有2.49亿人使用过生成式人工智能产品，占整体人口的17.7%。受访专家表示，应通过多方合力应对AI幻觉带来的风险挑战。

    今年4月，中央网信办印发通知，在全国范围内部署开展“清朗·整治AI技术滥用”专项行动，训练语料管理不严、未落实内容标识要求、利用AI制作发布谣言等均为整治重点。

    “可靠、可信、高质量的数据对降低AI幻觉非常重要，应优化人工智能的训练语料，用‘好数据’生成‘优质内容’。”左晓栋认为，可以加快推动线下数据电子化，增加“投喂”的数据量；同时探索建立具有权威性的公共数据共享平台，“各大厂商也应加强优质数据筛选，提升训练准确性”。

    多家主流人工智能厂商已经采取措施，从技术层面减少AI幻觉发生。

    豆包升级深度思考功能，由先搜后想变为边想边搜，思考过程中可以基于推理多次调用工具、搜索信息，回复质量明显提升；通义千问在20多个通用任务上应用强化学习，增强通用能力的同时纠正不良行为；元宝持续扩充引入各领域的权威信源，在回答时交叉校验相关信息，提高生成内容的可靠性。

    翁健建议，建立国家级人工智能安全评测平台，就像生物医药新药上市前要做临床试验一样，大模型也应该经过严格测试；同时，相关平台加强AI生成内容审核，提升检测鉴伪能力。

    左晓栋等专家提示，可以通过改进使用方式，如给出更加明确的提示词、限定范围等避免AI幻觉。“无论是工作、学习还是生活，现阶段的人工智能还不能全面替代人类的认知和创造能力，大家在使用AI时要保持怀疑态度和批判思维，不过度依赖AI给出的回答，多渠道验证核查。”

    （《新华每日电讯》10.13 颜之宏 胡林果）