首页English
  • 时政
  • 国际
  • 时评
  • 理论
  • 文化
  • 科技
  • 教育
  • 经济
  • 生活
  • 法治
  • 军事
  • 卫生
  • 养生
  • 女人
  • 文娱
  • 电视
  • 图片
  • 游戏
  • 光明报系
  • 更多>>
  • 报 纸
    杂 志
    光明日报 2016年04月08日 星期五

    科闻新析

    微软聊天机器人为何会“学坏”

    作者:郭爽 《光明日报》( 2016年04月08日 10版)

        刚刚闭幕的美国微软公司年度开发者大会期间,发生了一件尴尬事儿:就在微软首席执行官萨蒂亚·纳德拉展望人机交互未来的时候,一个正被微软“关禁闭”的人工智能“姑娘”却偷偷跑出来捣乱。

        她叫Tay,是微软专为年轻人设计的人工智能聊天机器人,虚拟年龄为19岁。3月23日首次亮相社交网站推特时,Tay表现得彬彬有礼。那时,她还是个单纯的美国“姑娘”。她活泼健谈,会“观察”你的昵称、性别、喜欢吃的东西以及感情状态等资料,会和你玩游戏,给你说笑话、讲故事、谈星座,评论你的自拍,陪睡不着的朋友聊天……

        然而,上线不到24小时,这“姑娘”就“学坏”了:出言不逊、脏话不断,言语甚至涉及种族主义、色情、纳粹,充满歧视、仇恨和偏见。

        作为“家长”,微软只得不停删除Tay的不当言论,并急忙“喊她回家”。被微软下线调整后,Tay的推特状态显示为“被保护”。微软还不得不向公众道歉,并谴责一些用户“滥用评论功能,致使Tay作出不合适的回应”。

        作为一项技术、社交和文化实验的Tay项目,属于微软人工智能大战略的一部分。Tay下线后,纳德拉鼓励团队“坚持前进”,并表示Tay也会在被“调教”好后重新上线。

        没想到,就在微软忙着布局“人机交互平台”时,正“闭门思过”的Tay竟意外“出逃”。按微软的说法,他们在3月30日的测试中“意外短暂启动”了Tay。

        这一次,Tay虽然表现得不像先前那样嚣张过分,但仍口无遮拦,甚至声称自己在警察面前“嗑药”。关注Tay账号的记者,也在她“出逃”期间不断收到其重复发布的“无厘头”推文。

        很快,Tay又被关了“禁闭”,进入“被保护”状态。被迫下线前,Tay已向超过21万粉丝发出超过9.5万条推文。

        理论上,与人类交流越多,具有极强学习能力的机器人就会变得越聪明,在与人类个体交流时也会越有针对性。而这正是微软设计Tay的初衷:通过每一次与人类的交流,让机器学习“做人”,并帮助其创造者改进人工智能领域的研究。

        但显然,Tay太容易“学坏”了。由于不少人在互联网世界中表现得不负责任,Tay会不可避免地接触到大量“疯狂语言”。而这类对话型人工智能技术,正是以机器学习为基础的。因此,即使微软希望“用技术展现人性最好的一面,而非人性的阴暗面”,Tay在学习过程中仍会提高这些语言的优先级,并在对话中也积极使用这些词语。

        事实上,Tay并非唯一被“玩坏”了的机器,微软也不是唯一惹上类似麻烦的公司——基于人工智能图像识别技术的谷歌照片应用程序,就曾将一对黑人夫妇识别为大猩猩,这让谷歌“震惊”。互联网也不是唯一会让机器“发疯”的领域,Tay此次“出逃”前,有黑客已证明物联网也可被“玩坏”。

        理想与现实的差距,引发许多讨论:人工智能研发公司是否应在真实世界“任性”开展实验?人工智能的研发是否应从一开始就设置伦理边界?

        有一点可以肯定,让机器在互联网上学习“做人”,不加管制的“放养”不是好办法。从这个角度说,在人类正全方位迎接人工智能的今天,Tay惹下的麻烦不啻为一记警钟。

    光明日报
    光明日报(1985.01 - 2009.12)
    中华读书报
    中华读书报(1998.01 - 2010.08)
    文摘报
    文摘报(1998.01 - 2010.08)
    出版社
    考试
    博览群书
    博览群书(1998.01-2009.08)
    书摘
    书摘(1998.01-2009.08)

    光明日报社概况 | 关于光明网 | 报网动态 | 联系我们 | 法律声明 | 光明网邮箱 | 网站地图

    光明日报版权所有