一键终止:让人工智能更安全

　　开发“阿尔法狗”的人工智能专家洛朗·奥叟和牛津大学人类未来研究所专家斯图尔特·阿姆斯特朗，日前发文称，其正在研发可以关闭人工智能的“一键终止”开关，预防机器人失控的危险。

　　论文说，人类控制者需要一个“红色大按钮”来终止机器人等人工智能的危险行为。这个按钮的核心是让人工智能永远都无法学会去抵抗人类按下“一键终止”按钮。

　　人工智能“一键终止”按钮涉及机器学习中的强化学习过程。强化学习的微妙之处在于，人类程序员不可能总是判断出人工智能程序认为是胜算最高的一步;人工智能可能发现一些“捷径”，而这些捷径可能给人类带来不想看到的结果。另外，阿姆斯特朗曾表示，人类语言可能被人工智能误读。一条“阻止人类继续承受痛苦”的指令，可能会被人工智能解读为“杀掉所有的人类”，而“保证人类安全”的指令也可能让机器人把所有人禁闭起来。

　　“一键终止”按钮需解决的关键问题在于如何让机器人认为“终止”只是一次性行为，人类的“关机”行为不会在人工智能的强化学习过程中产生任何印记，人类的终止指令是无害、中性的，是自身策略的结果。(《光明日报》6.10李宓)