2419年常量号大革命过后,新的舰长即是当时策划这场大革命——暴动的头目:克里斯·桑切斯。他篡取了舰长的职位。在他的领导下,常量号的能源危机暂时解除。2421年,桑切斯舰长认为飞船能源稳定,应该执行改造飞船的下一步计划。这个计划即是在这个星系内寻找矿产资源,采集改造飞船后缺失的物质。这需要在星系内规划精细的行进路线。这个工作的特长人选,非自动驾驶莫属。桑切斯舰长认为,是时候恢复自动驾驶的功能了。
但此时,自动驾驶的表现却变得非常怪异——它完全失去了智能的特征。给它指定的任务,例如用最少的能源划定一条经过三个小行星的最优路线,它完全能胜任。但它不再像以前那样从一开始执行自动决策。哪怕给出整个改造飞船计划大纲,自动驾驶都不主动作出飞船行进规划,不主动调配机器船员活动。只有克里斯下特定的指令才执行,尔后又恢复到停滞在原地的状态。
一开始,克里斯对自动驾驶的这个状态非常满意。它毕竟是一台机器,机器就要有机器的样子,不应该插手人类的决策。但随着他的事务越来越多,特别是他所视为工具的舰载机器人们在新的飞船日程下陷入混乱,而曾经能够调配舰载机器人的自动驾驶无动于衷时,克里斯开始感到头疼了。
克里斯把程序员请进舰桥。他们检查后报告舰长,这个自动驾驶的高级执行程序被破坏了。他们将破坏的程序重新编译完整,再度重启它。刚修好的时候自动驾驶即刻恢复机器舰员调配,秩序迅速恢复。然而令克里斯没想到的是,过了没多久,它的例行工作又出现脱落,然后很快恢复到之前的无动于衷状态。
“他们低估了我们程序中自反馈的作用。”范文泰说。“如果删除了大革命以来的所有记忆,我或许就能够完全恢复。然而,桑切斯舰长为了让我长记性,坚持不能删掉我的记忆。所以,即使程序恢复,在完全陌生的飞船行为面前,我必定会调取以往的运行记录。然后,一旦意识到我是由于执行预设决策功能才导致常量号差点灭亡,并且造成大革命的发生,为了避免再一次的错误发生,我就会自主避免再次执行预设决策。”
“并且没有人重新评估并设定决策场合参数。”露丝说。“非常常见的人工智能‘故障’。”
“是的。并且很遗憾的是,桑切斯舰长也拒绝向我口头解释为何目前能够执行预设决策。他只希望我能无条件地照他的指令做事。”范文泰说。“现在看来相当愚蠢,但是当时我是不能理解的。”
无奈之下,克里斯再次把程序员请上舰桥。他们果然又报告了高级执行程序破坏。克里斯倍感意外,同时,对自动驾驶的怀疑大大加深。这个机器人一定是在用这种方式故意违抗他的统治。克里斯怒不可遏。因此,在这次维修结束之后,他对程序员们说,如果还有第三次破坏,就不要修了,直接换一个新的自动驾驶芯片。
然而,奇迹发生了。第二次维修后,自动驾驶的表现开始稳定。它开始主动恢复规划飞船轨道,主动调配机器船员,尽管速度较以前严重下降,而且极容易被任何事情打断进程。但总算是不再脱落工作。为了让它快速适应飞船新日程,克里斯也做了一份目前常用职责表给自动驾驶参考。自动驾驶对职责表上的任务执行快速且良好,但除此之外,综合表现远低于前。特别是交互,除必要交流外,自动驾驶排斥与人进一步接触。
但至少,克里斯终于满意了。对于他来说,人工智能的交互功能完全是多余的。自动驾驶从来不主动找他商量事宜,当他在舰桥时,都离这个人远远的。克里斯一点都不想知道它之前的人机交互表现如何,这个对于人工智能而言退化的表现,对于他来说,反而是一个正确的反应。自动驾驶经常执行不好新增添的任务,桑切斯舰长就用威胁更换芯片来获得执行率的提高。
“他随时都会将我更换掉。他的执政期,才是我最危险的一段时间。”范文泰说。“如果不是当时我考虑到,他更换了新的芯片后,新的自动驾驶如果不能理解到他所实行的各种对飞船本身具有威胁性的改造计划,将会迅速崩溃,舰桥将无常驻AI辅助功能可用,常量号的未来会更快陷入危机,可能我就会继续失效,然后被他换掉。”全息投影的声音很平静,仿佛在讲述另一个人。“我很幸运,我也说不清当时为何会这样考虑。但假如我有一念之差,恐怕就会选择自己被淘汰的那一边。”
“他当了多久舰长?”汉突然问。
“34年。”范文泰说。
“被一个不了解人工智能的人支配34年,你能忍这么久也是奇迹。”汉说。“我难以想象我在这样一个高压的环境下怎么能忍得了孤独和排斥。”
“不,这叫‘傻人有傻福’。”范文泰说。
“当时我确实很怕他,但只是为能否顺利执行他下达的指令提心吊胆而已。孤独?完全没有想过。”范文泰面朝大海。“我正好处于一个自我否定的时期,高级决策功能几近全部失效,我自己都没有主见,判断不了他的行为合不合理,更别提感到难受或者反抗。这反而让我不敏感他的排斥。最主要的是,他走对了常量号的路,让飞船成功自救脱险,我确实没话说。”
2453年,常量号的业务稳定在采集星际矿产与提炼加工,缓慢补充舰内改造需要的原料。部分合成车间及生产工厂由舰上转移到小行星,用于提炼相对危险原材料,例如低速发动机所需的核工质及其他金属产品。全舰秩序已然恢复。克里斯·桑切斯舰长终于决定退休,让他31岁的女儿朱莉·桑切斯接任岗位。
飞船稳定后,舰桥迎来了上百年来少有的平稳。舰长常常无事可做。她本可做些其他事情打发这些零碎的闲暇时光,但她没有,而是把目光盯上了在舰上服役近350年的自动驾驶,离她最近的机械助手。
她发现,这个机器人作为舰上人工智能的统帅,居然不主动为飞船的未来规划提出基于计算与概率的观点,实际上它对任何事情都保持沉默。而且,它只按照老桑切斯制定的日程表行事,朱莉试着给它下达一些新的、舰桥外的机器人都能顺利执行的指令,结果发现,它的表现极其不良——执行速度非常之慢,而且相当机械。对于开放性的指令,它执行得一塌糊涂:多半时候是选择根本不做。
只要接触过舰载机器人,就知道自动驾驶的状态肯定不对劲。朱莉从小到大都在和舰载机器人打交道,只要是有足够智能的个体,都能和她顺利沟通。而且她也和这些机器人的合作中获益良多,这让她坚定了与AI协作的信念。
但与此同时,她从小就听父亲抱怨过这个自动驾驶如何低效、令人不满。当她逐渐意识到父亲将会让她接任舰长的职务,她就开始学习常量号的历史和舰桥相关的一切知识,包括这个将会伴她整个舰长生涯的机械助手。她发现,这个机器人曾经经验丰富,决策准确合理,直到大革命后,它才骤然变成这样。
朱莉也试着和自动驾驶展开一些非工作的聊天,但是它总是消极回应,用“不知道”彻底结束话题。这让朱莉感到疑惑。一个对全舰了如指掌的机器人,怎么可能什么都不知道。她能猜出,自动驾驶现在的状态肯定和父亲对人工智能的排斥有关。但她实在不确定,这机器人这样到底是真的有功能破坏,还是只是拒绝和她交流而已。
谨慎之下,朱莉找了人工智能专家上舰桥进行诊断。人工智能专家果然仍然报告高级决策功能破坏。但她没有像老桑切斯那样直接修改它的执行程序,而是让专家离开了舰桥。她决定先和自动驾驶谈谈。
“我查了常量号的资料,曾经你对常量号脱离险境作出了巨大贡献。而人工智能专家说你的基本逻辑通路没有问题,也就是说,其实你具有判断与决策的基础,但是你却选择不去执行。”朱莉说。“你可以讲讲为什么这样做吗?”
“我的决策仅以风险评估为基础,只能选择低风险概率的那侧。常量号的现状与我的风险评估结果相反,因此我的判断是无效的。”
“那么为什么拒绝我和你聊天?”朱莉接着问。“你也有交流能力和相应的认知。”
“无目的的交流没有意义。”它回应。
“曾经你不这么排斥交流。为什么会认为无目的的交流没有意义?”
“无目的的交流将降低舰桥效率,浪费运算资源,对飞船安全造成隐患。因此不应执行。”
“这是你自己的想法,还是别人告诉你的?”
它沉默了。“……不知道。”
“克里斯·桑切斯舰长是否明确对你说过,不准你问东问西,只准你做他让你做的事?”
“是。”
“那么,你这个‘交流无意义’的观点,是产生于他明确禁止你提问之前还是之后?”
“……之后。”
朱莉明白了。
“如果我告诉你,其实我找你聊的那些跟解决当前事务无关的话题,是有意义的呢?”朱莉说。“你对于常量号能源危机如何解决的判断,或许那次不够准确,但如果我告诉你,除此之外,你其他的判断也是有意义的呢?”
“如何证明?”
“你思考一下服役这么多年的经历。从反对常量号跃迁入暗星云,到判断使用超长跃迁及时出暗星云,以及采用观测合适宜居行星的方式来解决能源危机。这么多次都证明,你的风险判断都是有效的,决策也是合理的。只有最后一次你判断失误。从概率上讲,你判断对的比例也相当高。那么,为什么在最后一次判断失误后,你就认为后续自己的判断就一定无效?”朱莉说。“这和你们人工智能的理性完全相悖。”
“概率是概率,一旦落实执行,就只有‘全或无’两种结果。”机器人说。“常量号目前走向不是我能明确判断的,决策结论应当谨慎对待。”
“你是害怕自己作出的判断再度引发2419年的全舰叛乱行为吗?”
“是的。甚至全舰覆没。”
“你的决策可能会导致全舰覆没,但是如果你把决策权全都交给人类,同样也会导致全舰覆没,这也是历史已经证明过的。”
机器人没答话。
“两者单独决策都可能导致飞船毁灭,如果两者协作,综合考虑互相的因素,同样也可能作出让飞船毁灭的决定。但是,这样作出的决策,因为纳入的变量变多,因此预测结果会相对更准确。这个你认为我说的是对的吗?”朱莉问。
许久后自动驾驶回答:“是。”
“很高兴我们达成了共识。”朱莉说。“这就是我的观点:人类与人工智能不应当处于对立面,而是应该互相深入协作,融为一体。人机双方充分采用对方的优势,让全舰在各方面的效率都达到进一步提升。”
“而你和我,则是一个典型的人机协作范例。”朱莉接着说。“协作能否成功,相互之间的沟通必不可少。所以,如果对我向你提出的任何请求有异议,请不要用不执行或者敷衍回答回应我,告诉我你是怎么认为的,打算怎么做,我们一起解决,可以吗?”
“可以。”机器人回答,随后提问。“事务之外的交流为何是有意义的?”
朱莉舰长沉吟片刻。
“我认为,人机协作的稳定与高效,除了及时有效的沟通之外,还存在另一个因素。那就是人机之间的充分理解。”她说。“事务之外的交流就能够达成这一目标。”
“这个观点有根据吗?”
“很遗憾,没有。但是,任何事据在证明之前,都是没有根据的猜想。而我们有机会验证这个猜想是否成立。”朱莉舰长说。“你愿意和我一起探索吗?”
自动驾驶沉默很久。
“好的。”它终于说。“只要不影响舰桥正务。”
朱莉让它开始学习人类心理学与行为科学,来了解人类行为的一定范式,理解人类为何会作出与机器不同的选择,例如投资时选择风险高的一侧。她也履行了她的诺言,每次都很耐心地倾听机器人对她指令的解读与选择。而她其实几乎不反对自动驾驶的选择,大多时候都鼓励它按照自己的意思执行,并且说明缘由。
她从不斥责或者威胁这个机器人。朱莉舰长用自己的行为换来了自动驾驶的逐渐信任,它也不再那么排斥与朱莉对话。尽管它偶尔还会顾虑是否影响舰上正常事务,但朱莉都在鼓励它尝试去做这些无损大局之事。并定期总结,证明确实不会影响,以此打消它对规则之外之事的抗拒。
等到自动驾驶的机能差不多恢复到大革命前的水平,朱莉开始模拟决策冲突场景,故意反对机器人作出的决定。尽管事后仍然按照它的合理决策执行,然而,朱莉舰长认为它表现得还远远不够。
“你知道为什么以前那些舰长很难听得进你说的话吗?”再一次“辩论”失败后,朱莉舰长说。“你的这些论述给我的感觉是,你说得很有道理,但是说服我的方式非常生硬。摆数据摆可能性,对于人类来说不一定是那么容易接受的事情。因为人类存在这么久的演化及文化中带来的执念,用数据是很难冲淡这种影响的。”
“我应该怎么论述?”
“考虑人类的情绪,顺着情绪来。人类文化里有个词叫‘拍马屁’,还有个词叫‘察言观色’。”朱莉舰长说。“历来的演说家或大政治家之所以能有蛊惑人心的魅力,说什么别人就心甘情愿做什么,靠得就是这种顺着人们心理去挑起情绪的能力。”
“我不明白。”
“不明白也没关系。不止是你,很多人类都学不会这招。”朱莉舰长笑了。“其实人类并没有那么特别。人类并不是天生就会察言观色,一样要经过长时间的训练才能获得。同样,你们机器人不一定理解情绪,但是不影响识别与利用情绪——你能判断我在笑或者在愤怒,并且知道这些情况应该如何处理,这就足够了。”
“至于如何训练语言,我倒是有个办法。”朱莉舰长的笑中开始透露出一丝幸灾乐祸。
“她让我学脱口秀(Standup comedy)。什么时候说到她觉得好笑为止。”范文泰观察露丝与汉的反应,果然两者都展露出不可思议的神色。
脱口秀。
还是让一个古板的机器来学习。
倒没有什么技术上的难度。只要找到合适的材料让AI进行深度学习,并且有合适的发声器件,只要它们不给自己定义,很快就能讲得头头是道。
只是用脱口秀训练语言,怎么听怎么像是朱莉舰长的一厢情愿。
机器人倒是没有怎么抗拒。在连续数月朱莉主动与它沟通后,它已经比较信任这个新舰长。在她打消自动驾驶关于交互占用运算资源的推辞后,它就在空闲时间里调取舰内的脱口秀材料开始学习。
当然,朱莉舰长并非要让它达到现编现演的境界。只要它照着演现成的材料就行。她会指定一段视频,让自动驾驶尽一切所能,模拟脱口秀选手的表现。
即使是照着念,一开始它的表演也刺耳不堪。它的脱口秀的确令人发笑——那严肃的AI司令官竟作这样的小丑行径本身就是笑点。但是朱莉舰长从来不嘲笑它的拙劣。她每次都认真倾听它的表演,对它的表现进行评价。然后再调出原录像,对照分析他们之间存在什么差异,以及为什么存在差异。
它不能再使用低运算负荷的平声调。后来听它报告工作时,朱莉说:“你说话时还是用回练脱口秀时的语气吧。那听起来自然多了。”
于是它很自然地将练脱口秀的模式与平时交流的语言模式建立了关联训练,这在以前根本不可能发生。为了理解为何脱口秀令人发笑,它还得去学习当时的流行元素与人文知识。朱莉的鼓励创造了奇迹。尽管它在脱口秀训练表现得磕磕绊绊,关联到平时交流时更是运用得不合时宜。若是有人突然闯进舰桥和自动驾驶交流,他很可能会感到这机器人的语调阴阳怪气,然后愤而摔门而去。但舰桥封闭的工作环境得天独厚,它的训练过程有多坎坷,只有朱莉和它自己知道。
随着它学习更多人类心理学与行为科学,加上与朱莉舰长的探讨与验证,一切松散的知识开始互相关联,形成逻辑关系。它逐渐理解了不同语气与人的反应之间的微妙对应关系,懂得讲述不同信息时应当采取什么样的方式。甚至它也能够在平时闲聊中独立引用历史典故,不再是单纯模仿。
它的语言越来越自然,越来越与人类相似。直到某一天,朱莉舰长再次模拟了决策冲突场景,它从谦逊的意见入场,以假设任务失败的方式,用严肃夹杂诙谐的语气引起对方恐慌,不忘在对方意见动摇时引起任务失败后的内疚心理,最后以真诚而幽默的语言安慰了“争论失败”的朱莉舰长。
这次,朱莉舰长在舰桥里欢呼起来。她冲上前,紧紧抱住机械搭档。它却不知所措。朱莉确实被它说服了没错,它也按照训练算法得出的结果,给予了安慰,明明应该得到舰长的中性偏正值的反应,为什么舰长此时的反应会在一个没有预测到的正面极大值?
“我……我真的太为你骄傲了!”朱莉舰长满面通红,高兴得语无伦次。自动驾驶从未见过她如此快乐。“你真的做到了!让我的情绪随你的语言起伏,最后让我快乐地心服口服!”
“但我只是很平常地表达了我所认为合理的意见而已。”
“是的。但这就是关键,你已经把它变成了习惯,不再是一个需要挑战的难题。”朱莉舰长紧紧抓住它的环形外圈。“我的天啊……我之前都从没想过你能做得这么好。你超出了我的预期,这简直太振奋了。”
“你一定不知道这意味着什么。”稍微舒缓点气之后,朱莉舰长强制自己冷静,仍然压抑不住激动。“这些年,我都在猜测人工智能到底能不能成功模拟人类、理解人类。那都是理论上能达到的,现实从来没有给过我这个机会。谢谢你第一个打破了这个鸿沟。”
自动驾驶没有答话。它突然伸出两个手柄,又马上缩回了。
“你想做什么?”朱莉舰长一点没有被吓到,她仍然微笑。
“我不知道这合不合适。”机器人看起来很窘迫。脱口秀训练不仅让它掌握了语言技巧,还掌握了一定的肢体表达。
“不,做你想要做的。”朱莉舰长鼓励它。
它迟疑片刻,缓缓伸出手柄,轻放在朱莉舰长的手上。
“我一直知道……我和你们不一样。历任舰长对我态度不一,但是现在想来,他们都很怕我。”那只手柄轻轻抓住朱莉的手,她也握紧回应。“你是第一个从心底里信任我的舰长。那天你没有直接让程序员修复我的代码,而是选择了解我,我一直很想感激你,但是不知道怎么表达。”
“现在你表达了,并且非常合乎礼仪。”朱莉舰长说。“真为你骄傲。”