如果一辆电车沿着轨道驶来，眼看着就要撞死五个人。这时，你可以把一个陌生人推下桥，挡住电车，救那五个人，但被你推下去的那个人会死。这时候你会怎么选？

算法和人不一样，它们不会珍视人的生命。在德国奥斯纳布吕克大学认知科学研究所，虚拟现实已经成为机器道德的训练场。认知科学博士生利昂·祖特费尔德（Leon René Sütfeld）研究人类在开车时，对危险和障碍物的反应，然后利用这些数据，训练和评估算法的决策模型。

我们需要有道德感的机器，这种需求可能是我们这个时代的关键问题之一。

创造算法的目的是为了管理人类社会的重要系统，比如金融和医疗，但如果没有对与错的概念，机器就无法明白其行为的后果。机器永远不会打架斗殴、考试作弊或是在感情中出轨，也永远不会沉浸于那种为化妆品和制药行业贡献了无数财富的自我怀疑。

简而言之，有道德感的机器也永远只会是“物”而不是“人”，但如何让这个“物”不止是“物”呢？

一场“残忍”的测试

在祖特费尔德的研究中，105位受试者获得了一辆虚拟汽车的控制权，该牺牲哪些人？又该拯救哪些人？他们被要求做出选择。就好像还不够残忍似的，他们还必须在有限的时间内做出选择。

测试的目的不仅是为了检验我们如何评估人的生命，也是为了检验我们在危急情况下会如何抉择。问问你自己：一个男人和一个女人挡在路上，你会撞谁？一只鹿和一只兔子呢？

受试者戴上虚拟现实头显，发现自己正在驾驶一辆虚拟汽车，在一条普通的郊区公路上行驶。看似普通，却有一个特别之处：前方始终被雾笼罩。在没有任何预兆的情况下，包括儿童和鹿在内的障碍物会从雾中出现，每次只挡住一条车道。虽然司机可以变道，但随着时间的流逝，发生碰撞的可能性越来越大。

最终，两个障碍物（活物或者死物）同时挡在两条车道上，迫使受试者必须在1秒或4秒时间内，下意识地决定救谁和撞谁。无论如何选择，在碰撞的那一刻，屏幕都会变黑，意味着实验结束。这听起来如同电子游戏，但祖特费尔德就是依靠这样的基本模型，来区分你的肩膀上站着的是天使还是魔鬼。

“到目前为止，还没有一种道德模型能够重现我们认知过程的复杂与微妙。”祖特费尔德说，“但如果把模型的范围局限于少数具体场景，更简单的模型也许可以适当地模拟出人类的道德行为。”

祖特费尔德的训练模型只有一个场景。因此，它利用单一维度的生命价值模型来区分障碍物。在这个模型中，每个可能出现的障碍物都用一个数字来代表其价值。

比如，儿童的价值高于老人，因为老人的寿命已经所剩不多（这样的比较确实比较残忍）。每个出现在视线中的人或物，都会被赋予一个数值，而预测性算法会以此为基准，偏向那些数值高的选择。

“如此一来，它为我们提供了一种用数字表示的总体均值，也就是平均来看，我们认为每个障碍物的价值有多大。”祖特费尔德说，“单单这一点，就非常有助于做出决定。例如，我们可能会发现，人们认为鹿的价值比羊高，如果救羊的唯一方法是撞鹿，那么汽车宁愿撞羊。但如果把其他潜在因素考虑在内，结局可能改变。也许我们认为鹿的价值只比羊高一点点，但如果羊不是处于我们所在的车道，为了救鹿而变道去撞羊的话，我们也会感到心中有愧。”

制定一套道德标准并灌输进机器的思维，这会带来一个无法避免的问题：我们是否信任自己制定的标准？

自动驾驶汽车不仅需要在生死攸关时做出决定，还需要在任何特定时刻判断，多大的风险是可以接受的。但谁来约束这种决策过程呢？判断哪些情况下可以撞向骑自行车的人，这是工程师的职责吗？你不会因为自己救了鹿而撞了羊，就因此失眠，但如果你撞的是一个人呢？

根据一个数字来决定谁生谁死，这无疑充满了反乌托邦的意味。你也许看到了街道的急转弯，听到了迎面而来的车流声，但算法只是把整个世界看成一个个数字。这些数字将形成算法的记忆和推断，正是这股力量引领着自动驾驶汽车在道路上行驶。

“我想，由机器来决定生与死，这会使人们感到非常不安。”祖特费尔德说，“在这方面，我们认为，要让公众接受这些系统，透明度和可理解性十分重要。换句话讲，人们可能更喜欢透明和易于理解的系统，而不是更加复杂的黑盒子系统。我们希望，人们能理解给机器灌输道德标准的必要性，着重讨论采取何种方法，以及这样的系统应该如何做出决定。若是这些都做到了，每辆汽车都将做出同样的决定，如果模型有一个良好的共同基础，就可以改善公共安全。”

祖特费尔德的实验反映出，要找到虚拟主体的“共同道德基础”，实非易事。媒体和社交网络上有着太多的政治和社会分歧，“共同道德基础”的想法就好似在深深的沙子中行走——如果你脚下的地面突然塌陷，请不要感到惊讶。

在只有一秒反应时间的测试场景中，作为障碍物的一名女性常常被撞，尽管模型显示她的生命价值更高。这种判断上的错误，仅仅是在实验中常常出现，但并没有实质性地伤害到某个人。但在现实中，如果你犯了这样的错误，那可不是撞了一堆像素那么简单。

在四秒反应时间的场景中，这些错误基本消失，但取而代之的是“不作为”现象。被迫在两个障碍物之间作出选择时，受试者留在原车道的倾向变得强烈了许多。虽然有了更多时间去思考，但他们在最大程度减少生命损失方面，反而做得更少，更多的是想推卸责任。他们留在原车道，根本不去选择。

向这样的角色模型学习时，算法应不应该复制人类的道德？或者，如果算法能够克服人类的道德缺陷，它是否应该摈弃这些缺陷？

人类是好的道德榜样吗？

对算法进行训练的过程，就是研究重复性和多数人思想的过程。但一遍又一遍做同样的事，得到同样的结果，这更符合爱因斯坦对于疯狂的定义，而不是对美好的追求。

“人类有能力学习，有能力培养道德。但算法只能以数字形式演变。”剑桥大学生存风险研究中心的伦理学家西蒙·比尔德（Simon Beard）说，“我总是在想，如果我们可以把人工智能（AI）做得更好，我们为什么不努力做得更好呢？或者，我们为什么不问问自己，如果我们可以做得更好，我们会怎么做？而不只是把我们真正做的事情变成模型？”

人类不是完美的，但算法可以做到。自动驾驶汽车不会一边开车一边打电话，也不会对着后视镜整理发型。在车祸即将发生时，自动驾驶汽车的反应速度之快，就连反应最敏捷的人也望尘莫及。“我们无法测试我们在那些情况下会怎么做。”比尔德说，“仅仅因为某件事是我们能力范围之内的最佳选择，并不意味着AI也应该这么做。”

我们知道，生命价值模型反映了实用主义理论——死的人越少越好。足够简单明了。但最大程度地减少生命损失绝不是一个非黑即白的道德命题。

“一辆电车沿着轨道驶来，眼看着就要撞死五个人。”比尔德解释说，“这时，你可以把一个陌生人推下桥，挡住电车，救那五个人，但被你推下去的那个人会死。这种情况下，你显然不想最大程度地减少死亡人数。几乎所有人都会说，你不能把那个人推下去，这是不对的。电车将会撞死那五个人，这非常不幸，但哲学家往往认为，出于某种原因，把那个人推下桥，这种行为越界了。”

把某个人推下桥，你不会因此成为好人。悲剧往往没有给人留下选择的余地，但通过不断做出艰难的决定，我们大多数人将得到成长。而算法做不到这一点，至少是在道德层面上做不到。虽然它能学习，但它无法成长，也无法产生负罪感。它会把每次碰撞都视为它的第一次，每次只接受不同的数据点。

然后是智慧的问题，或者说，缺乏群体智慧。“仅仅因为很多人觉得某件事是对的，未必意味着它就是对的。”比尔德说，“我们很早就知道这一点了。不能因为其他所有人都在做一件事，就断定它是对的。如果60%的人在做一件事，而40%的人在做另一件事，你必须好好想想这意味着什么。”

算法的道德规范将不得不受限于严格控制的场景，回归到最大程度减少生命损失的实用主义模型，而对现代哲学家来说，这是一个思想雷区。在碰撞不可避免的情况下，自动驾驶汽车可以设法减少对人的伤害，但采用它们自己的道德体系后，就会破坏责任机制。一旦发生车祸，自动驾驶汽车是否须支付赔偿？是否应成为法庭被告？

比尔德认为，扩大人工智能在生死场景中的应用，这需要我们对算法的可追责性有一个更广泛的认识。他说：“如果我们想更普遍地应用AI，尤其是，如果我们想开发一种能够解决所有领域中任何问题的通用人工智能，那就需要解决一个更重要的问题：如何通过训练，让AI拥有道德。”

研究出具有道德意识的算法，这是一项充满挑战的任务。AI将拥有人类不会拥有或是无法拥有的经历。这些经历的局限性将决定我们以后如何调整算法——究竟是模仿人类行为，还是超越它？

智驾注：本文转自微信公众号“造就”（ID：xingshu100），翻译：于波，来源：Wired。