混乱

“天哪，到底发生了什么？”

法航447号航班：自动化将人们带进深渊。

睡眼惺忪的机长马克·迪布瓦（Marc Dubois）走进驾驶舱，眼前一片混乱。飞机剧烈摇晃，连仪表盘都看不清了。刺耳的警报响起，穿插着自动语音系统发出的“失速，失速，失速”。副驾驶大卫·罗伯特（David Robert）和皮埃尔–凯德里克·博南（Pierre-Cédric Bonin）坐在操作系统前面。“怎么回事？”不明就里的迪布瓦用一种平静的口吻问道。

罗伯特的回答则显得有些慌。“飞机已经完全失控，原因不明，我们尝试了一切办法都没用！”

其实当时飞机还没有彻底失控，驾驶舱的机组人员仍然控制着飞机，但是他们并没有尝试所有办法，有一个简单的方法能防止飞机坠毁，却被机组忽略了。从这两点讲，罗伯特回答错误。但是对于飞机失控的原因，机组确实一头雾水。

2009年5月31日晚间7点29分，法航447航班从巴西里约热内卢起飞，目的地巴黎。途中飞机不幸坠毁大西洋，机上228人全数罹难。现在看来，当天执飞的三位飞行员都有不足的地方。副驾驶皮埃尔–凯德里克·博南，32岁，是个新手，没什么经验。副驾驶大卫·罗伯特，37岁，飞行经验比博南要多一些，但由于新晋为法航的经理，已经没再全职飞行，多少有些生疏。58岁的机长马克·迪布瓦飞行时间最长，经验最为丰富，但那天白天他和另一名休假的乘务员去逛了趟里约热内卢，根据事后报道，上飞机前他只睡了一个小时。

法航447航班使用的是空客A330，这是世界上最先进的飞机之一，飞行平稳、操作简单。所以，即便机组人员都不在状态，也不至于太担心。跟其他现代飞机一样，空客A330配备自动驾驶仪，只要设定好程序，飞机便可沿着既定航线飞行。它还有一个更为先进的电子飞行控制系统，即电传操纵系统。在老一代的飞机上，飞行员要手动控制飞机的襟翼、方向舵、升降舵和副翼。更多的手动操作也就意味着更大的失误率。而电传操纵系统能有效降低人工失误，使飞行更加安全。驾驶员的操作不是直接传递到操纵面，而是通过计算机系统。系统会检测飞行员的操作故障或错误，再发送正确指令来动作襟翼、机翅和副翼。电传操纵系统横亘于飞行员和飞机之间，像一个机智的“指令官”，一面观测驾驶员的操作步骤，一面准确地预测出飞行员操控的方法并完美地予以执行。有了电传系统，飞行员不用再做牵引、猛拉等笨拙的机械操作，飞行成了优雅的艺术。

在电传系统的守卫之下，空客A330坠机的可能性微乎其微。再者，机组人员开的这架A330有着极漂亮的飞行记录：自1994年出厂投用的15年来，在所有商业飞行中都没出过事故。硬要说它存在什么风险的话，那就是它实在太完美了。如前所述，这种飞机自带的系统兢兢业业地保护着飞行员，默默地纠正他们犯下的哪怕是最细小的错误。这引发了一个矛盾：电传操纵系统给飞行带来了隐患。也就是说，一旦遭遇突发事件，飞行员很可能因为缺乏应对经验而手足无措。

447航班飞行途中，赤道以北大西洋上发生了雷暴。虽然这算不上什么大事儿，但是机长迪布瓦太掉以轻心了。里约时间晚11点2分，机长离开驾驶舱去休息室打盹，留下没什么经验的博南。

面对雷暴，博南有些紧张。这个小小的麻烦让他失去了镇定：“真是见了鬼了！”博南希望从雷暴上方飞过去，他几次向空管中心发出申请，希望批准飞机爬升到36000英尺（约10973米），但是他的建议都没有被采纳。虽然飞得更高的确可能避免风暴带来的麻烦，但一架飞机的飞行高度是有限的，高度越高，大气层越稀薄，越难以支撑飞机的重量，飞机很可能因此失速。而且，超高空飞行对飞行员的技术要求极高，不容出现任何失误。

与汽车失速不同，飞机失速与发动机无关。简单来说，当飞机上升得太陡，迎角便容易达到临界值，此时机翼所产生的升力会突然减小，于是飞机失去速度，以机头朝上的姿势坠落。

在大气稀薄的高空中，飞机失速的可能性则更大。不过，高空也让飞行员有更多的时间和空间做出反应。众所周知，每一个飞行员在训练阶段就会学习如何控制失速的飞机：飞行员将机头压下，向下俯冲，飞机重新获得空速，机翼便能正常工作。之后飞行员再轻轻将机头抬起，结束俯冲，飞机进入水平飞行。

理论上讲，安装有电传操纵系统的空客A330是不可能失速的。就算飞行员猛地将机头陡直拉起，电传系统也不会允许他这样做。“指令官”会修正数值，将其限定在飞机可承受的范围之内。皮埃尔–凯德里克·博南大概也是这么想的。

飞机越来越接近雷暴区，机翼上开始出现冰晶。博南和罗伯特开启了除冰系统，以防积冰太多降低飞行速度。罗伯特好几次用手肘轻推博南，提醒他左拉操纵杆，避开最危险的区域。博南则显得有些心不在焉，或许在想罗伯特怎么没早点规划好一条路线避开雷暴。不一会儿，一股电焦味充满了驾驶舱，舱内温度升高。罗伯特告诉博南这是风暴带电的结果，并非设备故障。

突然，警报器响了，自动驾驶系统关闭。原来机身上安装的空速传感器被积冰堵住了，无法正常工作。这也不是什么大问题，但是接下来就需要飞行员手动操纵飞机了。但就在此时，积冰导致电传操纵系统切换至备用模式，也就是说，系统减少了对飞行员的帮助，将操纵权还给了飞行员。这不属于机械故障，但是电传操作系统再也无法像个保姆一样事无巨细地照看博南。

电传系统“退居二线”之后，飞机立刻开始左右摇晃。博南为了稳住飞机使劲拽了一下操纵杆，结果用力过猛。在平时，电传系统能够纠正这个错误操作。但在备用模式下，系统对博南的动作毫无反应，飞机继续激烈地左右摇摆。电传系统早已不是那个足智多谋的指令官，而是一个以讹传讹的机器，不假思索地执行飞行员的一切指令，不管这指令有多愚蠢。

没了电传系统的庇护，博南犯了一个低级错误：他一口气将操纵杆拉到了底，飞机开始陡峭爬升。

至今都没人明白，为什么博南会如此糊涂。难道是因为高处更安全吗？当博南向飞行中心发出上升至36000英尺的建议未被采纳时，他便一直抱怨着“糟透了，糟透了”。作为目前最先进的飞机之一，A330当然清楚，在稀薄的大气中急速爬升的飞机极易失速。随着A330的机头不断抬起，飞机开始失速，一个自动化的声音用英语咆哮着“失速，失速，失速”。在接下来的4分半钟时间里，这个词重复了75遍，直到飞机坠毁。

无论警报声怎样刺耳，博南还是握着操纵杆不肯松手。大西洋上方漆黑一团，飞机以每分钟7000英尺（约2100米）的惊人速度攀升，它在获得高度的同时，也在失去速度。飞机很快就会向下坠落，穿过风暴和云层，冲向37500英尺（约11430米）下的海面。博南犯了一个常识性的错误——每一个飞行员都知道什么是失速，也都学过如何化解失速：只要调整机头向下俯冲，飞机便会重新获得速度。如果他或者罗伯特能够意识到当时飞机正在失速，或许可以在失速初期便化险为夷。但是他们谁也没有发现飞机正在失速。这究竟是为什么？

难道是听不懂英语报警？法航447航班上的飞行员都是法国人，他们都说法语。可这个解释说不通啊，因为所有飞行员都必须掌握英语，才能和空管中心沟通交流。

年轻的副机长大卫·罗伯特经验也不算丰富，他可能并未发现博南的操作不当。在有些飞机上，如果一位飞行员向后猛拉操纵杆，另一位飞行员能够通过自己手中的操纵杆感受到，因此有经验的飞行员会立刻察觉同事的错误。但空客A330的平行操作系统并非直接相连，所以罗伯特不能直观感受博南的操作。再加上空速感应器被冰堵住了，他无法完全相信仪器显示的数据。

作为初出茅庐的飞行员，博南能想到的挽救办法就只有中止着陆。不管是起飞还是中止着陆，飞机都需要获得足够的推力才能迅速远离地面。博南曾告诉罗伯特，他已将油门杆拉至TOGA档 [1] ，这就好比司机将油门踩到底。这样做在地面或接近地面的低海拔是可行的，因为这一区域的空气密度大，飞机能够尽快爬升且不会失速。然而，博南不是在海平面高度，而是在大气稀薄的万米高空。虽然以前训练时，他模拟过中止着陆，但都是在电传操纵系统的帮助下完成的，所以每回都成功。而现在，他不能再依靠电传操纵系统了。或许他的直觉一直在告诉他，飞越闪电和风暴，便可逃出生天。若是这样，那他的直觉可害苦了他。陡峭爬升不仅没有让法航447航班远离危险，相反，还把它引向了更大的灾难。

表面上看，失速造成了这起空难，但电传操纵系统才是罪魁祸首。这架空客A330执飞15年来安全里程达数百万英里，电传操作系统劳苦功高——是它，而不是飞行员在保障飞行安全。确切地说，飞行员已经对电脑形成依赖，离不开它了。博南当时遭受的困扰叫作模式混乱。他可能没有意识到系统已经切换到备用模式，给予的辅助相当有限。又或者他知道飞机已经切换到备用模式，但不明白这究竟意味着什么：在备用模式下，飞机是有可能失速的。只有这样才能勉强解释博南和罗伯特为什么会无视多达75次的失速警报。他们以为电传操纵系统已经采取行动了，发出警告只是在知会他们飞行遇到了麻烦。简言之，博南对电传操纵系统的依赖和信任导致了这起空难。在他的印象当中，电传操纵系统从未让他失望。

虽说博南曾在A330的驾驶舱里训练了很长时间，但基本只是在监控和调整飞机的计算机操作系统，很少练习手动驾驶。而在这屈指可数的手动驾驶训练中，博南主要在练习起飞和降落，从未尝试在电传操纵系统进入备用模式后驾驶飞机。难怪当时博南只能想到中止着陆，没想到这让自己陷入了绝境。

作家兼职业飞行员威廉·朗格维舍（William Langewiesche）直接批评法航的飞行员“无能到可怕”。他在《名利场》（Vanity Fair ）的一篇文章中一针见血言地指出，这些飞行员们根本离不开电脑，经验丰富的机长迪布瓦也不例外。在事发前的6个月当中，他一共飞了346小时，其中只有4小时是手动飞行，而且还全都是在电传操纵系统正常运作下完成的。由于这架空客A330常年都在飞行，三名飞行员因此失去了不少练习机会。

这种科技越先进、人类反而越无能的现象被称作自动化悖论。它在生活中很常见，不管你是在核电站或是游轮上工作，都有可能遇到。举个最简单的例子，如今手机都可以存储电话号码，人们不需要背诵成串的数字，甚至不需要拨号，这样一来我们对数字的记忆能力便会退化。再比如，有了计算器，人们便不再心算，于是越发觉得心算困难。自动化系统越先进，人工操作就越生疏，而一旦面临问题，人们就会越发摸不着头脑。《人工误差》（Human Error ）的作者、心理学家詹姆斯·瑞森（James Reason）写道：“人工操作是一种高水准的技能，任何技能都需要坚持不懈地训练才能保持水准。然而，自动控制系统剥夺了操作者实践基础技能的机会……如果只是小故障，一半电脑还可以应付，而一旦需要人工接管时，意味着出大麻烦了。越是这种时候，就越需要负责人有熟练、高超的技巧。 [2]

自动化悖论体现在三个方面。第一，自动化不但操作简单，而且可以自动纠错，哪怕操作者不够专业都可以正常工作很长时间，他的不足被自动化完美掩盖，很可能一辈子都不会被同行发现。第二，即便是老手，由于系统不需要他们手工作业，原有的操作技能也会因为疏于练习而退化。第三，自动化系统往往在异常情况下失效，或者以发生异常情况的方式失效，如果操作者的技巧不够熟练是无法应付这些突发情况的。就以上任意一个方面来说，系统的自动化程度越高，人们对系统就越依赖，面对异常情况时的反应就会越糟糕。

当然，并不是每一个自动化系统都存在这样的悖论，自动化客服便是一个例外。比如，一个自动化的客服网页能够处理日常的投诉和问题，从而避免人工客服就同一问题一遍又一遍地重复回答。自动化系统节约下来的时间可以让人工客服为客户解决更复杂的问题。

不过和自动化客服不同，飞机可不是例外。自动驾驶系统和电传操纵系统的存在目的绝不是为了节约飞行员的时间，让他们有空干别的事。在飞行员需要休息时，它们充当了半个有时甚至是全权负责的指挥官。2009年末发生了一起丑闻，两名飞行员将飞机设置成自动驾驶，自己却在一旁玩笔记本电脑，结果飞过了目的地明尼阿波利斯机场160多千米。

类似这种问题是很难及时察觉的，即使发现了一般也不好处理。

让我们回到法航447号航班。突如其来的颠簸打断了机长迪布瓦的休息。他终于在空速指示器失灵1分38秒后走进驾驶舱。当时，飞机仍处在35000英尺（约10668米）的高空，但是正以每秒150英尺（约45米）的速度下坠。除冰器完成了它的使命，空速传感器恢复正常，此时的飞机正竭尽全力向两位副驾驶发出警告：飞机没有前进，而是在向1万多米以下的海面坠落。不过两位副驾驶好像不敢相信空速传感器恢复了正常，他们反而认为仪器出现了更多故障。机长迪布瓦沉默了23秒——在这生死关头，这可是相当长的一段时间。就在这23秒里，飞机又足足下坠了1200米。

如果此时迪布瓦能够认清形势，意识到飞机正在失速，拯救这架飞机还为时不晚。这时，机头已抬得很高，以致失速警报都不响了——可能和飞行员们一样，它也不想接受现实。有几次，博南稍微往下调整了机头，结果失速警报再次响起，这让他更加困惑。博南曾想采用制动刹车系统，他担心飞机飞得太快——事实恰恰相反，不是太快，而是太慢，飞机自己的爬行速度不到60节，约每小时70英里（约113千米），而它坠落的速度是其两倍。飞行员们完全懵了，开始争论飞机到底是在爬升还是在坠落。

没有争出所以然，困惑仍旧占据着上风。博南和罗伯特大吵起来，都试图控制飞机。迪布瓦加入了论战，三个人你一言我一语地争相说话。随着他们的争吵，飞机越来越接近海面，机头仍然高高抬起。

罗伯特：“注意你的速度！飞机在上升！快下降！下降！下降！。”

博南：“我是在下降！”

罗伯特：“不对，你在上升！”

博南：“在上升？好吧，那我们下降。”

自始至终没有人说：“飞机正在失速，立刻调整机头向下俯冲！”

晚上11时13分40秒，罗伯特对博南大喊“上升……上升……上升……上升……”，博南回答说他已经将操纵杆拉到底而且一直没有松手，其实这和解除失速的正确操作截然相反。此时，自动驾驶系统已经关闭了两分钟，距离迪布瓦第一次离开驾驶舱休息也快12分钟了。如果迪布瓦一直都在驾驶舱，如果他注意到了博南的操作，他可能会早点发现问题。

终于，站在罗伯特和博南身后的迪布瓦反应过来了：“不，不，不……别上升！……不，不。”

这时，罗伯特也反应过来了，宣布他来操控，他迅速调整机头朝下俯冲，终于机体下坠的速度慢了下来。但是一切都太迟了，他晚了大约一分钟，在这一分钟的时间里，飞机又下降了3350米。骤降的飞机和大西洋漆黑的海水之间，已经没有足够的距离令他们的命运再重新起飞了。

博南默默接替了罗伯特，他内心极度恐慌，只有再一次尝试攀升。罗伯特和迪布瓦都已意识到这架飞机正在坠落，但谁也没有说出来，只有博南还不清楚，恐怕他连自己到底做了什么都不知道。博南生前的最后一句话是：“到底发生了什么？”

4秒钟之后，飞机以每小时200千米的速度撞向大西洋海面，机上228名乘客和机组人员全部遇难。

2013年去世的厄尔·维纳（Earl Wiener）在航空安全方面有着极大声望，他提出了关于航空和人为错误的“维纳法则”。其中一条是，电子设备解决了小麻烦却制造了大麻烦。维纳的意思是：虽然自动化能纠正常见的人为错误，但它会时不时地制造大麻烦。维纳很有远见，维纳法则的适用范围已经超越了航空业。

几年前，位于加州奥克兰附近的圣莱安德罗警察局在未经车主允许的情况下给两辆小汽车拍摄了至少112张照片，车主名叫迈克尔·卡茨拉卡比（Michael Katz-Lacabe），是当地居民。这些照片最终出现在了法庭上，倒不是因为卡茨拉卡比是一个恐怖分子或黑社会组织成员，而是因为卡茨拉卡比向法院申请了公开这些照片。警察局猛拍卡茨拉卡比的车子，并非怀疑他涉嫌犯罪。其实车子附近有一个监控，每一辆经过的汽车都会被拍下来，卡茨拉卡比的车也一样。之后，电脑会读取车辆的电子信息，记录牌照号码，并附注拍摄时间和地点。卡茨拉卡比先生的女儿也被拍了下来，她们一个8岁，另一个5岁，拍照的时候她们就在车子旁边。

警察局将卡茨拉卡比先生的汽车和孩子的照片，连同其他数百万张照片一起，送到了由美国联邦政府管理的北加州地区情报中心。这里的工作人员将使用硅谷魔法球科技有限公司开发的一款软件，一秒钟能够搜索上亿张牌照。这样一个具有强大识别和分析能力的数据库在打击犯罪领域潜力无限，但是与此同时它的潜力也被用在了见不得光的地方。卡茨拉卡比告诉《福布斯》（Forbes ）的记者安迪·格林伯格（Andy Greenbery）：政府工作人员可能会回放数据库里的照片，窥探各种隐私，比如有人下班后没回家，他的车子却出现在别人老婆的房子前，有人去过医用大麻诊所，有人去了计划生育中心，有人参加了游行抗议。

近年来，人们对这种强大科技的优势和风险存在明显争议，也展开了不少讨论。然而，从维纳法则出发，有一个风险却被广泛忽略了：科技失效虽然罕见但确实存在，当它真的发生，我们又该怎么办呢？

圣诞节期间，英国公民维克多·汉金斯（Victor Hankins）收到一件不太友好的“礼物”：一张罚单。通常情况下，你是这样收到罚单的：你回到停车的地方，发现一张票据压在挡风玻璃的雨刮器底下作为对你乱停乱放的惩罚。汉金斯先生不是这样，他是在门垫上发现了一封来自当地政府的信。信中显示，2013年12月20日下午8点8分14秒，他的车在约克郡的布拉德福市堵塞了公交车站，他的违规行为被一辆刚好路过、装有摄像头的交通执法车拍了下来。计算机自动识别了汽车牌照，在数据库中找到了汉金斯先生的地址，然后一个“证据包”自动生成，其中包括场景视频、违规时间和地点。在信中，布拉德福市议会要求汉金斯先生支付罚款，否则将会面临法庭诉讼。这封信同样是由计算机程序自动生成、打印并寄出的。似乎一切都很完美，然而汉金斯先生的车并没有非法停放，只是被困在了堵塞的道路中。汉金斯向当地的市议会发起了投诉。

按理说这种高科技的存在目的是解放人类的双手，让我们有时间做更有趣的事，比如检查异常情况——给汉金斯先生开的错误罚单就是一种异常。但是，官僚主义者和法航的飞行员一样，他们很相信这些高科技，觉得高科技不会出错。布拉德福的市议会一开始就驳回了汉金斯先生的投诉，汉金斯先生以打官司相威胁，市议会才礼貌性地承认错误并道歉。这不由得使人想起一个老笑话：人非圣贤孰能无过，但人类犯错很多情况下还有救，高科技犯错可能就没救了。

就在汉金斯先生的汽车被拍照的同一天，谷歌公布了一个中枢网络系统，可以识别由谷歌街景车拍摄的门牌照片。谷歌的研究小组称，该系统只需一个小时便可以读取法国每个门牌号的信息，准确率96%，这令人啧啧称奇。然而4%可不是一个小数字，法国有2500万户家庭，换句话说，一小时内错误识别的门牌号高达百万户。

换个角度想，4%的错误率也有一定积极作用，这意味着人们不敢百分之百仰赖高科技和自动化。物流巨头UPS（联合包裹速递服务公司）和联邦快递公司绝不会希望25个包裹当中就有一个送到了错误地址，这会砸了它们的金字招牌。如果警察经常因为错误判断而吓到战战兢兢的无辜者，那么警务督察就会严肃对待来自无辜市民的投诉。要是警务督察发现某位警察参与的每25个案件中就有一件被搞砸，这位警察就必须出席听证会为自己辩护。

要是谷歌中枢网络系统的准确率提高到百万分之四呢？如此一来，法国2500万户家庭的门牌号，就只会出现一个识别错误。从百分之四到百万分之四，随着准确率提高了一百万倍，人们对高科技的信任也达到了百分之百。系统出错的可能性越小，比如飞机上的电传操纵系统，我们处理突发情况的能力就越弱。计算机怎么会错呢？所以当有人指出计算机出了错，旁人会认为是那个人搞错了或者他在撒谎。除非我们自己成为高科技的受害者，否则我们会一直把高科技奉为真理。假如购物中心的电脑将你误认成了惯偷，保安因此把你赶了出去，你还会相信高科技吗？（这种技术已经存在，不过仍在调试修改中。它能为商场识别常客，以便为他们提供特别优惠。）一旦你上了购物中心的黑名单，要自证清白可不是一件容易的事。

自动化系统本来可以很美好，但如果人们过分信任它、依赖它，我们当中的一些人就会遭殃。39岁的拉辛纳·易卜拉辛（Rahinah Ibrahim）是一名大学讲师，同时也是一名建筑师，正在美国斯坦福大学攻读博士学位。2005年1月2日，她打算从旧金山飞往夏威夷去参加一个学术研讨会。当时拉辛纳刚做完手术，身体还没恢复，必须坐在轮椅上，这趟旅途注定艰难，然而后来发生的事却把她带进深渊。易卜拉辛刚办理完登机，警方当着她未成年女儿的面逮捕了她，给她戴上了手铐，把她押到一个拘留室。几小时之后，警方才告知易卜拉辛可以坐次日的航班离开。

两个月后，在家乡马来西亚探亲完毕的易卜拉辛打算回美国，却在机场被告知其美国学生签证在没有任何通知的情况下被撤销了。尽管易卜拉辛的女儿是美国公民，她却永远回不了美国了。

维克多·汉克斯先生用官司相威胁，就让布拉德福议会撤销了停车罚单。易卜拉辛却花了9年时间和价值400万美元的法律援助。直到美国地方法官威廉·阿尔苏普（William Alsup）宣判之前，美国政府一直在不断地干涉诉讼程序。原来，易卜拉辛被错误地列入了禁飞名单，原因可能是伊斯兰祈祷团与马来西亚雅马哈伊斯兰教英文名称极其相似，前者（英文名Jemaah Islamiyah）是一个恐怖组织，2002年在巴厘岛用汽车炸弹致死202人，后者（英文名Jemaah IslahMalaysia）则是马来西亚海外留学生的专业协会，易卜拉辛加入了马来西亚海外留学生协会，而非恐怖组织。

一旦错误的数据被录入电脑数据库，它便成了铁律，因为人们倾向于认为计算机是不会出错的。正如主审易卜拉辛一案的法官所写的那样：“一旦诽谤信息被录入TSDB（恐怖主义数据库），它便通过政府的连锁数据库广泛传播，像一个永不消失的不良信用记录。”初始的错误像病毒一样传播开来，却没有官方机构愿意去纠正它。

世界是一个凌乱的存在。那个数字到底是1还是7，那个字母是小写的L还是大写的i？一辆不动的汽车，到底是乱停乱放还是只是因为堵车？那个人是小偷还是小偷的孪生弟兄？是恐怖组织还是留学生协会？在一个凌乱的世界里，错误在所难免。自动化系统却要一切井然有序。一旦计算机程序或者数据库将你置于特定的分类中，非黑即白的数据便会否定任何外界质疑和不确定。你是小偷；你的车停在了公交车站；你在禁飞名单里——反正电脑是这么说的，这也成了多年以来政府捍卫自己权威的武器。计算机也好，政府也罢，谁也不会承认错误。

这是一个前所未有的名单时代，我们的名字出现在各种名单上：嫌犯名单、土豪名单、经常在加利福尼亚州圣莱安德罗附近出没的司机名单，甚至强奸幸存者名单。计算机将这些原本待在文件柜里的一摞摞的文件，转换成了可以即时搜索、即时生效的数据。这样的数据库还在不断扩大，进入这些名单的人不仅没有被事先告知，甚至根本不知道名单的存在。因此，一旦名单出错，受牵连者根本没有机会提出质疑，错误就一直存在。

尽管这些高科技数据库功能强大、着实有用，但我们恐怕没有意识到，整洁有序的数据库很难反映出这个世界的本来面目——凌乱。我们同样没有意识到，在电脑的准确率比人脑高一百倍、工作效率高一百万倍的同时，它出错的概率也在成倍增加。这令人想到贝克曼的“科学造林”——我们小看了这些科技的威力，它哪里只是将世界分门别类，它分明是在改变这个世界。

但这并不是说我们就该彻底摈弃高科技。一方面，我们都能理解卡茨拉卡比先生，他的车子和孩子无缘无故被拍了100多次，换了我们也不乐意；另一方面，我们也不得不承认高科技在执法过程中扮演的重要角色，比如调查嫌疑犯，指挥交通和阻止恐怖分子登机。但不管怎么说，科技应该帮助人类做出更好的决定，而不是代替人类做决定。飞机自动驾驶系统应该给飞行员提供支持和帮助，而不是代替飞行员驾驶飞机。如果我们总是依赖电脑，就等着大祸临头吧。

科技失灵带来的无奈有时让人哭笑不得。2012年3月，三名在澳大利亚旅游的日本学生用GPS（全球定位系统）导航开车到北斯特拉布鲁克观光。不知为什么，GPS没有检测出行驶路线被太平洋的海水淹没了14.5千米。旅行途中有意外发生也是常情，不过三名学生的反应却非常滑稽。他们沿着已经失灵的GPS导航的路线，把车开到了海边，跨过一片泥滩，朝着大海开去。海浪拍打着他们驾驶的“现代”汽车，情况不妙。终于，他们尴尬地发现自己被困了。路过的渡船上，乘客们惊讶地看着伫立在水中的车和人。学生们弃车上岸。车是报废了。“我们还想再来一次澳大利亚，”一名学生说，“这里的人都很友好，即便是今天。”

这几个人的经历的确好笑。但值得思考的是，三个具有行为思考能力的人，怎么可能跟着GPS的荒诞指示开进太平洋？ [3] 自动化系统往往使我们陷入被动，我们不经大脑地接受任何指示。举例来说，在有些国家，器官捐赠是默认的，也就是说，每个人都是初始的器官捐献者，除非他们在注册表单上打钩，选择退出，于是几乎所有人都默认了这一设定。而在另一些国家，公民则须通过在注册表单上打钩来选择成为器官捐赠者，所以登记率要低得多。规定不同，我们的决定就会完全不同，公司养老金政策也是同样的道理。有时候这些决定至关重要，甚至能够改变我们的生活。

一旦计算机给出相应的建议，人们便会不假思索地接受，心理学家将这种现象称为“自动化偏差”。不管是布拉德福的移动执法车，还是美国的禁飞名单，都存在自动化偏差。

把汽车开进海里是自动化偏差的一个极端例子，而大多数GPS使用者是通过更加温和的方式感受到自身存在的自动化偏差。第一次使用GPS的时候，你会小心谨慎。你会检查地图，可能还会将行驶路线打印出来，上路之前会尽量了解地形，估算着旅程需要多长时间。不过，有了几次成功出行的经历，你就被GPS降服了。既然GPS能找到更迅捷、可靠的路线，自己还费那么大劲干吗呢。

GPS很少让用户失望，但是一旦让你失望了，那必定是刻骨铭心的。这种悲剧第一次发生在我身上的时候，我正驱车前往约克市中心的一个酒店。约克市是一个美丽的中世纪风格的城市，它被古老的城墙包围，因此交通流量受到了管制。我到达的时候已是深夜，然后发现前方道路因为施工禁行了。GPS没有得到实时更新，指示我继续往前开。幸运的是，我没有听从GPS的指示，朝一辆向我驶来的蒸汽压路机开过去。在那一刻，我意识到：我太依赖GPS了，连一个备用计划也没准备。我既不知道自己在哪儿，也不知道酒店在哪儿，我感到自己走投无路。那时候还没有智能手机，我也没带地图。最后，我只好漫无目的地驾驶，希望GPS能重新规划出一条新路线。

后来经过了几次顺畅的旅行，GPS又重新获得了我的信任。连续几年它都不负所望，出色地完成了任务，直到最近，就在我打算去乡下参加一场婚礼的时候，它又伤了我的心。我不知道目的地的具体位置，只知道大致方向和邮编。可当我把邮编输入GPS系统，它没有任何反应。就这样，GPS又一次辜负了我。我不知道它究竟出了什么问题，也无法预测何时它会再次失灵。从事直觉决策研究的心理学家加里·克莱因（Gary Klein）总结道：“当计算机程序为你做出决策时，人们往往拒绝思考，不会想怎么去改善它。但GPS之类的计算机程序很难进行自我诊断，也就是说很难找到自己失误的原因。随着人们对它的依赖程度越来越大，人们自身的判断力就会减弱，这反过来又加强了他们的依赖性。这个过程形成了一个恶性循环。如果总是计算机程序来做决定，人就会变得被动，不再怀疑，失去警惕。”

克莱因等研究决策的专家们认为，许多软件工程师开发的应用程序总是想代替我们做决定，这让问题进一步恶化。如果我们打开软件的目的只是希望得到一些信息和帮助，我们就得费一番功夫阻止应用程序为我们做决定。什么意思呢？例如，我们不想被导航牵着鼻子走，想自己寻找最佳路线，于是我们打开导航软件，想查看一下地图或者看看有哪些路线可供选择。但是这些功能藏得太深，要花费一番工夫才能找到。相反，“开始导航”的字样却总是那么显眼，迫不及待地想替我们做决定，想牵着我们的鼻子走。

类似的软件随处可见。我们担心未来某一天机器人会抢走我们的饭碗，却没有意识到机器人已经在一步一步抢走我们的决定权。在如今的经济环境下，超级大仓库已经很常见。在那里，工人必须快速地将货品从货架上取走，搬到包装和发货的地方。他们头戴一种特殊的头盔，头盔里装有软件，通过头盔他们可以接收一位名叫“詹妮弗”的虚拟指挥官的指令。詹妮弗会告诉他们去哪里，做什么。詹妮弗掌管着仓库的一切，再微不足道的细节也不放过。詹妮弗能将一个大的指令分成若干个更小的，以便尽量减少失误。比如，如果工人需要从货架上取下18本书，詹妮弗会指挥工人分4次完成：5本、5本、5本、3本。在这样的条件下工作，工人沦为了长着肉身的机器。詹妮弗剥夺了工人的思考权，在它眼里，工人只不过是一双双廉价且麻利的手。

2007—2008年那场使世界经济陷入衰退的金融危机，其实就好比一位心不在焉的司机将车开进了太平洋。危机爆发的原因之一是一种叫作债务抵押债券（CDO）的金融产品。这种金融产品结构复杂，其价值和美国房地产市场的健康程度成正比。华尔街的金融天才在金融风暴来临之前，或许已经看到房价飞涨背后的房地产泡沫，即使美国历史上还没有出现过全国范围内的同步崩溃。要是这些金融天才能够将自己的预测告诉电脑，也许电脑就能近一步估算房地产泡沫破裂对CDO价值造成的灾难性影响，不过这一切都只是事后的幻想罢了。电脑并没有这些天才所独有的金融智慧，它不知道金融风暴即将席卷全球。

如何合理利用计算机程序，同时降低它出错的风险呢？心理学家丽贝卡·普里西克（Rebecca Pliske）发现，经验丰富的气象学家会在分析数据、做出专业预测后，再对比计算机的预测，看看自己是否有什么疏忽。（通常情况下，气象学家和电脑的预测一样。）与空客A330的飞行员不一样，这些资深的气象学家更愿意利用自己的专业知识预测天气，而不是全部依靠电脑，所以他们能一直保持高水准。但是，年青一代的气象学家和老一辈不同，他们更相信电脑而不是自己。一旦老一辈退休，人类将永远失去其在专业领域的宝贵经验，电脑出错时也将束手无策。

我们已经讨论过汽车的GPS系统和飞机的自动驾驶系统存在的问题，将这两点考虑在一起，你就会明白自动驾驶汽车的缺点。

克里斯·厄姆森（Chris Urmson）是谷歌自动驾驶汽车的项目负责人，他希望自动驾驶汽车能尽快批量生产，这样他的儿子就不用考驾照了。2020年，他的大儿子就满16岁了，厄姆森觉得不能再等了。和飞机的自动驾驶系统不同，自动驾驶汽车不需要驾驶员。这种汽车没有方向盘，不少人担心如果哪一天它们也往海里跑，可得找个方法及时从车里跳出去啊！

自动驾驶汽车遭遇的反对声音不少，小厄姆森想开上自动驾驶汽车恐怕还得等一段时间。卡内基梅隆大学的自动驾驶专家拉杰·拉杰库马尔（Raj Rajkumar）认为，要研发出可靠的自动驾驶汽车至少还要一二十年。在此之前，我们可以尝试让自动驾驶程序负责简单的路况，而复杂的路况还是交给司机吧。

“自动驾驶程序会不断改进，能够处理的路况也会越来越复杂，直到有一天完全不需要司机。最后一步将是一个由量变到质变的微小飞跃，它的出现几乎很难察觉。”拉杰库马尔在一个广播节目中说，“即便如此，意外还是有可能发生。”这听上去可不怎么吉利，却在情理之中。当路况变得复杂时，汽车便将驾驶权交给司机。乍一听，没毛病啊！可是，如果我们期待汽车能够判断何时交出控制权，就等于说，我们期待它能清楚地判断自己的局限，知道自己什么时候搞得定，什么时候搞不定。这些问题即便是人类自己都弄不清楚，你还指望电脑！

退一步讲，即便电脑准确判断出何时交出驾驶权，这时候驾驶员又该如何处理呢？连法航训练有素的飞行员在自动驾驶系统关闭时都不能正确应对突发情况，更别说普通人了。密歇根大学的安·普拉丹（Anuj K.Pradhan）说：“人类还没有习惯自动驾驶汽车，需要我们上的时候，可能真反应不过来。”

当自动驾驶系统把控制权交给司机的时候，多半是在极具挑战的突发情况下。当空客A330的自动驾驶系统关闭时，三名法航的飞行员只有两到三分钟的时间来弄清楚他们应该如何应对。想象一下，我们坐在自动驾驶汽车里玩手机，突然汽车发出“自动驾驶模式退出”的警报，我们立刻丢下手机准备接手，却看见一辆公交车迎面开来，越来越近、越来越近……

安·普拉丹提出只有那些已有多年驾驶经验的司机，才有资格驾驶自动汽车。不过，这很难从根本上解决问题。无论驾驶员有多少年的经验，一旦退居二线让电脑接手，他的技能就会逐渐退化。普拉丹的提议细想起来让人不寒而栗：我们先让新手在其最容易发生事故的阶段驾驶手动车，等他们积累了一定的驾驶经验，再把他们放进自动驾驶汽车，然后过不了多久，疏于练习的他们又会退化成新手。

厄尔·维纳说：“电子设备解决了小麻烦却制造了大麻烦。”了解了飞机的自动驾驶系统和谷歌的自动驾驶汽车之后，我们还可以补充说：正是因为电子设备逐一排除了所有小错误，反而给大错误可乘之机。为何如此？科技在解放双手的同时，剥夺了我们练习专业技能的机会，一旦真正的危机到来，我们便会因为专业技能的退化而无计可施。

维纳清楚地权衡了自动化的利弊。有了GPS，我不需要在旅行前规划驾驶路线，确实节省了一些时间。但是，对GPS的依赖也让我付出了代价，就比如那次乡村婚礼，当我最终赶到教堂的时候，新郎已经入场正在等候新娘，我满是歉意。“GPS给我节省的时间真的能弥补它给我造成的失望吗？”我问自己。鉴于后来我又开始信任GPS，我当时的答案应该是肯定的。

数据库的使用同样涉及利弊的权衡。虽然它能帮助交警查处违规停车，帮助警察阻止潜在恐怖分子登机，但是它也会“诬陷”好人，被误会的受害者还得努力证明自己的清白：“我没有违规停车，当时正在堵车。”“这不是一个恐怖组织，这只是一个留学生校友会。”而他们的解释却显得那么苍白、没有可信度。自动化给大多数人带来的便利能弥补它给少数人制造的麻烦吗？这个问题虽然没有简单的答案，但它至少可以提醒我们去倾听这少部分受害者，同时找到改进办法。

再回到电传操纵系统，它带来的利弊比数据库容易权衡。20世纪70年代末以前，每年至少发生25架商用飞机坠毁事故。2009年发生的空难只有8起，其中就包括法航447航班，从25起到8起，安全性明显提高了。成本效益的分析结果不言自明：计算机系统已经大大减少了空难次数，法航447号航班的付出是值得的。

有没有一种方法能将人的反应能力、判断力、专业知识和计算机完美结合，进一步降低事故的发生呢？最好的方式便是抛弃全自动化，采用半自动化，让系统和人工合作，同时让系统及时给出反馈。法航447航班的飞行员一共听到了75次失速警报，却不以为然。如果驾驶舱内有一个大屏幕能够显示出高高抬起的机头，驾驶员可能就能意识到出事了。同样，如果两位飞行员能够通过自己手中的操纵杆感受到另一位驾驶员的操作动作，也许经验更丰富的罗伯特就能早一些发现博南的错误。警报的确能告诉飞行员他的操作不对，但是警报很容易被忽视，它只能刺激人的耳朵，而对视觉和身体的刺激可能更能引起重视。

一些高级飞行员在训练初级飞行员时，往往不允许他们使用自动驾驶系统，防止他们因为疏于练习而荒废飞行技能。这听起来不错。但是，如果初级飞行员只是在绝对安全的时候才关闭自动驾驶，他们就没有机会练习高难度的挑战。如果他们在有挑战性的情况下关闭自动驾驶仪，又很可能引发事故，这可不是他们想要的结果。

另一种解决方案是调换计算机和人的角色。可以让飞行员驾驶飞机，计算机在一旁监督，遇到紧急状况时，计算机再插手，而不是反过来。毕竟计算机永不会疲倦，随时保持着耐心和超高水准。有人可能会说，既然是这样，为什么不让计算机唱主角，人唱配角呢？因为这样会降低人的专业知识和技能。心理学家丽贝卡·普里西克针对优秀气象学家的研究发现，他们都是先自己预测，然后才参考计算机的意见。这种方法并非放之四海而皆准，但值得我们进一步探索。

如果非要反过来，让人去监管计算机，那么如何才能让人随时保持警惕和注意力变成了一个难题。目前，需要人类监督的自动化系统除了飞机的自动驾驶系统外，还有自动分拣仓库、高铁和美国军用无人机。指挥无人机听上去像一个令人兴奋的工作，但大部分时候可能非常无聊。无人机可能在阿富汗上空盘旋，而它的飞行指挥官可能正在内华达州印度斯普林斯的克里奇空军基地嚼着M&；M’s巧克力豆，昏昏欲睡。突然一个激灵，他清醒了，这时需要立刻决定是否击杀潜在目标。

玛丽·卡明斯（Mary Cummings）是最早进入美国海军战斗机队的女飞行员之一，现在是一位研究半自动系统监控的专家。卡明斯和她的团队进行了一项实验，他们请来了一些无人机飞行指挥官参加一次模拟任务，任务持续时间很长而且比较枯燥，但是偶尔指挥官需要做出生死攸关的决定。指挥官浏览着无人机发来的图像，将下一步飞行指令输入台式电脑，电脑再发给无人机，然后指挥官继续观察、等待。在完成任务的过程中，指挥官经常会分心。他们一般会放一本书或者一台笔记本电脑，目光同时在书、笔记本和台式机上游弋。（研究人员没有干涉，因为他们想观察飞行员最真实的状态。）

不出所料，研究人员发现，无人机飞行指挥官的反应时间及其表现会随着时间的推移下滑。同时他们也观察到一些一流的指挥官采取了一种有趣的策略：他们既没有完全依靠意志保持注意力的高度集中，也没有一心两用，一边监控无人机一边处理电子邮件。相反，他们会不停地切换任务，比如监控几分钟无人机后，就去处理邮件，然后再回到无人机，这种策略让他们精力充沛。卡明斯的研究表明，当专业人员在设计某个自动化程序时，最好让其能够时不时地刻意制造一些小麻烦，以转移一下人的注意力。

20世纪80年代中期，一位叫汉斯·蒙德曼（Hans Monderman）的荷兰交通工程师被派到奥德哈斯克村，解决当地的一个交通问题。当地两名儿童被汽车撞死了，蒙德曼通过雷达测速仪发现车子穿过村庄时行驶速度太快了。他首先考虑了传统的解决方案——交通信号灯、减速带或者警示标志等。但蒙德曼心里清楚，这些方案造价高，效果也不够好。交通信号灯、减速带等控制手段往往还会让司机感到不耐烦，不但不减速反而加速通过。

蒙德曼决定另辟蹊径：既然这条路经过奥德哈斯克村，它就应该具有乡村道路的风格。蒙德曼移除了现有的交通标志，他不喜欢它们。有一次，蒙德曼与作家汤姆·范德比尔特（Tom Vanderbilt）一起开车穿越荷兰，途中遇到一座桥，蒙德曼看见入口处挂着“您即将进入大桥”的标识，觉得多此一举，挖苦道：“难道人们不知道这是一座桥吗？”蒙德曼认为，交通标志的作用是提醒人们不要超速，但是人们已经对随处可见的交通标志产生了免疫能力，在他们眼里，警示标志只不过在提醒自己正在公路上——这是汽车的天下，公路上的一切都得臣服于汽车。蒙德曼希望奥德哈斯克村的这条路能够形成自己的特色，能够成功提醒司机他们不仅是在公路上，还是在一个村子里，这里有玩耍嬉戏的小朋友。

下一步，蒙德曼拆掉了柏油路，在原来的位置上铺上了一块块红砖，隆起的马路牙子没有了，马路直接通向人行道。如果司机愿意的话，他们完全可以把车子开在人行道上溜达，不过应该没人有这个胆子。在以前，司机们总是蛮横地闯进村庄，完全没有意识到自己在开车，没有意识到自己是在一个村子里，一不小心就会撞死人。现在他们不敢了。现在他们面临的路况十分复杂，不得不全神贯注。在新的马路上，司机们很难分清楚哪里是车道，哪里是人行道，哪里是孩子们玩耍的区域，以前专属汽车的马路变成了一个司机、行人、孩子的“共享空间”。汤姆·范德比尔特认为蒙德曼的策略不是让道路变得更加规范，而是人为地将路况复杂化，让司机们因为搞不清楚状况而不得不集中注意力、保持警惕。估计厄尔·维纳也会认同蒙德曼的方案：刻意给司机制造小麻烦，反而会减少交通事故。

正如伊诺所说，当人们摸不着头脑时，就会警惕起来。当路况变得更加复杂时，司机们变得警惕起来：经过奥德哈斯克村时，他们会踩刹车，慢慢通过。蒙德曼的测速仪再也没有捕捉到超速。

世界范围内存在一小部分交通规划师，他们一直反对采用传统手段——红绿灯、公交车专用道、自行车专用道、人行道的隔离栏杆、随处可见的警告标志等——去减少事故，改善交通。蒙德曼属于他们中间的领军人物。传统的策略总是希望给司机提供更多、更清楚的指示，告诉他们该怎么做。位于荷兰德拉赫滕镇的罗卫普勒十字路口，曾发生很多事故。这里经常塞车，不耐烦的司机们经常抢绿灯，见到绿灯就拼命加油提速。罗卫普勒十字路口一侧有一个购物中心，另一侧有一个剧院，行人也经常穿行于十字路口，因此事故频发。（在城市里，大约一半的交通事故发生在交通信号灯附近。）

蒙德曼再次施展魔法，创造了“喷泉广场”。他拆掉了所有交通标志，在原来的位置上修建了一个广场，上面建有数个喷泉以及一个小型的迂回交叉路口，骑自行车的人和行人可从这里穿过车流，但是少有路标。除了从四个方向穿过广场的车流，它看起来更像一个行人专用区。行人和骑自行车的人还像以前一样过马路，但现在没有交通灯来保护他们，这听上去很危险，调查显示当地人也认为如此。“喷泉广场”看起来令人不安。司机、骑自行车的人和行人混乱地交织在一起。

然而，“喷泉广场”奏效了。虽然车流还是比较缓慢，但基本不会堵死。通过十字路口的汽车数量有所增加，但拥堵已经改善。“喷泉广场”比起之前用交通信号灯的十字路口更安全，事故发生率下降了一半。为什么？正是因为“喷泉广场”提高了人们的警惕，让他们更加小心，因此才更安全。司机无法预测路况，比如会不会有骑自行车的人突然挡在面前，他们只好小心翼翼地开车。喷泉广场让人感受到了来自交通的危险，但又不足以构成生命威胁。缓慢的速度可以让司机、骑车的人和行人进行眼神交流，相互理解，而不是将彼此视为障碍和威胁。当记者参观“喷泉广场”时，蒙德曼以身试险：他闭上眼睛后退进入车流，然而车子从他身体的两侧开过去了，没有一位司机冲他按喇叭。

在蒙德曼的设计里，司机绝对没有机会切换到自己习以为常的那种漫不经心的驾驶模式。复杂的路况迫使他们全神贯注，既要好好开车，又得留意其他车辆和行人。一片混乱的“喷泉广场”成功拯救了事故频发的交通路口。

[1] TOGA英文全称是Take Off/Go Around，意思是起飞／复飞。——译者注

[2] 法航447航班遭遇的悲剧并非个例。2014年12月，亚航8501航班在婆罗洲境内遭遇雷暴，自动驾驶系统由于轻微的机械故障关闭了。经验不足的初级飞行员无意间将飞机置于失速状态，机长发现时为时已晚，最终机毁人亡，机上162人全部丧生。

[3] 还有很多类似事件。有人按照GPS的指示将汽车驶入了华盛顿州的一个湖泊；有人将车径直开向T形交叉路口，直到闯入新泽西州一户人家的房屋；有人把车开进了曼哈顿的一段楼梯中；有人沿着约克郡的一条岩石路将车开到了悬崖边；还有人把车开进了德国汉堡一处建筑工地的大沙坑。几位瑞典游客在意大利旅游时，称自己在内陆小镇卡尔皮镇（Carpi）看到了海洞——内陆小镇是不可能有这种景致的，卡尔皮镇的旅游官员一度疑惑不解。原来，GPS把他们带到了相隔640多千米的卡普里岛（Capri）。还有更荒谬的，一位女士要去比利时的一个火车站接一个朋友，却跟着GPS驱车近1300千米开到了克罗地亚的萨格勒布。