Local EPUB Text
第20章 司法科学，信息排序是最大的噪声
第20章 司法科学，信息排序是最大的噪声
2004年3月，在西班牙首都马德里，一组被放置在通勤列车上的炸弹爆炸，造成192人死亡，2000多人受伤。人们在犯罪现场的塑料袋上发现了一枚指纹，并通过国际刑警组织将其传送到了世界各地的执法机构。几天后，美国联邦调查局（FBI）犯罪实验室最终确认这枚指纹属于一个居住在俄勒冈州的美国公民布兰登·梅菲尔德（Brandon Mayfield）。
梅菲尔德看起来有很大的犯罪嫌疑。他曾是美国陆军军官，娶了一名埃及女子为妻。后来，他曾作为一名律师，为一些被指控（后来被定罪）试图前往阿富汗加入塔利班的人辩护。因此他上了FBI的监视名单。
有关机构开始监视梅菲尔德，搜查了他的房子，窃听他的电话。在上述审查未能获得任何实质性证据的情况下，FBI逮捕了他。但他从未被正式指控过。梅菲尔德已有10年没出过国。在他被羁押期间，西班牙调查人员通知FBI，他们认为塑料袋上的指纹与梅菲尔德的指纹不符，而与另一名嫌疑人的指纹相符。
两个星期后，梅菲尔德获释。最终，美国政府向他道歉，支付了200万美元的和解金，并下令对发生这种错误的原因进行全面调查。调查的核心结论是：“错误是人为所致，而不是方法或技术上的问题所致。”
幸好，这种人为错误很少见。尽管如此，它们还是引人深思。美国经验最丰富的指纹专家怎么会误把一枚指纹认定为属于一个从未接近过犯罪现场的人呢？要找到答案，我们首先需要了解指纹鉴定的流程，以及它与其他专业判断案例的关系。我们通常认为司法科学中的指纹鉴定是一门精确的科学，但实际上它会受鉴定人员心理偏差的影响。这些偏差会导致噪声，这些噪声又会产生大量错误，这样的情况之多远超我们的想象。我们来看看司法科学界是如何通过实施一项适用于所有环境的决策卫生策略来解决这一问题的，这个决策卫生策略就是：严格控制用于做出判断的信息流动。
指纹识别，身份识别中备受重视的技术
指纹是手指的脊线纹理在我们接触的物体表面留下的印记。在古代就已经有把指纹当作识别身份的显著特征的例子，而现代指纹技术则始于19世纪末。当时，苏格兰医生亨利·福尔兹（Henry Faulds）发表了一篇科学论文，首次提出将指纹用于身份识别的技术。
在随后的几十年里，指纹作为犯罪记录中的身份标识越来越受到重视，指纹技术逐渐取代了法国警官阿方斯·贝蒂伦（Alphonse Bertillon）发明的人体测量技术。贝蒂伦于1912年开发了一套对指纹进行比对的正式系统。群体智慧的发现者弗朗西斯·高尔顿爵士（Sir Francis Galton）在英国也开发了类似的体系。不过，这些奠基者并没有受到人们的称赞。高尔顿相信指纹是对个体进行种族划分的有效工具，而贝蒂伦可能是出于反犹太主义的倾向，于1894年至1899年在对阿尔弗雷德·德雷弗斯（Alfred Dreyfus）一案的审判中，做出了起决定作用但有误的专家证词。
警察很快发现，指纹的功用不只是可以作为惯犯的识别标志。1892年，阿根廷警官胡安·武塞蒂奇（Juan Vucetich）首次将隐藏在犯罪现场的指纹与嫌疑人的拇指指纹进行了比对。从那时起，收集隐藏指纹（在犯罪现场获得的指纹）并将其与样本指纹（在受控条件下从已知个体身上收集到的指纹）进行比对的做法，一直是指纹识别最关键的操作，并成为应用最广泛的司法鉴定的证据。
如果你见过电子指纹读取器，就像许多国家的移民局使用的那种，你可能会认为指纹比对是一项简单、机械、容易进行自动化作业的任务。但是，比起匹配两个清晰的指纹，把从犯罪现场收集到的隐藏指纹与样本指纹进行比对要烦琐得多。当你把手指紧紧地按在一个专门用来记录指纹印记的阅读器上时，会产生一个整洁、标准化的图像。相比之下，隐藏指纹往往只有一部分，或是不清楚，或是已经变形。它们提供的信息数量和品质与在精心准备的环境中收集到的指纹是没有可比性的。此外，隐藏指纹常常与其他指纹重叠，这些指纹可能属于同一个人，也可能属于不同的人。隐藏指纹的表面可能会出现污垢和其他瑕疵。确定它们是否与犯罪嫌疑人的指纹样本相符需要专业的判断，这就是人类指纹鉴定人员的工作。
拿到隐藏指纹后，指纹鉴定人员通常遵循一套称为ACE-V的过程，即分析（Analysis）、比较（Comparison）、评估（Evaluation）和核验（Verification）。他们必须先分析隐藏指纹，判断它是否有进行比对的价值，如果有，他们会把这枚指纹和样本指纹进行比对；比对后他们加以评估；评估后他们会得出相符（指纹是同一个人的）、排除（指纹不是同一个人的）或无法确认这三种结论。需要重新鉴定的决策会触发最后一步：由另一位指纹鉴定人员重新进行核验。
几十年来，对这一程序的可靠性一直没有人质疑。尽管目击者的证词被证明有时是非常不可靠的，甚至供词也可能是假的，但指纹一直被认为是最可信的证据——至少在DNA分析出现之前一直是这样。2002年以前，在美国的法庭上没有人质疑过指纹证据的可信度。例如，当时的FBI网站就坚称：“指纹鉴定是一种绝对不会出错的个人身份识别手段。”在极少数确实出现了错误的情况下，错误会被归结为鉴定人员能力不足或造假。
指纹证据在很长一段时间内都没有受到质疑的部分原因是，很难证明它是错的。一组指纹的“真实值”，也就是实际罪犯的真实身份往往是未知的。对于梅菲尔德和少数类似案件来说，这个错误尤其严重。但一般来说，即便嫌疑人否认指纹鉴定人员的结论，人们也倾向于认为指纹证据更加可靠。
我们注意到，不知道真实值是普遍现象，但这并不妨碍我们对噪声进行测量。指纹分析中有多少噪声？或者更准确地说，假设指纹鉴定人员与法官或核保员不一样，指纹鉴定人员不是要给出一个数字，而是要做出一个明确的判断，那么他们有多大可能性会意见不一？为什么会这样？这些问题是伦敦大学认知神经科学研究员伊蒂尔·德鲁尔（Itiel Dror）最先着手研究的。他在一个被假定没有噪声问题的领域，进行了一系列类似于噪声审查的研究。
指纹分析中的情境噪声
对于一位认知科学家或心理学家来说，挑战指纹鉴定人员似乎有些奇怪。毕竟，正如你在《犯罪现场调查》（CSI: Crime Scene Investigation）系列节目中所看到的，这些都是需要戴乳胶手套、手持显微镜进行研究的硬科学。但德鲁尔意识到，指纹验证显然是一个判断问题。作为认知神经科学家，他断言：哪里有判断，哪里就有噪声。
为了验证这一假设，德鲁尔首先聚焦于情境噪声，即让同一位专家对同一证据进行两次验证，再观察他的前后两次判断之间的差异。正如德鲁尔所说：“如果专家不可靠到自相矛盾的地步，那么他们的判断和专业性的基础就值得怀疑。”
指纹分析为检查情境噪声提供了一个完美的测试平台，这是因为，不像医生或法官遇到的案件，成对的指纹不容易被记住。当然，必须留出适当的时间间隔，以确保鉴定人员不会记住指纹。在德鲁尔的研究中，一些勇敢、思想开放的专家同意，在未来5年中的任何时候，他们都愿意在不知情的情况下参与研究。此外，实验必须在专家的日常工作过程中进行，这样他们就不会意识到有人在验证自己的技能。如果在这种情况下，鉴定人员在两次测试中的判断不一致，那就证明指纹鉴定中确实存在情境噪声。
缺乏独立性，司法科学的证实性偏差
以上述专家同意为基础，德鲁尔对此前的研究做了调整，又进行了两项研究，这一次，他引入了一个重要的变化。当第二次看到指纹时，一些检验人员会受到可能使这个案例出现更多偏差的信息的影响。例如，指纹鉴定人员在第一次验证时发现指纹是匹配的，但这次却得知“嫌疑人有不在场证明”或“枪支方面的证据表明他不是嫌疑人”。另外一些鉴定人员最初认定嫌疑人是无辜的或指纹无法确定，但在第二次验证中，他们被告知“侦探相信嫌疑人有罪”“目击者指认了他”“他供认了罪行”。德鲁尔称这项实验是对专家“可偏差性”的测试，因为实验人员所提供的背景信息激活了指纹鉴定人员在特定方向上的心理偏差（证实性偏差）。
事实上，鉴定人员很容易产生偏差。当同一批鉴定人员再次鉴定之前看到的相同指纹时，由于这次有了偏差信息，他们的判断也发生了改变。在第一项研究中，4/5的专家在面对强有力的背景信息时改变了他们先前做出的比对相符的决策。在第二项研究中，6位专家重新鉴定了4对指纹。在先前的24个决策中，偏差信息导致了4个决策的改变。可以肯定的是，他们的大多数决策并没有改变，但对于这类决策而言，1/6的改变可以算是很大的比例了。这些研究发现也得到了其他研究人员的证实。
正如我们所料，当决策一开始就很难做出，偏差信息又很强烈，而且对应的改变是从结论确凿的决策变为不确定的决策时，鉴定人员更有可能改变主意。然而，令人不安的是，指纹鉴定专家往往是根据背景环境做出决策的，而不是根据指纹中包含的实际信息来判断。
偏差信息影响的不仅仅是鉴定人员的结论（相符、无法确认或排除），它实际上还改变了鉴定人员对信息的感知，以及对这种感知的解释。在另一项独立研究中，德鲁尔和他的同事们发现，那些处于偏差环境中的鉴定人员，与那些没有接触偏差信息的鉴定人员看到的东西不同。当隐藏指纹与目标样本指纹同时出现时，鉴定人员观察到的细节（微小的细节）明显少于他们只看到隐藏指纹时所观察到的细节。随后的一项独立研究证实了这一结论，并且实验人员补充道：“我们并不清楚它是如何发生的。”
德鲁尔为偏差信息的影响创造了一个术语：司法科学证实性偏差。这一偏差后来为其他司法科学技术所引证，包括血型分析、纵火调查、骨骼遗骸分析和法医病理学。即使是被普遍视为司法科学新黄金标准的DNA分析，也容易受到证实性偏差的影响，至少在专家们评估复杂的DNA混合物时是如此。
司法科学专家易受证实性偏差的影响不仅是一个理论层面的问题，因为现实中尚没有系统性的预防措施来确保专家们不会接触偏差信息。鉴定人员经常会在随证据一起提交给他们的传送信函中收到此类信息，也经常会与警察、检察官和其他鉴定人员直接沟通。
证实性偏差还引发了另一个问题。为避免犯错，人们在ACE-V程序中加入了一项重要的安全措施，那就是在确认指纹的信息之前，由另一位专家独立进行一次验证。但大多数情况下，只有结果是“需要重新识别”时才需要独立验证。这很可能会导致证实性偏差，因为执行核实工作的鉴定人员知道最初的结论是“需要重新识别”。因此，验证的这一步并不像大家预想的那样，能够带来聚合多个独立判断的好处，因为验证实际上并不是独立的。
在梅菲尔德一案中，一系列的证实性偏差似乎起了作用。在这起案件中，不止两位，而是三位FBI专家为错误的身份识别“投下了赞成票”。后来针对这一错误展开的调查指出，第一位鉴定人员似乎非常相信计算机系统自动从指纹数据库中搜索出的结果。虽然他明显没有接触到梅菲尔德的个人基本信息，但执行初步搜索的计算机系统提供的结果，加上处理一个极为引人注目的案件带来的心理压力，足以导致初步的证实性偏差。报告继续指出，一旦第一位鉴定人员做出错误的鉴定，随后的鉴定就被污染了。由于第一位鉴定人员是一位备受尊敬的监督员，“机构中的其他人难有异议”。最初的错误被复制和放大，导致人们几乎就认定了梅菲尔德有罪。到了这一步，哪怕是一位备受尊敬的独立专家接受法院指派代表梅菲尔德的辩护方审查证据，他也会和FBI的意见一致，确认指纹相符。
同样的现象也可能发生在其他司法鉴定领域。隐藏指纹识别被誉为各鉴定领域中最客观的分析手段，如果指纹鉴定人员在操作过程中都存在偏差，那么其他领域的专家也会如此。此外，如果一位枪支专家知道指纹是匹配的，这种信息也会影响他的判断。如果牙齿鉴定专家知道DNA分析已经确认了犯罪嫌疑人，那么这位专家就不太可能认为咬痕与犯罪嫌疑人不匹配。这些例子引发了人们对一系列偏差的恐惧：正如我们在第8章中描述的群体决策一样，由证实性偏差引发的初始错误变成了影响第二位专家的偏差信息，第二位专家的判断又会使第三位专家产生偏差，依此类推。
在明确了偏差信息会导致判断错误后，德鲁尔和他的同事们发现了更多的关于情境噪声的证据。即使指纹专家没有接触到偏差信息，他们有时也会对自己先前见过的一组指纹改变看法。在没有给出偏差信息的情况下，改变确实更少发生但无法杜绝，这些与我们预想的情况相符。2012年，FBI委托进行的一项研究更大规模地重现了这一发现，该研究要求72名鉴定人员再次查看他们在大约7个月前评估过的25对指纹。借助这一高质量鉴定人员的大样本，该研究表明，指纹专家有时容易受到情境噪声的影响，而且大约有1/10的决策改变了。大多数的改变要么从“相符”变成了“无法确认”，要么就是反过来，没有一个决策的改变是源于鉴定错误的。这项研究最令人不安的地方在于，它表明一些原本可以定罪的指纹先前可能被判定为“无法确认”。当鉴定人员验证相同的指纹时，即使背景环境不是为了使他们产生偏差而是要尽可能让他们保持一致，他们的决策也存在不一致性。
少许噪声，但多少误差呢
这些研究结果反映出现实生活中有可能存在司法错误。我们不能忽视出庭作证专家的可信度问题：可信度是效度的条件，原因很简单，如果你自己的判断都会不一致，那么它也难以与真实情况一致。
究竟有多少错误是由司法鉴定中出现的错误造成的？美国一个致力于推翻错案的非营利性组织“无辜者计划”（Innocent Project）收集了350个改判无罪的案件。一份针对这些案件的回顾指出：在45%的案件中，司法鉴定科学的误用是促成错判的一个原因。这个统计数字听起来很恐怖，但法官和陪审员关注的重点有所不同：他们要知道包括指纹鉴定人员在内的司法鉴定专家犯相应错误的可能性有多大，才能知道应给予出庭作证的鉴定者们多少信任。
这个问题的最有力答案可以在总统科技顾问委员会（President’s Council of Advisors on Science and Technology，PCAST）的一份报告中找到。PCAST是一个由美国顶尖科学家和工程师组成的咨询小组，它在2016年对刑事法庭中的司法鉴定进行了全面回顾。其报告总结了指纹分析有效性的现有证据，特别是与错误身份识别（假阳性）的可能性相关的证据，例如关于梅菲尔德的指纹的鉴定。
这方面的证据少得可怜，就像PCAST指出的那样，收集这方面证据的工作直到最近才开展，这实在“令人痛心”。最可信的数据来自2011年FBI的科学家进行的唯一一项大规模指纹识别准确性研究。这项研究有169名鉴定人员参与，每个人都对比了大约100对隐藏指纹和样本指纹，并发现错误的鉴定很少——假阳性率约为0.17%。
0.17%的错误率的确很低，但报告指出：“鉴于一直以来在媒体宣传中指纹鉴定被赋予的高准确性，这一比例要比普通公众乃至大部分陪审员认为的高很多。”这项研究未包含任何有偏差的背景信息，而且鉴定人员知道他们在参加测试，这可能导致该项研究低估了实际案例中出现的错误。在佛罗里达州进行的一项后续研究发现的假阳性率要高得多。这些研究报告中的各种发现表明，我们需要更多的研究来确定指纹鉴定人员决策的准确性以及这些决策是如何做出的。
然而，所有研究得到的一致发现是，鉴定人员犯错的原因都是过于谨慎，这一发现令人欣慰。诚然他们无法做出百分之百准确的判断，但他们知道自己的判断可能会造成什么样的后果，并考虑到了潜在错误的代价。由于指纹识别的可信度非常高，错误的身份识别可能会导致灾难性的后果。其他类型的错误则不会有那么严重的后果。例如，FBI的专家观察发现：在大多数案件中，“排除”与“无法确认”对案件本身产生的影响是一样的，换句话说，在凶器上发现的指纹证据足以证明嫌疑人有罪，但没有指纹证据并不足以证明嫌疑人无罪。
不仅鉴定人员在做判断时会非常谨慎，证据还表明，专家在做出识别决策之前也会考虑再三。在FBI关于身份识别准确性的研究中，不到1/3的“配对”指纹对（隐藏指纹和样本指纹属于同一个人）被（准确地）判定为身份识别成功。与假阴性（排除）相比，鉴定人员做出的假阳性判断（错误识别）也要少得多。他们容易受到偏差的影响，但在这两个方向上的偏差并不等同。正如德鲁尔所指出的，“比起确定的‘相符’的结论，法医专家更倾向于做出‘不确定’的结论”。
鉴定人员接受过训练，因而会将错误的身份识别看成一种不惜一切代价也要避免的致命罪过。值得称道的是，他们遵循了这一原则，我们只能希望他们对身份识别错误的谨慎态度能使像梅菲尔德案这样的身份识别错误的热点案件少之又少。
倾听噪声，减少噪声的第一步
我们观察到在司法科学中存在噪声，这不应视为对法医学家的批评。这仅仅是我们反复观察的结果：哪里有判断，哪里就有噪声，而且比你想象的还要多。像指纹分析这样的任务似乎是十分客观的，以至于许多人根本不会将其视为判断的一种形式。尽管如此，不一致、分歧和偶尔出错在该领域也在所难免。无论指纹识别的错误率有多低，它都不是零，正如PCAST所指出的那样，陪审团应该意识到这一点。
当然，减少噪声的第一步必须是承认它可能存在。指纹识别领域的成员并没有自然而然地承认这一点，他们中的许多人最初对德鲁尔的噪声审查表示非常怀疑。“鉴定人员可能会在不经意间受到案件信息的影响”，这一说法激怒了很多专家。指纹学会（Fingerprint Society）主席就德鲁尔的研究进行了回复：“如果哪位指纹鉴定人员在决策过程中受到了影响……那么他就太不成熟了，他应该去迪士尼工作。”一家大型法医学实验室的负责人指出，接触那些可能使鉴定人员产生偏差的案件信息，“会令鉴定人员获得满足感，让他们享受工作，而不会真正改变他们的判断”。就连FBI在梅菲尔德案的内部调查中都强调，“隐藏指纹的鉴定人员通常会进行核查，他们知道之前的鉴定人员的结果，但这些结果并不会影响他们的结论”。这些言论基本等于否认了证实性偏差的存在。
即使意识到了偏差的风险，鉴定专家也无法避免偏差盲点，即他们倾向于承认他人存在偏差，但认为自己不会。一项对21个国家400名鉴定专家展开的调查显示，71%的人认同“认知偏差是整个司法鉴定科学中一个令人担忧的因素”，但只有26%的人认为“自己的判断受到了认知偏差的影响”。换句话说，大约一半的司法专业人士认为，他们的同事的判断有噪声，但他们自己的判断并不存在噪声。噪声可能是一个看不见的问题，甚至对那些工作职责就是“发现这种不可见”的人来说亦是如此。
对信息排序，一个好的决策者应该努力“保持怀疑”
多亏了德鲁尔及其同事的坚持，人们的态度正在慢慢改变，越来越多的法医实验室已经开始采取新的措施来减少他们分析中的误差。例如，PCAST在报告中赞扬了FBI实验室重新设计程序以尽量减少证实性偏差的风险这一举措。
必要的方法论步骤是简单明了的。它们阐明了一个适用于许多领域的决策卫生策略：通过对信息进行排序来限制过早地使用直觉。在所有判断中，有些信息是相关的，有些则不是，而且信息并非总是越多越好，在信息有可能诱导鉴定人员过早地根据直觉下判断并导致判断产生偏差时尤其如此。
本着这一精神，为确保鉴定人员判断的独立性，司法实验室采用的新程序只有在鉴定人员需要时，才会向他们提供所需的信息。换言之，实验室会逐步透露信息，尽可能地让他们“蒙在鼓里”。因此，德鲁尔及其同事设计的方法被称为“线性序列揭露”（linear sequential unmasking）。
德鲁尔的另一项建议也说明了相同的决策卫生策略：鉴定人员应记录他们在每一步做出的判断。他们应该在查看样本指纹之前记录对隐藏指纹的分析，再判断二者是否匹配。这一系列步骤能帮助专家避免只看到他们正在寻找的东西。他们应该在接触到有可能使自己产生偏差的背景信息之前，记录自己对证据的判断。如果他们在接触到背景信息后改变了主意，也应该记录这些改变及做出改变的理由。这项要求限制了先前的直觉使整个过程产生偏差的风险。
依据同样的逻辑，我们可以提出第三条建议，这也是决策卫生的重要组成部分，即当要求另一名鉴定人员核实第一名鉴定人员做出的身份识别时，第二个人不应知道第一个人的判断。
司法鉴定中存在噪声必然值得关注，因为事关生死，但这也说明了一个问题。长期以来，我们完全没有意识到，指纹识别竟然也可能会出现错误，这说明我们对专家判断的信心有时被夸大了，噪声审查也会暴露出意想不到的噪声数量。简单地改变一下流程就可以改善这种不足，对所有关心提高决策品质的人来说，这一事实令人振奋。
本案例所说明的主要决策卫生策略（对信息进行排序）具有广泛的适用性，可作为预防情境噪声的措施。我们已经注意到，情境噪声是由各种各样的因素触发的，包括情绪，甚至温度。你不能指望控制住所有触发因素，但你可以尝试避免那些会对判断造成明显影响的因素。例如，你已经知道愤怒、恐惧或其他情绪可能会改变判断，于是你也意识到，如果可以的话，在不同时间重复审视自己的判断是一个不错的办法，因为情境噪声的触发因素在不同时间可能不同。
有一种不太显而易见的可能性，那就是你的判断在不知不觉中被另一种触发情境噪声的因素所改变，这种因素就是信息，甚至是准确的信息。就像指纹鉴定人员的例子一样，一旦你知道别人的想法，证实性偏差会导致你过早地形成一个整体印象，并忽略与其矛盾的信息。我们可以用阿尔弗雷德·希区柯克（Alfred Hitchcock）的两部电影的名称来概括这一点：一个好的决策者应该努力“保持怀疑”（Shadow of a Doubt，片名又译《辣手摧花》），而不要成为“已经知道太多的人”（The Man Who Knew Too Much，片名又译《擒凶记》）。