Local EPUB Text
神经网络研究的复兴
符号型人工智能高速发展的同时，神经网络研究仍旧在艰难起步。到如今，“感知器”已经演变为神经网络中某一层神经元的通称。有趣的是，模拟硬件装置的命运与原始的感知器相似，已经被搁置一边。人工智能专家专注于在软件里打造神经网络。
1975年，哈佛博士生保罗·韦伯斯（Paul Werbos）发明了一种新型、改良的感知器。韦伯斯为推进人工神经网络的发展做出了两项重要的贡献。第一，他推出的神经网络不仅能输出“1”和“0”，还能输出分数数值。例如，0.5的计算值意味着神经元对该答案的“无法确定”。与罗森布拉特的感知器相比，那台原始的“马克1号”只能纯粹输出“1”和“0”，灯泡所能以“点亮”和“熄灭”的方式表示只能“是”或“否”，没有介于两者之间的表达。
第二项贡献是韦伯斯提出了一项新的训练算法“误差反向传播算法（Error Backpropagation）”。这样一来，人工神经元能够以分数的形式来处理各种不确定性，误差反向传播算法用于训练多层神经网络的共同运作。罗森布拉特感知器的主要限制之一是输出的神经元层只能输出“是/否”两个答案，导致学习曲线过分陡峭，拖延进度。韦伯斯的新一代人工神经元网络能使多层神经元联动，大幅度增加了其模式识别能力，也因此拓展了其潜在应用范围。这种新结构有利于提高神经元网络处理复杂的模式分类问题。事实上，韦伯斯最先解决的难题就是此前一直被认为神经元无法破解的异或运算问题。
假设我们使用韦伯斯的方法来训练神经元网络识别各种狗。首先，我们把一张20×20网络像素的狗的数字图片呈现给神经元网络。传感层把信号传送给由400个人工神经元组成的首层神经元网络，首层接收后通过加权连接把信号传给第二层，第二层再次通过加权连接把信号传给第三层，如此类推。
最后，当信号经过所有的中间层以后，抵达输出层。输出层由单一神经元细胞构成。该神经元细胞回答道：“这是一张狗的图片吗？”在能实现分数回应的前提下，网络能根据答案的确定程度，在0~1的范围内给出答案。例如，神经元网络给出的答案是0.9，这意味着它比较确定图片的中的物体是一只狗，但不能百分百确定。
整个训练过程大致如此。如果网络提供的答案不正确，韦伯斯的算法会计算出哪些连接算出错误答案的概率最高。这部分连接将重新调整。相比罗森布拉特的感知器，通过改变导线的电阻来调整A单元（连接加权）。而在以软件为基础的神经元网络中，软件是通过改变其出错的连接的加权系数进行调节。通常，人工神经元网络的连接权重是以百分比的形式呈现的。如何调节该百分比在任何一项训练中都是很关键的因素。
如果回答正确，韦伯斯的算法相应地算出哪些连接的正确率最高，然后通过增加权重来加强这部分连接。整个训练过程将不断重复，提供各种狗的图片以及其他的干扰项（除了狗以外其他物品的图片）给感知器判断。
尽管有了韦伯斯这套成熟的训练算法，神经元网络依然面临着极大的限制。大的神经元网络能够通过数学的方法保证正确识别所有呈现的图片，然而，当遇到新的、不熟悉的狗的图片时，该网络的识别能力将被严重削弱。神经元网络能分别狗的图片和其他不相干的图片，比方说一座桥。但倘若遇上其他四只脚的动物图片，网络的表现将会大打折扣，陷入混乱。这情形就像同学在考试中，遇到多项选择题时，胡乱组合答案。
然而，充满希望的春天如约而至。先进的数字摄像技术加上韦伯斯误差反向传播算法，在神经元网络的研究里点燃了新的亮光，很快结束了20世纪60年代到70年代的人工智能冬天。如果你仔细研读80年代末至90年代的研究文章，你能感受在这期间，研究领域呈现一片欣欣向荣的景象。研究人员尝试应用神经元网络对太阳底下的一切进行分类：图像、文本、声音。神经网络研究——现在这种行为被重新命名为“联结主义（Connectionism）”——应用领域十分广泛，从对信用卡申请人的评级到药物分析无处不在。
可是，20世纪90年代的神经元网络研究复兴并没有持续很久。尽管无数的学术文章表明神经网络在人为结构设置的环境中能够取得许多成功，但在实际应用中它却表现不佳。问题恰恰在于机器学习得太好了。神经网络的过度指定（overspecialize）、过拟合（overfit），仿佛一个小孩子能够准确无误地记住数学问题的答案用于应答，而没有理解答案背后的公示。
过拟合问题在于，神经网络能够学会识别训练过的图片内容，却缺乏“举一反三”、对知识内容扩展的能力。僵化的不变量问题依然没有得到解决。如果人们训练神经网络识别100张猫或狗的照片，它可以成功地对这100张图片正确分类。然而遇到训练内容以外的图片，神经网络将很可悲地遭遇失败。这使得联结主义学界再花上个十年研究，如何在机器出现过拟合之前停止训练。这种方法叫作“提前停止法（Early Stopping）”，只可惜这个方法来得有点晚。
这一次，对神经网络造成打击的不是人工智能界的逻辑主义阵营，而是来自同一阵营的竞争对手阵营——新的机器学习方法。那个时候，这种机器学习方法，特别是支持向量机（Support Vector Machines）开始盛行。他们相比神经网络的表现进步并不大，却十分诱人。对于视觉识别任务，比如那些对无人驾驶来说十分重要的识别需求，机器表现提高了1%——若是在以秒为单位的、激烈竞争的奥运比赛场上，任何细微的差别都可能扭转赛果，那里是“胜者为王”的赛场。
支持向量机的大部分进步之处，回想起来，也只是能在路径清晰的发展中避免过拟合的问题。这门技术被称为“常规化（Regularization）”。当同样的过拟合缓解办法应用到神经网络上时，虽然神经网络也能有所提高，可惜这一切太晚了。神经网络研究在20世纪90年代中期再度失宠，对不变量表示（invariant representation）的问题仍旧没有得到解决。