Local EPUB Text
神经网络
神经元细胞传递信号是一个电化学反应的过程。一个神经元细胞包含一个细胞体,负责接收信号,信号从其他神经元发出后要经过许多细小的树突(Dendrites)。当神经元细胞体接收到另一个神经元传过来的信号,信号会沿着一根长长的附属线路,类似蒲公英根茎的形状,它叫轴突(Axon)。神经轴突把一个信号传输给另一个。与其他细胞之间的连接点就叫作突触(Synaptic)。当神经元细胞释放电信号的时候,所释放到突触里的化学物质就叫作神经递质(Neurotransmitters)。
在大脑里,当神经元受到刺激时会“放电”,传递信号给别的细胞。视网膜神经元受到光线的刺激,它的电位会发生变化,释放出电能沿着轴突传输,把信号传递给突触,使其释放神经递质。其他的神经元接收到释放的神经递质,依次传递给其他的神经元,再依次往下传递。最后,经过一系列的激活,信号被传送到了位于大脑最高执行层的神经元,即前额皮层(Prefrontal Cortex)。就在这长长的一串神经元相互作用下,奇迹发生了,我们的意识告诉我们说,“看,这是我朋友!”或“小心,这是一只熊!”。
在这么一个没人能完全看见的过程里,我们大脑中的神经元学会了识别并对某一种特定刺激产生电位变化,至于其他不相干的刺激则没有反应。神经元之间的连接经过长时间的收到刺激或忽略刺激,会改变其连接性,即要么连接加强了,或者连接削弱了,我们把这个过程称为突触可塑性(Synaptic Plasticity)。一些大脑科学研究专家认为,如果大脑体验的是积极的过程,内啡肽(Endorphin)会加强活化神经元之间的连接。然而负面的体验将会抑制或削弱这些连接。突触可塑性的概念在人工智能神经网络的研究中扮演着关键的角色,而且是整个深度学习的核心。
对于神经元细胞来说,最重要的问题是“我是否应该放电”。当神经元没有传递信号的时候,它处于休息的状态。当神经元周围的网络开始传输信号时,神经元可能在放电,也可能没有。神经元是否放电取决于所接受的信号累积强度能否达到阈值。如果信号强度没有达到阈值,细胞不会放电,一点儿也不会。
这一幅简单的神经网络工作流程图,就是生理上真实的神经元细胞工作的过程的简化版。然而,对于人工智能研究的目的,它提供了基础。现在让我们一起去看看人工神经元网络在计算机版本里所扮演的角色。
人工神经网络的研究没有被公认的确切开始日期,但20世纪40年代是该项研究的一个良好开端。1943年,两位电子工程师,沃伦·麦卡洛克(Warren McCulloch)和沃尔特·皮茨(Walter Pitts),发表了一篇关于为首个人造神经元细胞构建数学模型的论文,该模型被称为阈值逻辑单元(Threshold Logic Unit)。这个被他们描述为“大脑里的神经网”简易模型,随即成为好几种人造神经网络的基础。
1949年,心理学家唐纳德·赫布(Donald Hebb)提出在神经元连接基础上加入神经元学习性的生理模型——赫布突触学习理论(Hebb's Synaptic Learning Rule)。赫布假定当神经元之间的激活连接被正向强化时(放大),大脑开启学习功能;同时,神经元连接被负向强化削弱的时候(缩小),大脑也在学习。赫布把大脑运行规律的新理论阐述在他的著作《行为的组织》(The Organization of Behavior)里。
提起赫布理论,人们通常指的是“共同激活的神经元成为联合”的说法。赫布这一对于神经元的简单推测随后被称为“赫布型学习(Hebbian learning)”。人们把赫布型学习理论应用到人工神经网络中,使计算机进行学习能力培养的科学也由此诞生。
今天在人工神经元网络研究的领域包含了好几种不同的方法,但这些方法都有着一些得到普遍认同的核心概念。观点一:神经元彼此连接,组成一个去中心化的神经网络。观点二:当个体神经元细胞之间的兴奋加强或减弱时,大脑开启学习。观点三:只有达到一定的阈值,神经元才能放电或实现实现信息的传递。在人工神经元网络的研究中,根据神经网络种类不同,设计需求也不同,这些公认的核心概念在应用时也有不同的呈现方式和细微的差别。