一、神经网络的起源阶段

神经网络最早可追溯到1943年。麦卡洛克和皮兹在论文《神经活动中内在思想的逻辑演算》中通过分析总结神经元基本特性提出了M-P模型。M-P模型借鉴了已知的神经细胞生物过程原理，建立了一个神经元工作的数学描述，是人类首次对大脑工作原理进行的探索，开创了神经网络的新时代，也奠定了神经网络的理论基础。

随后，唐纳德·赫布于1949年在《行为的组织》一文中提出了赫布规则（Hebb rule）。该规则模仿人类的认知过程建立了一种无监督学习的网络模型。具体来说，该模型针对训练数据提取其统计特征，再按样本的相似程度进行分类。某种程度上，赫布规则与“条件反射”机制描述一致。

在M-P模型和赫布规则的研究基础上，1958年罗森布拉特提出了“感知机”学习，该模型是一种模拟人类学习过程的学习模型。在此基础上，他建立了由两层人工神经元组成的“感知机”，能够实现线性可分数据的二分类问题。该模型吸引了大量研究者研究神经网络，对神经网络发展具有重要意义。

但随后，“AI之父”明斯基和计算机语言学家派珀特在《感知机》一书中以逻辑中的异或运算为例，证明单层感知机无法解决线性不可分问题。由于该问题没有得到及时解决，导致神经网络在20世纪70年代进入了第一个寒冬期。