第三幕 / 机器开始从经验中学习
那些没有放弃连接的人
神经网络的回归，来自学习方法、实际应用和计算条件的长期积累。
本篇目录 ＋
如果答案出错了，怎样知道是中间哪一步出了问题？一个多层网络拥有许多连接，训练它需要一种办法，把最终的误差传回这些连接。
让误差提供方向
1986年，戴维·鲁梅尔哈特、杰弗里·辛顿和罗纳德·威廉斯发表关于反向传播的重要论文，展示多层网络可以通过调整连接，学习有用的内部表示。
直观地说，系统比较预测与目标之间的差别，计算各个参数的变化会怎样影响误差，再进行调整。这并不是机器像人一样反省，而是一种可以计算的学习过程。[1]
让方法在具体任务上站住脚
神经网络并没有在一篇论文之后立刻征服世界。训练深层模型仍然困难，数据与算力也受到限制。不同研究者继续在图像、文档识别和序列任务中寻找可行方法。
卷积网络通过结构安排利用图像中的局部关系，也让某些特征能够在不同位置被识别。这样的设计说明：让机器学习，不代表研究者完全不再提供结构和先验。[2][3]
- 给出例子
- 作出预测
- 比较误差
- 调整参数
反复经历这个过程，模型可能在任务上改善表现。示意图省略了具体训练细节。
等待几条线交汇
到了2000年代，关于深层网络的研究再次活跃，互联网带来了大量数字内容，图形处理器也为大规模计算提供了机会。但这些条件要与合适的数据和训练方法结合，才能变成可重复的成果。
这段历史很容易被讲成少数人坚持到最后的故事。坚持值得记住，工具、应用、数据劳动和其他路线的贡献，也同样构成了后来突破的条件。[2][3]
留给你的一个问题
如果一种方法暂时效果不好，你会怎样判断是思路有问题，还是它缺少必要条件？
“深”究竟指什么？
深度学习通常使用多层表示。早一些的层可以学习较简单的组合，后面的层继续组合这些信息；实际学到什么，与任务、数据和结构有关。
层数多并不自动意味着效果好。训练稳定性、数据质量、计算资源与评估条件，都会影响结果。
本篇来源
沿着原始资料，继续了解故事。团队发布与回顾代表发布者提供的记录。
- 研究论文与原著 · David E. Rumelhart、Geoffrey E. Hinton、Ronald J. WilliamsLearning Representations by Back-Propagating Errors ↗
- 机构史料 · Stanford AI100Appendix I: A Short History of AI ↗
- 研究论文与原著 · Alex Krizhevsky、Ilya Sutskever、Geoffrey E. HintonImageNet Classification with Deep Convolutional Neural Networks ↗
整理于2026年9月16日