《神经网络与深度学习 》
Neural Networks and Deep Learning
https://nndl.github.io/
邱锡鹏
[email protected]
2020年2月15日
序
很高兴为邱锡鹏教授的 《神经网络与深度学习 》一书写个序 .
近年来由于阿尔法围棋战胜人类顶级高手新闻的轰动效应 ，让人工智能一
下子进入了寻常百姓家 ，成为家喻户晓的热词 .阿尔法围棋之所以能取得如此成
功的关键技术之一 ，正是所谓的深度学习技术 .而其实在阿尔法围棋出来之前 ，
以深度学习为代表的人工智能技术已经在模式识别 、计算机视觉 、语音识别与生
成、自然语言处理 、机器翻译等方面取得了重要的进步 .也因此，2018年有计算
机领域诺贝尔奖之称的图灵奖就颁给了对深度学习作出重要贡献的三位科学家 ：
Yoshua Bengio、Geoffrey Hinton和Yann LeCun.
邱锡鹏教授的 《神经网络与深度学习 》一书较全面地介绍了神经网络 、机器
学习和深度学习的基本概念 、模型和方法 ，同时也涉及了深度学习中许多最新进
展.书后还提供了相关数学分支的简要介绍 ，以供读者需要时参考 .
《神经网络与深度学习 》一书已在网上发布 ，得到广泛好评 ，相信此书的出版
可以给有意了解或进入这一颇有前途领域的读者提供一个很好的参考书 .基本
的深度学习相当于函数逼近问题 ，即函数或曲面的拟合 ，所不同的是 ，这里用作
基函数的是非线性的神经网络函数 ，而原来数学中用的则是多项式 、三角多项式 、
B-spline、一般spline以及小波函数等的线性组合 .
由于神经网络的非线性和复杂性 （要用许多结构参数和连接权值来描述 ），
它有更强的表达能力 ，即从给定的神经网络函数族中可能找到对特定数据集拟
合得更好的神经网络 .这相信正是深度学习方法能得到一系列很好结果的重要原
因.直观上很清楚 ，当你有更多的选择时 ，你有可能选出更好的选择 .当然，要从
非常非常多的选择中找到那个更好的选择并不容易 .
这里既涉及设计合适的神经网络类型 ，也涉及从该类型的神经网络中找出好
的（即拟合误差小的 ）那个特定神经网络的方法 .后者正是数学中最优化分支所
研究的问题 .从数学角度看 ，目前深度学习中所用的优化算法还是属于比较简单
的梯度下降法 .许多数学中已有的更复杂的算法 ，由于高维数问题都还没有得到
应用.
II
本书中对这两方面都有很好的介绍 .相信随着研究的不断发展 ，今后一定会
提出更多新的神经网络和新的优化算法 .
所谓成也萧何败也萧何 ，神经网络的非线性和复杂性 （即要用大量参数来描
述；
神经网络与深度学习_邱锡鹏.pdf