人工智能算法（卷3）_深度学习和神经网络_[美] 杰弗瑞•希顿（Jeffery Heaton）.pdf

目    录 版权信息 版 权 版权声明 内容提要 引言 / INTRODUCTION 资源与支持 第1章 神经网络基础 1.1 神经元和层 1.2 神经元的类型 1.2.1 输入和输出神经元 1.2.2 隐藏神经元 1.2.3 偏置神经元 1.2.4 上下文神经元 1.2.5 其他神经元名称 1.3 激活函数 1.3.1 线性激活函数 1.3.2 阶跃激活函数 1.3.3 S型激活函数 1.3.4 双曲正切激活函数 1.4 修正线性单元 1.4.1 Softmax激活函数 1.4.2 偏置扮演什么角色？ 1.5 神经网络逻辑 1.6 本章小结 第2章 自组织映射 2.1 自组织映射和邻域函数 2.1.1 理解邻域函数 2.1.2 墨西哥帽邻域函数 2.1.3 计算SOM误差 2.2 本章小结 第3章 霍普菲尔德神经网络和玻尔兹曼机 3.1 霍普菲尔德神经网络 训练霍普菲尔德神经网络 3.2 Hopfield-Tank神经网络 3.3 玻尔兹曼机 玻尔兹曼机概率 3.4 应用玻尔兹曼机 3.4.1 旅行商问题 3.4.2 优化问题 3.4.3 玻尔兹曼机训练 3.5 本章小结 第4章 前馈神经网络 4.1 前馈神经网络结构 用于回归的单输出神经网络 4.2 计算输出 4.3 初始化权重 4.4 径向基函数神经网络 4.4.1 径向基函数 4.4.2 径向基函数神经网络示例 4.5 规范化数据 4.5.1 1-of-n编码 4.5.2 范围规范化 4.5.3 分数规范化 4.5.4 复杂规范化 4.6 本章小结 第5章 训练与评估 5.1 评估分类 5.1.1 二值分类 5.1.2 多类分类 5.1.3 对数损失 5.1.4 多类对数损失 5.2 评估回归 5.3 模拟退火训练 5.4 本章小结 第6章 反向传播训练 6.1 理解梯度 6.1.1 什么是梯度 6.1.2 计算梯度 6.2 计算输出节点增量 6.2.1 二次误差函数 6.2.2 交叉熵误差函数 6.3 计算剩余节点增量 6.4 激活函数的导数 6.4.1 线性激活函数的导数 6.4.2 Softmax激活函数的导数 6.4.3 S型激活函数的导数 6.4.4 双曲正切激活函数的导数 6.4.5 ReLU激活函数的导数 6.5 应用反向传播 6.5.1 批量训练和在线训练 6.5.2 随机梯度下降 6.5.3 反向传播权重更新 6.5.4 选择学习率和动量 6.5.5 Nesterov动量 6.6 本章小结 第7章 其他传播训练 7.1 弹性传播 7.2 RPROP参数 7.3 数据结构 7.4 理解RPROP 7.4.1 确定梯度的符号变化 7.4.2 计算权重变化 7.4.3 修改更新值 7.5 莱文伯格-马夸特算法 7.6 黑塞矩阵的计算 7.7 具有多个输出的LMA 7.8 LMA过程概述 7.9 本章小结 第8章 NEAT、CPPN和HyperNEAT 8.1 NEAT神经网络 8.1.1 NEAT突变 8.1.2 NEAT交叉 8.1.3 NEAT物种形成 8.2 CPPN CPPN表型 8.3 HyperNEAT神经网络 8.3.1 HyperNEAT基板 8.3.2 HyperNEAT计算机视觉 8.4 本章小结