简明神经网络电子书

前言

主要符号表

第1章 绪论

1.1 神经网络简介

1.1.1 神经网络的定义

1.1.2 神经网络的工作过程

1.2 神经网络的应用

1.3 神经网络的研究目标

1.4 神经网络的发展历史

1.4.1 历史大事件概述

1.4.2 神经网络领域的重要人物及团队

1.4.3 神经网络领域的重要期刊

1.5 神经网络的研究现状

1.6 神经网络的研究方法

1.7 小结

练习

第2章 神经元

2.1 神经元模型

2.1.1 生物神经元

2.1.2 人工神经元

2.2 神经元的组成成分

2.2.1 神经元的激发

2.2.2 神经元的整合

2.3 感知机神经元

2.3.1 感知机神经元模型

2.3.2 感知机神经元的学习

2.3.3 感知机神经元的学习规则

2.3.4 神经元模型的特性

2.4 神经元的应用

2.4.1 单元线性回归

2.4.2 多元线性回归

2.4.3 双输入-单输出的线性分类

2.4.4 单个神经元的局限

2.5 小结

练习

第3章 单层感知机

3.1 神经元的连接

3.1.1 神经元的连接概述

3.1.2 神经网络的扩展

3.1.3 其他连接方式

3.2 单层感知机

3.2.1 单层感知机的结构和数学表达

3.2.2 最小均方算法

3.2.3 最小均方算法的优势与缺陷

3.2.4 将最小均方算法用于感知机

3.2.5 感知机收敛定理

3.3 单层感知机的应用

3.3.1 用感知机分析健康及收入状况

3.3.2 用感知机求解线性二分类问题

3.3.3 多输入-多输出的线性三分类问题

3.4 小结

练习

第4章 多层感知机

4.1 引入隐藏层的必要性

4.1.1 单层感知机的局限

4.1.2 单隐藏层神经网络

4.1.3 单隐藏层神经网络的数学表示

4.1.4 多隐藏层

4.2 多层感知机的基本概念

4.2.1 多层感知机的数学表示

4.2.2 多层感知机的运行

4.2.3 示例：异或问题

4.2.4 示例：双月模型

4.3 多层感知机的学习

4.3.1 基本原理

4.3.2 感知机学习与逼近方法的数学分析

4.3.3 梯度下降法

4.3.4 反向传播算法

4.3.5 反向传播算法分析

4.3.6 反向传播算法改进

4.4 多层感知机的深入分析

4.4.1 通用近似定理

4.4.2 网络结构超参数选择

4.4.3 神经元排列方式的影响

4.5 多层感知机的应用

4.5.1 环数据集分类任务

4.5.2 手写数字分类任务

4.5.3 Fashion-MNIST分类任务

4.5.4 函数拟合任务

4.5.5 曲面拟合任务

4.6 小结

练习

第5章 神经网络模型优化

5.1 学习率

5.1.1 学习率的影响

5.1.2 常见的学习率选择方法

5.2 损失函数

5.2.1 回归损失函数

5.2.2 分类损失函数

5.3 正则化

5.3.1 泛化能力

5.3.2 常见的正则化方法

5.4 归一化

5.4.1 简单的归一化方法

5.4.2 神经网络中的归一化方法

5.5 参数初始化

5.5.1 全0初始化

5.5.2 常见的权值矩阵初始化方法

5.5.3 常见的偏置矩阵初始化方法

5.5.4 初始化参数对训练的优化程度

5.6 网络预训练

5.6.1 无监督预训练

5.6.2 有监督预训练

5.7 TREC分类任务

5.7.1 任务介绍

5.7.2 解决方案

5.7.3 实验结果

5.7.4 模型优化

5.8 小结

练习

第6章 神经网络的分布式学习、压缩和解释

6.1 神经网络分布式学习

6.1.1 分布式学习简介

6.1.2 常用的分布式划分方法

6.1.3 常用的通信机制

6.1.4 常用的模型聚合方法

6.1.5 使用PyTorch进行分布式学习

6.2 神经网络压缩

6.2.1 神经网络压缩的意义和定义

6.2.2 神经网络压缩方法

6.2.3 神经网络剪枝

6.3 神经网络可解释性

6.3.1 神经网络可解释性简介

6.3.2 神经网络可解释性方法分类

6.3.3 神经网络可解释性方法评估

6.3.4 神经网络可解释性研究展望

6.3.5 使用PyTorch进行可解释性分析

6.4 小结

练习

参考文献