深度学习核心技术与实践电子书

版权页

前言

第1部分 深度学习基础篇

1 概述

1.1 人工智能

1.2 机器学习

1.3 神经网络

参考文献

2 神经网络

2.1 在神经科学中对生物神经元的研究

2.2 神经元模型

2.3 感知机

2.4 DNN

参考文献

3 初始化模型

3.1 受限玻尔兹曼机

3.2 自动编码器

3.3 深度信念网络

参考文献

4 卷积神经网络

4.1 卷积算子

4.2 卷积的特征

4.3 卷积网络典型结构

4.4 卷积网络的层

参考文献

5 循环神经网络

5.1 循环神经网络简介

5.2 RNN、LSTM和GRU

5.3 双向RNN

5.4 RNN语言模型的简单实现

参考文献

6 深度学习优化算法

6.1 SGD

6.2 Momentum

6.3 NAG

6.4 Adagrad

6.5 RMSProp

6.6 Adadelta

6.7 Adam

6.8 AdaMax

6.9 Nadam

6.10 关于优化算法的使用

参考文献

7 深度学习训练技巧

7.1 数据预处理

7.2 权重初始化

7.3 正则化

参考文献

8 深度学习框架

8.1 Theano

8.2 Torch

8.3 PyTorch

8.4 Caffe

8.5 TensorFlow

8.6 MXNet

8.7 Keras

参考文献

第2部分 计算机视觉篇

9 计算机视觉背景

9.1 传统计算机视觉

9.2 基于深度学习的计算机视觉

9.3 参考文献

10 图像分类模型

10.1 LeNet-5

10.2 AlexNet

10.3 VGGNet

10.4 GoogLeNet

10.5 ResNet

10.6 DenseNet

10.7 DPN

参考文献

11 目标检测

11.1 相关研究

11.2 基于区域提名的方法

11.3 端到端的方法

11.4 小结

参考文献

12 语义分割

12.1 全卷积网络

12.2 CRF/MRF的使用

12.3 实例分割

参考文献

13 图像检索的深度哈希编码

13.1 传统哈希编码方法

13.2 CNNH

13.3 DSH

13.4 小结

参考文献

第3部分 语音识别篇

14 传统语音识别基础

14.1 语音识别简介

14.2 HMM简介

14.3 HMM梯度求解

14.4 孤立词识别

14.5 连续语音识别

14.6 Viterbi解码

14.7 三音素状态聚类

14.8 判别式训练

参考文献

15 基于WFST的语音解码

15.1 有限状态机

15.2 WFST及半环定义

15.3 自动机操作

15.4 基于WFST的语音识别系统

参考文献

16 深度语音识别

16.1 CD-DNN-HMM

16.2 TDNN

16.3 CTC

16.4 EESEN

16.5 Deep Speech

16.6 Chain

参考文献

17 CTC解码

17.1 序列标注

17.2 序列标注任务的解决办法

17.3 隐马模型

17.4 CTC基本定义

17.5 CTC前向算法

17.6 CTC后向算法

17.7 CTC目标函数

17.8 CTC解码基本原理

参考文献

第4部分 自然语言处理篇

18 自然语言处理简介

18.1 NLP的难点

18.2 NLP的研究范围

19 词性标注

19.1 传统词性标注模型

19.2 基于神经网络的词性标注模型

19.3 基于Bi-LSTM的神经网络词性标注模型

参考文献

20 依存句法分析

20.1 背景

20.2 SyntaxNet技术要点

参考文献

21 word2vec

21.1 背景

21.2 CBOW模型

21.3 Skip-gram模型

21.4 Hierarchical Softmax与Negative Sampling

21.5 fastText

21.6 GloVe

21.7 小结

参考文献

22 神经网络机器翻译

22.1 机器翻译简介

22.2 神经网络机器翻译基本模型

22.3 基于Attention的神经网络机器翻译

22.4 谷歌机器翻译系统GNMT

22.5 基于卷积的机器翻译

22.6 小结

参考文献

第5部分 深度学习研究篇

23 Batch Normalization

23.1 前向与后向传播

23.2 有效性分析

23.3 使用与优化方法

23.4 小结

参考文献

24 Attention

24.1 从简单RNN到RNN+Attention

24.2 Soft Attention与Hard Attention

24.3 Attention的应用

24.4 小结

参考文献

25 多任务学习

25.1 背景

25.2 什么是多任务学习

25.3 多任务分类与其他分类概念的关系

25.4 多任务学习如何发挥作用

25.5 多任务学习被广泛应用

25.6 多任务深度学习应用

25.7 小结

参考文献

26 模型压缩

26.1 模型压缩的必要性

26.2 较浅的网络

26.3 剪枝

26.4 参数共享

26.5 紧凑网络

26.6 二值网络

26.7 小结

参考文献

27 增强学习

27.1 什么是增强学习

27.2 增强学习的数学表达形式

27.3 用动态规划法求解增强学习问题

27.4 无模型算法

27.5 Q-Learning的例子

27.6 AlphaGo原理剖析

27.7 AlphaGo Zero

参考文献

28 GAN

28.1 生成模型

28.2 生成对抗模型的概念

28.3 GAN实战

28.4 InfoGAN——探寻隐变量的内涵

28.5 Image-Image Translation

28.6 WGAN(Wasserstein GAN)

参考文献

A 本书涉及的开源资源列表