深度学习：21天实战Caffe电子书

内容提要

推荐序一

推荐序二

推荐序三

前言

上篇 初见

第1天 什么是深度学习

1.1 星星之火，可以燎原

1.2 师夷长技

1.2.1 谷歌与微软

1.2.2 Facebook、亚马逊与NVIDIA

1.3 中国崛起

1.3.1 BAT在路上

1.3.2 星光闪耀

1.3.3 企业热是风向标

1.4 练习题

第2天 深度学习的过往

2.1 传统机器学习的局限性

2.2 从表示学习到深度学习

2.3 监督学习

2.4 反向传播算法

2.5 卷积神经网络

2.6 深度学习反思

2.7 练习题

2.8 参考资料

第3天 深度学习工具汇总

3.1 Caffe

3.2 Torch & OverFeat

3.3 MxNet

3.4 TensorFlow

3.5 Theano

3.6 CNTK

3.7 练习题

3.8 参考资料

第4天 准备Caffe环境

4.1 Mac OS环境准备

4.2 Ubuntu环境准备

4.3 RHEL/Fedora/CentOS环境准备

4.4 Windows环境准备

4.5 常见问题

4.6 练习题

4.7 参考资料

第5天 Caffe依赖包解析

5.1 ProtoBuffer

5.2 Boost

5.3 GFLAGS

5.4 GLOG

5.5 BLAS

5.6 HDF5

5.7 OpenCV

5.8 LMDB和LEVELDB

5.9 Snappy

5.10 小结

5.11 练习题

5.12 参考资料

第6天 运行手写体数字识别例程

6.1 MNIST数据集

6.1.1 下载MNIST数据集

6.1.2 MNIST数据格式描述

6.1.3 转换格式

6.2 LeNet-5模型

6.2.1 LeNet-5模型描述

6.2.2 训练超参数

6.2.3 训练日志

6.2.4 用训练好的模型对数据进行预测

6.2.5 Windows下训练模型

6.3 回顾

6.4 练习题

6.5 参考资料

篇尾语

中篇 热恋

第7天 Caffe代码梳理

7.1 Caffe目录结构

7.2 如何有效阅读Caffe源码

7.3 Caffe支持哪些深度学习特性

7.3.1 卷积层

7.3.2 全连接层

7.3.3 激活函数

7.4 小结

7.5 练习题

7.6 参考资料

第8天 Caffe数据结构

8.1 Blob

8.1.1 Blob基本用法

8.1.2 数据结构描述

8.1.3 Blob是怎样炼成的

8.2 Layer

8.2.1 数据结构描述

8.2.2 Layer是怎样建成的

8.3 Net

8.3.1 Net基本用法

8.3.2 数据结构描述

8.3.3 Net是怎样绘成的

8.4 机制和策略

8.5 练习题

8.6 参考资料

第9天 Caffe I/O模块

9.1 数据读取层

9.1.1 数据结构描述

9.1.2 数据读取层实现

9.2 数据变换器

9.2.1 数据结构描述

9.2.2 数据变换器的实现

9.3 练习题

第10天 Caffe模型

10.1 prototxt表示

10.2 内存中的表示

10.3 磁盘上的表示

10.4 Caffe Model Zoo

10.5 练习题

10.6 参考资料

第11天 Caffe前向传播计算

11.1 前向传播的特点

11.2 前向传播的实现

11.2.1 DAG构造过程

11.2.2 Net Forward实现

11.3 练习题

第12天 Caffe反向传播计算

12.1 反向传播的特点

12.2 损失函数

12.2.1 算法描述

12.2.2 参数描述

12.2.3 源码分析

12.3 反向传播的实现

12.4 练习题

第13天 Caffe最优化求解过程

13.1 求解器是什么

13.2 求解器是如何实现的

13.2.1 算法描述

13.2.2 数据结构描述

13.2.3 CNN训练过程

13.2.4 CNN预测过程

13.2.5 Solver的快照和恢复功能

13.3 练习题

第14天 Caffe实用工具

14.1 训练和预测

14.2 特征提取

14.3 转换图像格式

14.4 计算图像均值

14.5 自己编写工具

14.6 练习题

篇尾语

下篇 升华

第15天 Caffe计算加速

15.1 Caffe计时功能

15.2 Caffe GPU加速模式

15.2.1 GPU是什么

15.2.2 CUDA是什么

15.2.3 GPU、CUDA和深度学习

15.2.4 Caffe GPU环境准备

1.验证驱动安装成功

2.验证CUDA安装成功

15.2.5 切换到Caffe GPU加速模式

15.3 Caffe cuDNN加速模式

15.3.1 获取cuDNN

15.3.2 切换到Caffe cuDNN加速模式

15.3.3 Caffe不同硬件配置性能

15.4 练习题

15.5 参考资料

第16天 Caffe可视化方法

16.1 数据可视化

16.1.1 MNIST数据可视化

16.1.2 CIFAR10数据可视化

16.1.3 ImageNet数据可视化

16.2 模型可视化

16.2.1 网络结构可视化

1.准备Python环境

2.编译pycaffe

3.绘制网络结构图

4.样例展示

16.2.2 网络权值可视化

16.3 特征图可视化

16.4 学习曲线

16.5 小结

16.6 练习题

16.7 参考资料

第17天 Caffe迁移和部署

17.1 从开发测试到生产部署

17.2 使用Docker

17.2.1 Docker基本概念

17.2.2 Docker安装

1.Ubuntu安装步骤

2.Cent OS 7、Fedora 21安装步骤

3.添加Docker用户组

4.测试Docker安装成功

17.2.3 Docker入门

1.显示Docker信息

2.下载Docker镜像

3.从镜像创建Docker容器

4.从容器创建Docker镜像

5.上传Docker镜像

17.2.4 Docker使用进阶

1.使用阿里云Docker Hub管理镜像

2.在Docker容器中访问GPU

17.3 练习题

17.4 参考资料

第18天 关于ILSVRC不得不说的一些事儿

18.1 ImageNet数据集

18.2 ILSVRC比赛项目

18.2.1 图像分类（CLS）

18.2.2 目标定位（LOC）

18.2.3 目标检测（DET）

18.2.4 视频目标检测（VID）

18.2.5 场景分类

18.3 Caffe ILSVRC实践

18.4 练习题

18.5 参考资料

第19天 放之四海而皆准

19.1 图像分类

19.1.1 问题描述

19.1.2 应用案例——商品分类[2]

19.2 图像中的字符识别

19.2.1 问题描述

19.2.2 应用案例——身份证实名认证[3]

1.外边框检测

2.正反面及方向判断和修正

3.条目检测

4.字符的切分和识别

5.后处理

6.结论与展望

19.3 目标检测

19.3.1 问题描述

19.3.2 最佳实践——运行R-CNN例程

19.4 人脸识别

19.4.1 问题描述

1.人脸检测

2.关键点定位

3.特征提取/降维

19.4.2 最佳实践——使用Face++ SDK实现人脸检测

19.5 自然语言处理

19.5.1 问题描述

19.5.2 最佳实践——NLP-Caffe

19.6 艺术风格[11][12]

19.6.1 问题描述

1.如何获得输入图像的风格表示

2.如何获得输入图像的内容表示

19.6.2 最佳实践——style-transfer

19.7 小结

19.8 练习题

19.9 参考资料

第20天 继往开来的领路人

20.1 Caffe Traps and Pitfalls

20.1.1 不支持任意数据类型

20.1.2 不够灵活的高级接口

20.1.3 繁杂的依赖包

20.1.4 堪忧的卷积层实现

20.1.5 架构之殇

20.1.6 应用场景局限性

20.2 最佳实践——Caffe2

20.3 练习题

20.4 参考资料

第21天 新生

21.1 三人行，必有我师

21.2 路漫漫其修远兮，吾将上下而求索

篇尾语

结束语

附录A 其他深度学习工具