元学习:基础与应用电子书

内容简介

前言

1　元学习概述

1.1　研究背景

1.1.1　元学习与深度学习的区别和联系

1.1.2　元学习应用举例

1.2　元学习的起源

1.2.1　1987年的Jürgen Schmidhuber

1.2.2　1990年的Stuart Russell和Eric H.Wefald

1.3　近期发展

1.3.1　1997年的长短期记忆网络LSTM

1.3.2　2001年的LSTM元学习系统

1.3.3　2017年的MAML算法

1.3.4　2019年基于LSTM的元学习器

1.3.5　2019年基于高效基础学习器的元学习

2　元学习框架

2.1　元学习研究常用数据集

2.2　定义任务

2.2.1　元学习任务的定义

2.2.2　元强化学习任务的定义

2.2.3　任务分解

2.3　元学习训练框架

2.4　元学习方法分类

2.4.1　神经网络适应法

2.4.2　度量学习适应法

2.4.3　基础学习器和元学习器适应法

2.4.4　贝叶斯元学习适应法

2.4.5　元学习与其他学习框架结合

2.5　元学习方法的比较

3　元学习神经网络方法

3.1　神经网络

3.1.1　神经元

3.1.2　权重、偏差和激活函数

3.1.3　网络反向传播算法

3.1.4　学习率、批尺寸、动量和权值衰减

3.1.5　神经网络模型的正则化

3.1.6　批归一化

3.1.7　随机失活

3.2　卷积神经网络

3.2.1　卷积层和滤波器

3.2.2　池化层和下采样层

3.2.3　全连接层和上采样层

3.2.4　经典卷积神经网络

3.3　残差网络

3.3.1　残差网络模块

3.3.2　高速路神经网络

3.3.3　宽残差网络

3.4　元学习神经网络模型

3.4.1　学会学习的神经网络学习器

3.4.2　预训练深度神经网络的适应

3.4.3　具有适应性的神经元设计

3.5　自动化机器学习

3.5.1　超参数优化

3.5.2　元学习和自动化机器学习

3.5.3　加速自动化机器学习

3.5.4　决策式自动化机器学习

3.5.5　渐进式自动化机器学习

3.6　总结

4　基于度量的元学习方法

4.1　基于度量的学习

4.1.1　度量的定义

4.1.2　度量学习的应用

4.1.3　有监督度量学习

4.1.4　半监督度量学习

4.1.5　无监督度量学习

4.2　注意力模型

4.3　记忆模块

4.4　SNAIL算法

4.5　Relation Network算法

4.6　Prototypical Network算法

4.7　TADAM算法

4.8　Dynamic Few-Shot算法

4.9　mAP算法

4.10　总结

5　基础学习器和元学习器结合的元学习方法

5.1　基础学习器

5.2　元学习器

5.3　MAML算法

5.4　Reptile算法

5.5　循环神经网络

5.5.1　RNN基础结构

5.5.2　Bidirectional RNN

5.5.3　LSTM

5.5.4　Gated Recurrent Unit

5.6　RNN元学习算法

5.7　Meta-LSTM算法

5.8　R2D2算法

5.9　LR2D2算法

5.10　MetaOptNet算法

5.11　Transductive Propagation Network算法

5.12　Latent Embedding Optimization算法

6　贝叶斯思想下的元学习方法

6.1　Bayesian Program Learning算法

6.2　Neural Statistician算法

6.3　LLAMA算法

6.4　BMAML算法

6.5　PLATIPUS算法

6.6　VERSA算法

7　元学习的应用场景

7.1　元迁移学习

7.2　元强化学习

7.3　元模仿学习

7.4　在线元学习

7.5　无监督元学习

8　元强化学习

8.1　强化学习

8.2　基于MAML的元强化学习

8.3　GrBAL算法

9　元模仿学习

9.1　模仿学习

9.2　MAML算法用于元模仿学习

9.3　MetaMimic算法

10　在线元学习

10.1　在线学习

10.2　FTML算法

11　无监督元学习

11.1　无监督学习

11.2　CACTUs算法