深入探索Mamba模型架构与应用电子书

作者简介

内容简介

前言

第1章　横空出世的Mamba

1.1　深度学习的前世今生

1.1.1　深度学习的发展历程

1.1.2　深度学习与人工智能

1.2　深度学习中的主要模型

1.2.1　深度学习中的代表性模型和应用

1.2.2　CNN、RNN与Transformer

1.2.3　剑指王者的Mamba带来了新的突破

1.3　本章小结

第2章　挑战注意力机制地位的Mamba架构详解

2.1　Mamba的优势

2.1.1　Transformer模型存在的不足

2.1.2　循环神经网络

2.1.3　结合Transformer与RNN优点的SSM

2.2　环境搭建1：安装Python

2.2.1　Miniconda的下载与安装

2.2.2　PyCharm的下载与安装

2.3　环境搭建2：安装PyTorch 2.0

2.3.1　Nvidia 10/20/30/40系列显卡选择的GPU版本

2.3.2　PyTorch 2.0 GPU Nvidia运行库的安装

2.4　第一次使用Mamba

2.4.1　Hello Mamba：使用预训练Mamba模型生成实战

2.4.2　了解Mamba：构建Mamba的三大模块说明

2.5　本章小结

第3章　Mamba组件详解

3.1　Mamba组件1：状态空间模型

3.1.1　经典状态空间详解

3.1.2　什么是状态空间

3.1.3　状态空间模型影响模型的学习过程与Python实现

3.2　Mamba组件2：连续信号转换成离散信号的方法

3.2.1　将连续信号转换成离散信号详解与Python实现

3.2.2　离散状态空间的Python实现

3.2.3　离散状态空间的循环计算（类似于RNN的计算方法）

3.3　Mamba组件3：HiPPO算法初始化的状态转移矩阵

3.3.1　SSM中的状态转移矩阵■

3.3.2　HiPPO算法的Python实现与可视化讲解

3.4　本章小结

第4章　基于PyTorch的弹簧振子动力学Mamba实战

4.1　从状态空间模型SSM到结构化状态空间模型S4

4.1.1　从状态空间模型SSM开始（PyTorch具体实现）

4.1.2　连续信号转换为离散信号的PyTorch实现

4.1.3　离散信号循环计算的PyTorch实现

4.1.4　状态空间模型SSM的PyTorch实现

4.1.5　HiPPO算法初始化状态矩阵

4.1.6　基于S4架构的Mamba模型

4.2　基于状态空间模型模拟弹簧振子动力学

4.2.1　加速度的求解：详细讲解的经典弹簧-阻尼系统公式

4.2.2　弹簧-阻尼微分方程的SSM分解与PyTorch实现

4.2.3　使用空间状态方程模拟弹簧-阻尼方程

4.2.4　阻尼微分方程参数的物理解释（选学）

4.3　基于SSM的模拟弹簧振子输出的神经网络实战

4.3.1　数据的准备

4.3.2　对数空间中切分步数的准备

4.3.3　基于SSM的模型构建

4.3.4　SSM模型的训练实战

4.3.5　使用HiPPO算法初始化状态转移矩阵

4.4　本章小结

第5章　Mamba文本情感分类实战

5.1　有趣的词嵌入

5.1.1　什么是词嵌入

5.1.2　PyTorch中词嵌入处理函数详解

5.2　基于进阶SSM架构的情感分类Mamba实战

5.2.1　数据的准备

5.2.2　SSM进阶的S6架构的设计与手把手实现

5.2.3　Mamba堆叠Block的设计与完整实现

5.2.4　完整Mamba的实现

5.2.5　基于Mamba的情感分类实战

5.3　本章小结

第6章　Mamba文本转换实战

6.1　基于Mamba的拼音汉字转换模型

6.1.1　拼音汉字数据集详解与实战处理方法

6.1.2　Mamba模型的设计详解

6.1.3　模型的训练与预测

6.2　PyTorch对数据集的封装与可视化训练步骤

6.2.1　使用torch.utils.data．Dataset封装自定义数据集

6.2.2　批量输出数据的DataLoader类详解

6.3　本章小结

第7章　含有位置表示的双向VisionMamba模型图像分类实战

7.1　使用PyTorch自带的图像管理工具与图像增强技术

7.1.1　PyTorch自带的图像管理工具

7.1.2　图片数据增强

7.2　基于双向VisionMamba的模块讲解

7.2.1　数据的准备

7.2.2　将图像转换为Mamba可用的Embedding处理方法

7.2.3　能够双向计算的VisionMamba模型

7.2.4　初始旋转位置编码RoPE

7.3　VisionMamba图像分类实战

7.3.1　VisionMamba模型的构建

7.3.2　VisionMamba图像分类实战

7.4　本章小结

第8章　多方案的Mamba文本生成实战

8.1　Mamba的经典文本生成实战

8.1.1　数据的准备与错位输入方法

8.1.2　基于经典Mamba的文本生成模型

8.1.3　基于Mamba的文本生成模型的训练与推断

8.1.4　生成函数中的注意事项：temperature与“模型尺寸”

8.2　微调：在原有Mamba模型上进行重新训练

8.2.1　什么是微调

8.2.2　预训练的Mamba生成模型

8.2.3　对预训练模型进行微调

8.2.4　使用微调的预训练模型进行预测

8.3　低硬件资源微调预训练Mamba模型的方法

8.3.1　使用冻结模型参数的微调方法

8.3.2　通过替换特定层的方式完成微调

8.3.3　对模型参数进行部分保存和载入的方法

8.4　本章小结

第9章　能够让Mamba更强的模块

9.1　What Kan I Do

9.1.1　从多层感知机的数学原理开始

9.1.2　KAN中的样条函数

9.1.3　KAN的数学原理

9.1.4　KAN的PyTorch实现

9.1.5　结合KAN的Mamba文本生成实战

9.2　xLSTM让老架构再现生机

9.2.1　LSTM背景介绍

9.2.2　LSTM实战演示

9.2.3　xLSTM简介

9.2.4　xLSTM的PyTorch实现

9.2.5　基于xLSTM的文本生成实战

9.3　本章小结

第10章　循环神经网络详解与切片时间序列预测

10.1　基于时间序列的温度预测实战

10.1.1　时间序列一维数据的准备与切片

10.1.2　基于GRU的时间序列模型设计

10.1.3　时间序列模型的训练与预测

10.1.4　时间序列常用的损失函数详解

10.2　循环神经网络理论讲解

10.2.1　什么是GRU

10.2.2　单向不行，那就双向

10.3　融合Mamba与KAN架构的时间序列预测模型实战

10.3.1　适配2D时间序列的MambaBlock模型设计

10.3.2　Mamba架构的时间序列模型训练与预测

10.4　本章小结

第11章　明天下雨吗：基于Jamba的天气预测实战

11.1　注意力机制与模型详解

11.1.1　注意力机制详解

11.1.2　自注意力机制

11.1.3　ticks和Layer Normalization

11.1.4　多头自注意力

11.2　注意力机制的应用实践：编码器Encoder

11.2.1　编码器的总体架构

11.2.2　回到输入层：初始词向量层和位置编码器层

11.2.3　前馈层的实现

11.2.4　将多层模块融合的TransformerBlock层

11.2.5　编码器的实现

11.3　给注意力添加相对位置编码RoPE

11.3.1　给注意力添加相对位置编码RoPE

11.3.2　添加旋转位置编码的注意力机制

11.3.3　基于现有库包的旋转位置编码RoPE的使用

11.4　明天下雨吗：基于Jamba的天气预测实战

11.4.1　Jamba模型的基本架构

11.4.2　Jamba架构的实现1：修正后的Transformer模块

11.4.3　Jamba架构的实现2：Mamba模块

11.4.4　Jamba架构的实现3：Jamba模型的实现

11.4.5　基于Jamba的天气预测实战

11.4.6　基于时间序列的天气预报任务

11.5　本章小结

第12章　统一了注意力与MMaammbbaa架2模构型的

12.1　Mamba2模型的实现

12.1.1　Mamba2核心组件SSD详解

12.1.2　基于SSD的Mamba2模型

12.2　基于Mamba2的文本生成实战

12.2.1　文本生成Mamba2模型的完整实现

12.2.2　基于Mamba2的文本生成

12.3　本章小结

第13章　Mamba结合Diffusion的图像生成实战

13.1　Diffusion原理精讲以及经典实现

13.1.1　Diffusion Model的传播流程

13.1.2　直接运行的经典DDPM的模型训练实战

13.1.3　DDPM模型的基本模块说明

13.1.4　DDPM加噪与去噪详解：结合成功运行的Diffusion Model代码

13.1.5　DDPM的损失函数：结合成功运行的Diffusion Model代码

13.2　基于注意力的可控Diffusion实现

13.2.1　Diffusion Model可控生成的基础：特征融合

13.2.2　DiT中的可控特征融合

13.2.3　DiT模型的设计

13.2.4　图像的加噪与模型训练

13.2.5　基于DiT模型的可控图像生成

13.3　基于Mamba的可控Diffusion实现

13.3.1　基于Mamba架构的模块生成

13.3.2　基于Mamba的Dim模型的设计

13.4　本章小结

第14章　Mamba实战1：知识图谱的构建与展示

14.1　什么是知识图谱

14.1.1　知识图谱的应用

14.1.2　知识图谱中的三元组

14.2　知识图谱的可视化展示

14.2.1　数据的准备与处理

14.2.2　知识图谱的可视化展示

14.3　分词与数据的编码与解码

14.3.1　分词器Tokenizer的构建与使用

14.3.2　数据的编码处理

14.3.3　数据的解码处理

14.4　基于Mamba的知识图谱模型构建

14.4.1　基于Mamba的知识图谱模型构建

14.4.2　基于Mamba的知识图谱模型训练与预测

14.4.3　命名实体识别在预测时的补充说明

14.5　本章小结

第15章　Mamba实战2：基于特征词的语音唤醒

15.1　音频特征工具Librosa包的基础使用

15.1.1　基于Librosa的音频信号读取

15.1.2　基于Librosa的音频多特征提取

15.2　Mamba实战：基于特征词的语音唤醒

15.2.1　数据的准备

15.2.2　数据的处理

15.2.3　模型的设计

15.2.4　模型的数据输入方法

15.2.5　模型训练

15.2.6　模型结果展示

15.3　本章小结

第16章　Mamba实战3：多模态视觉问答

16.1　视觉问答数据集的准备

16.1.1　VQA数据集介绍

16.1.2　VQA数据集的下载与预处理

16.1.3　VQA数据集的准备

16.2　Mamba架构的多模态视觉问答模型的训练与推断

16.2.1　Mamba架构的多模态视觉问答模型的设计

16.2.2　多模态视觉问答模型的训练与推断

16.3　本章小结