联邦学习:算法详解与系统实现电子书

版权页

作者简介

前言

第一部分 联邦学习基础知识

第1章 联邦学习概述

1.1 什么是联邦学习

1.1.1 联邦学习的发展历史

1.1.2 联邦学习的工作流程

1.1.3 联邦学习的分类

1.2 联邦学习的应用和挑战

1.2.1 联邦学习的应用现状

1.2.2 联邦学习的核心挑战

1.3 分布式机器学习与联邦学习

1.3.1 分布式机器学习的发展历史

1.3.2 分布式机器学习概述

1.3.3 分布式机器学习与联邦学习的共同发展

1.4 总结

第2章 联邦学习应用场景

2.1 联邦学习与金融

2.2 联邦学习与生物医学

2.3 联邦学习与计算机视觉

2.4 联邦学习与自然语言处理

2.5 联邦学习与边缘计算和云计算

2.6 联邦学习与计算机硬件

2.7 总结

第3章 常用隐私保护技术

3.1 面向隐私保护的机器学习

3.1.1 概述

3.1.2 面向隐私保护的机器学习发展

3.2 常用的隐私保护技术

3.2.1 差分隐私

3.2.2 安全多方计算

3.2.3 同态加密

3.3 总结

第二部分 联邦学习算法详述

第4章 纵向联邦树模型算法

4.1 树模型简介

4.2 纵向联邦随机森林算法

4.2.1 算法结构

4.2.2 算法详述

4.2.3 安全性分析

4.3 纵向联邦梯度提升算法

4.3.1 XGBoost算法

4.3.2 SecureBoost算法

4.3.3 所提算法详述

4.4 总结

第5章 纵向联邦线性回归算法

5.1 纵向联邦线性回归

5.1.1 算法训练过程

5.1.2 算法预测过程

5.1.3 纵向联邦的一个困境

5.2 联邦多视角线性回归

5.2.1 基于BFGS的二阶优化方法

5.2.2 安全计算协议

5.3 总结

第6章 纵向联邦核学习算法

6.1 引言

6.2 双随机核方法

6.2.1 问题定义

6.2.2 核方法的简要介绍

6.2.3 随机傅里叶特征近似

6.2.4 双随机梯度

6.3 所提算法

6.3.1 问题表示

6.3.2 算法结构

6.3.3 算法设计

6.3.4 场景案例

6.4 理论分析

6.4.1 收敛性分析

6.4.2 安全性分析

6.4.3 复杂度分析

6.5 实验验证

6.5.1 实验设置

6.5.2 实验结果和讨论

6.6 总结

第7章 异步纵向联邦学习算法

7.1 引言

7.2 相关工作

7.2.1 现有工作概述

7.2.2 SGD类算法回顾

7.3 问题表示

7.4 所提算法

7.4.1 算法框架

7.4.2 算法详述

7.4.3 场景案例

7.5 理论分析

7.5.1 收敛性分析

7.5.2 安全性分析

7.5.3 复杂度分析

7.6 实验验证

7.6.1 实验设置

7.6.2 实验结果和讨论

7.7 总结

第8章 基于反向更新的双层异步纵向联邦学习算法

8.1 引言

8.2 问题表示

8.3 所提算法

8.3.1 算法框架

8.3.2 算法详述

8.3.3 场景案例

8.4 理论分析

8.4.1 收敛性分析——强凸问题

8.4.2 收敛性分析——非凸问题

8.4.3 安全性分析

8.5 实验验证

8.5.1 实验设置

8.5.2 实验结果和讨论

8.6 总结

第9章 纵向联邦深度学习算法

9.1 引言

9.2 所提算法

9.2.1 算法框架

9.2.2 算法详述

9.2.3 场景案例

9.3 理论分析

9.3.1 复杂度分析

9.3.2 安全性分析

9.4 实验验证

9.4.1 实验设置

9.4.2 实验结果和讨论

9.5 总结

第10章 快速安全的同态加密数据挖掘框架

10.1 引言

10.2 相关工作

10.3 同态加密数据挖掘框架

10.3.1 算法框架

10.3.2 算法详述

10.4 实验验证

10.4.1 分布式学习场景

10.4.2 联邦学习场景

10.5 总结

第11章 横向联邦学习算法

11.1 横向联邦学习简介

11.2 常见的分布式优化算法

11.2.1 同步并行算法

11.2.2 异步并行算法

11.3 同步横向联邦学习算法

11.4 异步横向联邦学习算法

11.5 快速通信的横向联邦学习算法

11.6 总结

第12章 混合联邦学习算法

12.1 混合联邦学习算法的场景需求

12.2 算法详述

12.2.1 梯度更新

12.2.2 混合节点分裂

12.2.3 模型保存和混合推理

12.3 总结

第13章 联邦强化学习

13.1 强化学习概述

13.1.1 马尔可夫性

13.1.2 不同类别的策略

13.1.3 期望收益

13.1.4 学习策略的不同部分和设置

13.2 强化学习算法简介

13.2.1 基于价值的RL

13.2.2 基于策略的RL

13.2.3 基于模型的RL

13.3 分布式和联邦强化学习

13.3.1 分布式强化学习

13.3.2 联邦强化学习

13.4 总结

第三部分 联邦学习系统

第14章 FedLearn联邦学习系统

14.1 已开源联邦学习系统及其痛点

14.1.1 编程语言与环境

14.1.2 大数据与计算效率

14.2 FedLearn联邦学习系统的优势

14.3 FedLearn系统架构设计

14.3.1 常见的联邦学习系统架构

14.3.2 FedLearn架构总览

14.3.3 FedLearn标准架构功能

14.3.4 分布式联邦学习

14.3.5 区块链联邦学习架构

14.4 FedLearn跨语言算法支持

14.5 高性能RPC开源框架gRPC

14.5.1 gRPC独有的优势

14.5.2 gRPC的重要概念

14.6 FedLearn系统服务和算法解耦

14.6.1 自动调度系统

14.6.2 组件化

14.6.3 其他系统层面优化

14.7 FedLearn部署与使用

14.7.1 系统组件与功能

14.7.2 标准版部署

14.7.3 分布式版部署

14.7.4 容器版部署

14.7.5 界面操作和API

14.8 总结

第15章 gRPC在FedLearn中的联邦学习应用实例

15.1 应用实例一：纵向联邦随机森林学习算法

15.2 应用实例二：横向联邦学习场景

15.2.1 横向联邦学习场景简述

15.2.2 FedLearn中横向联邦学习框架的设计和实现

15.2.3 应用gRPC支持不同类型的模型

15.3 总结

第16章 落地场景中的性能优化实践

16.1 FedLearn业务场景简介

16.1.1 金融产品精准营销监控

16.1.2 智能信用评分

16.2 从0到1实践联邦学习算法优化

16.3 性能优化

16.3.1 GMP计算库

16.3.2 同态加密计算协议优化

16.4 工程服务性能优化

16.4.1 并行优化

16.4.2 多机信息传输优化

16.5 实时推理优化

16.6 总结

第17章 基于区块链的联邦学习

17.1 区块链简介

17.1.1 概述

17.1.2 区块链技术的特性

17.1.3 区块链技术与现代技术的融合

17.2 联邦学习与区块链的集成创新

17.2.1 架构创新

17.2.2 流程创新

17.2.3 数据支持

17.2.4 激励支持

17.2.5 监管审计支持

17.3 基于区块链的联邦学习激励算法

17.3.1 模型质量评估激励算法

17.3.2 权重值激励算法

17.3.3 激励分配算法

17.4 基于区块链的联邦学习系统实现

17.4.1 系统模型

17.4.2 系统架构

17.5 总结

参考文献