数据中心智能调度关键技术与应用电子书

前折页

作者简介

内容简介

序言

前言

第1章 数据中心概述

1.1 数据中心简介

1.1.1 什么是数据中心

1.1.2 数据中心的需求和挑战

1.2 云计算数据中心资源调度需求分析

1.2.1 技术需求

1.2.2 技术目标

1.3 云计算数据中心资源调度研究进展

1.4 云计算数据中心资源调度方案分析

1.4.1 Google解决方案

1.4.2 Amazon解决方案

1.4.3 IBM解决方案

1.4.4 HP解决方案

1.4.5 VMware解决方案

1.4.6 阿里云解决方案

1.4.7 华为云解决方案

1.4.8 其他厂家解决方案

1.5 云计算数据中心资源调度标准进展

1.6 云资源管理调度关键技术及研究热点

本章小结

思考题

参考文献

第2章 云计算概述

2.1 云计算的发展背景

2.2 云计算是集大成者

2.2.1 并行计算

2.2.2 网格计算

2.2.3 效用计算

2.2.4 普适计算

2.2.5 软件即服务

2.2.6 虚拟化技术

2.3 云计算的驱动因素

2.3.1 云计算的发展现状和趋势

2.3.2 云计算应用初步分类

2.4 云计算产业链中的不同角色

2.5 云计算的主要特征和技术挑战

2.5.1 云计算的主要特征

2.5.2 挑战性问题

本章小结

思考题

参考文献

第3章 大数据处理

3.1 大数据的发展背景及定义

3.2 大数据问题

3.2.1 速度方面的问题

3.2.2 种类及架构问题

3.2.3 体量及灵活性问题

3.2.4 成本问题

3.2.5 价值挖掘问题

3.2.6 存储及安全问题

3.2.7 互联互通与数据共享问题

3.3 大数据与云计算的辩证关系

3.4 大数据技术

3.4.1 基础架构支持

3.4.2 数据采集

3.4.3 数据存储

3.4.4 数据计算

3.4.5 数据展现与交互

本章小结

思考题

参考文献

第4章 人工智能平台的资源调度概述

4.1 引言

4.2 深度学习的分布式并行训练系统架构

4.3 深度学习的分布式并行策略

4.3.1 深度学习的基础概念

4.3.2 分布式并行训练算法

4.3.3 研究现状分析

4.4 分布式并行训练的时效分析

本章小结

思考题

参考文献

第5章 基于深度学习的云服务负载预测方法

5.1 引言

5.2 相关工作

5.2.1 基于回归方法的云服务负载预测方法

5.2.2 基于深度学习的云服务负载预测方法

5.2.3 讨论分析

5.3 系统模型

5.4 esDNN：基于高效监督学习的深度神经网络

5.4.1 多元时间序列预测的滑动窗口

5.4.2 esDNN算法

5.5 性能测试

5.5.1 数据集和环境配置

5.5.2 与基于无监督学习方法的比较

5.5.3 与基于神经网络方法的比较

5.5.4 与其他方面的比较

本章小结

思考题

参考文献

第6章 云应用程序和可再生能源的自适应管理方法

6.1 引言

6.2 相关工作

6.2.1 DVFS和虚拟机整合

6.2.2 Brownout

6.2.3 数据中心冷却系统的整体管理

6.2.4 可再生能源

6.3 系统模型

6.4 问题建模

6.4.1 功率消耗

6.4.2 工作负载模型

6.4.3 优化目标

6.5 根据可再生能源进行调度决策

6.5.1 Green-Aware调度算法

6.5.2 交互式工作负载的Brownout算法

6.5.3 批处理工作负载的延迟算法

6.5.4 主机调度

6.5.5 可再生能源预测

6.6 原型系统的实现

6.7 性能评估

6.7.1 环境设置

6.7.2 工作负载

6.7.3 应用

6.7.4 结果

本章小结

思考题

参考文献

第7章 云计算环境下基于虚拟机整合的自适应节能调度

7.1 绪论

7.2 虚拟机整合技术

7.3 相关研究工作

7.4 问题定义

7.5 数据中心能耗模型

7.5.1 服务器功耗模型

7.5.2 服务器能耗模型

7.5.3 云数据中心总能耗模型

7.5.4 数据中心节能调度下限

7.6 SAVE算法描述

7.6.1 概述

7.6.2 分配算法

7.6.3 迁移算法

7.7 实验验证与分析

7.7.1 实验准备

7.7.2 数据准备

7.7.3 基线方法

7.7.4 结果分析

本章小结

思考题

参考文献

第8章 MapReduce模型中数据倾斜问题的算法

8.1 绪论

8.1.1 背景及意义

8.1.2 研究现状

8.1.3 研究内容

8.2 数据倾斜相关理论研究

8.2.1 数据倾斜

8.2.2 算法介绍

8.2.3 算法综合对比

8.3 多任务数据倾斜调度算法设计

8.3.1 问题描述与建模

8.3.2 Revised Johnson1954算法（RJA）

8.3.3 离线多任务调度算法

8.3.4 在线多任务调度算法

8.4 单任务数据倾斜算法设计

8.4.1 YarnTune概述

8.4.2 检测数据倾斜

8.4.3 YarnTune核心功能

8.5 系统测试和分析

8.5.1 软硬件测试环境

8.5.2 多任务数据倾斜测试

8.5.3 单任务数据倾斜测试

本章小结

思考题

参考文献

第9章 Spark中的数据均衡分配算法研究

9.1 Spark设计思想

9.1.1 Spark概述

9.1.2 Spark计算模型

9.1.3 Spark整体架构

9.2 Spark数据存储体系

9.2.1 存储整体架构

9.2.2 数据写入过程

9.2.3 数据读取过程

9.3 Spark Shuffle分析

9.3.1 Shuffle概述

9.3.2 Shuffle写操作

9.3.3 Shuffle读操作

9.4 Spark分区方法

9.4.1 HashPartition分区

9.4.2 RangePartition分区

9.5 问题描述与建模

9.5.1 相关定义

9.5.2 问题建模

9.6 数据均衡分配算法整体设计

9.6.1 抽样算法

9.6.2 数据均衡分区算法

9.6.3 权重调整算法

9.6.4 任务分配算法

9.7 算法复杂度分析

9.8 MRFair概述

9.8.1 MRFair的目标与特征

9.8.2 MRFair系统架构

9.8.3 MRFair数据均衡分配示例

9.9 MRFair倾斜检测时机及算法

9.9.1 MRFair倾斜检测时机

9.9.2 MRFair倾斜检测算法

9.10 MRFair数据重新分配时机及算法

9.10.1 MRFair数据重新分配时机

9.10.2 MRFair数据重新分配算法

9.11 MRFair核心模块

9.12 系统测试环境

9.12.1 软硬件测试环境

9.12.2 测试数据

9.12.3 对比算法或系统

9.12.4 评价指标

9.13 ReducePartition数据均衡分配算法测试

9.13.1 WordCount基准测试

9.13.2 Sort基准测试

9.14 MRFair数据均衡分配算法测试

9.14.1 WordCount基准测试

9.14.2 Sort基准测试

本章小结

思考题

参考文献

第10章 深度学习框架TensorFlow的高效分布式并行算法研究

10.1 分布式并行算法的背景及意义

10.1.1 问题背景

10.1.2 研究意义

10.2 研究现状及内容

10.2.1 研究现状

10.2.2 研究内容

10.3 深度学习理论研究

10.3.1 大数据与云计算

10.3.2 机器学习

10.3.3 深度学习

10.4 TensorFlow深度学习框架研究

10.4.1 TensorFlow系统架构

10.4.2 TensorFlow数据流图

10.4.3 TensorFlow会话管理

10.4.4 TensorFlow分布式执行

10.4.5 TensorFlow数据输入

10.5 TensorFlow分布式架构分析

10.5.1 TensorFlow远程调用

10.5.2 现有TensorFlow分布式模型

10.6 优化算法设计与实现

10.6.1 数据并行上的优化

10.6.2 模型并行上的优化

10.7 实验环境配置

10.7.1 硬件环境

10.7.2 软件环境

10.7.3 实验对象

10.7.4 实验数据

10.8 实验结果展示与分析

10.8.1 数据并行算法测试

10.8.2 模型并行算法测试

本章小结

思考题

参考文献

第11章 基于深度强化学习和模仿学习的任务完工时间优化调度

11.1 任务调度

11.2 相关研究

11.3 云资源调度问题定义

11.4 调度方案

11.4.1 DeepRM_Online介绍

11.4.2 强化学习模型

11.4.3 深度强化学习训练算法

11.5 算法分析

11.6 实验分析与验证

11.6.1 实验准备

11.6.2 数据准备

11.6.3 基线算法

11.6.4 结果分析

本章小结

思考题

参考文献

第12章 总结与展望

12.1 绿色节能数据中心的综合解决方案

12.2 多数据中心（多调度域）的调度策略和算法动态可选择

12.3 支持深度学习模型的分布式并行调度

12.4 从基础资源调度拓展到应用任务调度

参考文献

后折页