深入浅出云计算电子书

扉页

内容简介

版权页

前言

目录

第1篇 初始云计算

第1章 云计算介绍

1.1 云计算相关概念

1.1.1 云计算的定义

1.1.2 云计算的服务方式

1.1.3 云计算的部署模式

1.2 云计算的历史

1.2.1 虚拟化技术的发展

1.2.2 分布式计算技术的发展

1.2.3 软件应用模式的发展

1.3 云计算的现状

1.3.1 产业界现状

1.3.2 学术界现状

1.3.3 政府机构现状

1.4 本章小结

第2章 云计算技术基础

2.1 HDFS相关技术

2.1.1 RPC

2.1.2 基于Socket的Java 网络编程

2.2 MapReduce相关技术

2.2.1 Java反射机制

2.2.2 序列化和反序列化

2.3 HBase相关技术

2.3.1 NoSQL

2.3.2 ACID

2.3.3 CAP理论

2.3.4 一致性模型

2.4 ZooKeeper相关技术

2.4.1 Paxos算法介绍

2.4.2 Java NIO库

2.5 本章小结

第3章 云计算开发环境搭建

3.1 集群环境介绍

3.2 Hadoop环境搭建

3.2.1 Hadoop简介

3.2.2 安装前准备

3.2.3 安装环境搭建

3.2.4 详细安装步骤

3.3 Hadoop集群配置

3.3.1 配置Hadoop守护进程的运行环境

3.3.2 配置Hadoop守护进程的运行参数

3.4 HBase环境搭建

3.4.1 HBase简介

3.4.2 HBase的数据模型

3.4.3 HBase安装前的准备

3.4.4 HBase的安装配置

3.4.5 HBase的运行

3.5 ZooKeeper环境搭建

3.5.1 ZooKeeper简介

3.5.2 安装前的准备

3.5.3 独立服务器的安装与配置

3.5.4 集群服务器的安装与配置

3.6 本章小结

第2篇 浅出云计算

第4章 应用实例：图像百科系统

4.1 应用背景

4.2 需求分析

4.2.1 功能需求

4.2.2 非功能需求

4.3 核心业务处理流程

4.3.1 查询百科条目处理流程

4.3.2 编辑百科条目处理流程

4.3.3 更新百科条目处理流程

4.4 总体设计

4.5 本章小结

第5章 使用HDFS存储海量图像数据

5.1 HDFS介绍

5.1.1 HDFS架构

5.1.2 HDFS的特点

5.1.3 HDFS存取机制简介

5.2 HDFS接口介绍

5.3 图像百科系统中的图像存储

5.3.1 图像存储基本思想

5.3.2 图像存储设计目标

5.3.3 图像存储体系结构

5.3.4 图像百科系统的功能结构

5.4 系统实现

5.4.1 存储模块类交互图

5.4.2 核心类详细介绍

5.4.3 HDFS存储小文件

5.5 本章小结

第6章 使用MapReduce处理图像

6.1 分布式数据处理MapReduce

6.1.1 MapReduce简介

6.1.2 编程模型

6.1.3 执行概括

6.2 使用MapReduce编程模型

6.2.1 MapReduce程序模板

6.2.2 MapReduce编程思想

6.3 更新图像百科条目的MapReduce设计

6.3.1 设计目标

6.3.2 更新条目的体系结构

6.3.3 更新条目的逻辑流程

6.4 MapReduce对更新条目的实现

6.4.1 更新条目的核心类

6.4.2 MapReduce核心类实现

6.4.3 编译运行

6.5 本章小结

第7章 使用HBase存储百科数据

7.1 HBase的基本特征

7.1.1 RDBMS与HBase

7.1.2 面向列的NoSQL数据库

7.1.3 HBase数据库架构

7.1.4 HBase的特点

7.2 使用HBase编程

7.2.1 HBase的Java API

7.2.2 HBase客户端编程

7.2.3 HBase编程示例

7.3 Fotospedia系统的数据库设计

7.3.1 数据库模块总体设计

7.3.2 数据库模块详细设计

7.3.3 数据库模块交互设计

7.4 Fotospedia系统的数据库实现

7.4.1 数据库模块类交互图

7.4.2 数据库模块核心类实现

7.5 本章小结

第8章 使用ZooKeeper管理集群

8.1 ZooKeeper详细介绍

8.2 ZooKeeper的使用方法及API介绍

8.2.1 ZooKeeper的使用方法

8.2.2 基本类和接口

8.2.3 常用类与方法的实例介绍

8.3 图像百科系统集群管理详细设计

8.3.1 集群管理

8.3.2 配置管理

8.4 图像百科系统集群管理实现

8.4.1 集群管理实现

8.4.2 配置管理实现

8.4.3 测试

8.5 本章小结

第3篇 深入云计算

第9章 深入分析HDFS

9.1 HDFS核心设计机制

9.1.1 Namenode和Datanode

9.1.2 数据副本策略

9.1.3 数据组织

9.1.4 健壮性

9.1.5 存储空间回收

9.2 HDFS源码总体介绍

9.3 核心代码分析

9.3.1 HDFS的通信协议

9.3.2 HDFS读文件源码分析

9.3.3 HDFS写文件源码分析

9.4 Hadoop支持的其他文件系统

9.4.1 KFS文件系统体系架构

9.4.2 KFS各模块关键技术

9.4.3 HDFS与KFS写数据的区别

9.5 本章小结

第10章 深入分析MapReduce

10.1 MapReduce框架结构

10.1.1 MapReduce中的角色

10.1.2 MapReduce流程

10.2 代码静态分析

10.2.1 创建Job的相关类

10.2.2 初始化Job的相关类

10.2.3 作业调度相关类

10.2.4 执行MapTask的相关类

10.3 代码详细分析

10.3.1 JobClient提交Job

10.3.2 JobTracker初始化作业

10.3.3 TaskTracker启动

10.3.4 JobTracker调度作业

10.3.5 TaskTracker加载Task

10.3.6 子进程执行MapTask

10.3.7 子进程执行ReduceTask

10.4 本章小结

第11章 深入分析HBase

11.1 HBase体系与原理

11.1.1 HBase的集群架构

11.1.2 HBase的系统架构

11.1.3 HBase的存储架构

11.2 HBase总体结构

11.2.1 总体包图

11.2.2 常用类分析

11.3 HBase关键剖析

11.3.1 集群启动与关闭

11.3.2 HBase配置过程

11.3.3 读取图像百科数据

11.3.4 写入图像百科数据

11.4 本章小结

第12章 深入分析ZooKeeper

12.1 概述

12.1.1 ZooKeeper角色

12.1.2 ZooKeeper工作原理

12.2 代码静态分析

12.2.1 包概述

12.2.2 核心类浅析

12.3 代码情景分析

12.3.1 服务器的启动

12.3.2 Leader服务器

12.3.3 Follower服务器

12.3.4 客户端服务请求

12.4 本章小结

第4篇 应用云计算

第13章 应用Pig实现并行数据处理

13.1 Apache Pig简介

13.2 Pig的安装与配置

13.2.1 Pig安装准备

13.2.2 安装配置过程

13.2.3 运行模式

13.3 深入分析Pig

13.3.1 Pig数据模型

13.3.2 Pig常用命令和数据读写操作

13.3.3 Pig诊断操作

13.3.4 Pig关系操作

13.3.5 Pig表达式和函数

13.3.6 Pig用户自定义函数（UDF）

13.3.7 探索逻辑执行计划

13.4 Pig实例分析

13.4.1 Pig Latin示例

13.4.2 简单实例解析

13.4.3 深入使用Pig

13.5 Pig与SQL比较

13.6 本章小结

第14章 应用Hive构建数据处理平台

14.1 Hive简介

14.1.1 Hive架构

14.1.2 Hive和Hadoop关系

14.1.3 Hive和传统数据库进行比较

14.1.4 Hive的数据存储

14.1.5 Hive元数据Metastore

14.2 Hive安装配置

14.2.1 安装前准备

14.2.2 安装Hive

14.2.3 安装MySQL与Hive配置

14.3 Hive使用与操作

14.3.1 Hive基本操作

14.3.2 查询数据Hive Select

14.3.3 Hive函数

14.4 实例介绍

14.5 本章小结

第15章 应用Mahout实现机器学习算法

15.1 Mahout概述

15.1.1 Mahout简介

15.1.2 机器学习简介

15.2 Mahout安装配置

15.2.1 安装前准备

15.2.2 Mahout安装

15.3 Mahout使用简介

15.3.1 使用Mahout实现集群

15.3.2 使用Mahout实现分类

15.3.3 使用Mahout实现决策树

15.3.4 使用Mahout实现推荐挖掘

15.4 本章小结

第16章 应用HAMA实现分布式计算

16.1 HAMA简介

16.1.1 HAMA系统架构

16.1.2 BSPMaster

16.1.3 GroomServer

16.1.4 ZooKeeper

16.2 HAMA BSP介绍

16.2.1 BSP并行计算

16.2.2 创建自定义的BSP

16.2.3 用户接口

16.3 HAMA安装配置

16.3.1 安装前准备

16.3.2 安装和环境配置

16.3.3 HAMA运行模式

16.3.4 运行HAMA

16.3.5 HAMA Web接口

16.3.6 在Eclipse中创建HAMA工程

16.4 实例介绍

16.4.1 打印“Hello BSP”

16.4.2 估算PI值

16.5 本章小结

附录