万本电子书0元读

万本电子书0元读

顶部广告

Hadoop 3实战指南电子书

1. 本书内容基于全新的Hadoop3.x,主要分析Hadoop 3.2.0的新特性和新功能。 2. 本书作者孙志伟为金山云数据平台架构师,主要专注于Hadoop的研究。 3. 本书内容源于企业级真实实践,覆盖了完整的Hadoop生态系统,为大数据门者给予循序渐的实战指导。 4. 阿里云数据库高级产品专家黄鹏程、奈学教育创始人&CEO孙玄、金山云研发总监陈斌联合推荐。

售       价:¥

纸质售价:¥55.10购买纸书

83人正在读 | 0人评论 6.2

作       者:孙志伟 著

出  版  社:人民邮电出版社有限公司

出版时间:2021-05-01

字       数:20.5万

所属分类: 科技 > 计算机/网络 > 软件系统

温馨提示:数字商品不支持退换货,不提供源文件,不支持导出打印

为你推荐

  • 读书简介
  • 目录
  • 累计评论(0条)
  • 读书简介
  • 目录
  • 累计评论(0条)
本书主要分析Hadoop 3.2.0的新特性和新功能,共5章。首先简单介绍Hadoop,让刚触Hadoop的读者对它有个基本了解; 着介绍目前使用比较多的分布式文件系统HDFS,内容涉及NameNode 的原理、HA、HDFS Federation和HDFS 3.0中新增的特性;然后从应用管理和资源调度这两个方面介绍一个通用的资源管理平台YARN;再后讨论如何在YARN平台中运行应用,比如如何将应用迁移到YARN平台,以及非Hadoop的应用是如何兼容YARN模式的。*后,书中给出了一些工作实战指南,包括如何搭建一个生产可用的Hadoop 3.0集群;如何将现有Hadoop 2.0集群升级到Hadoop 3.0,及其在升级过程中遇到的问题;如何针对Hadoop行二次发,并参与社区,向社区贡献代码;一个大数据平台应具备哪些组件等。<br/>【推荐语】<br/>1. 本书内容基于全新的Hadoop3.x,主要分析Hadoop 3.2.0的新特性和新功能。 2. 本书作者孙志伟为金山云数据平台架构师,主要专注于Hadoop的研究。 3. 本书内容源于企业级真实实践,覆盖了完整的Hadoop生态系统,为大数据门者给予循序渐的实战指导。 4. 阿里云数据库高级产品专家黄鹏程、奈学教育创始人&CEO孙玄、金山云研发总监陈斌联合推荐。<br/>【作者】<br/>孙志伟 金山云数据平台架构师,专注于Hadoop生态和数据平台建设,曾就职于网易、转转等互联网公司。对大数据处理、分布式计算与数据采集有着浓厚的兴趣。一直从事Hadoop 研发与运维工作,努力钻研技术并坚持分享。有着丰富的一线研发与运维经验,是多个社区的Contributor,积极活跃于源社区。 硕士,毕业于华北电力大学。<br/>
目录展开

前言

本书内容

致谢

第 1 章 Hadoop

1.1 简介

1.1.1 Hadoop 1.0

1.1.2 Hadoop 2.0

1.2 Hadoop 3.0

1.3 阅读Hadoop源码

1.3.1 单元测试

1.3.2 断点调试代码

1.4 小结

第 2 章 HDFS

2.1 HDFS简介

2.2 解析NameNode中的元数据及其内存结构

2.2.1 解析NameNode中的元数据

2.2.2 解析NameNode的内存结构

2.3 解析NameNode的HA功能

2.3.1 基于QJM的HA

2.3.2 故障转移

2.3.3 多NameNode模式

2.4 HDFS的Federation

2.4.1 基于viewfs的Federation

2.4.2 基于Router的Federation

2.5 纠删码

2.5.1 纠删码的原理

2.5.2 HDFS EC

2.5.3 HDFS EC的实现

2.5.4 对比HDFS EC策略与三副本策略

2.6 下一代对象存储系统Ozone

2.6.1 Ozone初体验

2.6.2 Ozone架构

2.7 小结

第 3 章 YARN

3.1 YARN简介

3.2 解析ResourceManager的HA功能

3.2.1 故障转移

3.2.2 数据恢复

3.3 YARN Federation

3.3.1 架构

3.3.2 Router

3.3.3 State Store和Policy Store

3.3.4 AMRMProxy

3.3.5 跨子集群运行

3.4 中央调度器

3.4.1 Capacity调度器

3.4.2 Fair调度器

3.4.3 调度扩展

3.5 分布式调度器

3.5.1 分布式调度器的架构

3.5.2 opportunistic container

3.6 YARN Shared Cache

3.6.1 资源本地化

3.6.2 Shared Cache的架构

3.6.3 Shared Cache实例

3.7 小结

第 4 章 Application on YARN

4.1 MapReduce的简介

4.2 MapReduce的源码分析

4.2.1 InputSplit

4.2.2 环形缓冲区

4.2.3 溢写和归并

4.2.4 Shuffle

4.3 MapReduce on YARN

4.3.1 YARN的事件机制和状态机机制

4.3.2 MR ApplicationMaster

4.4 Application on YARN

4.5 小结

第 5 章 实战指南

5.1 Hadoop 3.x 的部署

5.1.1 Hadoop 3.x HA的部署

5.1.2 Hadoop 3.x Federation的部署

5.2 Hadoop升级

5.2.1 Hadoop 2.0升级为Hadoop 3.0

5.2.2 Hadoop 3.0降级为Hadoop 2.0

5.2.3 升级/降级中遇到的问题

5.3 二次开发

5.3.1 与其他自研系统融合

5.3.2 自身功能扩展之自动识别修复后的数据盘

5.3.3 合并社区Patch

5.3.4 提交Pull Request

5.4 周边系统平台

5.4.1 任务调度平台

5.4.2 监控平台

5.4.3 集群诊断分析平台

5.5 小结

作者简介

看完了

累计评论(0条) 0个书友正在讨论这本书 发表评论

发表评论

发表评论,分享你的想法吧!

买过这本书的人还买过

读了这本书的人还在读

回顶部