万本电子书0元读

万本电子书0元读

顶部广告

Hadoop技术内幕:深入解析MapReduce架构设计与实现原理电子书

售       价:¥10.99

纸质售价:¥54.50购买纸书

98人正在读 | 0人评论 6.2

作       者:董西成

出  版  社:机械工业出版社

出版时间:2013-05-01

字       数:32.2万

所属分类: 科技 > 计算机/网络 > 程序设计

温馨提示:此类商品不支持退换货,不支持下载打印

为你推荐

  • 读书简介
  • 目录
  • 累计评论(0条)
  • 读书简介
  • 目录
  • 累计评论(0条)
“Hadoop技术内幕”共两册,分别从源代码的角度对“Common+HDFS”和“MapReduce的架构设计和实现原理”进行了极为详细的分析。《Hadoop技术内幕:深入解析MapReduce架构设计与实现原理》由Hadoop领域资深的实践者亲自执笔,首先介绍了MapReduce的设计理念和编程模型,然后从源代码的角度深入分析了RPC框架、客户端、JobTracker、TaskTracker和Task等MapReduce运行时环境的架构设计与实现原理,最后从实际应用的角度深入讲解了Hadoop的性能优化、安全机制、多用户作业调度器和下一代MapReduce框架等高级主题和内容。本书适合Hadoop的二次开发人员、应用开发工程师、运维工程师阅读。

  “Hadoop技术内幕”共两册,分别从源代码的角度对“Common+HDFS”和“MapReduce的架构设计和实现原理”行了极为详细的分析。《Hadoop技术内幕:深解析MapReduce架构设计与实现原理》由Hadoop领域资深的实践者亲自执笔,首先介绍了MapReduce的设计理念和编程模型,然后从源代码的角度深分析了RPC框架、客户端、JobTracker、TaskTracker和Task等MapReduce运行时环境的架构设计与实现原理,最后从实际应用的角度深讲解了Hadoop的性能优化、安全机制、多用户作业调度器和下一代MapReduce框架等高级主题和内容。本书适合Hadoop的二次发人员、应用发工程师、运维工程师阅读。


【推荐语】

  ·资深Hadoop技术专家撰写,EasyHadoop和51CTO等专业技术社区联袂推荐!
  ·从源代码角度深分析MapReduce的设计理念,以及RPC框架、客户端、JobTracker、TaskTracker和Task等运行时环境的架构设计与实现原理。
  ·深探讨Hadoop性能优化、多用户作业调度器、安全机制、下一代MapReduce框架等高级主题。


【作者】

  董西成,资深Hadoop技术实践者和研究者,对Hadoop技术有非常深刻的认识和理解,有着丰富的实践经验。曾经参与了商用Hadoop原型的研发,以及人民搜索的分布式日志系统、全网图片搜索引擎、Hadoop调度器等多个项目的设计与研发,实践经验非常丰富。对Hadoop的源代码有深的研究,能通过修改Hadoop的源代码来完成二次发和解决各种复杂的问题。热衷于分享,撰写了大量关于Hadoop的技术文章并分享在自己的博客上,由于文章技术含量高,所以非常受欢迎,这使得他在Hadoop技术圈内颇具知名度和影响力。


目录展开

前言

为什么要写这本书

读者对象

如何阅读本书

勘误和支持

致谢

第一部分 基础篇

第1章 阅读源代码前的准备

1.1 准备源代码学习环境

1.2 获取Hadoop源代码

1.3 搭建Hadoop源代码阅读环境

1.4 Hadoop源代码组织结构

1.5 Hadoop初体验

1.6 编译及调试Hadoop源代码

1.7 小结

第2章 MapReduce设计理念与基本架构

2.1 Hadoop发展史

2.2 Hadoop MapReduce设计目标

2.3 MapReduce编程模型概述

2.4 Hadoop基本架构

2.5 Hadoop MapReduce作业的生命周期

2.6 小结

第二部分 MapReduce编程模型篇

第3章 MapReduce编程模型

3.1 MapReduce编程模型概述

3.2 MapReduce API基本概念

3.3 Java API解析

3.4 非Java API解析

3.5 Hadoop工作流

3.6 小结

第三部分 MapReduce核心设计篇

第4章 Hadoop RPC框架解析

4.1 Hadoop RPC框架概述

4.2 Java基础知识

4.3 Hadoop RPC基本框架分析

4.4 MapReduce通信协议分析

4.5 小结

第5章 作业提交与初始化过程分析

5.1 作业提交与初始化概述

5.2 作业提交过程详解

5.3 作业初始化过程详解

5.4 Hadoop DistributedCache原理分析

5.5 小结

第6章 JobTracker内部实现剖析

6.1 JobTracker概述

6.2 JobTracker启动过程分析

6.3 心跳接收与应答

6.4 Job和Task运行时信息维护

6.5 容错机制

6.6 任务推测执行原理

6.7 Hadoop资源管理

6.8 小结

第7章 TaskTracker内部实现剖析

7.1 TaskTracker概述

7.2 TaskTracker启动过程分析

7.3 心跳机制

7.4 TaskTracker行为分析

7.5 作业目录管理

7.6 启动新任务

7.7 小结

第8章 Task运行过程分析

8.1 Task运行过程概述

8.2 基本数据结构和算法

8.3 Map Task内部实现

8.4 Reduce Task内部实现

8.5 Map/Reduce Task优化

8.6 小结

第四部分 MapReduce高级篇

第9章 Hadoop性能调优

9.1 概述

9.2 从管理员角度进行调优

9.3 从用户角度进行调优

9.4 小结

第10章 Hadoop多用户作业调度器

10.1 多用户调度器产生背景

10.2 HOD

10.3 Hadoop队列管理机制

10.4 Capacity Scheduler实现

10.5 Fair Scheduler实现

10.6 其他Hadoop调度器介绍

10.7 小结

第11章 Hadoop安全机制

11.1 Hadoop安全机制概述

11.2 基础知识

11.3 Hadoop安全机制实现

11.4 应用场景总结

11.5 小结

第12章 下一代MapReduce框架

12.1 第一代MapReduce框架的局限性

12.2 下一代MapReduce框架概述

12.3 Apache YARN

12.4 Facebook Corona

12.5 Apache Mesos

12.6 小结

附录A 安装Hadoop过程中可能存在的问题及解决方案

附录B Hadoop默认HTTP端口号以及HTTP地址

参考资料

累计评论(0条) 0个书友正在讨论这本书 发表评论

发表评论

发表评论,分享你的想法吧!

买过这本书的人还买过

读了这本书的人还在读

回顶部