万本电子书0元读

万本电子书0元读

顶部广告

大数据处理框架Apache Spark设计与实现(全彩)电子书

1 作者为中科院软件所博士,其多年发表论文的经验使得这本书的行文完全会让你眼前一亮,严谨且准确。 2 作者精心绘制200余幅图,本书用四色印刷尽力真实还原出来,呈现着作者强大的技术工匠精神。 3 本书采用问题驱动的叙述方式,强调基本原理的阐述,内容非常扎实,且更多的是关乎大数据处理框架的底层原理描述,所以一旦学懂,肯定会让你在大数据领域更上一层楼。

售       价:¥

纸质售价:¥79.00购买纸书

437人正在读 | 0人评论 6.2

作       者:许利杰,方亚芬

出  版  社:电子工业出版社

出版时间:2020-07-01

字       数:18.4万

所属分类: 科技 > 计算机/网络 > 计算机理论与教程

温馨提示:数字商品不支持退换货,不提供源文件,不支持导出打印

为你推荐

  • 读书简介
  • 目录
  • 累计评论(0条)
  • 读书简介
  • 目录
  • 累计评论(0条)
近年来,以Apache Spark为代表的大数据处理框架在学术界和工业界得到了广泛的使用。本书以Apache Spark框架为核心,总结了大数据处理框架的基础知识、核心理论、典型的Spark应用,以及相关的性能和可靠性问题。本书分9章,主要包含四部分内容。*部分 大数据处理框架的基础知识(第1~2章):介绍大数据处理框架的基本概念、系统架构、编程模型、相关的研究工作,并以一个典型的Spark应用为例概述Spark应用的执行流程。第二部分 Spark大数据处理框架的核心理论(第3~4章):介绍Spark框架将应用程序转化为逻辑处理流程,而转化为可并行执行的物理执行计划的一般过程及方法。第三部分 典型的Spark应用(第5章):介绍迭代型的Spark机器学习应用和图计算应用。第四部分 大数据处理框架性能和可靠性保障机制(第6~9章):介绍Spark框架的Shuffle机制、数据缓存机制、错误容忍机制、内存管理机制等。<br/>【推荐语】<br/>  1 作者为中科院软件所博士,其多年发表论文的经验使得这本书的行文完全会让你眼前一亮,严谨且准确。 2 作者精心绘制200余幅图,本书用四色印刷尽力真实还原出来,呈现着作者强大的技术工匠精神。 3 本书采用问题驱动的叙述方式,强调基本原理的阐述,内容非常扎实,且更多的是关乎大数据处理框架的底层原理描述,所以一旦学懂,肯定会让你在大数据领域更上一层楼。<br/>【作者】<br/>许利杰现任中国科学院软件研究所副研究员、硕士生导师,于中科院软件所获得博士学位。当前主要从事大数据系统方面的研究工作,已在国际权威会议如VLDB、ICDCS、IPDPS、ISSRE、ICAC等发表论文10余篇,主持多项国家自然科学基金,以及华为、、联想等企业的合作研发项目。曾为Apache Spark和Hadoop修复多个内核代码严重错误,编写的SparkInternals技术文档被社区广泛关注,获得四千多颗星。博士期间曾在微软亚洲研究院、阿里巴巴、腾讯担任客座研究学生。目前还担任中国计算机学会系统软件专委会委员、中国科学院青年创新促会会员。方亚芬现任中国科学院软件研究所工程师,于南大学获得学士学位、中科院软件所获得硕士学位。当前主要从事大数据系统、操作系统方面的研发工作,参与多项国家自然科学基金、国家重研发计划,以及华为、腾讯、中国邮政等企业的合作研发项目。曾在阿里巴巴等担任客座研究学生,目前是华为openEuler社区树莓派项目负责人。<br/>
目录展开

作者简介

内容简介

前言

读者服务

第一部分 大数据处理框架的基础知识

第1章 大数据处理框架概览

1.1 大数据及其带来的挑战

1.2 大数据处理框架

1.3 大数据应用及编程模型

1.4 大数据处理框架的四层结构

1.4.1 用户层

1.4.2 分布式数据并行处理层

1.4.3 资源管理与任务调度层

1.4.4 物理执行层

1.5 错误容忍机制

1.6 其他大数据处理框架

1.7 本章小结

1.8 扩展阅读

第2章 Spark系统部署与应用运行的基本流程

2.1 Spark安装部署

2.2 Spark系统架构

2.3 Spark应用例子

2.3.1 用户代码基本逻辑

2.3.2 逻辑处理流程

2.3.3 物理执行计划

2.3.4 可视化执行过程

2.4 Spark编程模型

2.5 本章小结

第二部分 Spark大数据处理框架的核心理论

第3章 Spark逻辑处理流程

3.1 Spark逻辑处理流程概览

3.2 Spark逻辑处理流程生成方法

3.2.1 根据应用程序如何产生RDD,产生什么样的RDD

3.2.2 如何建立RDD之间的数据依赖关系

3.2.3 如何计算RDD中的数据

3.3 常用transformation()数据操作

3.4 常用action()数据操作

3.5 对比MapReduce,Spark的优缺点

3.6 本章小结

3.7 扩展阅读

第4章 Spark物理执行计划

4.1 Spark物理执行计划概览

4.2 Spark物理执行计划生成方法

4.3 常用数据操作生成的物理执行计划

4.4 本章小结

4.5 扩展阅读

第三部分 典型的Spark应用

第5章 迭代型Spark应用

5.1 迭代型Spark应用的分类及特点

5.2 迭代型机器学习应用SparkLR

5.2.1 应用描述

5.2.2 算法原理

5.2.3 基于Spark的并行化实现

5.2.4 深入讨论

5.3 迭代型机器学习应用——广义线性模型

5.3.1 算法原理

5.3.2 基于Spark的并行化实现

5.3.3 深入讨论

5.4 迭代型图计算应用——PageRank

5.4.1 应用描述

5.4.2 基于Spark的并行化实现

5.4.3 深入讨论

5.5 本章小结

第四部分 大数据处理框架性能和可靠性保障机制

第6章 Shuffle机制

6.1 Shuffle的意义及设计挑战

6.2 Shuffle的设计思想

6.2.1 解决数据分区和数据聚合问题

6.2.2 解决map()端combine问题

6.2.3 解决sort问题

6.2.4 解决内存不足问题

6.3 Spark中Shuffle框架的设计

6.3.1 Shuffle Write框架设计和实现

6.3.2 Shuffle Read框架设计和实现

6.4 支持高效聚合和排序的数据结构

6.4.1 AppendOnlyMap的原理

6.4.2 ExternalAppendOnlyMap

6.4.3 PartitionedAppendOnlyMap

6.4.4 PartitionedPairBuffer

6.5 与Hadoop MapReduce的Shuffle机制对比

6.6 本章小结

第7章 数据缓存机制

7.1 数据缓存的意义

7.2 数据缓存机制的设计原理

7.2.1 决定哪些数据需要被缓存

7.2.2 包含数据缓存操作的逻辑处理流程和物理执行计划

7.2.3 缓存级别

7.2.4 缓存数据的写入方法

7.2.5 缓存数据的读取方法

7.2.6 用户接口的设计

7.2.7 缓存数据的替换与回收方法

7.3 与Hadoop MapReduce的缓存机制进行对比

7.4 本章小结

第8章 错误容忍机制

8.1 错误容忍机制的意义及挑战

8.2 错误容忍机制的设计思想

8.3 重新计算机制

8.3.1 重新计算是否能够得到与之前一样的结果

8.3.2 从哪里开始重新计算

8.3.3 重新计算机制小结

8.4 checkpoint机制的设计与实现

8.4.1 哪些数据需要使用checkpoint机制

8.4.2 checkpoint数据的写入及接口

8.4.3 checkpoint时机及计算顺序

8.4.4 checkpoint数据的读取

8.4.5 checkpoint数据写入和读取的实现细节

8.4.6 checkpoint语句位置的影响

8.4.7 cache+checkpoint

8.5 checkpoint与数据缓存的区别

8.6 本章小结

第9章 内存管理机制

9.1 内存管理机制问题及挑战

9.2 应用内存消耗来源及影响因素

9.2.1 内存消耗来源1:用户代码

9.2.2 内存消耗来源2:Shuffle机制中产生的中间数据

9.2.3 内存消耗来源3:缓存数据

9.3 Spark框架内存管理模型

9.3.1 静态内存管理模型

9.3.2 统一内存管理模型

9.4 Spark框架执行内存消耗与管理

9.4.1 Shuffle Write阶段内存消耗及管理

9.4.2 Shuffle Read阶段内存消耗及管理

9.5 数据缓存空间管理

9.5.1 RDD缓存数据

9.5.2 广播数据

9.5.3 task的计算结果

9.6 本章小结

参考文献

大数据处理基石参考书

累计评论(0条) 2个书友正在讨论这本书 发表评论

发表评论

发表评论,分享你的想法吧!

买过这本书的人还买过

读了这本书的人还在读

回顶部