万本电子书0元读

万本电子书0元读

顶部广告

实战大数据(Hadoop+Spark+Flink)——从平台构建到交互式数据分析(离线/实时)电子书

面向大数据开发工程师,大数据运维工程师 围绕Hadoop、Spark、Flink三大主流平台,详解大数据平台的搭建及数据分析(离线/实时) 随书配备全套数据集、安装包、配置文件、海量教学视频(近30GB),方便学用

售       价:¥

纸质售价:¥71.50购买纸书

173人正在读 | 0人评论 6.8

作       者:杨俊

出  版  社:机械工业出版社

出版时间:2021-08-31

字       数:14.0万

所属分类: 教育 > 大中专教材 > 成人/中高职教材

温馨提示:数字商品不支持退换货,不提供源文件,不支持导出打印

为你推荐

  • 读书简介
  • 目录
  • 累计评论(0条)
  • 读书简介
  • 目录
  • 累计评论(0条)
本书可以作为大数据发工程师实用手册,以完整项目案例发为主线,结合具体技术理论讲解和实际操作,详细讲解了大数据项目发过程中发人员应该具备的能力。共包含7个章节内容,1至3章主要学习大数据集群搭建,解决大数据项目发环境和运行环境问题,第4章主要学习HBase数据库和Kafka消息队列,解决了大数据的存储和交换问题,第5、6章主要学习大数据项目离线分析和实时分析,解决了大数据的计算问题,第7章主要学习Web技术发,解决了大数据可视化问题。 本书主要读者对象为大数据发工程师、Hadoop工程师、Spark工程师、ETL工程师、大数据分析工程师,并可以作为大数据相关岗位培训的教程。<br/>【作者】<br/>2005.09 - 2009.07 河南平顶山学院计算机科学与技术学院 2010.03 - 2012.12 派克赛斯网络技术服务有限公司 2013.03 - 2010.12 西岸传媒 2010.12 - 至今 北京大讲台科技有限公司 本书由大讲台(http://www.dajiangtai.com/)组织编写。北京大讲台科技有限公司是一家科技驱动的创新型IT在线教育机构。大讲台扎根国内互联网发展前沿的北京中关村,北大、清华、北理、北航等名校环绕,积聚了一批来自百度、阿里巴巴、腾讯、达内、慧科、弘成教育、新东方等众多知名公司的教育人才和研发人才。大讲台拥有自主知识产权的混合式自适应学习平台(大讲台网,http://www.dajiangtai.com),并于 2015年5 月获得数百万元天使投资,估值超过 2000万元。同时,平台独特的个性化任务推送模式、游戏化的学习体验、离企业需求更近的实战教学和体贴的在线服务设计等诸多方面广受学员好评。<br/>
目录展开

前言

第1章 大数据技术概述

1.1 什么是大数据

1.2 大数据平台架构

1.2.1 数据获取

1.2.2 数据存储

1.2.3 数据处理

1.2.4 交互式分析

1.2.5 机器学习与数据挖掘

1.2.6 资源管理

1.3 大数据工程师的技能树

1.3.1 大数据主流开发语言

1.3.2 大数据平台的构建

1.3.3 大数据采集

1.3.4 大数据存储与交换

1.3.5 大数据离线计算

1.3.6 大数据实时计算

1.4 大数据项目需求分析与设计

1.4.1 项目需求分析

1.4.2 系统架构设计

1.4.3 离线和实时计算数据流程设计

1.4.4 大数据平台规划

1.5 本章小结

第2章 搭建IDEA开发环境及Linux虚拟机

2.1 搭建IDEA开发环境

2.1.1 JDK的安装与配置

2.1.2 Maven的安装与配置

2.1.3 IDEA的安装与配置

2.1.4 使用IDEA构建Maven项目

2.2 搭建Linux虚拟机

2.2.1 安装Linux系统

2.2.2 配置Linux静态IP

2.2.3 Linux主机名和IP映射

2.2.4 关闭Linux防火墙

2.2.5 创建Linux用户和用户组

2.2.6 Linux SSH免密登录

2.3 本章小结

第3章 基于Hadoop构建大数据平台

3.1 Zookeeper分布式协调服务

3.1.1 Zookeeper架构设计及原理

3.1.2 Zookeeper集群安装前的准备工作

3.1.3 Zookeeper集群的安装部署

3.1.4 Zookeeper shell的操作

3.2 HDFS分布式文件系统

3.2.1 HDFS架构设计及原理

3.2.2 HDFS的高可用(HA)

3.2.3 HDFS联邦机制

3.3 YARN资源管理系统

3.3.1 YARN架构设计及原理

3.3.2 MapReduce on YARN工作流程

3.3.3 YARN的容错性

3.3.4 YARN的高可用(HA)

3.3.5 YARN的调度器及使用

3.4 Hadoop分布式集群的构建

3.4.1 HDFS分布式集群的构建

3.4.2 YARN分布式集群的构建

3.4.3 Hadoop集群运行测试

3.4.4 Hadoop集群调优

3.5 MapReduce分布式计算框架

3.5.1 MapReduce概述

3.5.2 MapReduce编程模型

3.5.3 MapReduce应用示例

3.5.4 WordCount代码实现

3.6 本章小结

第4章 基于HBase和Kafka构建海量数据存储与交换系统

4.1 构建HBase分布式实时数据库

4.1.1 HBase概述

4.1.2 HBase架构设计

4.1.3 HBase分布式集群的构建

4.1.4 HBase性能调优

4.1.5 HBase新闻业务表建模

4.2 搭建Kafka分布式消息系统

4.2.1 Kafka概述

4.2.2 Kafka架构设计

4.2.3 Kafka分布式集群的构建

4.2.4 Kafka集群监控

4.3 本章小结

第5章 用户行为离线分析——构建日志采集和分析平台

5.1 搭建Flume日志采集系统

5.1.1 Flume概述

5.1.2 Flume架构设计

5.1.3 Flume环境的搭建

5.1.4 构建Flume集群

5.2 使用Flume采集用户行为数据

5.2.1 Flume与Kafka集成

5.2.2 Flume与HBase集成

5.2.3 Flume与Kafka、HBase集成

5.3 基于Hive的离线大数据分析

5.3.1 Hive概述

5.3.2 Hive架构设计

5.3.3 Hive的安装部署

5.3.4 Hive在大数据仓库中的应用

5.3.5 Hive与HBase集成

5.4 基于Hive的用户行为数据离线分析

5.4.1 离线项目架构设计

5.4.2 用户行为离线分析

5.5 本章小结

第6章 基于Spark的用户行为实时分析

6.1 Spark快速入门

6.1.1 Spark概述

6.1.2 Spark的最简安装

6.1.3 Spark实现WordCount

6.2 Spark Core的核心功能

6.2.1 Spark架构的原理

6.2.2 弹性分布式数据集RDD

6.2.3 Spark算子

6.2.4 Pair RDD及算子

6.3 Spark分布式集群的构建

6.3.1 Spark的运行模式

6.3.2 Standalone模式集群的构建

6.3.3 Spark on YARN模式集群的构建

6.4 基于Spark Streaming的新闻项目实时分析

6.4.1 Spark Streaming概述

6.4.2 Spark Streaming的运行原理

6.4.3 Spark Streaming编程模型

6.4.4 Spark Streaming实时分析用户行为

6.5 基于Spark SQL的新闻项目离线分析

6.5.1 Spark SQL架构的原理

6.5.2 Spark SQL与Hive、MySQL、HBase集成

6.5.3 Spark SQL用户行为离线分析

6.6 基于Spark Structured Streaming的新闻项目实时分析

6.6.1 Structured Streaming概述

6.6.2 Structured Streaming编程模型

6.6.3 基于Structured Streaming的用户行为实时分析

6.7 本章小结

第7章 基于Flink的用户行为实时分析

7.1 Flink快速入门

7.1.1 Flink概述

7.1.2 Flink的最简安装

7.1.3 Flink实现WordCount

7.2 Flink分布式集群的构建

7.2.1 Flink的运行模式

7.2.2 Flink Standalone模式集群的构建

7.2.3 Flink on YARN模式集群的构建

7.3 基于Flink DataStream的新闻项目实时分析

7.3.1 Flink DataStream概述

7.3.2 Flink DataStream编程模型

7.3.3 Flink DataStream用户行为实时分析

7.4 基于Flink DataSet的新闻项目离线分析

7.4.1 Flink DataSet的运行原理

7.4.2 Flink DataSet编程模型

7.4.3 Flink DataSet用户行为离线分析

7.5 本章小结

第8章 用户行为数据可视化

8.1 构建Java Web系统查询用户行为

8.1.1 基于Java Web的系统架构

8.1.2 构建并部署Java Web项目

8.1.3 用户行为查询代码开发

8.2 用户行为数据展示与分析

8.2.1 项目打包发布

8.2.2 项目整体联调

8.2.3 数据大屏展示与用户行为分析

8.3 本章小结

累计评论(0条) 0个书友正在讨论这本书 发表评论

发表评论

发表评论,分享你的想法吧!

买过这本书的人还买过

读了这本书的人还在读

回顶部