大数据技术基础实验

《大数据技术基础实验》是一本面向大数据处理的实验教材，旨在帮助学生从理论学习过渡到实际操作，全面掌握大数据技术的实践应用。本书系统讲解了Spark、Storm、Flink等主流大数据处理框架的实践操作，涵盖了从大数据的存储（HDFS，HBase）到批处理、流处理全过程。教材内容分为六章，每章围绕一个核心主题展。第一章介绍大数据技术的总体框架、大数据的处理流程和三大核心：HDFS、HBase和MapReduce，让读者从宏观上认识大数据技术。后四章围绕具体实操展，辅以具体命令和代码，系统介绍从存储――处理――分析的大数据技术全过程。简单说明如下：第二章聚焦于大数据技术的基础――数据存储，具体包括HDFS，HBase等组件的使用。第三章讨论批处理框架，介绍MapReduce、Spark引擎。第四章讨论流处理框架，介绍使用flume和kafka行数据收集和分发，使用storm等行流处理。第五章介绍分布式查询引擎Hive、Druid等的使用。第六章为大数据综合实验，通过实际案例让学生综合运用所学知识，完成数据全流程操作。
【作者】
欧中洪，北京邮电大学计算机学院（国家示范性软件学院）长聘教授、博士生导师，人事处副处长、人才办主任，国家重研发计划青年科学家，北京市青年教学名师。曾任计算机学院（国家示范性软件学院）副院长，现任教育部虚拟仿真实验教学创新联盟计算机类专委会主任、中国通信标准化协会TC11 VR/AR子工作组副组长、全国高等院校计算机基础教育研究会教育创新与产教融合专委会副主任，CCF教育专委会常务委员，中国人工智能学会智能服务专委会常务委员，CCF大数据/计算机视觉执行委员，中国互联网协会青年专家，CCF高级会员。主持科技创新2030-"新一代人工智能”重大项目等国家和省部级项目20余项，在IEEE TMC、TMM、TNNLS、TCC、ACM SenSys等发表高水平论文80余篇，研究成果曾被BBC News、ACM TechNews、The Register等20余家国际知名媒体报道，获得中国安全生产协会科技步一等奖、中国产学研合作创新与促奖等科技奖励多项。研究兴趣包括小样本学习、跨域自适应、小目标检测等。