企业数据湖

本书分为三个主要部分。*部分介绍了数据湖的概念、企业中数据湖泊的重要性，以及Lambda架构的*新展。第二部分将深研究使用Lambda架构构建数据湖的主要组件，介绍了一些流行的大数据技术，如Apache Hadoop、Spark、Sqoop、Flume和弹性搜索。第三部分以实际操作的方式展示如何实现一个企业数据湖，并介绍了几个实际的用例，而且展示了如何将其他外围组件添加到湖中以提高效率。在本书的*后，读者将能够选择正确的大数据技术，使用lambda架构模式来构建企业数据湖。 通过阅读本书，你将： ·使用大数据技术构建企业级数据湖。 ·掌握Lambda架构的精髓，以及如何在企业内使用它。 ·学习与Apache Sqoop及其功能相关的技术细节。 ·Kafka与Hadoop组件集成，用于获取企业数据。 ·使用Flume行流式数据处理。 ·理解Flink与流式数据处理的关系。 ·Hadoop生态圈组件的协同使用，以及它们能带来的好处。 ·使用Elastic Stack构建快速、流式、高吞吐应用。 ·确保数据摄取处理在不同数据格式配置时的一致性。
【推荐语】
“数据湖”已经成为大数据行业的一个重要术语，它是数据科学家们获得有意义的洞察力的平台，这些洞察力可以被企业用来重新定义或改变它们的运营方式。Lambda架构作为大数据领域的杰出模式之一也应运而生。 本书旨在帮助你选择正确的大数据技术并使用Lambda架构模式来为企业构建自己的数据湖。全书主要分为三部分，*部分介绍数据湖的概念、数据湖在企业中的重要性以及Lambda架构。第二部分深研究使用Lambda架构构建数据湖所需的主要技术组件，介绍流行的大数据技术，如Apache Hadoop、Sqoop、Flume、Flink和Elasticsearch等。第三部分展示一些非常实用的数据湖落地建议，包括企业应如何建立一个真实的数据湖，以及提高数据湖运营效率所需的其他技术组件。第三部分*后还详细介绍了几个实际的用例，以及在企业内实现这些用例时应考虑的重要方面。
【作者】
汤姆斯·约翰（Tomcy John）是一名企业级Java技术专家，拥有工学学士学位，并且有超过14年多行业的发经验。他目前担任Emirates Group IT核心架构部门的首席架构师。在此之前，他曾在甲骨文公司、安永公司任职。他主要擅长构建企业级应用，并且在企业内担任首席导师和布道者，以促新技术融企业标准技术栈。 潘卡·米斯拉（Pankaj Misra）是一名技术传播者，拥有工程学士学位，并且有超过16年跨多个业务领域的技术经验。自2015年以来，他一直在Emirates Group IT任职。他擅长架构和构建多技术栈的解决方案及实现。他在印度的技术论坛上也是一名活跃分子，参与过多个海量数据、可水平扩展的近实时数据处理和分析产品的构建。