Hadoop 核心技术与实战_潘正高施霖_9787302524649

本书针对Hadoop体系的基本技术方法进行分析，并将理论与实际项目进行结合。本书层次清晰，结构合理，全书共分为11个章节，主要内容包括Hadoop简介、Hadoop环境搭建、HDFS文件系统操作、MapReduce程序编写、Hive安装与配置、Hive操作、HBase安装与配置、HBase操作与客户端使用、Pig安装与使用、Pig Latin的使用、Sqoop安装与数据操作、大数据项目案例分析等。本书适合Hadoop的初学者进行阅读，也可作为高等院校相关课程的教学参考书。

2010年以后，信息产业进入了大数据时代，Hadoop成为大数据分析的首选平台和开发标准，数据分析软件纷纷向 Hadoop靠拢。在Hadoop原有技术基础之上，涌现了Hadoop家族产品，它们正在配合大数据概念不断创新，推动科技进步。因此，新一代IT精英都必须顺应潮流，抓住机遇，随着 Hadoop一起发展和成长!
Hadoop是一个能够对大量数据进行分布式处理的软件框架。但Hadoop是以一种可靠、高效、可伸缩的方式进行处理的。Hadoop是可靠的，因为它假设计算元素和存储会失败，因此它维护多个工作数据副本，确保能够针对失败的节点重新分布处理。Hadoop是高效的，因为它以并行的方式工作，通过并行处理加快处理速度。
Hadoop体系下包含了一系列进行数据处理、分析的组件，其中常见的组件包括Hive、HBase、Pig、Sqoop等。
Hive是一种底层封装了Hadoop的数据仓库处理工具，使用类SQL的HiveQL 语言实现数据查询，所有Hive的数据都存储在Hadoop兼容的文件系统(例如，Amazon S3、HDFS)中。Hive在加载数据过程中不会对数据进行任何修改，只是将数据移动到HDFS中Hive设定的目录下。Hive构建在基于静态批处理的Hadoop之上，Hadoop通常都有较高的延迟并且在作业提交和调度的时候需要大量开销。因此，Hive并不能够在大规模数据集上实现低延迟快速的查询。
作为NoSQL家庭的一员，HBase的出现弥补了Hadoop只能离线批处理的不足，同时能够存储小文件，提供海量数据的随机检索，并保证一定的性能。而这些特性也完善了整个Hadoop生态系统，泛化了其大数据的处理能力，结合其高性能、稳定、扩展性好的特性，给使用大数据的企业带来了方便。
Pig是基于Hadoop的并行数据流处理开源引擎。通过Pig无须开发一个全功能的应用程序就可以在集群中进行数据批处理，这使得在新数据集上进行实验变得更加容易。
Sqoop是一个用来将Hadoop和关系型数据库中的数据进行相互转移的工具，可以将一个关系型数据库(例如，MySQL、Oracle、PostgreSQL等)中的数据导入Hadoop的HDFS中，也可以将HDFS的数据导入关系型数据库中。对于某些NoSQL数据库，它也提供了连接器。Sqoop使用元数据模型来判断数据类型并在数据从数据源转移到Hadoop时确保类型安全的数据处理。Sqoop专为大数据批量传输设计，能够分割数据集并创建Hadoop任务来处理每个区块。
本书针对Hadoop体系的基本技术方法进行了分析，并提供了相应的实例以帮助读者进一步加深了解。通过本书的学习，相信大家会在很短暂的时间内掌握Hadoop体系的相关技术，为以后的工作、学习提供指导与帮助。
本书特色
本书作者从实践出发，结合大量的教学经验以及工程案例，深入浅出地介绍大数据技术架构及相关组件。在章节的编排上，注重理论与实践相结合。首先提出相关的理论背景，并进行深入分析、讲解，然后着重介绍相关技术的环境搭建，最后通过实际操作，加深读者对技术的掌握及应用。
通过项目实战案例介绍相关组件在实际大数据处理中的关键应用，本书介绍的Hadoop组件包括HDFS、MapReduce、Hive、HBase、Pig、Sqoop。
为了方便读者对内容的理解以及满足相关教学、工作的需要，本书配套提供了真实的样本数据文件、PPT课件以及实验视频，读者可以根据勘误与支持中提供的联系方式进行咨询或者获取。
本书适用对象
本书内容由浅入深，既适合初学者入门，也适合有一定基础的技术人员进一步提高技术水平。本书的读者对象包括：
Hadoop初学者
Hadoop开发人员
Hadoop管理人员
高等院校计算机相关专业的老师、学生
具有Hadoop相关经验，并希望进一步提高技术水平的读者
如何阅读本书
本书在章节的安排上，着眼于引导读者以最快的速度上手Hadoop，本书一共包括11章，分为3个部分：基础篇、高级篇、实战篇。
基础篇(第1~3章)：第1章的主要内容包括Hadoop简介、Hadoop项目及架构分析、Hadoop计算模型、Hadoop数据管理、Hadoop环境搭建；第2章针对Hadoop分布式文件系统HDFS进行讲解，包括HDFS基本操作、WebHDFS操作以及通过Java API进行HDFS文件操作；第3章针对Hadoop分布式计算MapReduce进行讲解，并通过实战案例帮助读者加深对相关知识的理解。
高级篇(第4~10章)：第4章针对Hadoop中的数据仓库Hive进行分析，包括Hive环境搭建、Hive数据定义；第5章介绍了Hive的使用，包括数据操作、数据查询，并通过实战案例帮助读者进行深入的了解；第6章针对HBase进行详细的介绍，包括HBase的发展历史、HBase的特性、HBase与Hadoop的关系等，并讲解如何进行HBase环境的搭建；第7章针对HBase数据操作进行讲解，包括Shell工具的使用、基于HBase的Java客户端的使用；第8章介绍了Pig数据流引擎的使用，包括Pig概述、Pig的安装与配置、Pig命令行交互工具的使用；第9章针对Pig Latin进行讲解，主要内容包括Pig Latin介绍、关系操作和用户自定义函数的使用；第10章详细讲解Sqoop工具的使用，包括Sqoop概述、Sqoop安装部署、Sqoop常用命令介绍和Sqoop数据操作。
实战篇(第11章)：通过实际的大数据案例进行分析讲解，帮助读者进一步了解实际工程环境中Hadoop的应用，本章主要内容包括实战项目背景与数据源分析、环境搭建、数据清洗、数据统计分析以及定时任务处理。

致谢
在本书的编写过程中，得到了许多企事业单位人员的大力支持；在此谨向北京科技大学陈红松教授致以深深的谢意。在本书的编辑和出版过程中还得到了清华大学出版社相关人员的无私帮助与支持，在此一并表示感谢。
编者
2021年12月

你还可能感兴趣

我要评论