本书共11章，从Hadoop概述开始，介绍Hadoop的安装、配置与管理，并对Hadoop的生态体系架构进行介绍，包括HDFS技术、YARN技术、MapReduce技术、Hadoop I/O操作、海量数据库技术HBase、ZooKeeper技术、分布式数据仓库技术Hive，以及Hadoop与RDBMS数据迁移工具Sqoop，最后对大数据实时处理技术进行介绍，旨在让读者了解当前其他的大数据处理技术。本书还包括丰富的实践操作，实现理论与实践的有机结合。

本书除介绍Hadoop的理论外，还介绍如何使用各组件，但因为只介绍基础的使用方法，没有涉及底层的高级内容，所以本书只起引导作用。本书旨在让读者了解Hadoop并能够使用Hadoop的基本功能，并不是学习Hadoop的完整手册。

本书适合作为高等院校和职业院校大数据、物联网、云计算及其他计算机相关专业的教材，也可供云计算与大数据技术相关专业的培训班使用。

1.立德树人，深刻领会二十大精神

2.附有习题，以及实践性较强的实训，巩固所学知识

3.侧重应用能力的培养，对学生起到一个引导作用

4.配备了PPT课件、源代码、习题答案、微课等丰富的教学资源

安俊秀，教授，成都信息工程大学教师。2004年7月从西安交通大学计算机科学与技术专业毕业，获工学硕士学位。中国计算机学会高级会员；中国电子学会高级会员；成都市科技攻关计划评审专家；成都军区项目评审专家；汕尾市科技顾问团首席顾问。 在教学上，严格要求自己，勤奋钻研、不断提升教学水平，给更多学生以帮助和爱护。于1993年毕业进入山西大学商务学院任教，2006年底调入成都信息工程大学任教。最近三年，先后承担了《Linux体系和编程》、《软件项目管理》、《工程导论》、《计算机组成原理》等本科课程；承担了《云计算与大数据》、《并行计算》、《Hadoop处理技术》等研究生课程，学校考核均为优。 在科研工作方面，一直从事云计算与大数据、信息智能搜索与计算社会方面的研究工作。近三年发表论文20余篇，其中第一作者10余篇，核心期刊以上占5篇。独立完成专著1部，编著教材1部和参与编著教材1部，主编教材1部。获得国家发明专利2项（2014授权），实用新型专利授权12项。获得软件著作权13项。科研项目10项。2015年获四川省社科高水平研究团队称号。

目录



第　1章

Hadoop概述　1

1.1　Hadoop简介　1

1.2　Hadoop体系架构　3

1.2.1　Hadoop基础架构　3

1.2.2　Hadoop生态系统　3

1.3　Hadoop与分布式开发　5

1.4　Hadoop行业应用案例分析　6

1.4.1　Hadoop在门户网站中的应用　6

1.4.2　Hadoop在搜索引擎中的应用　7

1.4.3　Hadoop在电商平台中的应用　7

习题　8



第　2章

Hadoop的安装、配置与

管理　9

2.1　实验准备　9

2.2　配置一个单节点环境　10

2.2.1　运行一个虚拟环境CentOS　10

2.2.2　配置网络　11

2.2.3　创建新的用户组和用户　15

2.2.4　上传文件到CentOS并配置

Java和Hadoop环境　16

2.2.5　修改Hadoop 3.2配置文件　19

2.2.6　修改CentOS主机名　22

2.2.7　绑定hostname与IP地址　22

2.2.8　关闭防火墙　23

2.3　节点之间的免密码登录　23

2.3.1　什么是SSH　23

2.3.2　复制虚拟机节点　24

2.3.3　配置SSH免密码登录　25

2.4　Hadoop的启动和测试　27

2.4.1　格式化文件系统　27

2.4.2　启动HDFS　28

2.4.3　启动YARN　29

2.4.4　启动JobHistory Server　29

2.4.5　集群验证　30

2.4.6　需要了解的默认配置　31

2.5　动态管理节点　32

2.5.1　动态增加和删除DataNode　32

2.5.2　动态修改TaskTracker　33

习题　34



第3章

HDFS技术　36

3.1　HDFS的特点　36

3.2　HDFS架构　37

3.2.1　数据块　38

3.2.2　NameNode与DataNode　39

3.2.3　辅助NameNode　40

3.2.4　安全模式与负载均衡　42

3.2.5　垃圾回收　43

3.3　HDFS Shell命令　44

3.3.1　文件处理命令　44

3.3.2　交互式命令　49

3.4　HDFS中Java API的使用　53

3.4.1　上传文件　54

3.4.2　新建文件　55

3.4.3　查看文件详细信息　56

3.4.4　下载文件　57

3.5　RPC通信　58

3.5.1　反射机制　59

3.5.2　代理模式与动态代理　62

3.5.3　Hadoop RPC机制与源码

分析　64

习题　68



第4章

YARN技术　69

4.1　YARN概述　69

4.1.1　YARN产生背景MRv1的

局限性　69

4.1.2　YARN的通信协议　70

4.2　YARN基本框架　71

4.3　YARN资源调度器　73

4.4　YARN的工作流程　74

4.5　YARN的实战案例　76

习题　79



第5章

MapReduce技术　80

5.1　什么是MapReduce　80

5.2　MapReduce编程模型　81

5.2.1　MapReduce模型简介　81

5.2.2　MapReduce模型分类　82

5.2.3　MapReduce编程实例

WordCount　83

5.3　MapReduce数据流　84

5.3.1　分片并格式化原始数据

（InputFormat）　84

5.3.2　Map过程　86

5.3.3　Shuffle过程　86

5.3.4　Reduce过程　91

5.3.5　按指定格式写入文件

（OutputFormat）　92

5.4　MapReduce任务流程　92

5.5　MapReduce的Streaming和

Pipe　93

5.5.1　Hadoop Streaming　93

5.5.2　Hadoop Pipe　95

5.6　MapReduce性能调优　96

5.7　MapReduce实战　98

5.7.1　快速入门　98

5.7.2　简单使用Eclipse插件　110

习题　118



第6章

Hadoop　I/O操作　119

6.1　HDFS数据完整性　119

6.1.1　校验和　119

6.1.2　运行后台进程来检测数据块　120

6.2　基于文件的数据结构　121

6.2.1　SequenceFile的存储　121

6.2.2　MapFile的存储　125

6.2.3　SequenceFile转换为

MapFile　128

6.3　压缩　129

6.3.1　认识压缩　129

6.3.2　Codec　130

6.3.3　本地库　132

6.3.4　如何选择压缩格式　133

6.4　序列化　134

6.4.1　认识序列化　134

6.4.2　Writable接口　135

6.4.3　WritableComparable接口　136

6.4.4　Hadoop Writable基本类型　137

6.4.5　自定义Writable类型　142

习题　144



第7章

海量数据库技术HBase　145

7.1　初识HBase　145

7.2　HBase表视图　146

7.2.1　概念视图　146

7.2.2　物理视图　147

7.3　HBase物理存储模型　148

7.4　安装HBase　154

7.4.1　HBase单节点安装　154

7.4.2　HBase伪分布式安装　157

7.4.3　HBase完全分布式安装　158

7.5　HBase Shell　160

7.5.1　HBase Shell的命令　160

7.5.2　general操作　162

7.5.3　DDL操作　163

7.5.4　DML操作　165

7.6　HBase操作实践　167

习题　170



第8章

ZooKeeper技术　171

8.1　分布式协调技术及其实现者　171

8.2　ZooKeeper基本架构　172

8.3　ZooKeeper数据模型　173

8.3.1　Znode　173

8.3.2　ZooKeeper中的时间　174

8.3.3　Znode属性　175

8.3.4　watch触发器　176

8.4　ZooKeeper集群安装　177

8.5　ZooKeeper的主要Shell

操作　179

8.6　典型应用场景　180

8.6.1　数据发布与订阅　180

8.6.2　统一命名服务　182

8.6.3　分布式通知/协调　182

习题　183



第9章

分布式数据仓库技术Hive　184

9.1　Hive出现的原因　184

9.2　Hive服务的组成　185

9.3　Hive的安装　186

9.3.1　Hive基本安装　186

9.3.2　MySQL的安装　187

9.3.3　Hive的配置　188

9.4　Hive Shell　191

9.5　HQL的概念和使用　192

9.5.1　认识HQL　192

9.5.2　Hive管理数据方式　192

9.5.3　Hive表的DDL操作　194

9.5.4　Hive表的DML操作　203

9.6　使用Hive实现聊天数据分析

案例　207

习题　210



第　10章

Hadoop与RDBMS数据迁移

工具Sqoop　211

10.1　Sqoop简介及基本安装　211

10.2　Sqoop的配置　212

10.3　Sqoop的相关功能　213

10.3.1　Sqoop的工具命令　213

10.3.2　Sqoop与MySQL　214

10.3.3　sqoop-import操作　215

10.3.4　sqoop-import-all-tables

操作　220

10.3.5　sqoop-export操作　222

10.3.6　sqoop-list-databases和

sqoop-list-tables操作　224

10.4　Hive、Pig和Sqoop三者之间

的关系　224

10.5　基于Sqoop的MySQL和Hive

之间的数据迁移实操案例　225

习题　228



第　11章

大数据实时处理技术　229

11.1　Flink　229

11.1.1　Flink架构　230

11.1.2　Flink部署　231

11.1.3　Flink的运行架构　235

11.1.4　Flink流处理API　238

11.2　Spark　239

11.2.1　Apache Spark架构　239

11.2.2　Apache Spark的扩展

功能　241

11.3　Flink与Spark异同　243

习题　244