《Hadoop海量数据处理》从Hadoop的基础知识讲起，逐步深入Hadoop分布式文件系统（HDFS）和MapReduce分布式编程框架的核心技术，帮助读者全面、系统、深入地理解Hadoop海量数据处理技术的精髓。本书在讲解技术原理时穿插大量的典型示例，并详解两个典型项目实战案例，帮助读者提高实际项目开发水平。
《Hadoop海量数据处理》共15章，分为4篇。第1篇Hadoop基础知识，包括大数据概述、Hadoop概述、Hadoop环境搭建与配置；第2篇Hadoop分布式存储技术，包括HDFS概述、HDFS基础操作、HDFS的读写原理和工作机制、Hadoop 3.x的新特性；第3篇MapReduce分布式编程框架，包括MapReduce概述、MapReduce开发基础、MapReduce框架的原理、MapReduce数据压缩、YARN资源调度器、Hadoop企业级优化；第4篇项目实战，包括Hadoop高可用集群搭建实战和统计TopN经典项目案例实战。
《Hadoop海量数据处理》通俗易懂、案例丰富、实用性强，适合Hadoop初学者和进阶人员阅读，也适合大数据工程师、数据分析工程师和数据科学家等大数据技术从业人员和爱好者阅读，还适合作为高等院校和相关培训机构的大数据教材。

国内某一线大厂资深大数据架构师多年项目实战经验的总结，理论结合实践，深入剖析Hadoop海量数据处理的核心技术。
内容全面：全面涵盖Hadoop基础知识和Hadoop分布式文件系统（HDFS），以及MapReduce分布式编程框架和YARN资源调度器等内容，帮助读者全面掌握Hadoop海量数据处理的核心技术。
讲解深入：不仅系统地剖析Hadoop海量数据处理技术原理，还从代码层面深入地分析Hadoop系统的实现过程，并分析HDFS和MapReduce的每一步操作，帮助读者洞悉其工作机制与运行原理。
实用性强：讲解理论知识时穿插100多个典型示例，帮助读者深入理解Hadoop海量数据处理技术的精髓。另外，通过Hadoop高可用集群搭建和经典的统计TopN案例构建两个实战项目，帮助读者上手实践，从而提高实际项目开发水平。
适用面广：无论是Hadoop初学者，还是开发人员、数据分析人员、大数据工程师和数据科学家等相关从业人员，都可以从本书中获得需要的知识和技能。
前瞻性强：基于Hadoop 3.x版写作，内容新颖，技术前瞻，不但介绍纠删码和NameNode Federation联邦机制等Hadoop 3.x的新特性，而且对比Hadoop不同版本之间的差异。

随着企业业务数据的日益增多，如何存储和分析海量数据成为每个企业急需解决的问题。Hadoop的出现使得企业仅用多台计算机便可组成分布式集群，对海量数据资源进行分布式存储和并行计算。这样不仅能够满足企业存储海量数据的需求，而且能够极大地提升并行处理数据的速度。
在过去的10多年中，Hadoop经历了多个版本的更新迭代，逐渐变得成熟和稳定，其在大数据处理方面的性能也更加卓越。尤其随着Hadoop 3.x版的发布，其整个生态系统也愈加完善，很多企业基于Hadoop 3.x开发自己的大数据处理平台。
Hadoop 3.x版对MapReduce进行了拆分，独立出一个资源调度模块YARN。拆分后，MapReduce只负责任务的计算，而YARN只负责资源的调度。这种机制大大降低了系统间的耦合性。另外，Hadoop 3.x版还增加了许多新特性：解决了海量小文件存储的问题；通过纠删码技术提高了磁盘的有效使用率；HDFS的快照管理功能解决了数据备份文件；Hadoop-HA的高可用机制保证了Hadoop集群的高可靠性和高容错性；NameNode Federation联邦机制解决了NameNode的横向扩展问题。
为了帮助广大想要进入大数据领域的读者全面、系统地学习Hadoop，笔者结合自己多年的大数据项目开发经验编写了本书。本书基于Hadoop 3.2.2版写作，详解Hadoop海量数据处理技术的基本理论知识，并结合多个典型示例和两个项目实战案例带领读者实践，帮助读者更加全面、深入地理解Hadoop的运行原理和工作机制，从而能够在较短的时间里掌握Hadoop。
《Hadoop海量数据处理》特色
? 内容全面：全面涵盖Hadoop的基础知识及其分布式文件系统（HDFS），以及MapReduce分布式编程框架和YARN资源调度器等内容，帮助读者全面掌握Hadoop海量数据处理的核心技术。
? 讲解深入：不仅系统地剖析Hadoop海量数据处理技术原理，还从代码层面深入地分析Hadoop系统的实现过程，并分析HDFS和MapReduce的每一步操作，帮助读者洞悉其工作机制与运行原理。
? 实用性强：讲解理论知识时穿插100多个典型示例，帮助读者深入理解Hadoop海量数据处理技术的精髓。另外，通过Hadoop高可用集群搭建和统计TopN经典项目案例两个项目，帮助读者上手实践，从而提高实际项目开发水平。
? 适用面广：无论是Hadoop初学者，还是开发人员、数据分析人员、大数据工程师和数据科学家等相关从业人员，都可以从本书中获得需要的知识和技能。
? 前瞻性强：基于Hadoop 3.2.2版写作，内容新颖，技术前瞻，不但介绍纠删码和NameNode Federation联邦机制等Hadoop 3.x的新特性，而且对比Hadoop不同版本之间的差异。
《Hadoop海量数据处理》内容
第1篇 Hadoop基础知识
第1章主要介绍大数据的基本概念、特点、应用场景和生态体系等。
第2章简要介绍Hadoop的基本概念、发展历史和主流发行版本，同时分析Hadoop的优势及其不同版本之间的区别。
第3章从零开始搭建Hadoop开发环境，并介绍如何配置Hadoop分布式系统的3种运行模式。
第2篇 Hadoop分布式存储技术
第4章主要介绍Hadoop分布式文件系统（HDFS）的定义、产生背景、优缺点及其组成架构。
第5章主要从Shell命令操作和API调用操作两个方面讲解HDFS的基本使用方法。
第6章深入剖析HDFS的数据读写原理和工作机制，包括HDFS的写数据流程、HDFS的读数据流程、NameNode与Secondary NameNode的工作机制、DataNode的工作机制等。
第7章主要介绍Hadoop 3.x的新特性，如纠删码技术、HDFS集群间的数据复制、海量小文件的存储、HDFS的配置、HDFS快照管理等。
第3篇 MapReduce分布式编程框架
第8章主要介绍MapReduce的定义、优缺点及其核心编程思想，并对官方的WordCount源码进行简单的解析。
第9章主要介绍MapReduce开发的基础知识，包括Hadoop序列化、数据序列化类型和MapReduce的编码规范等。
第10章深度剖析MapReduce的运行原理，涵盖InputFormat数据输入、MapReduce工作流程、Shuffle的工作机制、MapTask的工作机制、ReduceTask的工作机制、OutputFormat数据输出类详解和Join的多种应用等。
第11章主要介绍MapReduce的数据压缩工作机制、几种数据压缩方式和压缩参数的配置，并详解3个数据压缩实战案例。
第12章主要介绍YARN资源调度器的基本架构和工作机制、MapReduce作业提交全过程、资源调度器的分类和任务的推测执行等相关内容。
第13章主要介绍Hadoop企业级优化的相关知识，包括HDFS优化和MapReduce优化。
第4篇 项目实战
第14章详细介绍如何搭建一个Hadoop高可用集群，并保证该集群能够724小时持续工作。
第15章详细介绍如何构建经典的统计TopN案例，并通过MapReduce编程框架实现。
读者对象
? 大数据初学者；
? Hadoop入门与进阶人员；
? 想要提升海量数据处理性能的大数据从业人员；
? 大数据工程师、数据分析工程师和数据科学家；
? 需要作为大数据技术手册的人员；
? 对大数据感兴趣的技术人员；
? 高等院校相关专业的学生；
? 大数据培训班的学员。
配套资源获取
《Hadoop海量数据处理》提供的源代码和配套教学PPT有两种获取方式：一是关注微信公众号方大卓越，回复数字27获取下载链接；二是在清华大学出版社网站（www.tup.com.cn）上搜索本书，然后在本书页面上找到资源下载栏目，单击网络资源或课件下载按钮进行下载。
售后支持
由于笔者水平所限，书中存在疏漏与不足在所难免，恳请广大读者批评与指正。读者在阅读本书的过程中若有疑问，可发送电子邮件到bookservice2008@163.com获取帮助。
致谢
在过去的10多年中，Hadoop得到了人们广泛的关注，并取得了快速的发展，同时也经历了多个版本的更新迭代，诞生了三大发行版本，包括Apache、Cloudera和Hortonworks。这都得益于广大厂商和独立开发者的努力付出。在此首先感谢为Hadoop系统贡献源码的软件工作者！
Hadoop的大规模应用促进了整个大数据生态圈的构建。该生态圈为很多中小企业和初创团队提供了一整套大数据解决方案。在此感谢为大数据生态圈构建而付出辛勤劳动的工作者！
还要感谢清华大学出版社的相关工作人员！没有他们的努力，本书不会顺利出版。
最后感谢我的家人、朋友和同事们！本书在编写的过程中得到了他们的大力支持。

许政
2024年4月

许政，毕业于哈尔滨工业大学，获硕士学位。现居深圳，任某一线大厂大数据架构师。参加工作以来，带领团队完成了多个百亿级大数据平台的建设。在实时计算方面有深厚的实践经验。熟悉多种大数据技术框架，如Hadoop、Spark、Flink、Elasticsearch、Kafka、HBase、ZooKeeper等。被CSDN评为优秀博主，撰写了大数据技术相关博文100余篇，博客访问量高达240多万。运维自己的独立博客网站。在大数据实时处理技术和人工智能算法方面有深入的研究，申请发明专利10余项。