本书教学设计遵循教学规律，对真实项目进行了科学拆分与提炼。主要内容分为Hadoop大数据技术基础与Hadoop 大数据分析案例两部分，前者包括大数据的有关概念、Hadoop 概述、Hadoop集群的部署与管理、HDFS、MapReduce编程以及Hadoop生态的其他常用组件ZooKeeper、HBase 、Hive 、Sqoop 、Flume 、Storm 、Kafka 的工作原理、安装部署和使用方法，后者通过基于云虚拟实训平台的学情分析系统项目完整展示了大数据分析的过程。全书遵循理论够用、实用，实践*的原则选择内容，编排合理，表述深入浅出，所有操作命令全部按序列出，并配有解释和运行截图，指导性、实用性强，能使读者快速、轻松地掌握Hadoop大数据平台运维和分析的基本技术。本书适合作为高等职业院校电子信息大类各专业学习Hadoop大数据技术的教材，也可作为培训学校的培训教材，还可作为大数据爱好者的自学用书。

本书教学设计遵循教学规律，对真实项目进行了科学拆分与提炼。

为认真贯彻落实教育部实施新时代中国特色高水平高职学校和专业群建设，扎实、持续地推进职校改革，强化内涵建设和高质量发展，落实双高计划，抓好2019 年职业院校信息技术人才培养方案实施及配套建设，在湖北信息技术职业教育集团的大力支持下，武汉唯众智创科技有限公司统一规划并启动了职业教育赛教一体化课程改革系列规划教材（《云计算技术与应用》《大数据技术与应用Ⅰ》《网络综合布线》《物联网.NET 开发》《物联网嵌入式开发》《物联网移动应用开发》），本书是教育教学一线专家、教育企业一线工程师等专业团队的匠心之作，是全体编委精益求精，在日复一日年复一年的工作中，不断探索和超越的教学结晶。本书教学设计遵循教学规律，涉及内容是真实项目的拆分与提炼。大数据技术让我们以一种前所未有的方式，对海量数据进行处理与分析，从中挖掘出高价值的信息。但同时，大数据技术也是一门综合性强、难度大的技术，掌握好它不是一件容易的事。本书是一本介绍Hadoop 大数据技术的入门书。编者在对大数据运维和大数据分析岗位职业能力进行分析的基础上，以基于工作过程课程开发理论为依据，结合高职学生的学习特点，遵循从大数据初学者到大数据运维工程师和大数据分析工程师的职业能力发展过程和学生认知规律，按照由浅入深、由易到难的顺序整合、序化、串联过程性知识，较为全面地介绍了大数据的有关概念和Hadoop 生态常用组件的工作原理、安装部署及使用方法，最后通过一个企业真实项目基于云虚拟实训平台的学情分析系统给读者展示了大数据分析的全流程。本书便于教师开展项目导向、任务驱动模式的教学，实施在做中学、在学中做、教学练做于一体的理论实践一体化教学。全书教学内容分为Hadoop 大数据技术基础与Hadoop 大数据分析案例两部分。前者包括大数据的有关概念、Hadoop 概述、Hadoop 集群的部署与管理、HDFS、MapReduce 编程以及Hadoop 生态的其他常用组件ZooKeeper、HBase、Hive、Sqoop、Flume、Storm、Kafka 的工作原理、安装部署和使用方法，后者通过项目基于云虚拟实训平台的学情分析系统完整展示了大数据分析的过程。全书遵循理论够用、实用，实践第一的原则选择内容，合理编排，表述深入浅出。本书有两大特点：一是所有实验循序渐进，都有完整的命令和代码及其运行截图，便于读者对照学习，能有效降低学习难度，提高学习效率，指导性、实用性强。二是采用虚拟机技术，所有基础实验能在普通台式机上完成，便于实践教学条件不足的学校开展大数据教学。书中案例源于企业真实项目，可操作性强，能帮助读者快速掌握大数据分析的基本技能。本书由武汉职业技术学院胡大威、武汉软件工程职业学院孙琳任主编；由武汉城市职业学院王世刚、荆州职业技术学院孙重巧、湖北三峡职业技术学院陈文明、武汉唯众智创科技有限公司冉柏权任副主编。具体分工如下：胡大威编写了单元1、3、4、5、6、10，孙琳编写了单元2、7、8、13，王世刚编写了单元9，孙重巧编写了单元11，陈文明编写了单元12，冉柏权编写了单元14，全书由胡大威统稿。本书在编写过程中参考和借鉴了大量国内外新著作和网上资料，在此对所参考著作和资料的作者及相关出版单位表示衷心的感谢！另外，对本书编写及出版过程中给予支持的同事、朋友及相关人士表示感谢！由于时间仓促，编者水平有限，书中难免有遗漏和不足之处，敬请各位读者批评指正。编者2019 年5 月于武汉

胡大威：1990年7月参加工作，1996年到武汉职业技术学院计算机学院任教至今，2012年晋升为教授。主持完成了2项省级课题和1项中国电子教育学会课题，2项省级课题在研；公开发表独撰学术论文26篇，其中6篇在中文核心期刊上发表，9篇论文获得中国职业技术教育学会和中国高等职业技术教育研究会优秀论文奖；主编了包括1本普通高等教育十一五国家级规划教材（高职高专教育）在内的20本教材，总字数180万字。湖北省级精品课程负责人、湖北省品牌专业负责人。校学术委员会委员。指导学生参加2017年全国职业院校技能大赛高职组大数据技术与应用赛项获得一等奖，荣获优秀指导老师奖。指导学生参加蓝桥杯全国软件专业人才设计与创业大赛多次获得总决赛一、二、三等奖，指导学生参加第七届全国信息技术应用水平大赛ITAT全国总决赛获全国特等奖。孙琳 ：高级工程师，CCF会员。双师型教师，省级教学团队软件技术专业教学团队主要成员，一直在教学科研一线工作。工作以来，积极参与科研与教研活动，主持省市级教科研课题5项，其中CCF职业教育科研重点课题1项；编写教材十余本，其中主编教材3本，副主编教材7本；以第一作者在各级刊物上公开发布论文8篇篇；指导学生参加蓝桥杯全国软件设计大赛获得了全国总决赛二、三等奖。?

单元 1　大数据概述........................... 11.1　大数据的产生 .........................................11.1.1　大数据产生的原因 ................................11.1.2　大数据的发展历程 ................................21.2　大数据的概念 .........................................31.2.1　大数据的定义 ........................................31.2.2　大数据的特征 ........................................31.2.3　大数据的构成 ........................................41.2.4　大数据的意义 ........................................41.3　大数据的基本处理流程 .........................51.4　大数据技术 .............................................61.4.1　大数据的技术层面 ................................61.4.2　大数据的计算模式 ................................71.4.3　大数据的技术路线 ................................71.4.4　大数据技术的应用 ................................71.5　大数据与云计算、物联网的关系 .........81.5.1　云计算 ....................................................81.5.2　物联网 ....................................................91.5.3　大数据与云计算、物联网的关系 ......10 习题 .............................................................10 单元 2　Hadoop概述.......................112.1　Hadoop简介 ..........................................112.1.1　Hadoop的起源及发展历史 ..................112.1.2　Hadoop的设计思想和特性 ..................132.1.3　Hadoop的体系结构 ..............................132.1.4　Hadoop的生态系统 ..............................142.1.5　Hadoop的发行版本 ..............................162.1.6　Apache Hadoop的下载 ........................172.2　Hadoop系列实验前的准备工作 ..........182.2.1　计算机软硬件基本配置要求 .............182.2.2　大数据实验软件包介绍 ......................182.2.3　检查实验机是否支持虚拟化 ..............202.2.4　检查在BIOS中是否已打开VT-x 功能 ......................................................21习题 .............................................................22单元 3　VＭware和CentOS的安装....2３ 3.1　安装VMware Workstation ....................233.1.1　VMware虚拟机简介 ............................233.1.2　安装VMware虚拟机 ............................243.2　创建虚拟机Master ...............................273.3　安装CentOS ..........................................323.4　克隆虚拟机Slave..................................343.5　上传Hadoop实验软件包到Linux 系统中 ...................................................36 3.6　常用的Linux操作系统命令和文本编辑器vi ................................................39 3.6.1　Linux操作系统常用命令 .....................393.6.2　文本编辑器vi .......................................41习题 .............................................................43单元 4　Hadoop集群的部署与管理......44 4.1　Hadoop的运行模式 ..............................444.1.1　计算机集群 ..........................................444.1.2　Hadoop的运行模式 ..............................464.2　配置Linux系统......................................484.2.1　说明 ......................................................484.2.2　配置时钟同步 ......................................494.2.3　配置主机名 ..........................................504.2.4　配置网络环境 ......................................514.2.5　关闭防火墙 ..........................................554.2.6　配置 hosts 列表 ....................................564.2.7　安装JDK ...............................................584.2.8　配置免密钥登录 ..................................604.3　配置Hadoop ..........................................634.3.1　解压Hadoop安装包 ..............................644.3.2　在Master节点修改Hadoop配置文件 .....................................................64 4.3.3　在Master节点上配置Hadoop的系统环境变量 ......................................71 4.3.4　将已经配置好的Hadoop复制到其他节点上 ..........................................71 4.3.5　创建数据目录 ......................................714.4　启动 Hadoop 集群 ................................714.4.1　格式化文件系统 ..................................714.4.2　启动Hadoop集群 ..................................724.5　测试Hadoop集群 ..................................734.6　监控Hadoop集群 ..................................744.6.1　监控HDFS ............................................744.6.2　监控Yarn ...............................................774.7　停止Hadoop集群 ..................................794.8　动态管理节点 .......................................794.8.1　增加节点 ..............................................804.8.2　删除节点 ..............................................844.9　Hadoop的命令 ......................................86习题　 ............................................................87单元 5　Hadoop分布式文件系统 HDFS.............................88 5.1　HDFS概述 .............................................885.1.1　HDFS简介 ............................................885.1.2　HDFS的体系结构 ................................895.1.3　HDFS的概念 ........................................905.1.4　HDFS的存储原理 ................................935.1.5　HDFS文件的读写过程 ........................945.1.6　HDFS高可用性 ....................................955.2　用命令方式实现HDFS常用操作.........965.2.1　HDFS的基本命令 ................................965.2.2　HDFS文件系统的操作 ......................1025.3　安装与配置Eclipse集成开发环境 .....104 5.3.1　Eclipse开发环境介绍.........................1045.3.2　Eclipse的安装和配置.........................1055.4　编程实现HDFS常用操作...................1125.4.1　HDFS Java API 简介 ...........................1125.4.2　HDFS Java API 的一般用法 ...............1135.4.3　HDFS Java API 的编程实践 ...............113习题 ...........................................................116单元 6　MapReduce....................1186.1　MapReduce概述 ..................................1186.1.1　MapReduce的设计思想.....................1196.1.2　MapReduce的体系结构.....................1196.1.3　MapReduce的工作过程.....................1206.1.4　MapReduce的工作过程示例 词频统计 ............................................123 6.2　YARN 概述..........................................1266.2.1　YARN 的设计思想 .............................1266.2.2　YARN 的体系结构 .............................1266.2.3　YARN 的工作流程 .............................1286.3　在集群中运行MapReduce任务 ..........1296.3.1　Hadoop官方示例包中的测试程序 ....129 6.3.2　提交MapReduce任务给集群运行.....129 6.4　在Eclipse中配置MapReduce环境 ......132 6.5　编写MapReduce词频统计程序 ..........1346.5.1　MapReduce编程步骤.........................1346.5.2　编写MapReduce词频统计程序.........1346.5.3　打包提交代码运行 ............................136习题 ...........................................................137单元 7　分布式协调服务器ZooKeeper.....................1407.1　ZooKeeper概述 ...................................1407.1.1　ZooKeeper简介.................................1407.1.2　ZooKeeper的体系结构......................1417.1.3　ZooKeeper的数据模型......................143 7.1.4　ZooKeeper的工作原理......................144 7.2　ZooKeeper集群安装部署 ...................145 7.2.1　在Master节点上安装ZooKeeper ......145 7.2.2　配置ZooKeeper属性文件..................146 7.2.3　将Master节点上的ZooKeeper 安装文件复制到Slave节点和Slave2节点上 .................................147 7.2.4　启动 ZooKeeper 集群........................147 7.2.5　测试ZooKeeper集群..........................148 7.3　ZooKeeper的简单操作 .......................149 7.3.1　使用zkServer.sh 脚本进行的操作 ......149 7.3.2　ZooKeeper的常用Shell命令 ..............151 习题 ...........................................................151 单元 8　分布式数据库HBase..........1528.1　HBase概述 ..........................................152 8.1.1　HBase简介 ..........................................152 8.1.2　HBase的数据模型 ..............................153 8.1.3　HBase的物理存储 ..............................156 8.1.4　HBase的体系结构 ..............................157 8.1.5　HBase的工作原理 ..............................159 8.2　HBase集群的安装部署 ......................160 8.2.1　在Master节点上安装HBase...............160 8.2.2　在Master节点上配置HBase...............161 8.2.3　将HBase安装文件复制到Slave 和Slave2节点上 .................................162 8.2.4　启动HBase ..........................................163 8.2.5　验证HBase ..........................................163 8.2.6　停止HBase ..........................................164 8.3　常用的HBase Shell命令.....................164 习题　 ..........................................................170 单元 9　数据仓库Hive....................1719.1　Hive概述 .............................................171 9.1.1　数据仓库简介 ....................................171 9.1.2　Hive简介.............................................172 9.1.3　Hive的体系结构.................................173 9.1.4　Hive的工作原理.................................174 9.1.5　Hive的数据类型与存储格式.............174 9.1.6　Hive的数据模型.................................176 9.2　Hive的安装部署 ................................. 176 9.2.1　安装Hive ............................................177 9.2.2　安装配置 MySQL ..............................177 9.2.3　配置Hive.............................................182 9.2.4　启动Hive安装.....................................183 9.3　Hive Shell操作 .................................... 183 9.4　Hive数据导入的实例 ......................... 186 习题　 .......................................................... 190 单元 10　Sqoop的安装和使用...........19110.1　Sqoop概述 ......................................... 191 10.1.1 Sqoop简介 ........................................191 10.1.2　Sqoop的工作原理 ............................192 10.2　Sqoop的安装、配置和运行 ............. 194 10.2.1　安装Sqoop ........................................194 10.2.2　配置MySQL连接器 .........................195 10.2.3　配置环境变量 ..................................195 10.2.4　启动并验证 Sqoop ...........................196 10.3　Sqoop的应用 ..................................... 198 10.3.1　从MySQL数据库导入数据到HDFS中 ........................................198 10.3.2　从Hive或HDFS中导出数据到MySQL数据库 .............................202 10.3.3　脚本打包 ..........................................203 习题 ........................................................... 204 单元 11　Flume.............................20511.1 　Flume概述 ......................................... 205 11.1.1 　Flume简介 ........................................205 11.1.2 　Flume的工作原理 ............................206 11.2 　Flume的安装配置 ............................. 210 11.2.1 　下载安装包并解压 ..........................210 11.2.2 　配置环境变量 .................................. 211 11.2.3 　配置flume-env.sh 文件 ......................21111.2.4 　验证flume .........................................21111.3 　Flume的常用操作命令 .....................21211.4 　Flume的应用 .....................................21311.4.1 　Flume的配置和运行 ........................21311.4.2 　Flume的简单实例 ............................215习题 ...........................................................216单元 12　流计算框架Storm...................21712.1　Storm概述 .........................................21712.1.1　Storm简介 ........................................21712.1.2　Storm的工作原理 ............................21812.1.3　Storm的数据模型 ............................22012.2　Storm集群的搭建 .............................22112.2.1　在Master节点上安装Storm .............22112.2.2　将Storm安装文件复制到Slave、Slave2、Slave3节点 ............222 12.2.3　启动Storm集群 ................................22312.2.4　测试Storm集群 ................................22312.3　向Storm集群提交任务 .....................224习题 ...........................................................225单元 13　Kafka.............................22613.1　Kafka概述 .........................................22613.1.1　Kafka简介.........................................22613.1.2　Kafka的体系结构.............................22713.1.3　Kafka的工作原理.............................22813.1.4　Kafka使用场景.................................22913.2　安装配置和使用Kafka .....................22913.2.1　安装Kafka.........................................22913.2.2　配置Kafka.........................................23013.2.3　启动并使用Kafka.............................230习题 ...........................................................233单元 14　基于云虚拟实训平台的学情分析系统...........................23414.1　项目简介 ...........................................23414.1.1　唯众云虚拟实训平台介绍 ..............23514.1.2　学情分析系统需求分析 ..................23514.1.3　学情分析系统数据库设计 ..............24014.2　获取云虚拟平台日志内容 ...............24314.2.1　使用爬虫获取数据 .........................24314.2.2　将抓取的数据上传到HDFS ............25314.2.3　使用MapReduce对数据进行清洗...256 14.3　创建封装数据的javaBean ................25814.3.1　LoginLogBean.java （登录日志） ..................................258 14.3.2　OperationLogBean.java （操作日志信息） ..........................260 14.4　数据清洗 ...........................................26414.4.1　数据标记与封装（LoginLogParse.java） ..................264 14.4.2　数据标记与封装（OperationLogParse.java）............265 14.4.3　数据清洗与输出登录日志（LoginLogProcess.java） ..............265 14.4.4　数据清洗与输出操作日志（OperationLogProcess.java） ........267 14.5　对结果进行分析及可视化 ...............26814.5.1　ECharts介绍 .....................................26814.5.2　对清洗后的数据分析 ......................26914.5.3　使用ECharts展示 .............................273参考文献 ....................................................308