本书以大数据运维工程师为职业培养方向，以职业岗位的“典型工作过程”为导向，融入行动导向教学法，将教学内容与职业能力相对接、单元项目与工作任务相对接。本书以实训为主体，配合实训指导视频，结合适当的知识讲解，让大数据技术学习者能快速掌握大数据平台部署与运维相关的实操能力，并建立基础理论认知。本书共8个项目，内容包括认识大数据、配置平台基础环境、部署Hadoop框架、使用HDFS、MapReduce编程、部署与使用HBase、部署与使用Hive、部署与使用Spark，涵盖了当前大数据技术领域的主要技术。
本书可作为各类职业院校大数据技术等相关专业的教学用书，也可作为从事大数据平台运维相关工作者的参考用书。
本书配有理论学习微课、任务实践演示微课（扫描书中二维码观看），还配有电子课件等
资源，选用本书作为授课教材的教师可以从机械工业出版社教育服务网（www.cmpedu.com）免费注册后进行下载或联系编辑（010-88379807）咨询。

《国家职业教育改革实施方案》中提出要落实立德树人根本任务，深化专业、课程、教材改革，提升实习实训水平，努力实现职业技能和职业精神培养高度融合。在这样的背景下，本书根据课程标准的要求，以大数据运维工程师作为岗位培养方向，以“岗位能力”作为培养目标，以“典型工作场景”作为项目背景，将“典型工作任务”作为课程主要内容，引导学生在“理实一体”的学习过程中，掌握岗位能力要求。
主要内容：
项目1—— 认识大数据。了解大数据的概念、特征、应用场景，并在认识大数据项目实施流程的基础上，了解大数据运维工程师的岗位能力要求，并作为本书学习的能力目标。
项目2—— 配置平台基础环境。学习Linux操作系统简介与Linux常用指令，完成三个典型工作任务：安装操作系统、配置静态IP、远程登录，实现大数据集群的虚拟化环境部署与访问。
项目3—— 部署Hadoop框架。学习Hadoop相关基础概念，在了解Hadoop部署模式基础上，由易到难，依次完成三个任务：部署单机模式Hadoop、部署伪分布模式Hadoop、部署全分布模式Hadoop，终实现全分布模式Hadoop的部署工作。
项目4—— 使用HDFS。学习HDFS相关基础概念，完成两个任务：使用HDFS的Web界面监管HDFS集群状态、使用Shell管理HDFS文件与目录。在此基础上，进一步学习HDFS的体系结构与运行机制。
项目5—— MapReduce编程。学习MapReduce相关基础概念，理解MapReduce核心思想、设计理念、编程思想，在认识MapReduce词频统计的示例基础上，完成任务：利用MapReduce编程实现词频统计功能。进一步学习MapReduce运行机制。
项目6—— 部署与使用HBase。学习HBase相关基础概念，认识HBase数据模型与系统架构，完成三个任务：部署伪分布式HBase、部署完全分布式HBase、利用Shell操作HBase。进一步学习HBase的Region服务器、HLog、Store工作原理。
项目7—— 部署与使用Hive。学习Hive相关基础概念，区别Hive与传统数据库的关系，完成四个任务：部署本地模式Hive、部署远程模式Hive、利用Hive实现数据导入、利用Hive实现词频统计。进一步学习Hive的架构、运行机制等。
项目8—— 部署与使用Spark。学习Spark相关基础概念，了解Spark与Hadoop的关系，认识Spark的部署形式及Shell操作，完成四个任务：部署单机模式Spark、部署Spark集群、使用Spark Shell编写代码、使用Scala编写Spark程序。进一步学习Spark的架构与运行机制、了解RDD的设计与原理。
本书特点：
本书设计过程中，有机融入习近平新时代中国特色社会主义思想、社会主义核心价值观、中华优秀传统文化、职业理想和职业道德等内容。在案例实践操作中注重知行合一，增强学生勇于探索的创新精神、善于解决问题的实践能力，培养学生精益求精的大国工匠精神，不断提升学生的课程学习体验、学习效果，从而达到价值塑造、知识传授和能力培养三者融为一体。
本书为融媒体新形态教材，以活页式的设计理念，灵活跟进教学实践，支持多种形式重构：以项目为基点，选择合适的项目组合教学；以任务为单位，选择符合学生能力、学习目标的任务内容开展实训；以理论、实训为区分，将整本书分为理论部分与实训部分，分别开展教学。还对应配套理论学习微课、任务实践演示微课，和其他电子教学资源。
本书设有笔记边栏部分，侧重实训教学，设计为“理实一体”的体例形式，左边展示操作过程，右边同步展示实训要点、理论知识点、特别说明等，在实践过程中，适时地融入理论指导，帮助读者加深对理论的理解，并更好地完成实训任务。
教学建议：
本书对应大数据平台部署与运维课程，建议课程安排为64学时，其中，动手操作为42学时，理论学习为22学时，强调“做中学”，通过动手实践的方式，强化对知识的理解与记忆。具体学时安排如下：
教学安排建议
项　　目
动手操作学时
理论学习学时
合　　计

项目1　认识大数据
0
2
2

项目2　配置平台基础环境
4
2
6

项目3　部署Hadoop框架
10
2
12

项目4　使用HDFS
2
2
4

项目5　MapReduce编程
2
2
4

项目6　部署与使用HBase
8
4
12

项目7　部署与使用Hive
8
4
12

项目8　部署与使用Spark
8
4
12

总　　计
42
22
64



学习本书内容前，应具备一定的Linux操作系统知识，并能熟练使用Linux常用指令，若学校未开设相关前序课程，建议适当增加项目2的学时。
编写队伍：
本书由浙江工贸职业技术学院王安曼、章增优任主编，浙江工贸职业技术学院徐欣欣、杭州玳数科技有限公司宁海元任副主编，参与编写的还有浙江工贸职业技术学院张学清和浙江东方职业技术学院郑定超。
本书由宁海元负责分析岗位典型工作任务，提供企业项目案例，并提供内容合理化参考意见；由王安曼、章增优负责大纲设计与体例设计；王安曼编写项目1～5，章增优、王安曼共同编写项目6，徐欣欣编写项目7、项目8；全体成员参与微课、电子课件、教案、题库等资源的制作。
本书是在2019年浙江省教育厅一般科研项目《基于大数据基础实验平台的活页教材建设》
（Y 201942899）的背景下，策划并编写完成的。
由于作者水平有限，书中难免存在错误或不妥之处，恳请读者批评指正，编者邮箱：wanganman@zjitc.edu.cn。
编　者

前言
二维码索引
项目1　认识大数据 1
拓展学习 4
项目小结 5
项目2　配置平台基础环境 7
任务1　安装操作系统 13
任务2　配置静态IP 23
任务3　远程登录 26
拓展学习 31
项目小结 31
实战强化 31
项目3　部署Hadoop 框架 33
任务1　部署单机模式Hadoop 34
任务2　部署伪分布模式Hadoop 41
任务3　部署全分布模式Hadoop 49
拓展学习 62
项目小结 66
实战强化 66
项目4　使用HDFS 69
任务1　使用HDFS的Web界面 71
任务2　使用Shell管理HDFS文件与目录 75
拓展学习 80
项目小结 82
实战强化 82
项目5　MapReduce 编程 83
任务　MapReduce编程实现词频统计 87
拓展学习 94
项目小结 97
实战强化 97
项目6　部署与使用HBase 99
任务1　部署伪分布式HBase 103
任务2　部署完全分布式HBase 107
任务3　利用Shell操作HBase 113
拓展学习 118
项目小结 121
实战强化 122
项目7　部署与使用Hive 123
任务1　部署本地模式Hive 126
任务2　部署远程模式Hive 135
任务3　利用Hive实现数据导入 143
任务4　利用Hive实现词频统计 151
拓展学习 155
项目小结 156
实战强化 157
项目8　部署与使用Spark 159
任务1　部署单机模式Spark 162
任务2　部署Spark集群 165
任务3　使用Spark Shell编写代码 168
任务4　使用Scala编写Spark程序 172
拓展学习 177
项目小结 179
实战强化 180
参考文献 181