《大数据技术与应用》内容分为两大部分:大数据技术篇(第1-4章)介绍了大数据的发展历程、内涵和外延、价值、意义与相关技术,对大数据关键技术进行讲解,体现了技术的逻辑性和严密的科学思维;大数据技术应用篇(第5-8章)介绍了大数据在机器学习领域的典型应用。
《大数据技术与应用》主要面向大学计算机类专业的本科高年级学生与研究生,目的是帮助学生掌握大数据的基本原理和基本知识,熟悉大数据技术在多个行业应用中“能与不能”的边界,培养学生在本专业应用大数据的能力。
同时,对于计算机相关专业的学生,《大数据技术与应用》也可作为大数据专业课程的导论课教材。
《大数据技术与应用》注重知识结构的基础性与完整性,确保技术内容的通用性、普适性与先进性,遵循教育规律,侧重能力培养,同时,精选行业真实案例,开阔学生视野,启发创新思维。
《大数据技术与应用》期望为跨学科研究者提供大数据技术的方法论和技术概述,满足培养新一代信息技术人才的要求。
当前,新一代信息技术正在全球孕育兴起,科技创新、产业形态和应用格局正发生着重大变革。随着数据获取和计算技术的发展,大数据已成为一种新的国家战略资源,引起了学术界、产业界、政府及行业用户等的高度关注。世界主要发达国家已经相继制定了促进大数据产业发展的政策法规,积极构建大数据生态,实施大数据国家战略。
我国充分认识到大数据时代带来的重大机遇,部署落实了一系列与大数据密切相关的规划。2015年,国务院印发《促进大数据发展行动纲要》(以下简称《纲要》),系统部署大数据发展工作。《纲要》提出,信息技术与经济社会的交汇融合引发了数据迅猛增长,数据已成为国家基础性战略资源,大数据正日益对全球生产、流通、分配、消费活动以及经济运行机制、社会生活方式和国家治理能力产生重要影响。目前,我国在大数据发展和应用方面已具备一定基础,拥有市场优势和发展潜力。
目前,全国30多个省市出台了大数据相关政策文件,一些地方政府专门设置了大数据管理部门,为大数据基础设施、技术创新、产业发展营造了良好环境。党的十九大报告在深化供给侧结构性改革中指出:“加快建设制造强国,加快发展先进制造业,推动互联网、大数据、人工智能和实体经济深度融合,在中高端消费、创新引领、绿色低碳、共享经济、现代供应链、人力资本服务等领域培育新增长点、形成新动能。”这更加明确了大数据应与各个行业深度融合。
本书内容分为两大部分:大数据技术篇(第1-4章)介绍了大数据的发展历程、内涵和外延、价值、意义与相关技术,对大数据关键技术进行讲解,体现了技术的逻辑性和严密的科学思维;大数据技术应用篇(第5-8章)介绍了大数据在机器学习领域的典型应用。
本书主要面向大学计算机类专业的本科高年级学生与研究生,目的是帮助学生掌握大数据的基本原理和基本知识,熟悉大数据技术在多个行业应用中“能与不能”的边界,培养学生在本专业应用大数据的能力。同时,对于计算机相关专业的学生,本书也可作为大数据专业课程的导论课教材。本书注重知识结构的基础性与完整性,确保技术内容的通用性、普适性与先进性,遵循教育规律,侧重能力培养,同时,精选行业真实案例,开阔学生视野,启发创新思维。本书期望为跨学科研究者提供大数据技术的方法论和技术概述,满足培养新一代信息技术人才的要求。
侯勇,博士,安徽蚌埠学院计算机工程学院副教授;出版教材3部,发表多篇文章被中国科学引文数据库(CSCD)收录或被EI检索;获大数据与人工智能类比赛(本科组)省赛一等奖、华信智原杯大学生程序设大赛三等奖。
大数据技术篇
第1章 Hadoop
1.1 大数据概述
1.2 大数据解决方案
1.3 Hadoop简介
1.4 环境设置
1.5 多节点集群安装
1.6 HDFS概述
1.7 HDFS操作
1.8 命令参考
1.9 MapReduce
1.10 MapReduce在Hadoop上的实现
1.11 MapReduce分区器
1.12 COmbiner
1.13 Hadoop管理
1.14 应用程序接口
1.15 HadoopStreaming
第2章 HBase
2.1 HBase概述
2.2 HBase的架构
2.3 HBase的安装
2.4 HBaseShell
2.5 HBase的常用命令
2.6 Admin API
2.7 创建表
2.8 列表
2.9 禁用表
2.10 启用表
2.11 Describe与Alter命令
2.12 Exists命令
2.13 删除表
2.14 Exit命令
2.15 客户端API
2.16 创建数据
2.17 更新数据
2.18 读取数据
2.19 删除数据
2.20 扫描
2.21 Count和Truncate
2.22 安全
……
第3章 Hive
第4章 Spark
大数据技术应用篇
参考文献