本书共5篇,分别是认知篇、前沿篇、应用篇、实践篇和管理篇。认知篇介绍大数据的发展历程、数据的价值、大数据的主要特征、大数据产业、大数据思维原理,以及应用案例。前沿篇从云计算、物联网、人工智能等领域出发,分别介绍大数据技术在其中的应用和发展。应用篇介绍大数据技术在电子商务、物流,以及生物医学、城市管理等领域的应用形态、应用模式和应用案例。实践篇以淘宝双11和小红书App这两个典型应用为例,介绍大数据处理的流程,包括采集、预处理、分析、可视化等内容。管理篇从大数据安全和大数据伦理的角度分析大数据技术的应用和所面临的问题。 本书适合作为高等院校大数据通识课、选修课的教材,也适合对大数据技术和产业感兴趣的读者阅读。
1.本书是《大数据》编委会针对校企合作的精心力作。
2.本书凝结了曙光瑞翼多年的教学经验,能够满足校企融合教学的需求。
3.本书旨在介绍大数据技术的基础知识,为即将学习大数据技术的读者奠定基础。
4.本书采用大量的典型应用,让读者在生活常见的应用中理解大数据技术。
许桂秋 《大数据导论》《Python编程基础与应用》《NoSQL数据库原理与应用》《数据挖掘与机器学习》等9本系列教材,浙江科技出版社,2019年。
·认知篇·
项目一 划时代的大数据 1
1.1 无处不在的数据 2
1.1.1 数据是什么 2
1.1.2 数据的类型 3
1.1.3 数据的生命周期 4
1.1.4 数据的价值 4
1.1.5 数据的使用 5
1.1.6 数据爆炸 6
1.2 大数据新时代 7
1.2.1 第三次信息化浪潮 7
1.2.2 大数据技术 8
1.2.3 大数据创造新时代 9
1.3 大数据是智能时代的基石 11
1.3.1 大数据的主要特征 11
1.3.2 大数据的赋能价值 13
1.3.3 现代社会的基石 13
1.4 大数据产业和我国的大数据政策 15
1.4.1 大数据产业 15
1.4.2 我国的大数据政策 16
习题 16
实验 17
项目二 用大数据思维思考 18
2.1 从传统数据思维到大数据思维 20
2.1.1 传统数据思维 20
2.1.2 近代大数据思维的崛起 20
2.2 大数据思维原理 21
2.2.1 数据核心原理 21
2.2.2 数据价值原理 22
2.2.3 全样本原理 23
2.2.4 关注效率原理 24
2.2.5 关注相关性原理 25
2.2.6 预测原理 25
2.2.7 信息找人原理 26
2.2.8 机器懂人原理 27
2.2.9 电子商务智能原理 27
2.2.10 定制产品原理 27
2.3 大数据思维方式 28
2.3.1 大数据思维维度 29
2.3.2 大数据思维方式的变革 31
2.3.3 大数据思维特征 33
2.4 大数据思维的应用案例 37
2.4.1 全样思维应用案例 37
2.4.2 效率思维应用案例 38
2.4.3 相关思维应用案例 38
习题 39
实验 39
·前沿篇·
项目三 大数据之所在云计算 45
3.1 云计算的历史 47
3.2 云计算的模式与基本特征 47
3.2.1 服务模式 48
3.2.2 部署模式 48
3.2.3 基本特征 49
3.3 云计算的技术和实践 50
3.3.1 云基础设施 50
3.3.2 数据和应用架构 51
3.3.3 IT管理和支持 51
3.4 云计算安全 51
3.5 云计算的应用 52
3.6 云计算的可持续发展 53
习题 55
实验 55
项目四 大数据之所来物联网 60
44.1 物联网的概念 61
4.1.1 什么是物联网 61
4.1.2 物联网、云计算和大数据之间的关系 62
4.2 物联网的关键技术 63
4.3 物联网的应用 64
习题 66
项目五 大数据之所用人工智能 67
5.1 人工智能的概念 69
5.1.1 什么是人工智能 69
5.1.2 人工智能和大数据的关系 69
5.2 人工智能的发展历史 71
5.2.1 古代的机器人 71
5.2.2 图灵测试 72
5.2.3 人工智能的现代发展 73
5.3 人工智能的核心技术 75
5.3.1 深度学习 75
5.3.2 计算机视觉 77
5.3.3 自然语言处理 79
5.4 人工智能的应用 80
5.4.1 智能制造 80
5.4.2 智慧教育 81
5.4.3 智慧零售 82
5.5 人工智能的发展 82
5.5.1 自动驾驶 83
5.5.2 大模型 85
5.5.3 华为云盘古大模型 87
习题 88
实验 89
·应用篇·
项目六 大数据创造美好生活 91
6.1 大数据在电子商务领域的应用 93
6.1.1 推荐系统的概念 93
6.1.2 推荐系统模型 94
6.1.3 推荐算法 95
6.1.4 推荐系统在电子商务领域的应用 97
6.2 大数据在智能家居领域的应用 98
6.2.1 智能安防 99
6.2.2 智能养老 100
6.2.3 智能监控 101
习题 102
项目七 大数据改变商业形态 103
7.1 大数据在物流领域的应用 104
7.1.1 智能物流的作用 105
7.1.2 智能物流的应用 105
7.2 大数据在金融领域的应用 106
7.2.1 大数据在银行行业的应用 107
7.2.2 大数据在证券行业的应用 108
7.2.3 大数据在保险行业的应用 109
习题 111
项目八 大数据赋能未来社会 112
8.1 大数据在生物医学领域的应用 114
8.1.1 流行病预测 114
8.1.2 智慧医疗 116
8.1.3 医疗信息数字化 118
8.1.4 生物信息学 119
8.2 大数据在城市管理中的应用 121
8.2.1 智能交通 121
8.2.2 环保检测 124
8.2.3 城市规划 125
8.2.4 安防领域 126
习题 127
·实践篇·
项目九 采集和存储大数据 128
9.1 大数据的采集与预处理 130
9.1.1 大数据的来源 130
9.1.2 大数据的结构 132
9.1.3 数据采集的方法 133
9.1.4 数据预处理 135
9.2 大数据的存储与管理 137
9.2.1 数据存储概论 137
9.2.2 分布式文件系统 140
习题 142
实验 143
项目十 分析和可视化大数据 151
10.1 大数据的处理与分析 154
10.1.1 大数据的处理技术 154
10.1.2 统计数据分析 155
10.1.3 基于机器学习的分析技术 156
10.1.4 大数据处理与分析案例 158
10.2 数据可视化技术 160
10.2.1 数据可视化的概念及发展 160
10.2.2 数据可视化的作用 161
10.2.3 数据可视化的常用图表与工具 162
10.2.4 数据可视化案例 166
习题 167
实验 168
·管理篇·
项目十一 大数据安全与伦理 175
11.1 大数据安全概述 176
11.1.1 传统数据安全 176
11.1.2 大数据安全与传统数据安全的不同 176
11.1.3 大数据安全问题 177
11.1.4 大数据安全的典型案例 178
11.2 大数据的伦理问题 179
11.2.1 大数据伦理的概念 179
11.2.2 大数据的伦理问题分类 180
11.2.3 大数据伦理问题产生的原因 182
11.2.4 大数据伦理问题的治理 184
11.2.5 大数据伦理的典型案例 186
11.3 大数据相关法律法规 187
11.3.1 我国数据安全法律体系 187
11.3.2 《数据安全法》实施的重大意义 188
11.3.3 大数据相关法律法规的典型案例 189
11.4 分析与治理策略 191
11.4.1 数据安全与隐私保护 191
11.4.2 世界各国保护数据安全的实践 192
习题 195
参考文献 196