非结构化数据是与结构化数据相对应的概念。结构化数据具有固定的格式,看上去非常规整。与结构化数据相反,非结构化数据是指无固定格式的数据,例如,文本、网页、图像、视频、数据流、序列、社交网络、图结构等。现有数据中绝大多数数据都是非结构化数据。
本书介绍了四种典型非结构化数据的分析和挖掘技术,分别是:文本数据、社交网络数据、数据流数据和多媒体数据(包括图像、音频和视频)。为了便于读者学习,大部分内容除了理论讲解之外,还给出了相应的在大数据环境下的上机实践案例。
李翠平,女,教授,中国人民大学信息学院副院长、计算机系主任,中国计算机学会杰出会员,大数据专家委员会常务委员,数据库专委会委员。2003年毕业于中科院计算所获得博士学位,2008年在美国UIUC大学计算机系访问交流。目前研究方向为数据仓库、数据挖掘、社会网络分析和社会媒体推荐等。主持和参与国家重点研发计划课题、自然科学基金、973、863等10多项国家级和省部级项目,先后在SIGKDD、SIGMOD、VLDB、EDBT等重要国际会议和TKDE、KAIS、JCST、软件学报等国内外期刊发表论文100多篇,出版著作2部,申请国家发明专利4项,获得软件著作权登记2项。2007年入选北京市组织部优秀人才培养资助计划。2009年入选教育部新世纪优秀人才支持计划。2011年获得中国计算机学会青年科学家奖。
第1章 文本挖掘概述
1.1 时代背景
1.2 文本挖掘与数据挖掘
第2章 文本预处理
2.1 自然语言处理
2.2 分词技术
2.3 文本表示
第3章 文本分类
3.1 预测建模
3.2 决策树分类
3.3 贝叶斯分类
3.4 支持向量机分类
3.5 实践案例垃圾短信识别
第4章 文本聚类和话题检测
4.1 概述
4.2 基于相似度的文本聚类
4.3 基于模型的文本聚类
4.4 实践案例用LDA实现话题检测
第5章 情感分析和观点挖掘
5.1 概述
5.2 问题定义
5.3 文档级情感分析
5.4 句子级情感分析
5.5 方面级情感分析
5.6 存在的问题和挑战
5.7 实践案例发债企业负面新闻识别系统
第6章 社交网络及其统计特性
6.1 社交网络简介
6.2 相关基本概念
6.3 常见统计特性
6.4 实践案例微博用户关系分析
第7章 社区发现
7.1 概述
7.2 社区发现方法
7.3 社区发现相关的研究领域
7.4 实践案例用边聚类探测算法发现社区
第8章 个体社会影响力分析
8.1 概述
8.2 个体社会影响力及影响强度度量
8.3 实践案例用PageRank算法计算个体社会影响力
第9章 链路预测
9.1 简介
9.2 基于相似度的链路预测算法
9.3 基于等级结构模型的链路预测算法
9.4 实践案例链路预测
第10章 网络信息扩散
10.1 热点主题的发现方法
10.2 信息扩散过程的建模与分析
10.3 实践案例信息扩散计算过程
第11章 数据流中的数据挖掘
11.1 简介
11.2 数据流中的变化探测
11.3 实时更新数据流中的直方图
11.4 数据流中的聚类
11.5 数据流的分类
11.6 数据流方法的评估
第12章 多媒体数据分析
12.1 概述
12.2 基础知识
12.3 特征提取
12.4 多媒体内容检索
12.5 多媒体内容识别
12.6 国际评测
12.7 问题与挑战