《大数据测评》一书介绍了大数据的概念和特征,各国大数据发展的战略、发展趋势及其标准化情况,以及对于软件测试带来的挑战。
在此基础上,《大数据测评》在面向大数据处理框架、大数据基础算法、应用系统、系统安全和隐私泄露的测评技术等方面展开了分析和讨论。以Hadoop为主线开展大数据测试的探讨。在底层支撑框架层聚焦于单元测试和框架基准测试;在基本算法中涵盖了聚类、分类及其个性化推荐;在应用层,介绍了其性能测试中若干问题,重点阐述数据集的设计与分析。
最后,《大数据测评》讨论了大数据的安全和隐私问题,突出介绍由于大数据所引发的新安全问题及其对策。
本书的读者对象是从事大数据或者软件测评的学者、软件工程研究人员、高校研究生、大数据产业人员。
中国软件界泰斗级人物朱三元作序推荐,贴近标准,资料翔实,结构清晰!中国软件测评机构联盟秘书长冯惠作序推荐,内容翔实,覆盖面广,操作性强!国内解析大数据测评技术的首创之作! 《大数据测评》综合了众多业界专家、作者、学者的研究和产业成果,通过对大量文献和材料分析编著形成。《数据密集型计算和模型》是《大数据技术与应用》丛书分册之一。《大数据技术与应用》丛书已被列为“十二五”国家重点图书出版规划项目,在面向经济建设和社会发展重大需求,开展科技成果转化和产学研结合工作的基础上,选择大数据技术应用的重点领域,围绕城市交通、医疗、金融、城市规划等各领域中大数据技术的应用,系统总结了数据科学、大数据技术及其在城市建设各领域中应用的科研技术成果和项目实施经验,同时丛书还就大数据治理和服务体系、系统测评技术等方面进行了概括,是一套为广大大数据相关专业的技术人员、研究人员以及各领域相关人员推出的具有系统性、创新性和前瞻性的,理论联系实际的大型系列丛书。《大数据技术与应用》丛书第一批出版的共包括以下八分册:《汇计划在行动》、《大数据测评》、《数据密集型计算和模型》、《智慧城市大数据》、《城市发展的数据逻辑》、《金融大数据》、《城市交通大数据》、《医疗大数据》。
蔡立志,博士、研究员,上海市青联委员(信息产业界别),上海市软件行业标兵上海市政府采购专家、上海市科委、上海市经信委专家库专家,上海市技术带头人,上海市闵行区领军人才。现担任上海软件中心副主任、上海市计算机软件评测重点实验室主任。研究领域包括软件测试用例的自动生成技术、复用技术、软件工程标准等方面。以组长和副组长身份主持的项目共计7项,发表论文共计50多篇篇,EI索引23篇, 参与国家标准制定20多项,申请软件著作权4项,获得上海市科技进步三等奖2项。
1绪论
1.1概述
1.2大数据战略与趋势
1.2.1大数据战略
1.2.2大数据趋势
1.3大数据标准化研究
1.3.1国外标准发展现状
1.3.2国内标准发展现状
1.4大数据应用
1.4.1趋势预测
1.4.2疫情分析
1.4.3消费行为分析
1.4.4智慧金融
1.4.5精确营销
1.4.6舆情分析 1绪论
1.1概述
1.2大数据战略与趋势
1.2.1大数据战略
1.2.2大数据趋势
1.3大数据标准化研究
1.3.1国外标准发展现状
1.3.2国内标准发展现状
1.4大数据应用
1.4.1趋势预测
1.4.2疫情分析
1.4.3消费行为分析
1.4.4智慧金融
1.4.5精确营销
1.4.6舆情分析
1.5大数据对软件测试的挑战
2面向大数据框架的测评
2.1概述
2.2面向数据质量的测评
2.2.1数据质量
2.2.2数据预处理
2.2.3数据质量测评
2.3分布式数据模型及测试
2.3.1框架
2.3.2数据模型
2.3.3单元测试
2.4大数据的基准测试
2.4.1基准测试
2.4.2测试方法
2.4.3测试内容
3大数据智能算法及测评技术
3.1概述
3.2聚类算法及测评
3.2.1聚类及其在大数据中的应用
3.2.2聚类的典型算法及分析
3.2.3聚类算法的测试
3.2.4聚类质量的评估
3.3分类算法及测评
3.3.1分类及其在大数据中的应用
3.3.2分类的典型算法及分析
3.3.3分类算法的测试
3.3.4分类器性能的评估
3.4推荐系统算法及其测评
3.4.1推荐系统算法
3.4.2推荐系统的测评实验
3.4.3推荐系统的评估
4大数据应用的性能测评技术
4.1概述
4.2大数据应用的影响因素与性能测评
4.2.1影响大数据应用的因素
4.2.2大数据应用的性能测评类型
4.2.3大数据应用的性能测评指标
4.3大数据应用测试的支撑数据设计
4.3.1大数据的数据结构特点
4.3.2大数据的数据设计依据
4.3.3大数据的数据生成方法
4.4大数据应用性能测评模型
4.4.1应用负载模型
4.4.2数据负载模型
4.5工具与案例
4.5.1性能测试工具
4.5.2性能测试流程
4.5.3某网络舆情监测系统测试案例
4.5.4某微博大数据平台测试案例
5大数据应用的安全测评技术
5.1概述
5.2影响大数据应用安全的要素
5.2.1影响架构安全的要素
5.2.2影响数据安全的要素
5.3大数据架构的安全测评
5.3.1分布式计算框架的安全测评
5.3.2非关系型数据库的安全测评
5.4数据的安全性测评
5.4.1数据来源的安全性测评
5.4.2隐私保护程度的测评
5.5应用安全等级保护测评
5.5.1用户鉴别
5.5.2事件审计
5.5.3资源审计
5.5.4通信安全
5.5.5软件容错