关于我们
书单推荐
新书推荐
|
Hadoop大数据分布式计算框架--原理与应用
讨论大数据技术时,首先需要了解大数据的基本处理流程,主要包括数据采集、存储、分析和结果呈现等环节。数据无处不在,互联网网站、政务系统、零售系统、办公系统、自动化生产系统、监控摄像头、传感器等,每时每刻都在不断产生数据。这些分散在各处的数据,需要采用相应的设备或软件进行采集。采集到的数据通常无法直接用于后续的数据分析,因为对于来源众多、类型多样的数据而言,数据缺失和语义模糊等问题是不可避免的,因而必须采取相应的措施有效解决这些问题,这就需要一个被称为数据预处理的过程,把数据变成一个可用的状态。数据预处理以后,会被存放到文件系统或数据库系统中进行存储与管理,然后采用数据挖掘工具对数据进行处理分析,最后采用可视化工具为用户呈现结果。在整个数据处理过程中,还必须注意隐私保护和数据安全等问题。
因此,从数据分析全流程的角度,大数据技术主要包括数据采集与预处理、数据存储和管理、数据处理与分析、数据安全和隐私保护等几个层面的内容。
你还可能感兴趣
我要评论
|