IT常识

大数据处理流程的第一步是

2023-01-24 8314人阅读
威客牛网
科技信息综合服务平台

大数据处理流程的第一步是收集数据。原始数据种类多样,格式、位置、存储、时效性等迥异。数据收集从异构数据源中收集数据并转换成相应的格式方便处理。

  数据收集的方法一般分为普查和抽样调查两大类。观察法主要包括两个方面:一是对人的行为的观察,二是对客观事物的观察。观察法应用很广泛,常和询问法、搜集实物结合使用,以提高所收集信息的可靠性。实验方法能通过实验过程获取其他手段难以获得的信息或结论。实验方法也有多种形式,如实验室实验、现场实验、计算机模拟实验、计算机网络环境下人机结合实验等。现代管理科学中新兴的管理实验,现代经济学中正在形成的实验经济学中的经济实验,实质上就是通过实验获取与管理或经济相关的信息。

  大数据(big data),IT行业术语,是指无法在一定时间范围内用常规软件工具进行捕捉、管理和处理的数据集合,是需要新处理模式才能具有更强的决策力、洞察发现力和流程优化能力的海量、高增长率和多样化的信息资产。在维克托·迈尔-舍恩伯格及肯尼斯·库克耶编写的《大数据时代》 中大数据指不用随机分析法(抽样调查)这样捷径,而采用所有数据进行分析处理。大数据的5V特点(IBM提出):Volume(大量)、Velocity(高速)、Variety(多样)、Value(低价值密度)、Veracity(真实性)。

热门推荐
发布项目联系我们
分享至 取消