金源娱乐

新闻中心

主页 > 新闻中心 > 公司要闻 >

金源娱乐数据在进行存储和处理之前,需要进行清洗、整理

发布时间:2018-07-11  作者:www.wawayu8.com
  4. 1大数据的技术沿革
  4. 1.1大数据关键技术
    从数据的生命周期来看,大数据从数据源经过分析挖掘到最终产生价值需要经历若干环节。工信部电信研究院的《大数据白皮书(2014年)》就将此部分的大数据处理系统划分为5个主要环节,包括数据准备、存储管理、计算处理、数据分析和知识展现,如图4一1所示。
 
    数据准备环节
    金源娱乐数据在进行存储和处理之前,需要进行清洗、整理。大数据的数据来源多种多样,数量庞大、格式不一,而且质量也良荞不齐。所以,数据准备环节一方面要规范格式,便于后续存储管理,另一方面要在尽可能保留原有语义的情况下去芜存著。
    存储管理环节
    如今,全球数据量高速增长。从可持续的角度来看,大数据存储系统不仅要以极低的成本存储不断增加的数据,还要适应多样化的数据管理需求,满足可扩展性。
    计算处理环节
    这个环节需要选择适当的算法模型快速处理数据。传统单机或并行计算技术在速度、可扩展性和成本上都难以适应大数据计算分析的新需求。分布式计算已经成为大数据的主流计算架构,但在一些特定场景下的实时性还需要大幅提升。
新浪微博 腾讯微博 金源娱乐平台