关键词

大数据技术的现状与面临的挑战

本文主要从技术层面探讨大数据目前的现状以及面临的挑战。在此之前,如果你对大数据的概念还比较模糊,可阅读什么是大数据?了解。

如何定义大数据

目前我们已经了解到,大数据是由于数据量的巨大增长而产生的。所以,“大数据”一词主要描述的是规模巨大的混合数据集,这种数据集是结构化与非结构化数据的融合。

通常,大数据的特征是通过3V来解释的,即体积、速度和多样性。

体积是大数据的第一大特征。所有领先的社交媒体网站都在不停地产生大量的数据,以太字节/千字节为单位。

第二个是速度,它通常指的是接收数据和处理数据的速度。当前,互联网上每天接收的数据约为2.5亿兆字节。

第三个是多样性。它主要指的是收集数据的来源比较多样,以及数据的结构、类别也比较多样。我们常见的文本、视频、图像是不同类别的一些类型。

除此之外,大数据其他流行的特征是准确性、价值和可变性。

大数据的类别

大数据通常被分为三个不同的类别:结构化、半结构化和非结构化

结构化:结构化并非指的是容易接受、存储和处理的数据。而是预先知道其格式的数据。譬如说保存在数据库中的特定表的值。

非结构化:任何来源不确定且未格式化的数据都是非结构化数据。在这里,数据有不同的独立来源,数据集包括了文字、视频和音频记录等等。我们最常见的例子是谷歌、百度等搜索引擎门户显示的所有搜索结果。

半结构化:顾名思义,它指的是结构化和非结构化数据的聚合。这是一个已定义好格式的数据,但没有存储在任何关系数据库系统当中。譬如说保存在XML文件中的一种数据就是半结构化数据。

大数据如何管理

用什么管理如此规模的大数据,一直是个很大的难点。目前最常用的高效管理大量数据的开源计算引擎是Hadoop,它是Apache基金会所开发的分布式系统基础架构。

Hadoop由HDFS (Hadoop分布式文件系统)和MapReduce Engine两个主要组件组成。

Hadoop的生态系统则分为了3个部分:

Hadoop Common: Apache基础的一些公用的库,可以被生态系统中的其他组件使用。

HDFS (Hadoop Distributed File System):一个分布式数据存储系统,它以更高效的方式存储所有数据块,并采用跨不同集群的数据复制概念,以实现可靠和轻松的数据访问。

它主要由两个组件组成:名称节点(NameNode)和数据节点(DataNode)。它采用了主-从原理,其中名称节点是主节点,负责整个分布式文件系统的元数据(MetaData)的管理,Data节点作为从节点,负责文件数据的存储和读写操作。

MapReduce(分布式并行计算框架):MapReduce是一个分布式的资源调度和离线并行计算框架,是处理所有数据集的地方。

MapReduce将大数据集分解成更小的数据集,采用分而治之的策略,以便更高效地处理它们。

它的基本工作机制是,使用“Map”方法将任务发送到Hadoop集群中的不同节点进行处理,“Reduce”方法将所有处理结果合并起来,保证数据最终的整体有效性。

大数据技术面临的挑战

数据存储:由于数据的规模在短时间内迅速增加,数据存储和分析整理依然是最核心的难点。

数据提炼:这是整个过程中最繁琐的任务,也是最大的挑战。分析提炼如此大量的数据是一项艰难的任务,从大量数据中提炼出最有价值的部分,是一个更艰难的任务。这甚至影响到了大数据未来的发展。

网络安全风险:大数据还会带来额外的安全漏洞风险。目前来看,拥有如此庞大数据的公司正成为网络犯罪的主要目标。

本文链接:http://task.lmcjl.com/news/16476.html

展开阅读全文