分三部分:大数据的来源,大数据的特点及大数据的应用
大数据来源
关于数据来源,互联网及物联网是产生并承载大数据的基地。互联网公司是天生的大数据公司,在搜索、社交、媒体、交易等各自核心业务领域,积累并持续产生海量数据。如阿里,百度,腾讯等。物联网设备每时每刻都在采集数据,设备数量和数据量都与日俱增。这两类数据资源都是大数据金矿,还有一些企业,在业务中也积累了许多数据,如房地产交易、大宗商品价格、特定群体消费信息等。当然还有另外一类是政府部门掌握的数据资源。
大数据主要特点:
1.准确(Veracity)
这是一个在讨论大数据时时常被忽略的一个属性,部分原因是这个属性相对来说比较新,尽管它与其他的属性同样重要。这是一个与数据是否可靠相关的属性,也就是那些在数据科学流程中会被用于决策的数据(而这不同于与传统的数据分析流程),精确性与信噪比(signal-to-noiseratio)有关。
例如,在大数据中发现哪些数据对商业是真正有效的,这在信息理论中是个十分重要的概念。由于并不是所有的数据源都具有相等的可靠性,在这个过程中,大数据的精确性会趋于变化,如何增加可用数据的精确性是大数据的主要挑战。
2.高速(Velocity)
大数据是在运动着的,通常处于很高的传输速度之下。它经常被认为是数据流,而数据流通常是很难被归档的(考虑到有限的网络存储空间,单单是高速就已经是一个巨大的问题)。这就是为什么只能收集到数据其中的某些部分。如果大家有能力收集数据的全部,长时间存储大量数据也会显得非常昂贵,所以周期性的收集数据遗弃一部分数据以节省空间,仅保留数据摘要(如平均值和方差)。
这个问题在未来会显得更为严重,因为越来越多的数据正以越来越快的速度所产生。
3.体量(Volume)
大数据由大量数据组成,从几个TB到几个ZB。这些数据可能会分布在许多地方,通常是在一些连入因特网的计算网络中。
一般来说,凡是满足大数据的几个V的条件的数据都会因为太大而无法被单独的计算机处理。单单这一个问题就需要一种不同的数据处理思路,这也使得并行计算技术(例如MapReduce)得以迅速崛起。
4.多样(Variety)
在过去,数据或多或少是同构的,这种特点也使得它更易于管理。这种情况并不出现在大数据中,由于数据的来源各异,因此形式各异。这体现为各种不同的数据结构类型,半结构化以及完全非结构化的数据类型。
结构化数据多被发现在传统数据库中,数据的类型被预定义在定长的列字段中。半结构化数据有一些结构特征,但不总是保持一致(举例来说,看一看JSON文件),使得这种类型难以处理。更富于挑战的是非结构化数据(例如纯文本文件)毫无结构特征可言。在大数据中,更常见的是半结构化数据,而且这些数据源的数据格式还各不相同。
在过去的几年里,半结构化数据和结构化数据成为了大数据的主体数据类型。
尽管有些网络数据披着大数据的外衣,但并不是每一种数据融合都可以叫做大数据。注意,即使有些数据拥有这4种属性中的一种或多种,也不能被归类为大数据,要完全拥有以上4种特性才能称得上是大数据。
大数据应用
大数据主要有以下几种较为常用的功能:
追踪。互联网和物联网无时无刻都在记录,大数据可以追踪、追溯任何一个记录,形成真实的历史轨迹。包括消费者购买行为、购买偏好、支付手段、搜索和浏览历史、位置信息,等等。
识别。在对各种因素全面追踪的基础上,通过定位、比对、筛选,可以实现精准识别,尤其是对语音、图像、视频进行识别,使可分析内容大大丰富,得到的结果更为精准。
画像。通过对同一主体不同数据源的追踪、识别、匹配,形成更立体的刻画和更全面的认识。对消费者画像,可以精准推送广告和产品;对企业画像,可以准确判断信用及风险。
匹配。在海量信息中精准追踪和识别,利用相关性、接近性等进行筛选比对,更有效率地实现产品搭售和供需匹配。大数据匹配功能是互联网约车、租房、金融等共享经济新商业模式的基础。
优化。按距离最短、成本最低等给定的原则,通过各种算法对路径、资源等进行优化配置。对企业而言,提高服务水平、提升内部效率;对公共部门而言,节约公共资源、提升公共服务能力。
从这里你就知道为什么当你在淘宝搜索过某一样东西后,近期电脑里的广告都是与之相关的信息,或者是你在里打开过几个“王者荣耀”视频,后面他就会推送更多的这类视频出现在你的手机上。
在不久的将来,多智时代一定会彻底走入大家的生活,有兴趣入行未来前沿产业的朋友,可以收藏多智时代,及时获取人工智能、大数据、云计算和物联网的前沿资讯和基础知识,让大家一起携手,引领人工智能的未来!