大数据是一个统称,是相对于小数据而说的。比如以前采用ORACLESQLMYSQL数据库存储的数据基本是几十G到几百G,而且大多以结构化的数据为主。但现在随着互联网的爆发,数据量越来越大(从GB、TB、PB、ZB),类型越来越多(结构化传统数据库的数据、半结构化网页、文件、邮件,非结构化的视频、图片、音频),所以原来的数据库技术已经无法满足需求了,所以才有了大数据。
大数据几个关键的技术如下:
1.存储能力。大数据平台可支持结构化(常规数据库存放的规范化数据)、半结构化(文档、网页、邮件)、非结构化的数据存储(视频、图片、音频),并且可以支持分布式存储,可以很方便的扩展,成本也很低。
2.计算能力。可以支持大批量离线计算(PB级、亿级大量数据)和实时计算(低延迟毫秒急出结果)。
3.AI能力。支持多种算法,机器学习、神经网络等算法,可开发很多人工智能应用。
- 4.为什么需要大数据平台。因为传统的ORACLESQL数据库对非结构化数据处理不好,并且不支持分布式存储和计算,对单机的性能要求很高,导致成本很高,所以需要大数据平台。