首页 >

互联网如何海量存储数据? – 网络|

优良中及格不及格怎么算成绩,怎么看sd卡的版本,桌面怎么移到e盘互联网如何海量存储数据? - 网络|互联网如何海量存储数据

下面介绍下常用的NoSQL和分布式文件系统。

NoSQL

互联网行业常用的NoSQL有:HBase、MongoDB、Couchbase、LevelDB。

HBase是ApacheHadoop的子项目,理论依据为Google论文Bigtable:ADistributedStorageSystemforStructuredData开发的。HBase适合存储半结构化或非结构化的数据。HBase的数据模型是稀疏的、分布式的、持久稳固的多维map。HBase也有行和列的概念,这是与RDBMS相同的地方,但却又不同。HBase底层采用HDFS作为文件系统,具有高可靠性、高性能。

MongoDB是一种支持高性能数据存储的开源文档型数据库。支持嵌入式数据模型以减少对数据库系统的I/O、利用索引实现快速查询,并且嵌入式文档和集合也支持索引,它复制能力被称作复制集(replicaset),提供了自动的故障迁移和数据冗余。MongoDB的分片策略将数据分布在服务器集群上。

Couchbase这种NoSQL有三个重要的组件:Couchbase服务器、CouchbaseGateway、CouchbaseLite。Couchbase服务器,支持横向扩展,面向文档的数据库,支持键值操作,类似于SQL查询和内置的全文搜索;CouchbaseGateway提供了用于RESTful和流式访问数据的应用层API。CouchbaseLite是一款面向移动设备和“边缘”系统的嵌入式数据库。Couchbase支持千万级海量数据存储

分布式文件系统

如果针对单个大文件,譬如超过100MB的文件,使用NoSQL存储就不适当了。使用分布式文件系统的优势在于,分布式文件系统隔离底层数据存储和分布的细节,展示给用户的是一个统一的逻辑视图。常用的分布式文件系统有GoogleFileSystem、HDFS、MooseFS、Ceph、GlusterFS、Lustre等。


互联网如何海量存储数据? - 网络|
  • 数据科学与大数据技术专业对数学的要求有多高? - 网络|
  • 数据科学与大数据技术专业对数学的要求有多高? - 网络| | 数据科学与大数据技术专业对数学的要求有多高? - 网络| ...