大数据安全分析07_大数据存储技术介绍

鉴于网络安全数据组成的复杂性、规模，以及对实时搜索响应的需求，需要通过大数据存储集群快速实现空间的扩容，在PB级的安全数据中做到安全分析查询的秒级响应，同时需要为数据提供了冗余机制，保障数据的安全。

▼▼Hbase

Hbase是一个提供高可靠、高性能、可伸缩、实时读写、分布式的列式数据库，主要用户存储非结构化的松散数据。

Hbase与传统关系数据库的一个重要区别在于，它采用基于列的存储，而后者采用基于行的存储。

Hbase具有良好的横向扩展能力，可以通过不断增加廉价的商用服务器从而提高存储能力，也可以处理非常庞大的表。

HDFS为Hbase提供可靠的底层数据存储服务，MapReduce为Hbase提供高性能的计算能力，Zookeeper为Hbase提供稳定服务和Failover机制，因此我们说Hbase是一个通过大量廉价的机器解决海量数据的高速存储和读取的分布式数据库解决方案。

Hbase适合存数据，但对于模糊匹配查询不擅长，且不适合高并发查询，它比较适合的场景为：存数据量巨大（百T、PB级别），但查询简单，数据不涉及到复杂关联。

▼▼Mongo DB

MongoDB数据库是一个高性能、非关系型的开源文档型数据库，在当前分布式数据库产品使用中最为流行。

MongoDB支持松散的数据结构，使用文档型的存储方式，可以存放比较复杂的数据类型。

Mongo DB最大的特点是存储的内容是文档型的，不需要固定的表结构也可以对指定字段建立索引，实现关系型数据库的功能。

由于MongoDB的数据结构非常简单，所以它的读写性能也非常高，当数据量达到50GB以上时，Mongo DB数据库的访问速度是My SQL数据库的10倍以上。但是MongoDB存储的数据量达到10亿级别后，性能会有明显的下降，除非另外分库。

▼▼ElasticSearch

ElasticSearch和Hbase、MongoDB一样，是非关系型数据库。

ElasticSearch是基于全文搜索引擎(Lucene)构建的开源、分布、RESTful搜索引擎，是优秀的全文检索和分析引擎。

ElasticSearch主要是基于高性能数据存储系统构建，集海量异构数据分析处理、元数据提取、索引数据统一构建管理、通用化检索接口于一体，系统由分布式的全文搜索引擎和海量数据索引服务组成。

针对海量异构数据进行预处理解析后形成构建索引的元数据，对元数据分析后，根据其特性形成索引映射机制，提取构建索引结构数据，并提供持久化机制。以统一的索引资源池为基础，屏蔽异构数据的复杂性，提供统一检索服务。

ElasticSearch在解决大数据相关问题中有良好的表现，随着日志事件搜索量的增加，搜索反应时间不线性增加，说明基于ElasticSearch的大日志实时搜索的软件集成方案设计具有可行性。

ElasticSearch是一个接近实时的搜索平台，各项数据显示ElasticSearch适合数据分析、数据统计中较其他软件具有明显的优势。

 扩展  •  本文相关链接  

• 大数据安全分析06_数据解析技术

• 大数据安全分析05_数据采集技术

• 大数据安全分析04_数据传输方式

• 大数据安全分析03_数据采集对象与数据类型

• 大数据安全分析02_大数据安全分析技术框架 

• 大数据安全分析01_为什么要用大数据技术进行安全分析？

原文始发于微信公众号（微言晓意）：大数据安全分析07_大数据存储技术介绍