免责声明：本公众号发布的文章均转载自互联网或经作者投稿授权的原创，文末已注明出处，其内容和图片版权归原网站或作者本人所有，并不代表安世加的观点，若有无意侵权或转载不当之处请联系我们处理，谢谢合作！
作者简介
80后信息安全从业人员，目前是某公司安全【掌门人】，负责信息安全管理和建设工作。本系列是其对安全建设工作的实践总结。
三. 安全运维之大数据分析
一谈到信息安全大数据分析，很多人会想到SOC。十多年前国内还很流行建设SOC产品，笔者多年前在乙方工作期间，也曾做过某品牌SOC的产品经理，也帮助过很多企业及政府单位落地过。
不过真正让笔者全面掌握并深入应用SIEM的原因，还是因为之前就职的某企业发展到了一定规模（安全产品都布署了，业务系统也多了，安全事件也多了），为了能实现【安全可视化】的目标，最终我们上线了Gatner 第一的SIEM产品。
在此，感谢一下当时我的老板（老大哥）对我的信任与支持。
关于SIEM，且听我慢慢道来……
3.1 一切从SIEM开始
什么是SIEM（security information and event management 安全信息和事件管理）
安全信息和事件管理（SIEM）产品及服务负责从大量企业安全控件、主机操作系统、企业应用和企业使用的其他软件收集安全日志数据，并进行分析和报告。有些SIEM还可以试图阻止它们检测到正在进行的攻击，这可能帮助阻止破坏或者限制成功攻击可能造成的损坏。（百度百科）
基本上在这个领域，国内厂商还有很长的路要走—— 下图表示一切。
3.2 企业为什么需要SIEM
上一篇文章，笔者阐述了病毒的危害。而随着近期比特币的“发力”，也再次让挖矿病毒备受关注。总之，随着等保2.0的不断推广，越来越多的企业开始重视信息安全。我相信，”可视化“安全将持续占领各大安全防护解决方案的榜首位置。
例如：部署了FW（防火墙），进行了4层访问控制，自然而然的使得服务器区的流量情况"可视化"了，攻击事件（critical、high等)"可视化"了。但是，单独分析FW日志，尤其是对攻击事件，对于业务系统综合防护还是很有局限性的。一旦源IP段是DHCP的，安全策略仅开启到4层端口级别。虽然看到一堆Deny，但是我们心里总在考虑，真的防住了么？是否有攻击没发现呢？（废话，当然有很多没发现的啦！）
然后，我们依次去查看WAF，查看堡垒机，查看HIDS，查看杀毒，查看上网行为，查看反垃圾邮件，查看IPS、查看IDS、查看各业务系统认证日志、查看各业务系统操作日志、查看……………… 。最后发现，没等看完，一天过去了，哈！！！
笔者曾经找某友商共同做过“红蓝对抗”项目，作为防守方（自虐啊），也曾信心满满的认为，一切流量逃不过俺的眼睛，设下天罗地网，第一道防线/第二道防线/……，自动预计开启……。
后来看着每天10多G的日志，看着一堆锁死的账号，才知道……除了“蜜罐”100%帮我定位了攻击者，其他所谓的防线几乎全军覆没（被疯狂的攻击日志淹没了，当然当时是不能阻断，只能分析的）。然后，看着攻击者的报告中写到：某某ERP系统被拿下了，某某国产OA系统被拿下了，某某数据库被拿下了…………
总之，痛定思痛，我下定决心，要用好每一款安全产品，尤其是SIEM。
简单地说，SIEM是一个由多个监视和分析组件组成的安全系统，旨在帮助企业检测和减轻威胁。
SIEM将许多其他安全规程和工具结合在一个综合的框架下：
1）日志管理(LMS)——用于传统日志收集和存储的工具。
2）安全信息管理(SIM)——集中于从多个数据源收集和管理与安全相关的数据的工具或系统。例如，这些数据源可以是防火墙、FW、反垃圾邮件、WLC、AP和防病毒软件等。
3）安全事件管理(SEM)——基于主动监视和分析的系统，包括数据可视化、事件相关性和警报。
3.3 SIEM组件
SIEM不是一个单独的工具或应用程序，而是一组不同的构建块，它们都是系统的一部分。没有标准的SIEM协议或已建立的方法，但是大多数SIEM系统将包含本节中描述的大部分元素。
1）聚合
日志表示在数字环境中运行的进程的原始输出，是提供实时发生的事情的准确图像的最佳来源，因此是SIEM系统的主要数据源。无论是防火墙日志、服务器日志、数据库日志，还是生产环境中生成的任何其他类型的日志，SIEM系统都能够收集这些数据并将其存储在一个中心位置以进行扩展的保留。此收集过程通常由代理或应用程序执行，部署在监视的系统上，并配置为将数据转发到SIEM系统的中央数据存储。
2）处理和标准化
在SIEM中收集数据的最大挑战是克服各种日志格式。从本质上说，SIEM系统将从大量设备(服务器、防火墙、路由器、数据库等)中提取数据，每种记录的格式都不同。当然统一时间戳也是非常重要的。为了能够跨不同源和事件相关性高效地解释数据，SIEM系统能够规范化日志。这个规范化过程包括将日志处理为可读的结构化格式，从日志中提取重要数据，并映射日志中包含的不同字段。
笔者认为，能自行通过正则提取字段的SIEM才是王道。当然很多UDP514发出来一堆一堆的日志（不分行）也是很烦人的。总之，处理和标准化功能，是考验一款SIEM产品是否合格的试金石。
3）关联
一旦收集、解析和存储，SIEM系统中的下一步将负责连接这些点并关联来自不同数据源的事件。这种关联工作基于各种SIEM工具提供的规则、为不同的攻击场景预定义的规则，或者由分析人员创建和调整的规则。
简单地说，关联规则定义了一个特定的事件序列，该序列可能表示安全性受到了破坏。比如：一对多安全扫描事件。环境中记录的数据量非常大。即使是中小型企业也很可能每天发送数十G的数据。实际上，规则通过消除干扰并指向可能有意义的事件，帮助将数据压缩为更易于管理的数据集。
4）呈现
可视化数据和事件的能力是SIEM系统中的另一个关键组件，因为它允许分析人员方便地查看数据。包含多个可视化或视图的仪表板有助于识别趋势、异常情况，并监控环境的总体健康或安全状态。一些SIEM工具允许用户创建和调整自己的仪表板。
笔者做过很多报表，不过每一种都是适用于自己企业的。
以下几个思路供大家参考：
1）从IP地址出发，看它都访问过哪里；
2）Lookup 多字节关联，可以让一条日志看起来更通透；（IP变成人）
3）认证失败日志，让暴力破解无处遁形；
4）过去一周多次同类事件分析，让APT也可能可见；（是他是他就是他）；
5）一个账号，一堆IP（小样，又借人家账号用了吧）
……
5）缓解和修复
一旦相关规则就位，并监视构建的仪表板以提供系统的全面概述，SIEM系统的最后一个关键组件就是识别事件如何处理。大多数SIEM系统支持自动包含和减轻安全事件的机制。例如，根据相关规则，可以将SIEM系统配置为自动启动内部升级流程——执行脚本，这些脚本通过触发警报、打开票证等来启动包含进程并将球传递到组织中的正确资源。
比如关联FW，一旦critical攻击触发告警，FW直接封堵IP30分钟。当然这类联动规则，需要因场景而异。
3.4 SIEM的用法
1）可见+可分析
对于安全分析人员来说，SIEM系统是他们所保护的IT环境的眼睛。SIEM系统集中收集来自所有相关数据源的安全数据，存储大量信息，可以使用这些信息了解实时发生的事件和流程。获得的可见性程度直接受到作为SIEM系统一部分的日志聚合和收集过程的影响。如上所述，如果没有适当的处理和解析，日志数据将缺乏结构，因此将更加难于分析。
有的时候，日志接入SIEM后，才知道，原来我们某些系统没有某类日志！！（都没有，分析啥啊还？）几年前，笔者曾经参加某大会演讲时，有同行问我：如何通过数据分析发现未知安全？我的回答是，未知安全太广了，不好聊。但是通过SIEM深入的对企业各类日志的深入分析和不断测试，很容易找到企业自身某业务系统、认证系统、亦或者网络防御逻辑中存在的“黑洞”，而这就是我所解读的未知安全的范畴。
比如：某业务系统没有失败日志？改造！
某些统一认证系统逻辑有问题？改造！
某些业务系统权限划分不合理？还是改造！
某些用户使用他人账号？
…………
2）用好100%有问题的日志（宝藏就在你手中）
笔者，做过多年安全事件分析工作。建议大家不要从allow或者permit数据开始入手，而是先从Deny日志开始着手。或许大家会问都Deny了，失败了，还有什么可分析的。其实不然，比如大规模445端口的Deny很可能是永恒之蓝，比如重要用户
的WIFI认证锁定很可能是暴力破解又或者的密码过期了……。
总之，Deny日志才是真正发现攻击者的第一步。
3）合规
当今大多数合规性类型，如HIPAA、PCI DSS、SOX和GDPR，都要求组织遵守一系列的安全控制。这些控制包括:日志收集、监视、审计和警报。
4）人工智能和机器学习
人工智能和机器学习与自动响应和立即对检测到的威胁做出反应的能力密切相关，并且很有可能在将来它们将成为SIEM的日益重要的特征。然而，在短期内，大多数SIEM系统只会使用人工智能和机器学习作为人类监管系统的补充而不是一个完全自动化的替代系统。
3.5 12款顶级SIEM工具比较与评级
1、AlienVault统一安全管理平台
2、 Elastic Logstash
3、Exabeam安全管理平台（Exabeam Security Management Platform）
4、Fortinet FortiSIEM
5、IBM QRadar SIEM
6、LogPoint
7、LogRhythm
8、McAfee 企业安全管理系统（McAfee Enterprise Security Manager）
9、Micro Focus ArcSight企业安全管理系统（Micro Focus ArcSight Enterprise Security Manager）
10、RSA NetWitness
11、SolarWinds Log & Event Manager
12、Splunk
以上工具笔者就不多介绍了，仅说说其中一款，SPLUNK。
Splunk是Gartner名气最大的存在，同时也是判断SIEM平台的标准。Gartner PeerInsights的评分也体现了这一点，高达4.4星的评级以及500多条评论支持，都明显超出了其他竞争解决方案。
Splunk提供了两个版本的平台。其中，Splunk Enterprise可以作为各种Unix或Windows操作系统上的服务器应用程序安装在本地，也可以作为Docker容器应用程序安装；Splunk Cloud则允许您在SaaS环境中实现Splunk的优势，最大限度地减少基础架构和维护需求。这两种平台版本都支持可自定义的仪表板和报告，以及异常检测和高度访问控制等功能。
不过，Splunk最大的卖点或许还是Splunkbase，Splunkbase应用库包含100多个来自Splunk、合作伙伴和社区的应用和加载项。Splunkbase应用程序可以在Splunk Enterprise或Splunk Cloud上运行，并添加第三方集成、分析或自动化功能。其强大的大数据收集分析功能可以针对几乎任何一个数据源和用户需求，用户可根据自身企业需求查找对应行业应用或加载项，或只需根据开发人员门户中的帮助创建自己的应用或加载项。
笔者也很喜欢自己写应用库，自己写过某国内产商HIDS的应用包和某FW的应用包。
3.6 大数据分析在企业信息安全中的最佳实践
这部分内容就不多阐述了，感兴趣的朋友可以去看我之前的演讲：
下一篇，将是笔者本系列作品的最终篇——《企业信息安全治理，从分析到管控的新起点之零信任》，感谢各位读者2年以来的支持与陪伴。
未完待续
相关链接：
本文始发于微信公众号（安世加）：技术干货 | 企业信息安全建设实践之路（八）
- 左青龙
- 微信扫一扫
-
- 右白虎
- 微信扫一扫
-
评论