日志源有效性监控UseCase-ArcSight实战系列之五

对于基于日志的SIEM系统来说，日志源的有效性是涉及根本的监视项，但目前我所见过的SIEM产品均没有实际意义上有效的功能或Use Case来解决这个问题。

从上图可以发现一个日志采集器会采集多个日志源的日志，尽管ArcSight的Connector和ESM Manager之间有相关的心跳检测，但对不属于ArcSight的日志源是无力去检测其有效性的。

一、需求说明

1. 实时检测Connector的有效性，一旦发现其失效及时报警；

2. 对于日志源的有效性进行监测，发现其失效后及时报警。

二、需求分析

（一）Connector有效性监测

由于ArcSight的Connector与ESM Manager之间默认会每10秒做一次心跳检测，同时默认也有相应的仪表板及Use Case，只需做简单的客户化即可满足相应的需求。

（二）日志源有效性监测

Connector采集的日志分为两类：实时类日志和批量类日志。

日志源丢失日志的情况分为两类：完全丢失和部分丢失。

实时类的日志的完全丢失情况相对好检测，对于批量类的日志或部分丢失的实时类日志就不好做到实时检测了，相对可行的方法是统计各时间段收集到的日志平均值与相应的基线比较，如果低于基线可以实时报警由人工干预确认，此基线最好分为工作时间段、非工作时间段2种，否则会有较多的误报，此基线需要根据一段时间的实际数据汇总后自动产生相应的参考值供后续判断。

三、Use Case设计

Connector 5.2以上版本可以根据其采集的各设备日志产生对应的SLC数据，此参数表示在设定的统计周期内Connector采集到的每个日志源的日志量，统计周期按10分钟定义。

 

 

定义M01规则将SLC>0的SLC数据分别写入如下图所示的多个列表（SLC>0表示当前统计窗口内有日志），这样就可以检测最长30天才有一次的批量日志源数据，同时分别初始化工作时间段和非工作事件段的阈值配置表。

 

如果SLC=0，相应的列表中的数据就不会更新，不同TTL的列表数据就会过期，基于这些过期的事件就可以知道相应的日志源多久没有发送日志了。

 

判断日志源是否失效的规则比较复杂，其大致的判断逻辑示意图如下：

 

此规则实际定制的时候使用了大量的变量和各种资源，以下就是相关的图形视图。

 

对于相对比较简单的实时类日志源全失效的监视规则逻辑如下：

 

为了方便展示，定制红绿灯类型的仪表板进行显示监视状态。

 

对于日志重新恢复发送的规则逻辑如下：

 

使用报表功能中的趋势来计算各时间点的日志量平均值，该数据将会作为各基线阈值的参考值。

 

 

四、Use Case使用说明

1. 确保各Connector配置了正确的网络、客户信息且区域划分正确；

2. 确保各Connector启用Device Status Monitoring，设置为600000（10分钟）

3. 上述配置请在确认Coneector安装正确、且确认了日志采集正确的情况下再去执行；

4. M02 - 设备事件采集监视、M02 - 设备日志状态-实时设备通过红绿灯的方式显示当前的日志状态，由于性能的考虑，事件量数据是每10分钟获得一次（假设有800个Device，每小时就会增加4800条相关的数据）；

5. 各列表过期时规则会实时校验，但是平均值数据最快也要1小时刷新一下，因此看到报警可以通过M02 – 事件量统计仪表板查看明细数据；

6. 各时间段阈值需要积累一段时间后设置相对准确的数据减少误报；

7. 相关的短信报警可以根据需要增加动作即可，报表可以自行定制，直接从活动列表或趋势中获取，无需从事件中再次查询

8. 为防止测试或新安装调试Connector导致的误报，设置了白名单，并在过滤器中增加了资产相关的属性配置。

五、特别说明

这个Use Case本身可能和安全监视没有什么直接关系，也没有那么高大上，但对SIEM平台的运行很重要，大多数SIEM的日志源有效性监视都可以采样类似方法用自己的功能实现。由于大多数人没有使用过ArcSight，因此本节就不具体描述每个资源的具体定义项了，因为太多了（当然我也想偷个懒），以下就是本Use Case使用到的资源数量。

• 过滤器：53个

• 全局变量：43个

• 本地变量：不低于50个

• 活动列表：18个

• 规则：9个

• 查询：5个

• 趋势：8个

• 数据监视器：2个

• 查询查看器：4个

• 仪表板：3个

• 字段集：1个

（未完待续）

往期阅读量最高文章推荐

ArcSight实战系列：

ArcSight简介            -ArcSight技术系列之一

实施规划和架构设计 -ArcSight实战系列之二

ESM安装配置指南    -ArcSight实战系列之三

Syslog类型Connector安装配置-ArcSight实战系列之四

工作篇：

金融企业信息安全团队建设（务虚篇）

金融业企业安全建设之路

生活篇

南洋游记

----------------------------------------------

企业安全建设，离不开“守望相助”。金融业企业安全建设微信群，在历次安全事件、安全应急中有大量实况直播，处置措施及时性、有效性，让我自己也获益良多。有兴趣加入的企业安全负责人，请关注微信公众号“君哥的体历”，后台留言，微信号+公司名称，验证身份后入群。

附注：

• 聂君，信息安全从业人员，十余年金融行业信息安全从业经历，默默无闻。好读书，不求甚解。性格开朗，爱好足球。

• 本订阅号文章是个人对工作生活的一些体验和经历分享，站在不同角度和立场解读会有偏差，见仁见智，不求正确统一，但求真、善、美。

长按识别二维码，和我交流

-----------------------------------------

赞赏是认同或肯定，更是鼓励更多原创分享

请在下面“赞”这里帮我点一下，谢谢。

本文始发于微信公众号（君哥的体历）：日志源有效性监控UseCase-ArcSight实战系列之五