证券行业安全日志的几个应用场景

 

过去的问题

基于安全日志的产品在2008年时兴起SOC类安全集中管理，从海量的安全告警日志中提取，分析对网络安全工作有价值的信息，并快速归类处理告警事件。

自2017年国家出台《网络安全法》，明确要求“采取监测、记录网络运行状态、网络安全事件的技术措施，并按照规定留存相关的网络日志不少于六个月”。进一步为安全日志集中收集提供法律依据。

未来的问题

安全设备日渐增多，安全日志将成指数级增加，在未来对日志分析处理要求会更高。安全日志的分析除发现已知的问题之外，我们还应该检测未知，预测已知范围之外的事情。

一、日志的概念

 

日志是记录系统运行过程中各种重要信息的文件，在系统运行过程中由各进程创建并记录。日志的作用是记录系统的运行过程及异常信息，为快速定位系统运行中出现的问题及开发过程中的程序调试问题提供详细信息。

早期在软件开发过程缺少日志规范，对日志记录哪些，没有明确定义和框架，纯依赖于开发者的经验和组织的技术规范。曾在实际工作检查一个系统称之有日志记录，等我们登录上去一看时，发现只有登入和登出的两类日志，简直让人啼笑皆非。在安全领域的日志框架，可参考GB/T18336中定义了评估信息技术产品和系统安全性所需的基础准则，是度量信息技术安全性的基准。针对安全性评估过程中信息技术产品和系统的安全功能及相应的保证措施提出一组通用要求，使各种相对独立的安全性评估结果具有可以性。标准中提出保护轮廓（PP）将信息技术安全要求分为功能和保证两大部分。例如安全审计可分为：

解决了记录哪些日志，输出哪些日志，下一步要做的就是挖掘日志中包含的丰富隐藏财富。

二、安全日志的价值

 

日志能告诉我们很多关于系统中所发生事件的信息，最常见的用法是用来排错，解决故障。日志还会成为在事故发生后查明“发生了什么”的很好的溯源取证的信息来源。本文列出一些常见的日志用例。

2.1故障排错

事实上大部分情况下日志是为故障排错而设计。如果不检查日志文件，无法得知系统具体错误，从而入手解决问题。例如下图中Windows补丁升级服务（WSUS）的日志文件显示更新报错，给管理员提供解决问题的方向。

2.2性能资源管理

日志不仅仅可以告诉你主机是否健康运行，还能够告诉你主机上运行的应用程序在做什么。往往系统真正宕机前日志中就展现出硬件和软件的错误。

2.3攻击入侵分析

从安全日志分析发现攻击入侵是安全运营的重点任务。如下示例：

从全流量抓取攻击数据包，查看日志携带webshell恶意字段：

（1）事件描述：攻者队使用扫描器进行IP信息收集和漏洞扫描；

（2）受攻击主机：112.XX.XX.230；

（3）攻击源IP: 59.1XX.XX.20。

这些消息表明攻击者对网络做了一次端口扫描，试图寻找有安全漏洞的主机，这一系统近期发现大量易受攻击的漏洞。

2.4鉴定取证

计算机取证是近年最热门的一个专业词汇，原来专指在特定领域拥有鉴定资格或司法人员在处理案例过程中使用专业工具对计算机系统获取的日志或记录，可以在侦察、诉讼等阶段作为证据使用。其他人员如企业安全管理员、第三方安全厂商在安全事件中记录的安全日志，在法律程序上不能算是严格的“证据”，其合法性和证据力度有待确定。举个常见的例子，如在对方不知情的情况下偷录的语音，其证据力度、合法性在法庭上有待法官确认。如下图所示的溯源取证的例子：

（1）事件描述：对恶意IP进行溯源，拿下该IP控制权限；

（2）受攻击主机：www.xxx.com；

（3）攻击源IP：103.XX.184.194；

（4）信息收集与分析过程：从全流量抓取攻击数据包，查看日志，Webshell，确定恶意攻击行为。

三、安全日志实战应用的几个场景

 

3.1利用流量日志查找肉鸡

1、场景描述

在恶意攻击中受控主机会从受感染的主机向攻击者控制的主机发送简短和定期的通讯的做法，以传达受感染主机恶意软件处于活动状态、正常运行并准备好接收指令的相关信息。此通信流量通常来自受感染的内部企业主机（例如bots或zombies），并发送到企业网络外部的命令和控制（C&C）服务器。这种通信允许僵尸网络管理员自动追踪、管理和控制数十万受感染的主机。

当我们面对恶意软件的时候，为什么不直接寻找恶意软件本身，而要利用流量日志去作为检测的依据呢？那是因为随着技术的增长，好的恶意软件并不总是那么容易被找到。因为恶意软件的作者知道防病毒、反恶意软件和端点保护是如何运作的，所以复杂的恶意软件很容易逃避各类检测。作者可以围绕它们进行设计，甚至在开始执行任何嘈杂的活动或在受感染的主机上写入任何文件之前检查是否存在这些防御机制。因此，仅检查机器上的恶意软件是不够的，我们还需要从流量日志上寻找恶意软件感染的迹象。通常恶意软件在主机上立足后，它会迅速确定主机环境并与命令和控制服务器（Command&Control Server）取得联系。然后，C2服务器会决定向受感染主机传输或者安装什么样的内容。

2、检测模型和检测步骤

（1）采集原始日志：本模型通过安全大数据分析平台接入数据源为NTA流量日志，未经处理的数据如下图所示：

（2）筛选数据流向：上文提到的恶意流量通常来自受感染的内部企业主机，并发送到企业网络外部的命令和控制（C&C）服务器，所以本模型关注源地址为内网IP，目的地址为外网IP的流量（Internal IP→External IP）。在模型使用过程中可通过平台提供的lookup函数对内网段作出筛选。

（3）数据处理-时间数据：由于此模型需要计算时间间隔等数据，时间戳字段不便于运算，故需把时间戳转化为以秒为单位的数值。转化思路为，如时间戳成时间为10:12:14.321，则转换为秒的公式为

Time=10×3600s+12×60s+14.321s=36734.321s

（4）数据处理-时间重整：在时间转化完毕后，我们需要对数据进行重整，展示出同一源IP对同一目的IP的所有通讯时间，将时间排序，为后续计算时间间隔作准备，同时展示两个IP之间的连接次数。

（5）时间间隔计算：使用脚本计算出同一源IP对同一目的IP所有相邻通讯的时间间隔。

（6）利用阀值进行过滤：在得到所有时间间隔之后，我们需要定义异常场景的筛选条件以此作为告警条件。根据肉鸡的特性以及其它参考定义以下两条：

连接总次数阀值：连接总次数指的是同一源地址至同一目的地址所发生通讯的总次数。通过与这个值对比可以将通讯次数较少的事件过滤掉，降低误报，提高模型的实用性。此处设定当连接总次数阀值=20，当conn_cnt>20时为有效事件。

百分比阀值：百分比指的是同一源地址至同一目的地址之间的通讯存在行为的可能性。利用这个值进行筛选可以有效提高告警的精度。此处设定百分比阀值为30，当百分比大于30为有效事件。百分比计算公式为：

阀值的设定需要和时间框架关联，此模型使用的时间框架为24小时，另外阀值的设定应根据环境或告警的真实情况作出调整。

（7）验证告警：根据阀值筛选结果，由安全分析人员验证可疑事件，如确认存在内鸡行为以及恶意软件，标示主机失陷并进行响应。

3、减少干扰的检测

在检测时，结果可能包含已知设备供应商的合法流量，例如与Windows更新相关的流向Microsofts的流量、流向设备制造供应商的流量，或任何其他配置为按预定时间间隔启动网络连接的合法应用程序。在模型使用初期，安全分析人员需要根据历史事件分析了解基线，使用IP地址白名单来过滤此类合法IP以减少大量的误报，提高检测精准度。

由于检测会根据重复最多的时间间隔发出告警，但攻击者也可以添加抖动或随机性使各个网络连接之间的时间间隔值看起来有所不同，并使流量百分比阀值的匹配失效，从而绕过此检测。为应对此问题，安全分析人员可以使用基线分析和数据集的其他参数，推导出额外的阀值进行更精准的匹配，提高效能。

4、告警以及分析样例

告警样例：如下图告警所示，告警样例中可以清晰的显示到源地址以及目的地址，以及涉及到的资产、用户，以及资产所在的区域，涉及到的攻击阶段等信息。

3.2DMZ区主机异常连接检测

内网渗透的手法思路也越来越灵活，包括各种域内横向移动以及跨域攻击等，在这样的情况下，只通过边界部署WAF等安全设备已经变得远远不够，这种时候就需要通过部署主机安全设备发现横向行为，通过结合边界安全设备日志、防火墙日志、主机日志、主机保护设备日志进一步确认横向渗透行为。在大部分情况下，Web服务器都会处于DMZ区，所以此条规则针对DMZ主机的连接行为做出分析。

1、攻击步骤

（1）信息收集

• 利用工具、搜索语法、搜索引擎对暴露在外网的资产进行信息收集。
• 识别语言、框架、CMS 等信息，寻找薄弱点。

（2）实施攻击

• 通过常规漏洞/逻辑漏洞进行外网突破，例如注入，XSS，上传，越权，修改任意用户密码等漏洞。
• 低线程漏扫。

（3）横向移动

• 获取到DMZ 区服务器权限，并提权成功，获得持久高权限账户。
• 添加代理脚本或搭建隧道绕过防火墙策略限制。
• 横向渗透，域内信息收集，漏洞利用。

2、检测模型

（1）通过结合当前设备资产，配置规则，在确认当前DMZ区主机安全的情况下，通过防火墙日志，将DMZ区主机主动连接的设备IP以及对应端口写入观察列表，该列表为DMZ区主机连接白名单，该规则需要持续一段时间，具体时间要结合实际网络情况下的资产量（开启且不触发告警）。SPL 配置自学习监控以及形成的观察列表如下：

appname:firewall AND (firewall.src_ip:DMZ 区主机IP) |stats count() as cnt by

firewall.src_ip,firewall.dst_ip,firewall.dst_port |eval table_name=“网络连接白名单”|lookup2 watch_list_add

（2）形成连接白名单的观察列表后，导出为CSV文件；

（3）配置规则，通过源IP、目的IP、目的端口三个字段去匹配观察列表表中的对应字段，如果新出现的连接行为不存在于白名单中，则触发告警；告警配置如下：

appname:firewall AND (firewall.src_ip:DMZ 区主机IP)|stats count() ascnt by firewall.src_ip,firewall.dst_ip,firewall.dst_port |fieldsfirewall.src_ip,firewall.dst_ip,firewall.dst_port | join type =leftfirewall.src_ip,firewall.dst_ip,firewall.dst_port[[|inputlookup dmz.csv]] |whereempty(sign) |eval src_addr=firewall.src_ip |eval dst_addr=firewall.dst_ip | evaldst_port=firewall.dst_port |eval desc=“源IP”+src_addr+”对目的IP”+dst_addr+”存在异常连接，连接端口为：”+dst_port

（4）触发异常连接告警后，首先可结合WAF等边界安全设备确认该IP是否受到攻击且WAF状态为allow，其次可结合HIDS等主机保护设备以及主机日志确认该主机是否已失陷。

3、产生误报的其他情况

（1）误报情况描述

当客户新增资产或业务系统，或对之前的业务系统做IP/端口变更时，会出现误报的情况，例如；改变部分端口，新增扩容服务器等。

（2）告警级别以及攻击阶段描述

该规则告警级别属于高危告警，属于实施攻击阶段，在ATT&CK框架中属于横向移动阶段。

4、告警以及分析样例

告警样例：可以从该样例中清楚的看到异常主机涉及区域，涉及到的重要资产等重要信息。

分析样例：在分析样例中就可以更加清楚的看到该规则触发的次数、频率、涉及到的攻击画像等信息，就可以更加方便的帮助运维人员识别风险行为。

四、未来的趋势

 

Syslog诞生于20世纪80年代，跨越了40年。在这一过程中，日志数据的容量显著地增加了，同时日志数据的质量也有了改进。2008年开始兴起SOC/SIEM类产品时，因处理性能原因严重影响其发展，目前存储技术，处理性能也有大幅提升。技术环境的改善将进一步促进日志的统一收集和处理。

大数据的风靡无疑推进了日志大数据的进程，从日志数据中挖掘更多价值。生成日志的系统数量增加，预计也将生成更多的日志数据，庞大的信息系统群需要更加智能化的日志管理中心。

更多更严的监管压力导致组织需要保存更加详尽的日志并保存更长的时间，日志数据容量的增大导致组织的成本不断增加。组织将着眼于日志数据价值的挖掘，而不是简单的存储。

更多的分析价值，在安全实践中安全设备规模扩大，涵盖企业多个应用系统层，如网络层、应用层、主机层、数据库等，若单一由人工审核并分析日志变的不现实。需要更多的日志工具来自动化、场景化处置分析安全告警日志。

作者介绍

张生，华福证券安全高级总监 SVP

曾任职于银行、上交所等公司。证券行业安全专家，证标委工作小组成员，牵头并参与行业多项安全标准的编写工作。

RECOMMEND

往期回顾

实战攻防时代的攻击技术演进｜证券行业专刊·安全村

证券行业应用安全架构设计实践｜证券行业专刊·安全村

金融企业网络安全边界纵深防御体系及其演进｜证券行业专刊·安全村

关于 安全村文集·证券行业专刊

证券行业自身低时延的业务要求以及业务中断的敏感性给安全防护带来了很大的挑战。专刊汇集了证券基金期货行业网络安全防护的最新经验、成果和解决方案，为大家分享一线安全规划、运营、建设的心得和实践经验。

关于 安全村

安全村始终致力于为安全人服务，通过博客、文集、专刊、沙龙等形态，交流最新的技术和资讯，增强互动与合作，与行业人员共同建设协同生态。

投稿邮箱：[email protected]

原文始发于微信公众号（SecUN安全村）：证券行业安全日志的几个应用场景｜证券行业专刊·安全村