应急响应之大文件日志分析策略

文章前言

在对日志进行分析时我们偶尔会遇到客户直接将日志文件写在同一个文件中的情况，随着时间的推移后续文件会变得越来越大，导致出现攻击事件时无法正常使用文本文件或者其他应用软件查看文本文件进行日志分析，在这种情况下我们可以尝试大文件分割的方式来解决此类问题

文件拆分

系统命令

在Window平台的PowerShell里可以使用type命令来查找指定文件的前、后的n条记录，下面时使用实例：

Step 1：文件行数统计

find /V "" /C access.log

Step  2：查看文件的前10行

powershelltype access.txt | Select -First 10

Step 3：查看文件的最后10行

powershelltype access.txt |  Select -Last 10

备注：当然你也可以使用">"将检索到的内容进行重定向到一个文本文件中，之后直接使用notepad++查看文本文件即可~

拆分命令

Step 1：在Window平台中可以使用splite进行文件分割处理，但是需要安装git

https://git-scm.com/download/win

Step 2：在CMD中运行git并使用spliit命令实现文件大小拆分

split access.log -b 500m

Step 3:使用notepad++软件打开日志文件进行分析

其余使用方法：

split -b 1000 c:测试.txt c:tmp测试. --verbose                    （以1000字节分割文件并以"测试"为文件名默认后缀保存）split -b 1000K c:测试.txt c:tmp测试. --verbose                   （以1000k字节分割文件并以"测试"为文件名默认后缀保存）split -b 1000 c:测试.txt c:tmp测试. -a 4 --verbose               （以1000字节分割文件并以"测试"为文件名四位字母做后缀保存）split -b 100 c:测试.txt c:tmp测试. -d -a 4 --verbose             （以100字节分割文件并以"测试"为文件名四位数字做后缀保存）split -l 100 c:测试.txt c:tmp测试. -d -a 3 --verbose             （以100行一个文件分割文件并以"测试"为文件名三位数字做后缀保存）

软件应用

Step 1：下载glogg日志分析工具

http://glogg.bonnefon.org/files/

https://glogg.bonnefon.org/download.html

Step 2：安装应用程序

Step 3：运行日志分析工具加载日志文件

大文件日志完美加载

Step 3：文本内容检索

分析策略

应急响应其实可以大致分为事件型和异常型两大类：
事件型：主要指各类安全预警，例如：Weblogic反序列化命令执行等，由安全预警引导的甲方团队一般都是首先确定自身资产是否有使用对应的产品和应用、使用的版本是否在影响范围之内、官网提供的解决方案由哪几种、如何快速的解决安全漏洞实现安全加固，由安全预警引导的乙方团队一般是首先确定漏洞类型、影响产品、补丁跟新内容、分析构造漏洞POC/EXP、实施漏洞利用的武器化
异常型：主要指服务器上出现可疑webshell后门文件、服务器大量向外发包、数据流量异常、安全设备告警(特定内网服务区内网扫描等)、业务由正常使用转异常不可用等，此类问题的排查的核心之一时前期和客户之间的沟通，了解具体异常发现的时间、异常的具体体现(上传后门文件、DDOS、文件被勒索等)、当下所作的处理(日志文件是否还在、后门文件是否在清理之前有做备份、服务器是否已做隔离、服务器是否可以远程排查等)，随后可以将分析的目光着重放在日志中进行分析取证，对攻击者的攻击手法、攻击时间等进行排查并给出最终的应急排查分析报告，其中部分除了要定位具体的漏洞问题所在还需要协助进行攻击者溯源

原文始发于微信公众号（七芒星实验室）：应急响应之大文件日志分析策略