端点安全数据中的泰坦巨兽

泰坦

在西方语言中，泰坦（titan）是来描叙“巨大”、“了不起”的形容词，与之匹配的往往是神。

按照经典的神话系统，泰坦在被奥林匹斯神系取代之前曾经统治世界，以“泰坦巨人”的形象口口相传。

在电影所构建的怪兽架空世界里，其中的巨兽都以“泰坦巨兽”代称，巨兽们的老大哥是哥斯拉（Godzilla），哥斯拉以119米的身长震慑人心。

膨胀

笔者曾有一篇《浅谈安全数据需求》的短文，简单科普了安全人员对于安全数据的需求。现代的安全人员面临着越来越大的信息不对称障碍，安全人员对于Metrics、Tracing和logging三种类型的数据有着天生的强烈渴望，然而一个安全人员能处理多少安全数据，这些大数据中隐藏了多少恐怖巨兽，却是大多数人选择性忽视的问题。

举个例子：

从1万台终端收集100Mb数据 / 10000 * 100Mb = 1Tb

曾经有安全人员以10万台计算机为例做了一些粗浅的安全数据需求研究，单台计算机的Windows系统每分钟可以产生千兆字节大小的原始安全数据，所有计算机通过一些过滤操作后每天可以产生5000亿个安全事件。当你面对成千上万的终端，开始有意识收集处理安全数据时，会发现数据将膨胀成为一只无情的泰坦巨兽，随时抬起它的巨足，一脚下来踏平安全人员所谓的安全数据需求。

对战

假设我们有机会能够在数十万台端点进行安全数据收集，笔者认为集中式的数据处理将成为安全数据处理的瓶颈，让这个过程更像是在激怒泰坦抬起巨足，最终踩扁我们。造成这一切的原因是没有用分布式的预处理思维，当安全人员面对海量的安全数据巨兽时，也需要拔出三把认知利剑对安全数据进行预处理才能与之对战，这三把利剑分别是聚合、过滤和度量：

聚合

当安全数据足够精细时，我们需要将安全数据进行分类聚合形成同类事件，安全人员只需关心他所聚合的那一类安全数据即可

过滤

即使通过聚合，在默认情况下安全数据仍然是巨量的，我们需要在端点进行预先过滤，过滤必然会损失数据，甚至损失关键数据，过滤要以安全人员的需求为准

度量

如果我们可以对安全数据进行度量评估，当触发某个阀值时进行告警即可，我们并不需要全量的安全数据，安全人员要给出度量的方法，度量就变得越来越重要

未来

最近CrowdStrike以4亿美元收购Humio，SentinelOne以1.55亿美元收购Scalyr，思科向Splunk提出了200亿美元收购邀约，这些案例无不显示出安全产业对于安全数据的需求。

在笔者看来，未来要与端点安全数据中的这只泰坦巨兽对战，还有很长的路要走，只有运用好列式、时序、倒排索引等这些革命性的大数据技术，辅之三把处理安全数据的认知利剑，才有完美干掉这只泰坦的可能。

原文始发于微信公众号（QZ的安全悟道）：端点安全数据中的泰坦巨兽