AV-Comparatives EPR 测试2023

点击蓝色

关注我们

引言

AV-Comparatives是一个被奥地利政府承认的非营利组织，也是一个国际性的独立测试机构，因提供针对电脑安全软件的综合性与客观性评测结果而闻名，近期发布了《Endpoint Prevention & Response (EPR) Test 2023》^[1]。

测试环境和方法

测试范围

本次参与厂商主要有Check Point、ESET、卡巴斯基、Palo Alto。其他厂商用供应商X代称，报告中也基本不涉及这类供应商的信息。本次测试在windows环境测试，包含了50个攻击场景。

EPR网络风险象限

根据产品的综合表现，分类为战略领导者、网络风险远见者、强大挑战者和未认证。

Y轴是预防/响应能力，这个比较好理解，主要代表于阻断/检测能力的好坏。 

X轴是总拥有成本（Total Cost of Ownership，TCO），这里不单单是产品的售价，还包括产品拦截率高降低的成本以及在误报和工作流延迟增加的成本。 

误报导致的成本比较容易理解，如果一款产品经常误报，久而久之大家也不会太关注他的告警。一方面消耗运营人员精力，另一方面即使出现了真实告警，识别难度也比较高。AV-Comparatives模拟了一些用户操作来测试产品有没有造成过度拦截。

工作流导致的成本，这个是因为部分产品对云端存在比较大的依赖，比如需要将文件上传云端沙箱来实现检出，虽然可能检出，但是存在告警延迟可能导致损失。

另外一个比较有趣的是AV-Comparatives还指出有些厂商的产品较往年进行了涨价。

对比往次参与评估的厂商可以发现，Palo Alto 在2020年参加测试时，5年5000点Agent价格是1,050,000美元（Palo Alto Networks Cortex XDR Pro 7.2），而在本次测试中则是 1,750,000美元（Palo Alto Networks Cortex XDR Pro 8.0）。

测试方案

测试主要分为3个阶段：第 1 阶段：初始访问、执行、持久化 第 2 阶段：权限升级、防御规避、凭证访问、发现、横向移动 第 3 阶段：收集、命令和控制、数据泄漏、影响 所有测试涉及的ATT&CK技术如下：

测试流程如下：

第1阶段的测试结果

其他阶段没有给出具体映射的技术名称。相较其他评估往往使用开源、自研工具进行测试，AV-Comparatives还使用了商业C2参与测试。可能更符合真实情况，毕竟APT中使用Cs、BruteRatel的确实不少。

EDR的功能、遥测和技术

一般来说，各家产品会在功能上存在一些区别，AV-Comparatives根据参与评测的产品总结了EDR的功能：

今年的测试还加入了遥测的对比，数据是由供应商核实并提供。遥测对于提高主机行为的可观察性很有帮助，可以帮助专业蓝队应急、取证。近年国内很多主机安全产品也作为可选功能记录主机的自带日志以及进程等日志，实现类似全流量的回溯行为效果（不过比本次4款产品的遥测类型少了很多，大多在日志存储和Agent性能上存在瓶颈）

不同EDR可能采用不同的数据采集技术，比如AMSI、ETW、内核驱动。比如通过内核驱动才能可能真正检测Bootkit，如果某款产品宣称自己不用到驱动，那基本可以判断它是基于Bootkit运行后的一些痕迹做检测。

和MITRE的评估的区别

前段时间MITRE也发布了他们的评估，彼时写过一篇文章浅析MITRE ATT&CK第5轮评估，AV-Comparatives也说明了他们和MITRE的区别。

测试范围：MITRE评估针对单一攻击链路的技术，这些攻击链路由预选且公布的APT执行。而AV-Comparatives的EPR测试涉及50个来自未公开APT的独立攻击场景，更接近真实世界情况。

测试模式：MITRE传统上在“仅检测”模式下评估解决方案，着重于产品对攻击链中单个技术的响应。而AV-Comparatives自2020年测试开始就致力于验证防护能力。

评分系统：MITRE没有提供直接比较产品对威胁效果的评分系统。AV-Comparatives则是通过引入简单的比较评分系统来解决这一差距，帮助客户评估产品效率。

当然，以上是AV-Comparatives的说法^[2]。对比之下，AV-Comparatives的测试也存在一些问题。测试细节没有像MITRE一样透明，比如将测试工具公布到GitHub，没有描述具体的执行测试方式，也没有产品截图。从测试的全面性上，本次测试也没有提及Linux环境。

小结

国内安全团队选型时或许可以考虑考虑AV-Comparatives的TCO概念。低价引入了一款平庸的产品未必降本增效，反而可能增加团队负担、增加安全风险。

参考