开源威胁情报Feed:数据优化(1)

admin 2022年6月22日12:20:54评论105 views字数 1093阅读3分38秒阅读模式

守望者发布开源威胁情报feed数据一周时间来,有不少使用者在数据质量上提了不少问题和建议。Feed数据每天一个DAT格式文件。包括恶意的IP、dns、url、邮箱、md5等。目前还是ftp方式供下载使用。具体feed格式参考了国外的威胁情报服务商cyren等数据格式。

开源威胁情报Feed:数据优化(1)

数据质量是feed的关键,,集思广益,我们后面会持续进行优化。目前主要的数据优化措施如下。


1.Feed数据优化方法

1.1恶意IP地址

  • 命中率检测

将每天的数据导入流量较大的生产环境中,观察每天的命中率情况,命中者提高信誉值。

命中率是检测feed质量的纬度之一。

  • 存活率确认

利用批量Ping工具、全端口扫描检测现有IP地址库的存活率情况,我们后面会加一个字段来表示当天该IP地址是否存活,这样可以给数据使用厂商更多灵活调整的空间;

  • 地址分类优化

将IP地址分为国外IP地址,国内IP地址,(可借助IPIP.NET 或者其它的库来批量检测)并设计一个字段来表示;

  • 端口探测?

对检测到存活的IP地址进行端口探测,检测出所有的端口开放情况和服务开放情况。小伙伴提的建议不错,这个目前watcerlab还在考虑中。


1.2.恶意URL地址

  • 存活检测

利用批量工具或者脚本批量检测URL是否存活,存活的进行标识;

  • URL分类

对URL进行分类,分为国内,国外并提供一个字段标识;针对国内的采用烽火台联盟的思睿嘉得有网址分类引擎,如果是钓鱼网页能够区分类型比如:招商银行的,国家电网的等等;

  • 针对性测试?

这个根据恶意URL的标签,可以进行针对性的测试,这个目前watcerlab还在考虑中。


1.3.恶意DNS地址

  • 存活检测

利用批量检测工具意DNS存活率,提供一个字段标识;

  • 地址分类

将恶意DNS地址分为国内 和国外两大类,也提供一个字段标识。


1.4恶意Email邮箱

  • 存活检测

通过批量工具向邮箱发送邮件看email是真的存在,提供一个字段标识;

  • 地址分类

将Email邮箱按照地址分类,先做最基本的要分出国内,国外,后面考虑更细致划分。


1.5.恶意文件MD5

  • 匹配查询

通过向其它的情报库查询是否有关联数据判断MD5的质量。

国外的有 [VirusTotal][UrlQuery][TotalHash] [ThreatExpert],国内的有烽火台联盟的ALICE平台、微步等。



2.数据获取与问题讨论方式

如有问题、建议或者数据质量反馈请扫描进入“开源威胁情报feed实践群”共同实践开源的威胁情报feed。非常感谢大家的反馈。

开源威胁情报Feed:数据优化(1)


需要feed数据,可关注 守望者实验室微信公众号;回复关键词“feed“即可获取。

开源威胁情报Feed:数据优化(1)


原文始发于微信公众号(守望者实验室):开源威胁情报Feed:数据优化(1)

  • 左青龙
  • 微信扫一扫
  • weinxin
  • 右白虎
  • 微信扫一扫
  • weinxin
admin
  • 本文由 发表于 2022年6月22日12:20:54
  • 转载请保留本文链接(CN-SEC中文网:感谢原作者辛苦付出):
                   开源威胁情报Feed:数据优化(1)http://cn-sec.com/archives/1104493.html

发表评论

匿名网友 填写信息