如何使用DumpsterDiver在多种文件类型中搜索敏感信息

 关于DumpsterDiver 

DumpsterDiver是一款功能强大的敏感信息收集工具，该工具可以帮助广大研究人员进行大规模数据分析，以搜索硬编码的密钥（如AWS访问密钥、Azure共享密钥或SSH密钥）或密码。除此之外，该工具还允许我们使用基础的条件表达式来创建简单的搜索规则（例如，仅报告包含至少10个电子邮件地址的csv文件）。

该工具旨在帮助我们搜索和检测任何潜在的敏感数据泄漏，请在获得许可之后再使用该工具进行安全测试。

 功能介绍 

1、使用香浓熵查找私钥；

2、通过Git日志搜索敏感信息；

3、支持对压缩文件进行解压，例如zip、tar.gz等；

4、支持使用简单规则实现高级搜索；

5、支持搜索硬编码密码；

6、支持完全的自定义开发；

 工具安装 

由于该工具基于Python 3开发，因此我们首先需要在本地设备上安装并配置好Python 3环境。

接下来，广大研究人员可以使用下列命令将该项目源码克隆至本地：

git clone https://github.com/securing/DumpsterDiver.git



然后切换到项目目录中，使用pip3工具和项目提供的requirements.txt文件安装该工具所需的其他依赖组件：


cd DumpsterDiver
$> pip3 install -r requirements.txt



 工具使用帮助 






usage: DumpsterDiver.py [-h] -p LOCAL_PATH [-r] [-a] [-s] [-o OUTFILE]
                        [--min-key MIN_KEY] [--max-key MAX_KEY]
                        [--entropy ENTROPY] [--min-pass MIN_PASS]
                        [--max-pass MAX_PASS]
                        [--pass-complex {1,2,3,4,5,6,7,8,9}]
                        [--exclude-files EXCLUDE_FILES [EXCLUDE_FILES ...]]
                        [--bad-expressions BAD_EXPRESSIONS [BAD_EXPRESSIONS ...]]

（向右滑动，查看更多）



常用命令行选项

-p LOCAL_PATH：指定包含待分析文件的目录路径；
-a, --advance：所有的文件都将使用rules.yaml文件中定义的规则来进行额外分析；
-r, --remove：删除所有不包含任何敏感信息的文件；
-s, --secret：对所有的文件都执行额外的硬编码密码搜索分析；
-o OUTFILE：将输出文件以JSON格式输出和保存；

（向右滑动，查看更多）


 Docker使用 






$> docker run -v /path/to/my/files:/files --rm rzepsky/dumpsterdiver -p /files$> docker run -v /path/to/my/config/config.yaml:/config.yaml /path/to/my/config/rules.yaml:/rules.yaml -v /path/to/my/files:/files --rm rzepsky/dumpsterdiver -p /files

（向右滑动，查看更多）



自定义搜索


我们可以通过命令行参数来实现自定义搜索：



--min-key MIN_KEY：指定要分析密钥的最小长度，默认为20；
--max-key MAX_KEY：指定要分析密钥的最大长度，默认为80；
--entropy ENTROPY：指定最高熵，默认为4.3；



自定义搜索样例：






$> python3 DumpsterDiver.py -p [PATH_TO_FOLDER] --min-key 40 --max-key 40 --entropy 4.3$> python3 DumpsterDiver.py -p [PATH_TO_FOLDER] --min-key 66 --max-key 66 --entropy 5.1$> python3 DumpsterDiver.py -p [PATH_TO_FOLDER] --min-key 76 --max-key 76 --entropy 5.1$> python3 DumpsterDiver.py -p ./test/ --grep-words *aws_access_key_id* *aws_secret_access_key* -a

（向右滑动，查看更多）



 工具运行截图 






 工具使用演示视频 


演示视频：https://vimeo.com/398343810


 许可证协议 


本项目的开发与发布遵循MIT开源许可证协议。


 项目地址 


DumpsterDiver：https://github.com/securing/DumpsterDiver


【FreeBuf粉丝交流群招新啦！
在这里，拓宽网安边界

甲方安全建设干货；
乙方最新技术理念；
全球最新的网络安全资讯；
群内不定期开启各种抽奖活动；
FreeBuf盲盒、大象公仔......
扫码添加小蜜蜂微信回复“加群”，申请加入群聊】






https://vimeo.com/398343810
https://medium.com/@rzepsky/hunting-for-secrets-with-the-dumpsterdiver-93d38a9cd4c1













原文始发于微信公众号（FreeBuf）：如何使用DumpsterDiver在多种文件类型中搜索敏感信息