HT1113 搜索引擎自动化利用工具推荐

admin 2021年5月12日11:00:50评论113 views字数 1855阅读6分11秒阅读模式

HT1001 系列是信安之路推出的黑客工具使用系列,结合使用场景来对安全工具进行测试总结,并通过实战的方式介绍各类开源工具的功能和价值,后续完整内容将发布在信安之路的知识星球和成长平台,部分内容会通过信安之路公众号分享。

关于自动化利用搜索引擎信息收集,主要关注域名、企业邮箱地址这两部分信息,通过搜索引擎来搜索结果,有两种方式,一种是直接通过模拟浏览器的方式获取搜索结果,一种是通过搜索引擎提供的 API,使用个人申请的认证 Token 来获取搜索结果。

由于搜索引擎均提供了自动化搜索的 API,所以第一种方式属于违规操作,类似自定义爬虫,爬取搜索引擎的搜索结果,然而第二种模式需要用到使用 API 的认证 Token,而且搜索的次数和获取的结果数量都有限制,所以使用搜索引擎来获取想要的信息,是比较复杂,而且有限制。

既然是自动化,那么就无需考虑各种搜索引擎的限制和条件,一键获取信息是我们的目标,如果有充足的资源当然好,如果没有尽可能的获取信息,有多少算多少,也不必强求,毕竟除了这种方式收集域名和邮箱信息之外,还有其他的方式可以补充,所以,今天的测试站在没有任何额外资源的情况下进行。

工具一:theHarvester

这个项目使用非常简单,且功能强大,信息来源非常广泛,项目地址:

https://github.com/laramies/theHarvester

安装要求 python3.7+ ,CentOS 安装 python 3.83:



# 安装更新及必要组件
sudo yum -y update
sudo yum -y groupinstall "Development Tools"
sudo yum -y install openssl-devel bzip2-devel libffi-devel sqlite-devel
# 下载Python安装包
wget https://www.python.org/ftp/python/3.8.3/Python-3.8.3.tgz
tar xvf Python-3.8.3.tgz
cd Python-3.8*/
# 编译安装
./configure --enable-optimizations --enable-loadable-sqlite-extensions
sudo make altinstall
# 完成安装,查看版本
python3.8 --version
# 更新 pip
pip3.8 install --upgrade pip

安装 theHarvester 必要组件:

pip3.8 install -r requirements/base.txt 

安装成功之后,运行截图:

HT1113 搜索引擎自动化利用工具推荐

我们尝试用 xazlsec.com 作为目标,指定搜索引擎为 baidu,命令如下:

python3.8 theHarvester.py -d xazlsec.com -b baidu

HT1113 搜索引擎自动化利用工具推荐

如果你有多个平台的 API key ,可以编辑 api-keys.yaml 文件,让这个工具的搜索结果更丰富:

HT1113 搜索引擎自动化利用工具推荐

接下来就可以享受这个工具带来的乐趣了。

工具二:metagoofil

自动化搜索文档信息工具 metagoofil,可以通过谷歌搜索并下载 pdf,doc,xls,ppt,odp,ods,docx,xlsx,pptx 等文件,项目地址:

https://github.com/WiReD-/metagoofil

安装命令:

pip install requests && rm -rf /usr/share/metagoofil/ && git clone https://github.com/WiReD-/metagoofil.git/usr/share/metagoofil

运行截图:

HT1113 搜索引擎自动化利用工具推荐

以项目提供的案例为例,搜索 apple.com 域名相关 doc、pdf 文档:

HT1113 搜索引擎自动化利用工具推荐

除了文档信息,还有一些用户和邮箱地址等信息:

HT1113 搜索引擎自动化利用工具推荐

查看下载的文档信息:

HT1113 搜索引擎自动化利用工具推荐

其搜索原理是通过 site 和 filetype 两个关键词结合来获取搜索结果,获取数据的方式是通过爬去谷歌搜索结果的方式,并非 API 的方式。

总结

这两款工具的侧重点不太一样,但是已经可以把搜索引擎的高级用法包含在内,其他的项目暂时不做分享,工具不在有多少,而在于使用的人如何更好的利用工具达到自己想要的目的,除了这些开源项目之外,也可以自己开发一些脚本来达到自动化的目的,当然也可以参考这些成熟的开源软件,有很多思路在里面,值得参考。

更多精彩内容请关注公众号《信安之路》,加入信安之路知识星球获取更多内部学习资料,注册信安之路成长平台,自学沉淀安全技术。

HT1113 搜索引擎自动化利用工具推荐

本文始发于微信公众号(信安之路):HT1113 搜索引擎自动化利用工具推荐

  • 左青龙
  • 微信扫一扫
  • weinxin
  • 右白虎
  • 微信扫一扫
  • weinxin
admin
  • 本文由 发表于 2021年5月12日11:00:50
  • 转载请保留本文链接(CN-SEC中文网:感谢原作者辛苦付出):
                   HT1113 搜索引擎自动化利用工具推荐http://cn-sec.com/archives/372470.html

发表评论

匿名网友 填写信息