[原创工具] github数据和cnnvd爬取

这是个cnnvd和github爬取的工具

首先讲下它的配置和运行

如何配置

保存一个配置文件，比如/root/config.yaml

配置文件内容

Config:  proxy: 代理，使用http://ip:port进行代理，如果没有就不写，但是得测试能否访问到github  gittoken: github的token，没有token无法访问  mail: 发送邮箱  passwd: 发送邮箱的token  smtp: smtp.qq.com  port: 587  beizhu: 这儿是你发送邮箱的名称，只能用英文字母，无法使用中文，比如 Bob  fw: 转发给谁，可以转发给自己，这样就能看到发件  to:    邮箱[email protected]    邮箱[email protected]    邮箱[email protected]

获取github token方法：https://blog.csdn.net/u014175572/article/details/55510825

获取qq邮箱授权码方法：https://blog.csdn.net/m0_55328858/article/details/123261937

工具说明

GetVulnInfAndSend同时获取github和cnnvd数据信息

GetGTBInf只获取当天的github更新信息

工具使用方法

首先，工具现阶段只适配linux发行版amd架构，

用法：

首先添加一个可执行权限

root@localhost:~# chmod +x GetVulnInfAndSendroot@localhost:~# chmod +x GetGTBInf

然后使用参数传递数据

root@localhost:~# ./GetVulnInfAndSend -c 配置文件路径/配置文件.yaml -s 保存路径

root@localhost:~# ./GetGTBInf -c 配置文件路径/配置文件.yaml

如何后台启动

33 8 * * * /root/GetVulnInfAndSend -c /Runs/config.yaml -s /root/res > /root/res/result.log0 9,11,13,15,17,21 * * * /root/GetGTBInf -c /root/config.yaml > /root/res/result_gtbinf.log

参数说明

第一条是每天早上8:33运行一次全量获取，获取到cnnvd零点更新漏洞和github搜索结果，并存放在指定路径后，通过邮件的形式发送到收件人邮箱内

第二条是每天的九点、十一点、十三点、十五点、十七点和晚上二十一点获取一次github本日更新数据，如0day、安全工具更新、LPE(本地权限提升漏洞)等等

注：若运行error，可以直接在真爱坤安全粉丝群问或者单独私聊，也可以直接后台回复信息

运行截图：

可以根据关键字进行筛选

接下来是github日常爬取

日常爬取可以在晚上爬取一次，每次爬取会获取每日全量

下载链接：

https://pan.baidu.com/s/1mZj2hHXukD9HFJezfabrDA?pwd=ikun

--------------------------下边儿是设计思路-----------------------------

设计思路

满足群友的要求，那么设计思路来力

我们在进行数据爬取的时候，可以使用burpsuite进行抓包，比如这样的一个页面

那么它的交互数据就是

发到repeater，测试参数

我们可以控制这个参数试试

那么我们可以根据需要进行参数控制

接下来我们点击功能点

他的数据包格式是这样子的

我们联系下上一个数据包

那么我们就可以直接从json中提取这个数据，使用这个参数进行遍历

接下来是github，我们需要知道一个链接：

https://api.github.com/search/repositories?q=${{context}}&per_page=${{number}}&page=${{page}}

${{context}}代表搜索的内容，${{number}}代表一页有多大，${{page}}代表这是第几页

我们判断多少页，是根据这个参数进行判断

total_count，代表这个词条有多少个搜索结果

笔者是根据这个去判断更新时间

代码截图

笔者个人喜欢golang

这是笔者的搜索关键字

黑名单就不展示了

接下来是邮箱发送，因为没找到WeChat的库，所以还不如直接发邮件

笔者使用的是

gomail

没什么好说的，现阶段只支持smtp端口587

实现自动化爬取自动化发送

原文始发于微信公众号（白帽子社区团队）：[原创工具] github数据和cnnvd爬取