🐉工具介绍
LangSrcCurise资产监控系统是一套通过网络搜索引擎监控其下指定域名,并且能进行持续性信息收集整理的自动化资产监控管理系统,基于Django开发。
下载
https://github.com/LangziFun/LangSrcCurise
🚨监控流程
通过初始化监控域名列表,自动循环执行如下任务:
- 通过 baidu 进行子域名采集
- 通过 bing 进行子域名采集
- 通过 sougou 进行子域名采集
- 通过 baidu 接口进行子域名采集
- 通过 sertsh 接口进行子域名采集
- 通过 securitytrails 接口进行子域名采集
- 通过 Certspotter 接口进行子域名采集
- 通过 Ximcx 接口进行子域名采集
- 通过 Entrus 接口进行子域名采集
- 通过 Hackert 接口进行子域名采集
- 通过 Sitedossier 接口进行子域名采集
- 通过 Threatminer 接口进行子域名采集
首页
- 相关数据的展示内容
- 右上角可以手动添加子域名/IP资产
- 右上角可以批量导入相关SRC子域名网址,抓包写个脚本很好实现
- 右侧为针对不容内容进行搜索栏
环境
- python==3.6
- mysql==8.0
- nmap==7.8
- django==2.1.1
注:版本号必须匹配
配置
开启mysql服务
- 第一步先开启mysql服务,并且允许用户连接
- 设置MySQL最大连接数为512,最大插入缓存数据量为200M
Windows下推荐mysql.ini设置如下:
[mysql] default-character-set=utf8 [mysqld] port=3306 character-set-server=utf8 default-storage-engine=InnoDB max_connections=512 max_connect_errors=10 max_allowed_packet = 200M log-error="E:/phpstudy_pro/Extensions/MySQL8.0.12/error.log" # 这里的日志输出自己修改路径 default_authentication_plugin=mysql_native_password
配置数据库文件与邮箱信息
在主目录下的 config.ini 文件中修改相关mysql登陆信息
并且到securitytrails注册账号填写自己的API
[Server]
host=127.0.0.1
# mysql登陆的ip,linux下设置为localhost,也可以填写服务器远程IP
port=3306
# mysql 端口
username=root
# mysql账号
password=root
dbname=LangSrcCurise
# 你要是用的数据库名字,数据库自动创建
[API]
securitytrails=PWOSUIBIANXIEDE886X
# https://securitytrails.com 注册,免费账户一个月可以查询50次
下方为接受每日报表邮箱信息,因为前期没有做好程许构架,代码内写死每天下午20点30分自动发送到邮箱,如果需要修改发送时间,修改代码
core/Send_Report.py
修改最下方时间点后,然后重启扫描端即可
[Email]
host=smtp.163.com
# 邮箱使用服务器,一般用的163邮箱或者qq邮箱,具体方法自行百度,建议是163邮箱
port=465
# 邮箱服务器端口
[email protected]
# 邮箱账号
password=test12345
# 邮箱的密码,163或qq邮箱需要开启pop3服务后,得到授权码,这里填写授权码,具体流程可以百度
[email protected],[email protected],[email protected],[email protected]
# 这里填写接收报告的邮箱地址,多个邮箱使用,分隔。单个邮箱填写单个邮箱地址即可。
每日推送当日24小时内最新捕获的子域名数据,并且将子域名资产详情整理成excel文档发送到邮箱。
如果需要关闭邮箱发送每日报表功能,注释代码
core/Run_Tasks.py
第129行代码
初始化数据库
在主目录 LangSrcCurise 文件夹下依次执行如下命令:
- python3 manage.py makemigrations
- python3 manage.py migrate
- python3 manage.py createsuperuser # 按照提示注册生成管理员账号密码
若出现django.session.table相关错误,修改settings.py中SECRET_KEY值为随机字符串
一些商城,旅游,同城等网站会使用大量的泛解析,所以需要自己适配黑名单过滤名单
配置网址过滤黑名单
Auxiliary/Black_Url.list
其下的网址都会被自动过滤,请勿修改文件名
配置网页内容过滤黑名单
Auxiliary/Black_Con.list
若网页内容出现该黑名单关键字,则会被自动过滤,请勿修改文件名
配置IP过滤黑名单
Auxiliary/Black_Ip.list
其下的IP地址都会自动过滤,请勿修改文件名
配置子域名爆破字典
Auxiliary/SubDomainDict.list
二级子域名爆破字典字典来自shmilylty。请勿修改文件名
Auxiliary/NextSubDomainDict.list
三级子域名爆破字典,来源同上
启动服务
在 LangSrcCurise 文件夹下依次执行如下命令:
- python3 manage.py runserver 0:8888
添加用户
添加的用户可以在前端获取数据,并且能够在前端添加查询数据
访问后台网址:http://127.0.0.1:8888/lsrc/
登录的账号密码为前文所设置创建的账号密码,设置前台低权限账号
可供选项:
是否拥有添加资产权限:是/否
如果设置成否,则该账号无法在前端添加资产数据
扫描设置
这张只能存在一列数据,其中配置方案名称随便填写,允许入库状态码即该网址返回的状态码,如果符合这个表的内容,则保存到数据库,实际上是一个过滤规则,注意其中的数据格式参考python的列表,并且是英文输入法下的,和[]。
比如:
配置方案:随便取个名字 允许入库状态码:[200,301,302,404]
或者这样写也行,毕竟代码中会将 允许入库状态码内容序列化
配置方案:不能随便取个名字 允许入库状态码:range(500)
还可以这样写
配置方案:我就瞎想个名字 允许入库状态码:shutdown -s -t 0 ; shutdown -h now 这样每次开启扫描就会帮助你马上关机,省去了手动关机的时间,真是省心呢~
因为数据任务都是同时在跑,所以比较吃资源,建议线程等数量都设置在4或者以下,如果有点闲钱,可以上高配置开8进程。
初始化监控域名
编辑监控域名
initialize/domains.list
执行命令:在 主目录 LangSrcCurise 文件夹下依次执行如下命令:
- python3 manage.py initial
完成将监控域名初始化到数据库
开启扫描
在 LangSrcCurise 文件夹下依次执行如下命令:
- python3 manage.py startscan
如果出现大量的Mysql数据库报错,关闭窗口重新执行上命令
需要管理员权限
默认不会扫描网址对应IP主机的端口服务,可以开启但是速度会降低,并且目前没有检测CDN,酌情处理,不建议开启
默认不会扫描网址对应IP主机的端口服务,也就意味着IP端口资产未拥有,所以无法对数据进行统一清洗,需要注意的是,如果要开启清洗数据请务必先开启端口扫描
如果需要开启端口扫描并且对数据进行清洗:
取消注释
core/Run_Tasks.py
第130行和129行
还能扫描C段信息,取消部分注释就行,可以但没必要
导入批量子域名网址文本
在 LangSrcCurise 文件夹下依次执行如下命令:
python3 manage.py inserturl 你的网址文本.txt
比如:
python3 manage.py inserturl L:CODEsrc子域名20000条.txt
会将文本中的网址进行自动去重,过滤,获取数据后保存到资产表数据中。
后续
如果需要删除所有的数据库,然后重新开始扫描,执行如下步骤:
- 直接在数据库中删除,或者在config.ini将数据库名修改成一个新的名字
- 执行命令 python3 manage.py makemigrations
- 执行命令 python3 manage.py migrate
- 执行命令 python3 manage.py createsuperuser # 按照提示注册生成管理员账号密码
前面步骤设置完毕后,每次如果需要启动,可以如下步骤:
启动mysql:sudo service mysql start
启动WEB:python3 manage.py runserver 0:8888
启动扫描程序:python3 manage.py startscan
访问地址:http://ip:8888 前台
访问地址:http://ip:8888/lsrc 后台管理
建议是每间隔720小时重启一次扫描端。
如果要后续添加监控域名。有两种方法:
方法1:
网站后台/监控域名
点击添加域名,至于备案号数量等随便填写,然后重启扫描端
方法2:
编辑监控域名
initialize/domains.list
执行命令:
python3 manage.py initial
重启扫描端
运行截图
后台
管理员检索数据直接在后台搜索即可,支持导出各种格式的数据内容
用户信息表
- 存储用户账号密码口令数据
- 此处的用户只能在前台登录进行简单数据查看
用户登陆日志表
- 存储用户登陆日期与登陆IP以及登陆状态
- 恶意爆破记录用户IP地址
数据展示表
- 汇总所有受监控的子域名全部数据信息
- 存储获取到的子域名资产详细数据
- 用作前台具体展示
- 用作设置是否进行手动挖掘漏洞标识
监控域名表
- 存储要进行监控的域名资产
- 存储域名相对于的企业备案信息
- 存储该域名子域名捕获数量
主机端口表
- 存储子域名对应IP相关开放端口,服务,所在地区
- 发现真实IP,开放服务,以及隐藏端口下的后台页面资产
网址索引表
- 存储所有获取存活的子域名
- 判断该子域名是否进行网页爬行
网络资产表
- 存储所有子域名标题,语言,服务器类型等信息
- 存储所有爬行友链等相关信息
- 可用来做WEB资产搜索引擎搜索
- 获取隐藏的后台管理界面,测试许多有越权访问
网页内容表
- 存储所有监控子域名的网页内容
- 作为数据展示表的外键关联,数据一致
项目地址
https://github.com/LangziFun/LangSrcCurise
原文始发于微信公众号(风铃Sec):工具集:LangSrcCurise【SRC子域名资产监控平台】
- 左青龙
- 微信扫一扫
-
- 右白虎
- 微信扫一扫
-
评论