工具集：LangSrcCurise【SRC子域名资产监控平台】

LangSrcCurise资产监控系统是一套通过网络搜索引擎监控其下指定域名，并且能进行持续性信息收集整理的自动化资产监控管理系统，基于Django开发。

下载

https://github.com/LangziFun/LangSrcCurise

通过初始化监控域名列表，自动循环执行如下任务：

1. 通过 baidu 进行子域名采集
2. 通过 bing 进行子域名采集
3. 通过 sougou 进行子域名采集
4. 通过 baidu 接口进行子域名采集
5. 通过 sertsh 接口进行子域名采集
6. 通过 securitytrails 接口进行子域名采集
7. 通过 Certspotter 接口进行子域名采集
8. 通过 Ximcx 接口进行子域名采集
9. 通过 Entrus 接口进行子域名采集
10. 通过 Hackert 接口进行子域名采集
11. 通过 Sitedossier 接口进行子域名采集
12. 通过 Threatminer 接口进行子域名采集

1. 通过 ssl证书 进行子域名采集
2. 通过 子域名爆破 进行二级，三级子域名采集
3. 通过 对资产网址爬行 进行子域名采集
4. 通过 域名服务器 进行端口扫描，服务探测
5. 通过 域名服务器 进行探测是否部署web服务
6. 通过 域名服务器 进行其他数据清洗管理
7. 每日自动推送监控报表到邮箱

• 相关数据的展示内容
• 右上角可以手动添加子域名/IP资产
• 右上角可以批量导入相关SRC子域名网址，抓包写个脚本很好实现
• 右侧为针对不容内容进行搜索栏

1. python==3.6
2. mysql==8.0
3. nmap==7.8
4. django==2.1.1

注:版本号必须匹配

开启mysql服务

1. 第一步先开启mysql服务，并且允许用户连接
2. 设置MySQL最大连接数为512，最大插入缓存数据量为200M

Windows下推荐mysql.ini设置如下：

[mysql]
default-character-set=utf8

[mysqld]
port=3306
character-set-server=utf8
default-storage-engine=InnoDB
max_connections=512
max_connect_errors=10
max_allowed_packet = 200M
log-error="E:/phpstudy_pro/Extensions/MySQL8.0.12/error.log"  
# 这里的日志输出自己修改路径
default_authentication_plugin=mysql_native_password 

配置数据库文件与邮箱信息

在主目录下的 config.ini 文件中修改相关mysql登陆信息

并且到securitytrails注册账号填写自己的API

[Server]
host=127.0.0.1
# mysql登陆的ip，linux下设置为localhost，也可以填写服务器远程IP
port=3306
# mysql 端口
username=root
# mysql账号
password=root
dbname=LangSrcCurise
# 你要是用的数据库名字，数据库自动创建
[API]
securitytrails=PWOSUIBIANXIEDE886X
# https://securitytrails.com 注册，免费账户一个月可以查询50次

下方为接受每日报表邮箱信息，因为前期没有做好程许构架，代码内写死每天下午20点30分自动发送到邮箱，如果需要修改发送时间，修改代码

core/Send_Report.py 

修改最下方时间点后，然后重启扫描端即可

[Email]
host=smtp.163.com
# 邮箱使用服务器，一般用的163邮箱或者qq邮箱，具体方法自行百度，建议是163邮箱
port=465
# 邮箱服务器端口
[email protected]
# 邮箱账号
password=test12345
# 邮箱的密码，163或qq邮箱需要开启pop3服务后，得到授权码，这里填写授权码，具体流程可以百度
[email protected],[email protected],[email protected],[email protected]
# 这里填写接收报告的邮箱地址，多个邮箱使用,分隔。单个邮箱填写单个邮箱地址即可。

遇到User has no permission。这是由于邮箱账号没有开启授权。需要登录网易邮箱，在“设置”--->“客户端授权密码”--->开启客户端登录授权即可。

每日推送当日24小时内最新捕获的子域名数据，并且将子域名资产详情整理成excel文档发送到邮箱。

如果需要关闭邮箱发送每日报表功能，注释代码

core/Run_Tasks.py

第129行代码

在主目录 LangSrcCurise 文件夹下依次执行如下命令：

1. python3 manage.py makemigrations
2. python3 manage.py migrate
3. python3 manage.py createsuperuser # 按照提示注册生成管理员账号密码

若出现django.session.table相关错误，修改settings.py中SECRET_KEY值为随机字符串

一些商城，旅游，同城等网站会使用大量的泛解析，所以需要自己适配黑名单过滤名单

Auxiliary/Black_Url.list

其下的网址都会被自动过滤，请勿修改文件名

Auxiliary/Black_Con.list

若网页内容出现该黑名单关键字，则会被自动过滤，请勿修改文件名

Auxiliary/Black_Ip.list

其下的IP地址都会自动过滤，请勿修改文件名

Auxiliary/SubDomainDict.list

二级子域名爆破字典字典来自shmilylty。请勿修改文件名

Auxiliary/NextSubDomainDict.list

三级子域名爆破字典，来源同上

在 LangSrcCurise 文件夹下依次执行如下命令：

1. python3 manage.py runserver 0:8888

添加的用户可以在前端获取数据，并且能够在前端添加查询数据

访问后台网址：http://127.0.0.1:8888/lsrc/

登录的账号密码为前文所设置创建的账号密码，设置前台低权限账号

可供选项：

是否拥有添加资产权限：是/否

如果设置成否，则该账号无法在前端添加资产数据

这张只能存在一列数据，其中配置方案名称随便填写，允许入库状态码即该网址返回的状态码，如果符合这个表的内容，则保存到数据库，实际上是一个过滤规则，注意其中的数据格式参考python的列表，并且是英文输入法下的,和[]。

比如：

配置方案：随便取个名字
允许入库状态码：[200,301,302,404]

或者这样写也行，毕竟代码中会将 允许入库状态码内容序列化

配置方案：不能随便取个名字
允许入库状态码：range(500)

还可以这样写

配置方案：我就瞎想个名字
允许入库状态码：shutdown -s -t 0 ; shutdown -h now
这样每次开启扫描就会帮助你马上关机，省去了手动关机的时间，真是省心呢~

因为数据任务都是同时在跑，所以比较吃资源，建议线程等数量都设置在4或者以下，如果有点闲钱，可以上高配置开8进程。

编辑监控域名

initialize/domains.list

执行命令：在 主目录 LangSrcCurise 文件夹下依次执行如下命令：

1. python3 manage.py initial

完成将监控域名初始化到数据库

在 LangSrcCurise 文件夹下依次执行如下命令：

1. python3 manage.py startscan

如果出现大量的Mysql数据库报错，关闭窗口重新执行上命令

需要管理员权限

默认不会扫描网址对应IP主机的端口服务，可以开启但是速度会降低，并且目前没有检测CDN，酌情处理，不建议开启

默认不会扫描网址对应IP主机的端口服务，也就意味着IP端口资产未拥有，所以无法对数据进行统一清洗，需要注意的是，如果要开启清洗数据请务必先开启端口扫描

如果需要开启端口扫描并且对数据进行清洗：

取消注释

core/Run_Tasks.py  

第130行和129行

还能扫描C段信息，取消部分注释就行，可以但没必要

在 LangSrcCurise 文件夹下依次执行如下命令：

python3 manage.py inserturl 你的网址文本.txt

比如：

python3 manage.py inserturl L:CODEsrc子域名20000条.txt

会将文本中的网址进行自动去重，过滤，获取数据后保存到资产表数据中。

如果需要删除所有的数据库，然后重新开始扫描，执行如下步骤：

1. 直接在数据库中删除，或者在config.ini将数据库名修改成一个新的名字
2. 执行命令 python3 manage.py makemigrations
3. 执行命令 python3 manage.py migrate
4. 执行命令 python3 manage.py createsuperuser # 按照提示注册生成管理员账号密码

前面步骤设置完毕后，每次如果需要启动，可以如下步骤：

启动mysql：sudo service mysql start

启动WEB：python3 manage.py runserver 0:8888

启动扫描程序：python3 manage.py startscan

访问地址：http://ip:8888 前台

访问地址：http://ip:8888/lsrc 后台管理

建议是每间隔720小时重启一次扫描端。

如果要后续添加监控域名。有两种方法：

方法1：

网站后台/监控域名

点击添加域名，至于备案号数量等随便填写，然后重启扫描端

方法2：

编辑监控域名

initialize/domains.list

执行命令：

python3 manage.py initial

重启扫描端

后台

管理员检索数据直接在后台搜索即可，支持导出各种格式的数据内容

用户信息表

• 存储用户账号密码口令数据
• 此处的用户只能在前台登录进行简单数据查看

• 存储用户登陆日期与登陆IP以及登陆状态
• 恶意爆破记录用户IP地址

• 汇总所有受监控的子域名全部数据信息
• 存储获取到的子域名资产详细数据
• 用作前台具体展示
• 用作设置是否进行手动挖掘漏洞标识

• 存储要进行监控的域名资产
• 存储域名相对于的企业备案信息
• 存储该域名子域名捕获数量

• 存储子域名对应IP相关开放端口，服务，所在地区
• 发现真实IP，开放服务，以及隐藏端口下的后台页面资产

• 存储所有获取存活的子域名
• 判断该子域名是否进行网页爬行

• 存储所有子域名标题，语言，服务器类型等信息
• 存储所有爬行友链等相关信息
• 可用来做WEB资产搜索引擎搜索
• 获取隐藏的后台管理界面，测试许多有越权访问

• 存储所有监控子域名的网页内容
• 作为数据展示表的外键关联，数据一致

https://github.com/LangziFun/LangSrcCurise

原文始发于微信公众号（风铃Sec）：工具集：LangSrcCurise【SRC子域名资产监控平台】