介绍

ARL(Asset Reconnaissance Lighthouse)资产侦察灯塔系统旨在快速侦察与目标关联的互联网资产，构建基础资产信息库。 协助甲方安全团队或者渗透测试人员有效侦察和检索资产，以攻击者视角持续探测资产风险，协助用户时刻洞察资产动态，掌握安全防护薄弱点，快速收敛攻击面。

特性¶

• 域名资产发现和整理
• IP/IP 段资产整理
• 端口扫描和服务识别
• WEB 站点指纹识别
• 自定义 WEB 指纹
• 资产分组管理和搜索
• 任务策略配置
• 计划任务和周期任务
• Github 关键字监控
• 域名/IP 资产监控
• 站点变化监控
• 文件泄漏等风险检测
• Host 碰撞漏洞检测
• nuclei PoC 调用
• WebInfoHunter 调用和监控

系统安装

在开始使用之前，请务必阅读并同意 免责声明 中的条款，否则请勿下载安装使用本系统。

系统要求¶

目前暂不支持Windows，初次体验可采用Docker方式运行，长期使用建议采用源码安装方式运行。系统配置建议：CPU:4线程 内存:8G 带宽:10M。
由于自动资产发现过程中会有大量的的发包，建议采用云服务器可以带来更好的体验。

Docker 环境安装ARL¶

Ubuntu 下可以直接执行 apt-get install docker.io docker-compose -y 安装相关依赖。

Centos 7 可以执行下面的命令安装相关依赖

yum install -y yum-utils
yum-config-manager \
    --add-repo \
    https://download.docker.com/linux/centos/docker-ce.repo
yum install docker-ce docker-ce-cli containerd.io docker-compose-plugin
systemctl enable docker
systemctl start docker

其他操作系统可以访问官方文档 https://docs.docker.com/engine/install/

cd /opt/
mkdir docker_arl
wget -O docker_arl/docker.zip https://github.com/TophantTechnology/ARL/releases/download/v2.6.2/docker.zip
cd docker_arl
unzip -o docker.zip
docker compose pull
docker volume create arl_db
docker compose up -d

Docker 环境卸载¶

docker compose down
docker rmi tophant/arl:v2.6.2
docker volume rm arl_db （不执行这个可以保留mongo中的数据）

再删除当前目录的文件就可以。

源码安装¶

仅仅适配了 centos 7 ，且灯塔安装目录为/opt/ARL 如果在其他目录可以创建软连接， 且安装了四个服务分别为arl-web, arl-worker, arl-worker-github, arl-scheduler

wget https://raw.githubusercontent.com/TophantTechnology/ARL/master/misc/setup-arl.sh
chmod +x setup-arl.sh
./setup-arl.sh

/opt/ARL/misc/manage.sh
Usage: manage.sh [ stop | start | status | restart | disable | enable | log ]

访问 ARL 系统¶

注意协议是HTTPS, 管理端口为5003 URL：https://127.0.0.1:5003 密码： admin/arlpass

podman 环境安装 ARL 参考¶

kali-linux-2024.1

安装相关依赖。

sudo apt-get update
sudo apt-get -y install podman podman-compose

其他操作系统可以访问官方文档 https://podman.io/docs/installation

修改文件 /etc/containers/registries.conf 添加下面的内容

[registries.search]
registries = ['docker.io']

cd ~
mkdir docker_arl
wget -O docker_arl/docker.zip https://github.com/TophantTechnology/ARL/releases/download/v2.6.2/docker.zip
cd docker_arl
unzip -o docker.zip

解决 nmap 报错 Couldn't open a raw socket. Error: Operation not permitted nmap 在扫描端口的时候需要 NET_RAW 权限，

修改 docker-compose.yml 给 worker 容器添加权限

    cap_add:
      - NET_RAW

podman-compose pull
podman volume create arl_db
podman-compose up -d

podman-compose pull 截图

podman-compose ps 截图

任务选项说明

配置参数说明

Docker环境配置文件路径 docker/config-docker.yaml

监控任务消息推送配置¶

通过钉钉/邮箱进行资产监控任务结果推送¶

使用下面的步骤添加钉钉机器人 【电脑钉钉 】-【群聊】-【群设置】-【智能群助手】-【添加更多】-【添加机器人】-【自定义】-【添加】

其中安全设置勾选加签，并保存SEC开始的字符串

点击完成将Webhook 地址保存，

修改docker/config-docker.yaml 文件, 将 DINGDING->SECRET 配置为SEC开头的字符串 将DINGDING->ACCESS_TOKEN 配置为Webhook地址中的access_token值

邮箱配置示例， 由于25端口可能被云厂商封禁，请使用465（ssl）端口

EMAIL:
  HOST: "smtp.qq.com"
  PORT: "465"
  USERNAME: "[email protected]"
  PASSWORD: "youpassword"
  TO: "[email protected]"   ##接收邮箱

执行下面的命令，如果配置正常的话将会收到邮箱和钉钉推送

docker compose exec worker bash
python3.6 -m test.test_utils_push

如果测试没问题的话，记得执行下面的命令重启让应用生效

docker compose restart

监控任务自定义 WEBHOOK 功能¶

可以在config-docker.yaml WEBHOOK选项下配置

IP/域名监控和站点监控结束后会往配置的webhook URL POST提交JSON数据

为了验证身份会在Header中带上Token 字段, 接收方可以验证Token字段是否符合预期

进入容器测试 docker compose exec worker bash

测试命令 python3.6 -m test.test_webhook <task_id> <scope_id>

如果没有传递source参数，那么就会全部测试。

测试完毕后重启容器生效。

如果为空表示不配置代理。 在docker/config-docker.yaml 配置选项添加了HTTP_URL配置选项， 重启容器生效。 测试配置是否正常工作

docker compose exec worker bash
python3.6 -m test.test_proxy_url

域名查询插件选项¶

在添加任务选项框中有一个域名查询插件选项，目前已支持的数据源为11个

alienvault, certspotter,crtsh,fofa,hunter,passivetotal, quake, rapiddns securitytrails,virustotal, zoomeye

相关代码可以在这里查看 dns_query_plugin

由于部分数据源需要配置Token,可以在config-docker.yaml QUERY_PLUGIN选项下配置

可以通过enable字段来控制是否启用。

测试Token有效性¶

进入容器测试 docker compose exec worker bash

测试命令 python3.6 -m test.test_query_plugin [source1] [source2]

如果没有传递source参数，那么就会全部测试。

测试完毕后重启容器生效。

忘记密码重置

当忘记了登录密码，可以执行下面的命令，然后使用 admin/admin123 就可以登录了。

docker exec -ti arl_mongodb mongo -u admin -p admin
use arl
db.user.drop()
db.user.insert({ username: 'admin',  password: hex_md5('arlsalt!@#'+'admin123') })

已有功能

下面是已经实现了的功能模块列表说明

场景举例

1. 添加自定义PoC¶

为了对通用应用漏洞进行扫描，灯塔中使用了个名为NPoC的框架

框架存放的PoC目录为 xing/plugins, 框架会动态加载该目录下的文件

可以按照自己的需求在目录中添加相应的PoC代码文件， 注意不同子目录下的文件名不要出现重复情况。

由于运行环境为docker, 可以将写好的PoC代码文件放置到docker/poc目录下面，将会映射到docker 中的路径 /opt/ARL-NPoC/xing/plugins/upload_poc

点击灯塔后台系统中的【PoC信息】-【更新】即可查看到添加到框架中的PoC信息， 然后可以通过配置策略用于扫描。

在管理页面上点击更新按钮，如果没有出现在页面上请查看日志看是否出现报错。

2. 对内网IP段进行绕口令爆破¶

先进入【策略配置】【新建策略】输入名称【弱口令扫描】 域名和IP配置 。

可以根据自己的需要配置， 另外请务必勾选 【服务(python)识别】

【站点配置】这里保持默认， 【弱口令爆破配置】这里点击全选，然后点击确定

在刚刚添加的策略上点击【任务下发】，任务类型，选择资产侦查任务，目标可以填C段

在运行过程中会进行端口扫描，服务识别，然后根据匹配的协议进行弱口令爆破。

目前不支持配置字典，相关的默认字典在容器内路径为/opt/ARL-NPoC/xing/dicts

也可以到下面的链接查看 https://github.com/1c3z/ARL-NPoC/tree/master/xing/dicts

3. 对流行漏洞进行应急响应¶

先进入【策略配置】【新建配置】输入名称【exchange 扫描】

域名和IP配置 可以根据自己的需要配置, 这里保持默认

【PоC配置】勾选 Exchange 漏洞

进入【资产搜索】点击站点，根据观察，发现Exchange服务的header都会出现X-FEServer字样

在标头输入筛选条件 X-FEServer， 可以快速将Exchange筛选出来，点击风险任务下发。

4. Host 碰撞检测功能¶

有时公网的Nginx等WEB服务器会通过Host来判断代理到不同的站点，当改Host为内网域名时且可以访问被认为存在问题。

在检测该风险时任务中的公网IP进行访问时，Host会被设置为任务中的内网域名，如果被判定为访问成功，将会检出风险。 为了提高准确度会对结果进行去重，如果发现目标IP存在该问题，不要忘记用Burp手动尝试下，也许会有意外发现。

添加任务时勾选Host碰撞选项框即可启用该功能。

仅仅对域名任务有效，如果任务中公网IP和内网域名比较多的话，可能消耗的时间比较多（可以晚上跑）。

5.导入自己收集的资产并对其截图的功能¶

首先通过策略配置-新建策略，在站点和风险配置中勾选站点截图功能并保存，当然勾选了其他的也会生效

再通过策略下发任务，任务类型勾选风险巡航任务，目标输入URL列表，点击确定下发即可

6. 对SRC 域名资产进行资产监控¶

先收集SRC主域名列表，可以使用企查查，天眼查，站长之家等根据备案信息收集。

再新建资产分组，类别选择域名，资产范围填入收集的主域名列表

新建策略配置，默认选项就好，最好的资产组配置选项选择前面新建的资产分组

通过新建的策略下发任务，类型选择资产侦查任务，为了保证自动化收集效果可以下发两遍。

待前面的任务完毕，在资产分组操作中选择添加监控任务，域名可以全选，时间的可以根据情况来选择，如48小时。

另外为了提高收集效果可以为域名查询插件选项的数据源配置相应的Token。

自动化的收集难免有缺陷，可以在资产分组域名Tab页面中添加缺失的子域名。

常见问题

1. 密码忘记了怎么办？¶

可以执行下面的命令，然后使用admin/admin123就可以登录了。

docker exec -ti arl_mongodb mongo -u admin -p admin
use arl
db.user.drop()
db.user.insert({ username: 'admin',  password: hex_md5('arlsalt!@#'+'admin123') })

2. 如何修改任务并行数量？¶

修改下面文件43行中的 -c 参数即可，默认为2, 重启容器生效。 https://github.com/TophantTechnology/ARL/blob/master/docker/docker-compose.yml#L43

3. 运行出现异常？¶

可以执行下面的三条命令并尝试触发错误观察输出有什么异常。

docker compose ps
docker compose logs -f  --tail=10
tail -f *.log

4. 容器一直重启，查看日志提示权限错误¶

排查下宿主机是否开启了selinux , 将selinux功能关闭即可。

5. Docker 环境的 ARL 如何升级更新？¶

先手动更新config-docker.yaml和 docker-compose.yml docker compose pull 是为了更新镜像， 如果碰到问题可以排查是否使用了三方镜像源。

docker compose down
docker compose pull
docker compose up -d

6. 任务结果为什么只有域名和IP结果？¶

可能任务下发时开启了全端口扫描，对于金融、银行存在防护设备的情况大量端口扫描、服务报文探测会出现异常。 可以选择Top 10端口扫描，或者关闭端口扫描，将只会探测80,443端口。

7. 如何判断任务是否还在运行¶

1). 任务状态长时间没有改变，并且后下发的多个（大于等于2）任务都已经执行了，当前任务肯定是异常了。 2). 根据下面的异常任务原因排查看任务日志是否有持续输出。 3). 根据网络带宽，CPU，内存占用情况判断任务是否还在运行。

8. 异常任务原因排查¶

一般错误异常到会写入到 arl_worker.log 日志中 下面是一个简单的例子.

1). 先在后台找到Task ID cat arl_worker.log | grep 6288...

2). 可以找到对应的Celery ID cat arl_worker.log |grep eaa03c9b-3084-4777-bbaa-74188623fb04

3). 再找到详细的堆栈错误信息 cat arl_worker.log |grep -A 20 "has no attribute"

9. 使用全端口扫描一直停在端口扫描阶段¶

可以从arl_worker.log，nmap进程是否还在，出网流量等外部状态判断任务是还在运行还是已经结束了。 如果任务没有在运行了，并且查看docker ps 发现容器重启过了，可能是大量端口扫描导致的docker 网卡出现了异常，任务被关闭了，但是任务状态并没有感知到。 如果确切有全端口扫描的需求，可以使用源码安装的方式运行ARL

10. 任务结果域名很多，但是站点数却没有¶

1. 可以在IP选项卡中观察端口结果，如果一个都没有可能是扫描过程中被拦截了，端口扫描选项可以不勾选再测试或者端口扫描类型使用测试选项。
2. 可以在IP选项卡中观察IP归属地选项，大部分是一些国外的IP, 域名是国内厂商可能被神秘力量干扰了。

11. Docker 环境如何卸载并重装¶

如果忘记了原先的启动目录可以使用下面的命令进行容器停止和删除

docker stop arl_web
docker stop arl_worker
docker stop arl_scheduler
docker stop arl_rabbitmq
docker stop arl_mongodb
docker rm arl_web
docker rm arl_worker
docker rm arl_scheduler
docker rm arl_rabbitmq
docker rm arl_mongodb
docker rmi tophant/arl:v2.6.2

docker compose down
docker rmi tophant/arl:v2.6.2
docker volume rm arl_db （不执行这个可以保留mongo中的数据）

再删除当前目录的文件就可以。

cd /opt/
mkdir docker_arl
wget -O docker_arl/docker.zip https://github.com/TophantTechnology/ARL/releases/download/v2.6.2/docker.zip
cd docker_arl
unzip -o docker.zip
docker compose pull
docker volume create arl_db
docker compose up -d

12. 如何修改 ARL-NPoC 的弱口令爆破字典¶

1. 进入 worker 容器

   docker exec -it arl_worker bash
   

    

2. 字典目录

   ls -alh /opt/ARL-NPoC/xing/dicts
   

    

13. 大量 IP 全端口扫描结果很少或者为空¶

1. 可能是扫描过程中被防火墙拦截了
2. 检查下系统的 Open File Limit 是否是默认的 1024，如果是的话，可以调大一点，比如 65535

14. 子域名扫描结果不理想¶

1. 检查操作系统 DNS 服务器是否正常，可以使用 dig 命令测试下
2. 检查灯塔系统内置 DNS （app/dicts/dnsserver.txt） 否正常，可以使用 dig 命令测试下
3. 宿主机带宽是否正常，可以使用 speedtest-cli 测试下
4. 大量任务同时执行，可能会导致 DNS 服务器拒绝服务，可以调整任务并发数为 1

API集成

可以先在文件 config-docker.yaml 中对 ARL.API_KEY 配置选项设置一个Token, 如果设置了请注意保密。 访问API的时候token 设置在Query中和Header中的效果是一样的。

访问 https://127.0.0.1:5003/api/doc 可以查看文档， 点击右上角的 Authorized 按钮可以设置自己的Token，这样可以在浏览器中进行调试。

发布日志

# 2024-04
1. 添加 wih 结果导出、删除功能。#715
2. 任务管理添加站点、域名、WIH结果数量字段筛选 #659
3. 文档优化 docker-compose 替换为 docker compose #737
4. 升级 Rabitmq 版本 3.13.1 #732
5. 策略配置添加排除端口 #735
6. 测试通知失败问题修复 #700 #699
7. fofa 数据源添加最大页数和每页数量配置 #701
8. nuclei 结果批量删除。 #739
9. 升级nuclei 版本为 v3.2.4
10. 优化任务进程被KILL状态一直不变问题 #669 #654

# 2023-12
ARL v2.6.1 发布
1. 加强指纹规则语法，导入导出为yml格式 #234 #305 #312 #511 #666
2. IP 任务支持显示 C 段统计数据
3. 修复IP任务，资产监控同步问题 #646 #656
4. 修复新添加字段在已有策略修改不生效问题
5. 任务数据同步时支持wih数据同步到资产分组
6. 开启wih配置时，任务域名出现重复数据修复
7. 修复 PoC 信息可能重复问题 #677
8. nuclei_scan 任务超时时间调大为96小时 #662
9. 更新 nuclei 版本为 3.1.3
10. 更新 wih 版本为 1.5.4
11. 360Quake子域名查询优化 感谢 @chushuai #652
12. 更新安装顺序排列 感谢 @zyairelai #658

# 2023-10
ARL v2.6 发布
1. 域名查询插件 添加 Chaos 源，感谢 @NAXG  #622
2. 增加一些常见的WAF和CDN的CNAME, 感谢 @ox01024  #586
3. 更新 GeoLite2 db 文件, 感谢 @ox01024 #587
4. 添加企业微信和飞书消息推送 (监控任务)
5. 资产 IP 选项卡可以分别导出域名和IP
6. 任务详情添加 导出 C 段 按钮
7. nuclei 版本更新
8. HTTP 存活探测改为 GET 请求
9. 增加 js文件敏感信息搜集 (WebInfoHunter)工具调用
10. 添加 WebInfoHunter 任务和监控任务
11. 修复 策略配置 - 新建策略时勾选掉了"跳过CDN"，但实际不会生效 #618
12. 全端口扫描速率参数调大
13. PoC 信息第一次启动时更新优化 



# 2023-05-18
ARL v2.5.5 发布
1. 修复 nuclei 误报 CVE-2022-45362 问题 #559 #535
2. 修复数据源 quake_360 查询错误问题  @原来是老王
3. 删除数据源 threatminer (不可访问了)
4. 过滤无效状态码 410, 减少无用数据入库



# 2023-03-17
ARL v2.5.4 发布
1. 优化泛解析域名爆破流程
2. 修复nuclei 在执行时可能出现一个错误 #481
3. nuclei版本更新
4. 截图生成文件名正则优化 #498
5. 域名插件crt.sh，hunter_qax等优化
6. 修复302 URL过长导致入库失败问题 @原来是老王 @ki9mu



# 2023-01-06

ARL v2.5.3 发布
1. flask 等组件升级，flask_restplus替换 #364
2. Mysql弱口令插件错误处理优化 #366
3. 指纹搜索不可用优化 #402
4. 主机服务未授权无法检出优化 #420
5. PoC 重复扫描优化 #427
6. 优化搜索引擎调用和站点爬虫逻辑 #436
7. 修改 quake_360 数据源不可以问题 #439 
8. HTTP 访问后台400优化 #454
9. 添加 zoomeye 数据源支持 #463
10. 添加enable字段，控制单个域名查询插件是否启用




# 2022-08-25
ARL v2.5.2 发布
添加 "域名查询插件"，可支持自定义写插件
添加 nuclei PoC 调用
添加 监控任务自定义 WEBHOOK 功能
资产组添加站点批量导入功能
导入自己收集的资产并对其截图的功能
任务详情页面添加指纹统计信息Tab
修复大屏幕情况下任务管理操作功能按钮错位问题
修复任务详情-SSL TAB-搜索字段错误
修复风险巡航类型计划任务不会被调度任务
资产搜索导出功能，最大可导出10万
资产任务worker 和github任务worker 单独分开


# 2022-02-21
ARL v2.5.1 发布

# 2021-12-24
ARL v2.5 发布


# 2021-09-28
ARL v2.4.1 发布


# 2021-07-22
ARL v2.4 发布


# 2021-05-19
ARL v2.3.1 发布


# 2021-03-19
ARL v2.3 发布


# 2021-01-08
ARL v2.2.1 发布


# 2020-12-09
ARL v2.2 发布


# 2020-09-30
ARL v2.1 发布


# 2020-09-10
ARL v2 发布

免责声明

免责声明¶

如果您下载、安装、使用、修改本系统及相关代码，即表明您信任本系统。在使用本系统时造成对您自己或他人任何形式的损失和伤害，我们不承担任何责任。 如您在使用本系统的过程中存在任何非法行为，您需自行承担相应后果，我们将不承担任何法律及连带责任。 请您务必审慎阅读、充分理解各条款内容，特别是免除或者限制责任的条款，并选择接受或不接受。 除非您已阅读并接受本协议所有条款，否则您无权下载、安装或使用本系统。您的下载、安装、使用等行为即视为您已阅读并同意上述协议的约束。