搭建Red Team外围打点体系之 灯塔+Nuclei爱情无敌风火轮懂哥必备帅气男孩超级联动

0x01 前言

对外围打点的痛苦想必大家一定深有感触，在搭建这一套自动化资产搜集+漏扫体系之前，我一般是使用网络搜索引擎（fofa、zoomeye、hunter等）和C段IP进行资产搜集，然后批量指纹扫描工具（Ehole、Glass等）进行指纹识别，使用xray、nuclei进行批量漏扫。按照之前使用的打点流程存在几个缺陷：

一：通过搜索引擎获取的资产无法做到站点全端口覆盖，在几次红队行动中就发现了突破口存在于非常规端口的情况，而这些非常规端口并未在搜索引擎上发现。

二：以上的流程都是通过手工进行操作，手工整理资产+敲命令的时间积少成多也会花费较多的时间，当资产量大的时候，在没有使用查重脚本筛查的情况下，经常出现多次对同一站点进行渗透打点的情况，而在红队行动外围打点中，时间是第一位，应尽可能避免不必要的时间浪费。

0x02 准备工作

一台或两台linux服务器：

• 一台：配置：64位+2核4G+带宽100Mbps

• 两台：服务器A：64位+2核4G （灯塔最低配置要求） 服务器B：100Mbps（进行漏扫，建议带宽越高越好，100Mbps非必要，只是速度上的差别）

我这里使用的两台vps，一台国内阿里云搭建灯塔系统，一台国外vps作为漏扫服务器，两台vps使用的操作系统均为centos。

灯塔ARL【资产收集】：

https://github.com/TophantTechnology/ARL

httpx 【存活检测】：

https://github.com/projectdiscovery/httpx

anew【过滤重复】：

https://github.com/tomnomnom/anew

nuclei【漏洞扫描】：

https://github.com/projectdiscovery/nuclei

python3.10【推送钉钉】：

推荐使用3.7,这里3.10太高了导致openssl需要安装最新版，涉及重新编译openssl、python3，比较麻烦。

0x03 工具安装配置

1.灯塔ARL

安装一些依赖
sudo yum install -y yum-utils device-mapper-persistent-data lvm2 wget
下载repo文件
wget -O /etc/yum.repos.d/docker-ce.repo
https://download.docker.com/linux/centos/docker-ce.repo
把软件仓库地址替换为 TUNA:
sudo sed -i 's+download.docker.com+mirrors.tuna.tsinghua.edu.cn/docker-ce+'
/etc/yum.repos.d/docker-ce.repo
安装
sudo yum makecache fast
sudo yum install docker-ce

先安装pip,python3进行安装
curl https://bootstrap.pypa.io/get-pip.py -o get-pip.py
python3 get-pip.py 
pip3 install -i https://pypi.tuna.tsinghua.edu.cn/simple docker-compose

鉴于国内网速，建议使用如下方式

mkdir docker_arl
wget -O docker_arl/docker2.5.1.zip
https://github.com/TophantTechnology/ARL/releases/download/v2.5.1/docker.zip
cd docker_arl
unzip docker2.5.1.zip
docker volume create arl_db
docker-compose up -d

如果是国外vps可以直接使用如下命令

git clone https://github.com/TophantTechnology/ARL
cd ARL/docker
docker volume create arl_db
docker-compose up -d

1.查看运行情况
2.修改密码（切忌弱口令）
3.考虑多用户登录的需求

2.anew

anew没有发布编译好的二进制文件，需要下载源码下来自行编译，这里我windows已经安装了go语言环境，在windows环境下编译生成linux二进制文件命令如下：

# 需要在命令行界面，powershell无法配置go环境变量
SET CGO_ENABLED=0
SET GOARCH=amd64
SET GOOS=linux
go build main.go

anew主要将输出与旧文件进行比较，只会输出新添加的内容

并且将新添加的内容加到旧文件

将anew上传服务器之后，赋予权限和配置软连接

chmod 777 anew
ln -s /root/tools/anew/anew /usr/bin/anew

配置完之后可以直接使用命令行使用

3.httpx

httpx可以用于探测站点是否存活，灯塔收集的站点可能存在各种返回状态码，httpx这里就能够再筛查一次，将httpx上传服务器之后，赋予权限和配置软连接

chmod 777 httpx
ln -s /root/tools/httpx_1.2.0_linux_amd64/httpx /usr/bin/httpx

配置完之后可以直接使用命令行使用

4.nuclei

Nuclei 基于模板跨目标发送请求，扫描速度快且准确度高，可一键更新模板库，模板库来源于nuclei 社区，活跃度还是比较高的，因此模板更新速度也比较客观。但是需要使用go语言编译搭建

nuclei推荐go语言版本1.17

sudo su root

wget https://golang.google.cn/dl/go1.17.8.linux-amd64.tar.gz tar -C /usr/local -xzf go1.17.8.linux-amd64.tar.gz

export PATH=$PATH:/usr/local/go/bin go version

git clone https://github.com/projectdiscovery/nuclei.git cd nuclei/v2/cmd/nuclei

go build

mv nuclei /usr/local/bin/ nuclei -version

安装完之后可以直接使用命令行运行nuclei

5.灯塔资产获取

灯塔提供了api接口文档

地址：https://ip:5003/api/doc

要使用api接口爬取数据，首先要配置一个apikey 进入arl目录

vim config-docker.yaml

api-key可以自己设定

API_KEY:"ff44256c-xxxx-xxxx-xxxx-xxxxxxxxxxx"

设置好之后重启下灯塔

docker-compose restart

进入api接口文档，在如下位置输入设置的api-key

设置好之后可以现在网页端的接口文档进行调试使用，检查是否生效，能否正常获取数据

以上调试无异常之后，开始构造数据包，灯塔的认证是在头部加入Token字段即可

import optparse
import requests
apikey = "ff44256c-xxxx-xxxx-xxxx-xxxxxxxxxxxx"
requests.packages.urllib3.disable_warnings()
def print_hi(name):
  # Use a breakpoint in the code line below to debug your script.
  print(f'Hi, {name}')  # Press Ctrl+F8 to toggle the breakpoint.
def task(scope_id):
  headers = {
  'accept': 'application/json',
  'Token': apikey
 }
  ceshi = requests.get("https://ip:5003/api/asset_site/?
size=100&scope_id="+scope_id, headers=headers, verify=False)
  json1 = ceshi.json()
  number = json1['total']
  pages = number//100
  pages += 1
  for page in range(1,pages+1):
    data = requests.get("https://ip:5003/api/asset_site/?
page="+str(page)+"&size=100&scope_id="+scope_id, headers=headers, verify=False)
    json_data = data.json()
    items = json_data['items']
    for item in items:
      print("%s" %(item['site']))
# Press the green button in the gutter to run the script.
if __name__ == '__main__':
  parser = optparse.OptionParser('python3 arlGetAassert.py -s scope_id -o
result.txtn'
                 'Example: python3 arlGetAassert.py -s
6229835c322616001dd91fe4n')
  parser.add_option('-s', dest='scope_id', default='6229835c322616001dd91fe4',
type='string', help='scope_id 资产范围ID')
 (options, args) = parser.parse_args()
  task(options.scope_id)

代码很简单，大概解释一下流程：

这里调用api通过scope_id参数（资产组id）去筛出想要获取的资产组的站点信息，先获取总数，在爬取每一页的数据。

资产组id就是下面这个字符串，每次新建一个资产组，就会分配一个资产组id：

这里运行看下结果

可以看到，顺利获取到数据

6.配置钉钉机器人

先在群里新建一个机器人

灯塔的钉钉推送使用的是加签名的方式，这里先将签名密钥保存留用

将webhook的access_token保存留用

进入灯塔配置文件

vim config-docker.yaml

SECRET对应着钉钉机器人的签名密钥

ACCESS_TOKEN对应着钉钉机器人webhook的access_token 配置完之后重启灯塔，测试配置是否成功

docker-compose exec worker bash
python3.6 -m test.test_utils_push

成功的话钉钉会收到消息推送

钉钉机器人要求一定要进行安全设置。安全设置目前有三种方式

方式一:自定义关键词

最多可以设置10个关键词，消息中至少包含其中1个关键词才可以发送成功。例如：添加了一个自定义关键词：监控报警在你写的代码中，让这个机器人所发送的消息必须包含“监控报警”这个词，才能发送成功。否则会出现keyword not in content。错误。

方式二:加签

第一步，把timestamp+"n"+密钥当做签名字符串，使用HmacSHA256算法计算签名，然后进行Base64 encode，最后再把签名参数再进行urlEncode，得到最终的签名（需要使用UTF-8字符集）。

签名计算代码示例

#python 2.7
import time
import hmac
import hashlib
import base64
import urllib
timestamp = long(round(time.time() * 1000))
secret = 'this is secret'
secret_enc = bytes(secret).encode('utf-8')
string_to_sign = '{}n{}'.format(timestamp, secret)
string_to_sign_enc = bytes(string_to_sign).encode('utf-8')
hmac_code = hmac.new(secret_enc, string_to_sign_enc,
digestmod=hashlib.sha256).digest()
sign = urllib.quote_plus(base64.b64encode(hmac_code))
print(timestamp)
print(sign)

第二步，把 timestamp和第一步得到的签名值拼接到URL中

https://oapi.dingtalk.com/robot/send?access_token=XXXXXX&timestamp=XXX&sign=XXX

方式三:IP地址（段）

设定后，只有来自IP地址范围内的请求才会被正常处理。支持两种设置方式：IP、IP段，暂不支持IPv6地址白名单，格式如下:

安全设置的上述三种方式，需要至少设置其中一种校验不通过的消息将会发送失败，错误如下：

// 消息内容中不包含任何关键词
{
 "errcode":310000,
 "errmsg":"keywords not in content"
}
// timestamp 无效
{
 "errcode":310000,
 "errmsg":"invalid timestamp"
}
// 签名不匹配
{
 "errcode":310000,
 "errmsg":"sign not match"
}
// IP地址不在白名单
{
 "errcode":310000,
 "errmsg":"ip X.X.X.X not in whitelist"
}

编写脚本

import requests
import json
import sys
def ding_push_message(msg):
  # 构建请求头部
  header = {
    "Content-Type": "application/json",
    "Charset": "UTF-8"
 }
  # 构建请求数据
  message = {
    "msgtype": "text",
    "text": {
      "content": msg
   },
    # 设置@所有人
    "at": {
      "isAtAll": True
   }
 }
  # 对请求的数据进行json封装
  message_json = json.dumps(message)
  # 发送请求
  info = requests.post(url=web_url, data=message_json, headers=header)
  # 打印返回的结果
  print(info.text)
if __name__ == "__main__":
  # 请求的URL，WebHook地址
  web_url = "https://oapi.dingtalk.com/robot/send?access_token=xxx"
  # 构建请求数据
  file = sys.argv[1]
  keyword = sys.argv[2]
  with open(file) as f:
    data = f.read()
  if data == '':
    data = '未发现新漏洞'
  ding_push_message("[漏洞监控-"+keyword+"]n"+str(data))

这里可以输入任意message进行测试检查能否正常推送

可以看到正常推送了

0x04 自动化命令

部署完以上所有工具后，即可使用命令进行无止尽的自动探测，在linux下输入如下指令：

while true; 
do python3 arlGetAassert.py -s 6229835c322616001dd91fe4 | anew urls.txt | httpx | nuclei -es info -o result.txt ;
python3 dingding.py result.txt; 
sleep 3600; 
done

流程大概如下：

先用脚本获取灯塔数据进行资产收集，并通过anew来过滤历史域名，把监测到的新资产送给httpx存活检测，httpx把存活的资产送给nuclei进行漏洞扫描，-es info的意思是排除扫描info级别的漏洞。扫描结束后，会使用python脚本把漏洞结果发送到我们钉钉推送，这样一个循环就结束了，并等待3600秒，也就是1小时。

0x05 结语

这套体系搭建完，目前体验还是不错的，但仍然有提升优化的空间，可以在灯塔api开发的基础上多写几个脚本用于搜索资产、增加资产等，这里部署完灯塔之后明显能感觉到web端访问响应速度体验并不是很好，使用api进行操作能够提高速度。

然后的话就是灯塔收集资产是需要提供根域名的，这里并没有集成搜集根域名的方式，可以在后续进行优化提升，除此之外，灯塔收集的资产有限，还可以结合其他资产收集工具进行资产收集，同时也可以集成指纹识别的工具并进行钉钉推送，提高渗透效率。