漏洞扫描之w13scan、xray被动扫描和crawlergo爬虫联动

pip3 install -r requirements.txtcd W13SCAN # 进入源码目录python3 w13scan.py -h

optional arguments:  -h, --help            显示此帮助信息并退出  -v, --version         显示程序的版本号并退出  --debug               显示程序的异常  --level {1,2,3,4,5}   不同级别使用不同的有效负载:0-5(默认为2)Proxy:  被动代理模式选项  -s SERVER_ADDR, --server-addr SERVER_ADDR 服务器addr格式:(ip:端口)Target:  必须提供选项来定义目标  -u URL, --url URL     目标URL(例如:“http://www.site.com/vuln.php?id=1”)  -f URL_FILE, --file URL_FILE 扫描文本文件中给定的多个目标Request:  Network request options  --proxy PROXY         使用代理连接到目标URL，如:[email protected]:8080  --timeout TIMEOUT     超时连接之前等待的超时秒数(默认为30)  --retry RETRY         超时检索时间。Output:  输出  --html                当选择时，输出html文件到输出目录，或者您可以指定  --json JSON           json文件目录是在输出中默认生成的目录，您可以更改路径Optimization:  优化选项  -t THREADS, --threads THREADS                        最大并发网络请求数(默认为31)  --disable DISABLE [DISABLE ...]                        禁用一些插件(例如——禁用xss sqli_error)  --able ABLE [ABLE ...]                        启用一些moudle(例如:启用xss webpack)

--chromium-path Path, -c Path chrome的可执行程序路径--custom-headers Headers 自定义HTTP头，使用传入json序列化之后的数据，这个是全局定义，将被用于所有请求--post-data PostData, -d PostData 提供POST数据，目标使用POST请求方法--max-crawled-count Number, -m Number 爬虫最大任务数量，避免因伪静态造成长时间无意义抓取。--filter-mode Mode, -f Mode 过滤模式，简单：只过滤静态资源和完全重复的请求。智能：拥有过滤伪静态的能力。严格：更加严格的伪静态过滤规则。--output-mode value, -o value 结果输出模式，console：打印当前域名结果。json：打印所有结果的json序列化字符串，可直接被反序列化解析。none：不打印输出。--output-json filepath 将爬虫结果JSON序列化之后写入到json文件。--incognito-context, -i 浏览器启动隐身模式--max-tab-count Number, -t Number 爬虫同时开启最大标签页，即同时爬取的页面数量。--fuzz-path 使用常见路径Fuzz目标，获取更多入口。--robots-path 从 /robots.txt 文件中解析路径，获取更多入口。--request-proxy proxyAddress 支持socks5代理，crawlergo和chrome浏览器的所有网络请求均经过代理发送。--tab-run-timeout Timeout 单个Tab标签页的最大运行超时。--wait-dom-content-loaded-timeout Timeout 爬虫等待页面加载完毕的最大超时。--event-trigger-interval Interval 事件自动触发时的间隔时间，一般用于目标网络缓慢，DOM更新冲突时导致的URL漏抓。--event-trigger-mode Value 事件自动触发的模式，分为异步和同步，用于DOM更新冲突时导致的URL漏抓。--before-exit-delay 单个tab标签页任务结束时，延迟退出关闭chrome的时间，用于等待部分DOM更新和XHR请求的发起捕获。--ignore-url-keywords 不想访问的URL关键字，一般用于在携带Cookie访问时排除注销链接。用法：-iuk logout -iuk exit。--form-values 自定义表单填充的值，按照文本类型设置。支持定义类型：default, mail, code, phone, username, password, qq, id_card, url, date, number，文本类型通过输入框标签的id、name、class、type四个属性值关键字进行识别。如，定义邮箱输入框自动填充A，密码输入框自动填充B，-fv mail=A -fv password=B。其中default代表无法识别文本类型时的默认填充值，目前为Cralwergo。--form-keyword-values 自定义表单填充的值，按照关键字模糊匹配设置。关键字匹配输入框标签的id、name、class、type四个属性值。如，模糊匹配pass关键词填充123456，user关键词填充admin，-fkv user=admin -fkv pass=123456。--push-to-proxy 拟接收爬虫结果的监听地址，一般为被动扫描器的监听地址。--push-pool-max 发送爬虫结果到监听地址时的最大并发数。--log-level 打印日志等级，可选 debug, info, warn, error 和 fatal。

./crawlergo -c chrome-mac 2/Chromium.app/Contents/MacOS/Chromium -t 10 http://testphp.vulnweb.com/

./xray_darwin_amd64 webscan --listen 127.0.0.1:7777 --html-output vulnerability.html

./crawlergo -c chrome-mac/Chromium.app/Contents/MacOS/Chromium -t 10 --request-proxy http://127.0.0.1:7777 http://testphp.vulnweb.com/

python3 w13scan.py -s 127.0.0.1 --html

./crawlergo -c chrome-mac/Chromium.app/Contents/MacOS/Chromium -t 10 --request-proxy http://127.0.0.1:7778 http://testphp.vulnweb.com/

import osimport sysfrom urllib.parse import urlparse
import requestsimport jsonimport subprocess
from lib.core.data import KB
root = os.path.dirname(os.path.realpath(__file__))sys.path.append(os.path.join(root, "../"))sys.path.append(os.path.join(root, "../", "W13SCAN"))from api import modulePath, init, FakeReq, FakeResp, HTTPMETHOD, task_push_from_name, start, logger
# 爬虫文件路径Excvpath = "/Users/boyhack/tools/crawlergo/crawlergo_darwin"
# Chrome 路径Chromepath = "/Applications/Google Chrome.app/Contents/MacOS/Google Chrome"

def read_test():    with open("spider_testphp.vulnweb.com.json") as f:        datas = f.readlines()    for data in datas:        item = json.loads(data)        url = item["url"]        method = item["method"]        headers = item["headers"]        data = item["data"]
        try:            if method.lower() == 'post':                req = requests.post(url, data=data, headers=headers)                http_model = HTTPMETHOD.POST            else:                req = requests.get(url, headers=headers)                http_model = HTTPMETHOD.GET        except Exception as e:            logger.error("request method:{} url:{} faild,{}".format(method, url, e))            continue
        fake_req = FakeReq(req.url, {}, http_model, data)        fake_resp = FakeResp(req.status_code, req.content, req.headers)        task_push_from_name('loader', fake_req, fake_resp)    logger.info("爬虫结束，开始漏洞扫描")    start()

def vulscan(target):    headers = {        "User-Agent": "Mozilla/5.0 (Windows NT 6.1; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) "                      "Chrome/74.0.3945.0 Safari/537.36",        "Spider-Name": "Baidu.Inc"    }    if target == "":        return    elif "://" not in target:        target = "http://" + target    try:        req = requests.get(target, headers=headers, timeout=60)        target = req.url    except:        return    netloc = urlparse(target).netloc    logger.info("开始爬虫:{}".format(target))    cmd = [Excvpath, "-c", Chromepath, "--fuzz-path", "--robots-path", "-t", "20", "--custom-headers",           json.dumps(headers), "--max-crawled-count", "10086", "-i", "-o", "json",           target]    rsp = subprocess.Popen(cmd, stdout=subprocess.PIPE, stderr=subprocess.PIPE)    output, error = rsp.communicate()    try:        result = json.loads(output.decode().split("--[Mission Complete]--")[1])    except IndexError:        return    if result:        all_req_list = result["req_list"]        logger.info("获得数据:{}".format(len(all_req_list)))        for item in all_req_list:            with open("spider_{}.json".format(netloc), "a+") as f:                f.write(json.dumps(item) + 'n')            url = item["url"]            method = item["method"]            headers = item["headers"]            data = item["data"]
            try:                if method.lower() == 'post':                    req = requests.post(url, data=data, headers=headers)                    http_model = HTTPMETHOD.POST                else:                    req = requests.get(url, headers=headers)                    http_model = HTTPMETHOD.GET            except Exception as e:                logger.error("request method:{} url:{} faild,{}".format(method, url, e))                continue
            fake_req = FakeReq(req.url, {}, http_model, data)            fake_resp = FakeResp(req.status_code, req.content, req.headers)            task_push_from_name('loader', fake_req, fake_resp)            logger.info("加入扫描目标:{}".format(req.url))
    logger.info("爬虫结束，开始漏洞扫描")    start()    logger.info("漏洞扫描结束")    logger.info("发现漏洞:{}".format(KB.output.count()))

def init_w13scan():    root = modulePath()    configure = {        "debug": False,  # debug模式会显示更多信息        "level": 2,        "timeout": 30,        "retry": 3,        "json": "",  # 自定义输出json结果路径,        "html": True,        "threads": 30,  # 线程数量,        "disable": [],        "able": [],        "excludes": ["google", "lastpass", '.gov.cn']  # 不扫描的网址    }    init(root, configure)

if __name__ == '__main__':    target = "http://testphp.vulnweb.com/"    init_w13scan()    vulscan(target)    # read_test()