插件分享 | 可以进行web爬虫的Xray插件（文章末尾有福利）

"contributes": {    "configuration": {      "XrayPATH": {        "type": "string",        "default": "",        "description": "请输入Xray的路径",        "fromDialog": true //该配置参数是否可以通过读取文件路径设置      },      ...      ...    }}

"views": {      "ipDetail": {        "bannerTop": [          {            "command": "Xray_crawler",//注册命令的名称            "title": "Xray-crawler",//在按钮中显示的文字            "icon": "src/assets/img/Xray.ico",            "visible": "Xray_crawler_visi" //控制自定义组件是否显示的命令，返回true显示，返回false不显示          }        ]      } }

"scanRes": {        "moreOptions": [          {            "command": "Xray_Report",            "title": "Xray Report",            "icon": "src/assets/img/Xray.ico"          }        ]      }

let config = Goby.getConfiguration();//通过config.XrayPATH.default就可以获取到用户输入的Xray路径

//extension.jslet cp = require('child_process');const os = require('os');const path = require('path');const fs = require('fs');//导入的一些node.js内置模块function activate(content) {  let identical = {    "web": true,    "http": true,    "https": true, //只有这些协议插件才会显示，同理可以对一些端口啊什么的做过滤  };  let config = Goby.getConfiguration();
  Goby.registerCommand('Xray_Report', function () {  //注册要执行的命令，也就是contributes.view.scanRes.moreOptions[0].command的值    let json_file = path.dirname(config.XrayPATH.default) + "/Goby" //设置要读取的json报告的路径，在Xray_crawler命令中设置了会在Xray的路径下生成一个名为Goby的文件夹用来存放Xray生成的json格式的报告    var filesList = []; //filesList 列表用来存放生成的json文件名    var info = []; //存放json文件中的内容    readFileList(json_file, filesList);// 百度了个读取指定路径下的文件并返回列表的函数    filesList.forEach(function (v) {      var data = fs.readFileSync(v, 'utf-8')      if (data.charAt(data.length - 1) == ']') { //判断json文件的最后一个字符是不是']'        jsondata = JSON.parse(data);//Xray正常扫完某个url，生成的json报告由[]包裹      } else {        jsondata = JSON.parse(data + ']');//url未扫完但是已经扫到了漏洞，咱们手动给它闭合一下      }      jsondata.forEach((v, k) => {        info.push(v)      });    });    var infoBase64 = new Buffer.from(JSON.stringify(info)).toString('base64');//因为有比较多的特殊字符，咱们base64编码一下    if (info && info.length > 0) {      let path = __dirname + "/xReport.html?info=" + infoBase64;//传入到html页面      Goby.showIframeDia(path, "Xray_Report", "960", "500");    } else {      Goby.showInformationMessage("Xray暂未产生报告！");    }  });  Goby.registerCommand('Xray_crawler_visi', function (content) {    if (identical[content.protocol]) return true;//对协议名称进行判断    return false;  });}

<script src="assets/js/jquery.base64.js"></script>function decode(str) {      var debase64 = $.base64.decode(str);      return debase64;    }function GetIframeQueryString(name, id) {      var reg = new RegExp('(^|&)' + name + '=([^&]*)(&|$)', 'i');//正则匹配'info=xxxxx'      var r = window.parent.document.getElementById(id).contentWindow.location.search.substr(1).match(reg);      //r[0]:info=xxx  r[1]:""  r[2]:xxx      if (r != null) {        return decode(r[2]);//base64解码一下      }      return null;    }let results = JSON.parse(GetIframeQueryString("info", "Goby-iframe"));

//test.jsconst path = require('path');const fs = require('fs');function readFileList(dir, filesList = []) {    const files = fs.readdirSync(dir);    files.forEach((item, index) => {        if (item.indexOf('.json') != -1) {            var fullPath = path.join(dir, item);            const stat = fs.statSync(fullPath);            if (stat.isDirectory()) {                readFileList(path.join(dir, item), filesList);  //递归读取文件            } else {                filesList.push(fullPath);            }        }    });    return filesList.reverse();}let json_file = '/Users/go0p/Tools/Xray/Goby';var filesList = [];var info = []readFileList(json_file, filesList);console.log(filesList);filesList.forEach(function (v) {    var data = fs.readFileSync(v, 'utf-8')    if (data.charAt(data.length - 1) == ']') {        jsondata = JSON.parse(data);    } else {        jsondata = JSON.parse(data + ']');    }    jsondata.forEach((v, k) => {        info.push(v)    });});console.log(info);var infoBase64 = new Buffer.from(JSON.stringify(info)).toString('base64');console.log(infoBase64);

./src├── assets├── extension.js├── xReport.html└── test.js
1 directory, 3 files
$ node test.js //进行测试，查看打印信息