Whatweb特征修改、插件编写、EXE打包

Whatweb指纹分析工具优缺点分析
优点：1、综合指纹判断，输出信息全面，2、插件结构完善，插件编写简单3、CMD支持，GUI扩展，4、多目标，IP地址范围支持，多线程，5、代理支持，报头自定义
缺点解决：1、由ruby开发，win下需要配置额外开发环境 2、结果输出复杂，需要额外进行结果解析。3、国际化工具，需要适应国情的插件配置
缺点解决办法：1、将whatweb打包成exe运行。【已实现】2、编写脚本，对结果进行自定义解析。【已实现】3、编写脚本，批量实现国内插件转whatweb插件格式

pmq20/ruby-packer: https://github.com/pmq20/ruby-packer

首先安装预备环境：1、Visual Studio，所有版本，包括社区版（记得在安装过程中选择"Common Tools for Visual C++"功能）。2、SquashFS Tools:：先百度安装巧克力（https://chocolatey.org/），然后执行choco install squashfs3、Ruby：安装ruby环境（https://rubyinstaller.org/）。4、perl：安装perl环境http://strawberryperl.com/。5、Netwide Assembler:安装nasm，并将以上环境可执行文件加入环境变量。
6、测试rubyc.exe下载rubyc（https://github.com/pmq20/ruby-packer#unstable-pre-release）打开Visual Studio 的 "VS20XX x64 Native Tools Command Prompt"最终执行:rubyc路径rubyc.exe --help
建议:将以上环境可执行文件加入环境变量。
7、配置cacert.pem 下载cacert.pem放到任意目录下(如C:cacert)并新增SSL_CERT_FILE环境变量，值为C:cacertcacert.pem。（如果没有证书，会显示gems https访问失败。）（下载地址：http://curl.haxx.se/ca/cacert.pem）
8、最终打包cd whatweb目录rubyc.exe whatwebwhatweb

GET / HTTP/1.1User-Agent: WhatWeb/0.5.5.1      Accept-Encoding: gzip, deflateAccept: */*       Connection: close
#User-Agent 必需修改，否则会被防火墙标记#Accept     建议修改，否则返回值可能是Json模式#不同的请求头可能会造成不同的请求结果，建议使用Burp代理进行流量记录。

WhatWeblibtarget.rb  行267############################################editor@host = @uri.host  #editor@refer [email protected]_s  #editor    #puts @refer############################################editor
WhatWeblibtarget.rb  行296############################################editor#根据输入参数动态设置host$CUSTOM_HEADERS["HOST"]  = "#@host"  #根据输入参数动态设置refer$CUSTOM_HEADERS["Refer"] = "#@refer" #增加随机user-agent列表@user_agent_list = Array["Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/89.0.4389.82 Safari/537.36 Edg/89.0.774.48","Mozilla/5.0 (Android; Tablet; rv:14.0) Gecko/14.0 Firefox/14.0","..............","Mozilla/5.0 (iPhone; CPU iPhone OS 8_0_2 like Mac OS X) AppleWebKit/600.1.4 (KHTML, like Gecko) Version/8.0 Mobile/12A366 Safari/600.1.4","Mozilla/5.0 (iPod; CPU iPhone OS 5_1_1 like Mac OS X) AppleWebKit/534.46 (KHTML, like Gecko) Version/5.1 Mobile/9B206 Safari/7534.48.3",]
#启用随机user-agent列表，未启用，感觉固定的就够#@user_agent = @user_agent_list[rand(@user_agent_list.length)] #Open random user-agent
#增加固定user-agent列表@user_agent = "Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/89.0.4389.82 Safari/537.36 Edg/89.0.774.48"  #editor
#设置默认accept头@accept = "text/html,application/xhtml+xml,application/xml;q=0.9,image/webp,image/apng,*/*;q=0.8,application/signed-exchange;v=b3;q=0.9"#设置默认accept-encodind 头@accept_encodind = "gzip, deflate"#设置默认accept-language 头@accept_language = "zh-CN,zh;q=0.9"
#判断发送前报头中是否存在指定请求头，#没有就新增报头，有就替换或者不处理。if $CUSTOM_HEADERS["User-Agent"].downcase.include?"whatweb" then $CUSTOM_HEADERS["User-Agent"] = @user_agent end;if $CUSTOM_HEADERS.has_key?("Accept") == false then $CUSTOM_HEADERS["Accept"] = @accept end;if $CUSTOM_HEADERS.has_key?("Accept-Encoding") == false then $CUSTOM_HEADERS["Accept-Encoding"] = @accept_encoding end;if $CUSTOM_HEADERS.has_key?("Accept-Language") == false then $CUSTOM_HEADERS["Accept-Language"] = @accept_language end;
#puts $CUSTOM_HEADERS ############################################editor

GET / HTTP/1.1User_agent: Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/89.0.4389.82 Safari/537.36 Edg/89.0.774.48Accept: text/html,application/xhtml+xml,application/xml;q=0.9,image/webp,image/apng,*/*;q=0.8,application/signed-exchange;v=b3;q=0.9Accept-Encoding: gzip, deflateConnection: closeHost: XXXX

https://github.com/urbanadventurer/WhatWeb/wiki在wiki有更多的开发思路和资源

# 搜索一个文本字符串。{ :text => "This page was generated by <b>Generic CMS</b>" },
# 搜索正则表达式。注意斜杠是转义。{ :regexp => /This page was generated by <a href="http://www.genericcms.com/en/products/generic-cms/">Generic CMS</a>/ },
# #从Mega generator标签中提取通用CMS的版本。{ :name => "Meta generator",  :version => /<meta name="generator" content="Generic CMS version ([a-z0-9])+/ },
# HTTP服务器头信息# 检测HTTP服务器报头中的文本“GenericServer”{ :search => "headers[server]",:regexp => /^GenericServer / },
# HTTP服务器报头 # 从HTTP服务器报头中提取GenericServer的版本{ :search => "headers[server]",:version => /^GenericServer V([^s]+)/,},#从Mega generator标签中提取通用CMS的版本。{ :name => "Meta generator",  :version => /<meta name="generator" content="Generic CMS version ([a-z0-9])+/ },#检测通用CMS cookie。注意:search被设置为"headers[set-cookie]"{ :search => "headers[set-cookie]", :regexp => /genericcms=[^;]+;/ },
#检测headers的CMScookie的__genericwafuid cookie #猜测作用{ :search => "headers[set-cookie]", :regexp => /__genericwafuid/, :name=>"__genericwafuid cookie" },
# 检查图像的MD5sum哈希值来检测准确的版本# 在野蛮模式3中，只有这个插件已经匹配，这些才会被检查# 在侵略模式4，这些将被检查# :model作用不知道干嘛的{ :model => 'gsl2540b', :md5 => "d076eed06cafe1e4a74f83c7fdfe2e67", :url => '/generic/images/gsl2540b.jpg' },{ :model => 'gsl2640b', :md5 => "01aa666a65a72bb4ab0deadbeef525f4", :url => '/generic/images/gsl2640b.jpg' },
#搜索引擎搜索关键字dorks ['"Generic CMS login"','Generic login register linkname',]

## 模式匹配### :regexp        #Ruby格式的正则表达式   # :text      #不分大小写的文本# :ghdb     #谷歌Hack数据库格式。这支持使用intitle:、inurl:和minus。# :md5            #HTTP响应正文的MD5和哈希值# :tagpattern    #HTML标记名称列表。##在哪里搜索### :search    #可以是"body"(默认)，"all"，"headers"或"headers[x]"为一个特定的HTTP头#插件名称匹配### :name          #您可以选择命名匹配。此名称将在详细输出中显示。## 返回数据 ### 这些符号可以是一个正则表达式或文本。## :version        #版本# :account      #用户帐号名# :module       #一个模块名称# :make         #制造商，例如NetGear# :model            #模型，例如SpeedErr# :firmware        #固件，例如6.14.14# :filepath       这些可以显示在错误消息中# :string        #这是为了返回上面的符号没有涵盖的数据。例如，电子邮件地址。###模式确定性# ## :certainty         #这次匹配确定性。100是确定的(默认)，75是可能的，25是可能的##限制匹配到URL路径或HTTP状态### :url          #您可以将其与其他变量结合使用，也可以单独使用# :status       #响应的HTTP状态

#你可以在插件中编写定制的Ruby代码来获得更多的控制#支持有被动功能和主动功能。#被动函数将始终执行

Plugin.define doname "Plugin-Tutorial-6"    #插件名称authors [                            #插件作者  "Your preferred name <email@address>", # v0.1 # 2019-01-01 # Created plugin]version "0.1"                   #插件版本description "Describe plugin"   #插件描述website "http://example.com/"   #对应网站
#搜索引擎关键字dorks [ '"Generic CMS login"','Generic login register linkname',]
#基本匹配列表matches [    # 搜索一个文本字符  { :text => "Generic CMS" },] 
#可以在插件中编写定制的Ruby代码来获得更多的控制匹配选项#插件支持被动功能和主动功能。#被动函数将始终执行
# 插件中可用的变量#    @body       #响应体#    @headers    #响应头#    @cookies    #响应Cookie#    @status     #响应状态码#    @base_uri   #请求URI#    @md5sum         #文件MD5值#    @tagpattern     #标签匹配#    @ip             #响应IP#
#被动匹配passive do  # 创建一个匹配数组  m = []  # 如果HTTP状态是302，重定向位置是/admin/genericcms.php，那么匹配  if @status.to_s =~ /^302$/ and @headers["location"] =~ /^/admin/genericcms.php$/    m << { :name => "302 redirection to /admin/genericcms.php" }  end  #你可以添加调试和检查变量的值  # pp @status  #输出status  # pp @headers #输出headers  # #返回匹配数组，即使它是空的  mend### 主动性函数只会有时执行# 在主动级别3中，如果找到匹配，则执行主动函数# #在主动级别4，主动函数总是执行#主动匹配aggressive do    @variables[:my_var] += 1  # 创建一个匹配数组。这将返回相当于上面的matches[]块的内容  m = []  # 返回匹配数组，即使它是空的  mend
## 很少有插件需要启动和关闭功能# 当插件第一次加载时执行def startup  @variables = {my_var: 1}end# 当插件在web关闭时执行def shutdown  # puts("my_var is #{@variables[:my_var]}")end
end

网站指纹识别 whatweb - 知乎https://zhuanlan.zhihu.com/p/28017554#感觉好像也写的很模糊

Plugin.define doname "Spring-Boot"authors [  "WINEZER0",   ]version "0.1"description "Spring is an open source application framework for the Java platform."website "http://www.springsource.org/"
# Matches #匹配规则matches [#在响应包中查看Whitelabel Error Page匹配。{ :text=>"Whitelabel Error Page" },
#扩展：通过主动访问错误url判断，需要攻击级别 == 4 #1级. 每个目标发送一个HTTP请求遵循重定向。#3级. 如果一个1级插件匹配，附加URL请求将会被提出。#4级. 对每个目标发送大量HTTP请求。将从所有插件尝试URL。
#通过访问指定URL，并通过正则匹配Whitelabel Error Page{ :url => "/xxx/xxx/xxx/xxx", :text=>"Whitelabel Error Page"}, ]end