[工具]文本去重/字典整理/IP整理/域名整理/文本分割/域名解析/IP转换/URL去重

文章开始前，我们来看一下，一份扫描结果。可以看到漏洞利用针对80，443，7071，8443等端口均可成功，所以同一个IP可能就占了1-4个不等

企业wiki漏洞结果，包含空格、编号、执行成功返回命令，需要扫描证书，直接把txt改成url.txt，Ladon是不认识的，所以我们需要按空格分割提取URL

由于结果比较多，可能我们来需要把IP和域名提取出来，就是分割后去掉https://还有url后面的端口，这里我们就得再根据冒号分割一次。接下来使用提取的IP或域名去目标列表里面搜，发现搜不到。会不会还有一种可能我们扫出来的洞，可能是目标C段上部署的，这时我们还得对IP进行处理，提取C段IP，如192.168.1.8提取成192.168.1，再去目标列表匹配，就知道是否在目标C段上了。

LadonGUI 9.1.8 新增功能

DisTXT 文本去重DisURL URL去重Dis IP Domain 对文本中URL、IP、域名等去重,如zimbra结果Add https://  域名或IP前添加https://Add http://  域名或IP前添加http://Rm https://  删除域名或IP前添加https://Rm http://   删除域名或IP前添加http://IP to IP24   IP转成ip/24，如10.1.10.1/24IP to IPC    IP转成ipc，如10.1.10.IP to IP16   IP转成ip/b，如10.1.10.1/bIP to IPB    IP转成ipb，如10.1.Domain to IP 域名解析成IP(结果只回显IP)Domain to IP 域名解析成IP(结果域名、IP)Split Space  按空格分割Split Tab    按Tab键分割Split Colon  按冒号分割Split Comma  按逗号分割Rm Space     移除前后空格Rm All Space 移除所有空格

以上功能均是批量处理的，比如你提供了一堆ip列表、域名列表，拖动一下点击对应按钮，即可快速处理成Ladon专用目标格式。

DisTXT文本去重

可以使用以前的工具，但是只有一个去重功能，速度非常快，以前这工具专门用于整理密码字典的，几十万速度也非常快。

当然也可以使用LadonGui 9.1.8里的IP/URL模块功能，将文件拖放至文本框，点击DisTXT按钮，即可自动去重，并生成DisTXT文件

URL去重

使用DisURL便对URL进行去重，意味着只对包含http://或https://内容处理,有时一些扫描工具的结果中可能会有杂七杂八的东西

如原文内容

aaa222

http://k8gege.org

http://xxx.com

sdfsdf kjlj34

xxx;sdfdsf

处理后内容如下,因为我们只对URL去重，其它非URL不会生成在新的TXT中

http://k8gege.org

http://xxx.com

IP去重

如以下端口均是zimbra利用成功的，这样IP就重复了3次

原文本内容

https://101.192.1.1
https://101.192.1.1:443
https://101.192.1.1:7071

点击“Dis IP Domain”按钮，结果得到101.192.1.1，这样我们就得知真正利用成功的机器有多少了，或者说为扫描做去重处理。

域名去重

原文本内容

https://xxx.com
https://xxx.com:443
https://xxx.com:7071

和IP一样，zimbra扫描结果也有多个端口，点击“Dis IP Domain”按钮，结果得到xxxx.com，这样我们就得知真正利用成功的机器有多少了，或者说为扫描做去重处理。

移除https:// 、移除http://

http://10.1.10.1

10.1.10.1:80

Ladon有些模块或其它工具只支持IP或域名，被扫描的txt里出现url，可能会报错，或者说大量url的存在，影响扫描速度，甚至导致模块利用失败，此时就需要该功能去除，然后再对结果进行去重。同时我们也可以看到原文本内容出现重复，如某些资产导出结果，经常是url和ip端口同时出现，扫描就会出现重复结果。我们可以先全部移除，如果漏洞是https，我们就可以使用行前添加https://功能，快速整理出url.txt

提取IP、域名

如zimbra结果有IP又有域名，不同端口同一个洞

https://101.192.1.1
https://101.192.1.1:443
https://101.192.1.1:7071

https://xxx.com
https://xxx.com:443
https://xxx.com:7071

点击“Dis IP Domain”按钮，这样我们就得知真正利用成功的机器有多少了，或者说为扫描做去重处理。处理后结果如下

101.192.1.1

xxx.com

域名解析IP

gui上有两个按钮，第一个是只把域名解析只生成TXT,方便转换后直接使用各类工具扫描目标。第二个按钮是把域名解析成IP，结果是域名与IP对应。

SplitTab对结果进行分割，提取目标或IP，使用对应工具或模块批量扫描

空格分割、逗号分割、冒号分割、TAB分割

该功能用于提取扫描结果中前面的URL，比如以下结果使用空格分割，就得到存在漏洞的URL，可以看到得到的结果中有重复的，因为443、80、7071端口它都可以成功，因为端口不一样所以我们需要先分离结果，然后才能去重。

IP to IP24

如果我们直接把以上结果改成ip24.txt，让Ladon扫3个C段，如果IP段不重复没什么问题，但是像以下内容，存在两个IP属于同一网段，只扫几十个C段还好，要是扫几千几万，就得浪费很多时间，所以我们可以把IP全转成统一格式，然后再去重，这样相关工具扫描就不会有重复结果了。

原文本内容

192.168.1.1

10.1.1.2

192.168.1.8

IP to IPC

使用该功能，可以把IP转成C段，结果如下

192.168.1.

10.1.1.

192.168.1

这样也方便去重，当然Ladon也支持这种格式的C段扫描,还有一个好处是，使用这种格式，去目标里面搜，可以快速匹配扫出洞的IP是否属于目标C段，因为目标IP它不一定是192.168.1.8，所以你拿完整IP去搜肯定搜不到，应该拿C段IP去搜，或者脚本自动匹配。

不管扫描前目标IP、域名的处理，还是扫描后对结果的去重处理，不管是批量扫描内网还是外网，Ladon已经会帮大家整理好了。

SSL证书反查域名

扫描完整后，我们可以将zimbra成功结果IP去重，然后使用Ladon40批量扫证书SslInfo，反查得到IP对应域名,再访问域名研判。

相关文章

Ladon9.1.7利用SSL证书探测信息

[教程]Ladon 9.1.6 批量检测CVE-2022-26134漏洞

原文始发于微信公众号（K8实验室）：[工具]文本去重/字典整理/IP整理/域名整理/文本分割/域名解析/IP转换/URL去重