King Of The Proxy (代理之王) v1.0 发布、HTTP代理采集、验证工具

admin 2021年4月3日19:31:33评论287 views字数 11572阅读38分34秒阅读模式

时隔三年多,前段时间对代理之王进行了一些升级,新版本见(v2.0):

King Of The Proxy (代理之王) v2.0 发布,HTTP/HTTPS、SOCKS4/5代理采集、验证工具

与老版本(v1.0-v1.1)相比:

1、开放代理采集接口,可自定义采集规则(正则匹配),兼容任何非加密文本输出的代理发布站。

2、开放代理验证接口,可自定义验证规则(正则匹配),支持直接自定义收发十六进制数据包,也就是说不止是 HTTP/HTTPS、SOCKS4/5 协议,甚至其他任何协议都可验证,你可以将十六进制数据包改为 MSSQL、MYSQL、RDP 等任何 TCP 协议,即可支持该种协议验证。当然,仅作为一个代理采集工具,这里用不到其他协议,如果你感兴趣的话,可以试试。

3、添加了对 SOCKS4/5 代理采集、验证的支持。

4、其他众多优化……


主界面

采集 HTTP 代理 

多线程验证 Http 代理有效性

前段时间由于某方面需要,所以需要一个此类工具,但是市面上的同类软件实在太烂、太复杂、功能繁琐、效率太低!于是就花了些时间写了一个简单的工具,现共享出来。

功能其实很简单,从指定网页采集 http 代理(自动去重复),采集完成后保存,然后可以批量验证有效性,速度极快!3-5秒可以采集到2000+代理 IP,验证速度更快,开启100线程同时验证的话,2000代理只需要20-30秒,验证完毕后会将有效代理保存为文件。

体积则极小,只有:10.5 KB (10,752 字节),秒杀市面上所有 Http 代理采集及验证类工具。

程序信息:

Name: proxy.exe

Size: 10.5 KB (10,752 字节)

MD5: EBC915DC84FA14E2D2619E9E8785263E

参数设置:

/*
Name   : King Of The Proxy (代理之王)
Version: 1.0
Author : Nuclear'Atk, url: https://lcx.cc/
Command:
         get  : 遍历 url.txt 中的链接,抓取代理保存至:proxy_tmp.txt
         check: 验证 proxy_tmp.txt,将可用代理保存至:proxy.txt
                设置线程数[

简要说明:

proxy.exe: 主程序,不解释了……

url.txt: 存放需要采集的网址(完美的提取规则,几乎兼容所有代理发布站),一行一个。

proxy_tmp.txt: 默认不存在,采集时会自动生成,结果结果保存至此文件,之后用于验证代理。

proxy.txt: 默认不存在,验证代理的时候自动生成,有效代理会保存于此文件。

实际例子:

proxy.exe get    //开始采集

proxy.exe check 100 //启动100个线程验证采集结果,并保存有效代理

下载地址:

King Of The Proxy (代理之王) v1.0

King Of The Proxy (代理之王) v1.1  [2012-09-08 09:38:14:更新采集规则,支持更多代理发布站]

2012-12-23 15:38:14 补充一个用法:

可以参照“为何互联网上会存在大量代理服务器?代理发布站的代理是哪里来的?”的内容,利用s扫描器扫描海量IP的:8080、80 等端口,以如下格式保存到“proxy_tmp.txt”,然后使用本程序进行批量验证。

格式:

ip:port

例子:

31.41.8.68:8080
36.68.143.210:3128
36.73.41.213:8080
41.32.163.173:8080
41.73.2.35:8080
41.78.103.42:8080
41.78.239.1:8080
41.78.239.194:8080
41.89.130.2:3128
41.164.142.154:3128
41.196.174.196:80
41.203.89.186:8080
41.203.89.245:8080
41.203.92.50:8080
42.62.5.115:13258
42.121.14.229:8080
46.4.117.210:80
46.21.74.242:8080

2015-7-3 09:45:48 补充:

关于本程序所使用的最大化兼容各种http代理发布站的通用采集方法:

ID:7678 昵称:- 时间:2015-07-01 08:55:31 IP:211.101.130.* 文章:点此浏览该文章

留言内容:

可以请教一下您的采集思路吗,就是做最大化的采集兼容,我自己写过一个javascript脚本来测试采集各种网站,效果都不理想

站长回复:

很简单,抓取到html源代码后,使用正则把所有html标签(]*>)、非数字字符、回车换行空格制表符等字符替换为“:”,再把所有两个及两个以上的连续“:”替换为一个。

例如页面:http://www.cz88.net/proxy/,网页源代码处理完后效果为:

……省略……
::HTTP代理列表:::HTTP代理列表1::HTTP代理列表2::HTTP代理列表3::HTTP代理列表4::HTTP代理列表5::HTTP代理列表6::HTTP代理列表7::HTTP代理列表8::HTTP代理列表9::HTTP代理列表10:::SOCKS代理列表:::SOCKS4代理列表1::SOCKS4代理列表2::SOCKS4代理列表3::SOCKS5代理列表1::SOCKS5代理列表2:::varcpro_id="u1919411";(window["cproStyleApi"]=window["cproStyleApi"]||{})[cpro_id]={at:"3",rsi0:"250",rsi1:"300",pat:"6",tn:"baiduCustNativeAD",rss1:"#FFFFFF",conBW:"1",adp:"1",ptt:"0",titFF:"%E5%BE%AE%E8%BD%AF%E9%9B%85%E9%BB%91",titFS:"14",rss2:"#000000",piw:"0",pih:"0",ptp:"0"}:::::HTTP代理列表(一)::发布日期:2015-7-3:::IP:端口:类型:地址::117.165.214.189:8123:透明:江西省萍乡市移动:218.206.207.35:55336:透明:河南省濮阳市移动:175.43.123.14:55336:透明:福建省泉州市联通:91.121.103.144:3128:透明:法国OVHSAS:183.141.168.70:3128:透明:浙江省嘉兴市电信:111.1.46.170:55336:透明:浙江省杭州市移动:124.202.182.198:8118:透明:北京市电信通:112.17.1.32:55336:透明:浙江省宁波市移动:49.90.34.80:3128:透明:江苏省南京市电信:112.253.36.90:55336:透明:山东省联通:221.6.92.18:55336:透明:江苏省苏州市联通:117.170.173.215:8123:透明:江西省移动:112.80.30.20:55336:透明:江苏省南京市联通:171.107.82.135:55336:透明:广西百色市电信:112.253.36.159:55336:透明:山东省联通:175.22.4.154:55336:透明:吉林省长春市联通:112.253.36.151:55336:透明:山东省联通:113.207.63.28:55336:透明:重庆市网宿科技联通CDN节点:14.139.181.130:3130:透明:印度国家教育网:112.25.49.130:55336:透明:江苏省南京市移动:39.177.105.27:8123:透明:北京市移动:113.207.35.4:55336:透明:重庆市联通:175.22.4.138:55336:透明:吉林省长春市联通:111.1.54.69:55336:透明:浙江省杭州市移动:186.46.185.186:8080:透明:厄瓜多尔CZ88.NET:58.220.2.156:80:透明:江苏省扬州市电信:110.176.105.222:80:透明:山西省太原市电信:112.25.49.137:55336:透明:江苏省南京市移动:111.12.13.171:55336:透明:广西南宁市移动:177.75.236.5:8080:透明:巴西CZ88.NET:218.206.207.42:55336:透明:河南省濮阳市移动:117.173.21.83:8123:透明:四川省雅安市移动:221.195.4.186:55336:透明:河北省沧州市青县联通:218.7.121.213:55336:透明:黑龙江省佳木斯市联通:112.90.35.87:55336:透明:广东省珠海市联通:117.164.146.43:8123:透明:江西省赣州市移动:112.25.10.138:55336:透明:江苏省南京市移动:112.253.36.69:55336:透明:山东省联通:117.167.51.6:8123:透明:江西省鹰潭市移动:49.94.145.151:80:透明:江苏省南京市电信:111.1.54.70:55336:透明:浙江省杭州市移动:223.86.213.15:8123:透明:四川省广元市移动:95.85.33.63:3128:透明:俄罗斯CZ88.NET:120.198.243.83:80:透明:广东省移动:124.202.181.110:8118:透明:北京市电信通:223.82.238.31:8123:透明:江西省鹰潭市移动:112.25.44.56:55336:透明:江苏省南京市移动:39.158.200.165:8123:透明:江西省上饶市移动:112.25.49.30:55336:透明:江苏省南京市移动:221.6.92.30:55336:透明:江苏省苏州市联通:175.22.4.133:55336:透明:吉林省长春市联通:223.99.249.35:55336:透明:山东省移动:198.11.181.176:8088:透明:美国加利福利亚州圣克拉拉谷阿里云数据中心:117.175.108.83:8123:透明:四川省宜宾市移动:221.204.246.166:55336:透明:山西省太原市联通IDC机房:119.167.197.68:55336:透明:山东省青岛市联通:182.160.121.116:8080:透明:孟加拉CZ88.NET:111.1.46.164:55336:透明:浙江省杭州市移动:117.164.52.158:8123:透明:江西省抚州市移动:218.206.207.32:55336:透明:河南省濮阳市移动:175.22.4.149:55336:透明:吉林省长春市联通:122.96.59.104:843:透明:江苏省南京市联通:122.96.59.106:80:透明:江苏省南京市联通:117.173.20.40:8123:透明:四川省雅安市移动:112.25.62.21:55336:透明:江苏省南京市移动:39.179.68.181:8123:透明:北京市移动:213.185.81.248:80:透明:德国CZ88.NET:223.82.244.1:55336:透明:江西省抚州市移动:221.6.92.23:55336:透明:江苏省苏州市联通:218.92.227.171:18888:透明:江苏省盐城市网宿科技电信CDN节点:112.17.1.38:55336:透明:浙江省宁波市移动:111.8.179.190:9797:透明:湖南省岳阳市移动:58.215.114.155:55336:透明:江苏省无锡市电信:120.194.185.99:9797:透明:河南省焦作市移动:183.22.130.119:8090:透明:广东省东莞市电信:112.25.44.59:55336:透明:江苏省南京市移动:117.177.171.143:8123:透明:四川省广元市移动:223.99.249.67:55336:透明:山东省移动:112.25.62.3:55336:透明:江苏省南京市移动:117.163.122.78:8123:透明:江西省九江市移动:39.177.188.226:8123:透明:北京市移动:111.8.3.107:55336:透明:湖南省长沙市移动:212.94.116.34:1920:透明:俄罗斯CZ88.NET:139.214.113.78:55336:透明:吉林省联通:60.210.17.227:55336:透明:山东省淄博市联通:119.167.234.31:55336:透明:山东省青岛市联通:221.10.102.203:81:透明:四川省德阳市联通:218.92.227.173:33976:透明:江苏省盐城市网宿科技电信CDN节点:117.165.86.165:8123:透明:中国移动:112.253.36.142:55336:透明:山东省联通:::::版权所有Copyright
……省略……

最后使用匹配“ip:port”的正则表达式提取即可。

此方法通杀所有html纯源码格式输出的代理发布站,对js动态加密、图片输出的无效(无通用采集方法)。

留言评论(旧系统):

【匿名者】 @ 2012-09-04 02:00:09

难怪前几天转帖ip正则表达式

本站回复:

正则倒是小事,难的是如何兼容各种网站的数据格式。

【匿名者】 @ 2012-09-05 10:49:38

能不能写一个socks代理采集验证工具呢?

本站回复:

可以采集socks代理,但是会当做http代理验证。单独写一个socks采集验证工具,我觉得意义不大……

【匿名者】 @ 2012-09-05 12:56:51

大牛,你的工具被360报了~不过依然支持你咯~

本站回复:

360从来不被作为病毒查杀标准。

【匿名者】 @ 2012-09-07 22:50:30

兼容性依旧存在一点小问题,url:http://www.sooip.cn/zuixindaili/2012-09-07/3042.html

本站回复:

已更新采集规则,请下载:King Of The Proxy (代理之王) v1.1

【匿名者】 @ 2012-09-09 13:35:12

anonymous' level test?

本站回复:

Not, they are just automatic message program.

【匿名者】 @ 2012-09-13 11:36:09

卧槽 有毒

本站回复:

360不被作为病毒查杀标准。

【匿名者】 @ 2012-09-15 13:39:24

根跟大牛的提示,和你写的一篇关于IP正规的文章,我用PHP也写了一个这样的程序,嘿嘿..

本站回复:

很好,自己动手、丰衣足食。

【匿名者】 @ 2012-09-22 18:57:00

打开一闪而过

本站回复:

晕,这是控制台程序,需要在控制台环境运行,你直接打开自然立刻退出了。

佚名 @ 2012-11-20 14:01:08

360报病毒

本站回复:

360从来不被作为查杀标准,信不过删了便是…… ╮(╯_╰)╭

蓝仁 @ 2013-07-12 18:51:22

下载了这个代理采集的,不过数量有些少,check之后,只有189了~
不过还是感谢一下楼主~

本站回复:

代理的有效率跟你采集目标网址的数据质量有关,建议采集更新快质量高的站点。
也有可能是如果你网速不够快,并发验证线程太多的话,会导致网络拥堵,造成很多误判,可以试试把线程调小点。

佚名 @ 2013-09-24 11:18:33

今天才发现这个牛逼的小工具.求gui版本.....
如果没有时间做,那请教一个问题,就是如何做到兼容网站格式的,觉得这太神奇了,求指点.

本站回复:

没有gui版本,因为功能简单,划不来做gui版本。关于兼容网站格式,因为本人用了一种很猥琐、很变态的提取方法……

佚名 @ 2013-12-10 15:20:58

站长你的这个我在win8打不开!!!闪推

本站回复:

参考留言 ID 2400:
晕,这是控制台程序,需要在控制台环境运行,你直接打开自然立刻退出了。

佚名 @ 2014-03-14 14:56:11

http://www.cnproxy.com/这个网站的不能抓呀

本站回复:

这个网站代理端口采用的javascript方式输出(还有的站点直接是图片),所以格式很另类,不能兼容。

proxyking @ 2014-06-25 17:29:54

GUD版本:http://service.caotouhuang.com/

本站回复:

经测试,完全支持采集该站~

佚名 @ 2014-06-25 18:59:25

XP运行闪退

本站回复:

参考留言 ID 2400:
晕,这是控制台程序,需要在控制台环境运行,你直接打开自然立刻退出了。

小和 @ 2014-06-27 19:48:56

楼主 我无法下载软件!!!

本站回复:

使用浏览器下载、或下载工具下载均可,目测没问题,建议检查你浏览器或下载工具或网络问题。

边缘边缘边缘 @ 2014-07-20 16:11:56

请问楼主什么语言写的?个人猜测可能是java或者c。
能开源么?想学习下源码

本站回复:

编程语言:vb 6.0,源码暂不开源。
如果您非常喜欢这个程序的话,可以加我QQ:624118310进行交流,可以给你关键部分源码用做学习交流。

佚名 @ 2014-08-07 22:30:48

大牛,我用批处理调用这个程序验证代理,为什么有时验证完了以后线程不能全部退出,一直停住不动,这样后面的批处理命令就不能执行了,有办法解决吗,请指教

本站回复:

有这样的问题?经过我测试很稳定啊,加Q:624118310,截图。

Ra1nShine @ 2014-09-20 11:26:24

“VB使用多线程时,一切控件都是不安全的” 我忘了在哪里看到的了,不过确实……

本站回复:

很少用到控件~而且vb多线程现在很成熟,十分稳定。

RainShine @ 2014-09-21 09:56:52

电脑忘关了.....=.=
查一下壳,再脱一下壳......
您也是用的VB6嘛....我多线程写得不好😓

本站回复:

没明白你意思~

- @ 2015-07-01 08:55:31

可以请教一下您的采集思路吗,就是做最大化的采集兼容,我自己写过一个javascript脚本来测试采集各种网站,效果都不理想

本站回复:

很简单,抓取到html源代码后,使用正则把所有html标签(]*>)、非数字字符、回车换行空格制表符等字符替换为“:”,再把所有两个及两个以上的连续“:”替换为一个。
例如页面:http://www.cz88.net/proxy/,网页源代码处理完后效果为:
----------
……省略……
::HTTP代理列表:::HTTP代理列表1::HTTP代理列表2::HTTP代理列表3::HTTP代理列表4::HTTP代理列表5::HTTP代理列表6::HTTP代理列表7::HTTP代理列表8::HTTP代理列表9::HTTP代理列表10:::SOCKS代理列表:::SOCKS4代理列表1::SOCKS4代理列表2::SOCKS4代理列表3::SOCKS5代理列表1::SOCKS5代理列表2:::varcpro_id="u1919411";(window["cproStyleApi"]=window["cproStyleApi"]||{})[cpro_id]={at:"3",rsi0:"250",rsi1:"300",pat:"6",tn:"baiduCustNativeAD",rss1:"#FFFFFF",conBW:"1",adp:"1",ptt:"0",titFF:"%E5%BE%AE%E8%BD%AF%E9%9B%85%E9%BB%91",titFS:"14",rss2:"#000000",piw:"0",pih:"0",ptp:"0"}:::::HTTP代理列表(一)::发布日期:2015-7-3:::IP:端口:类型:地址::117.165.214.189:8123:透明:江西省萍乡市移动:218.206.207.35:55336:透明:河南省濮阳市移动:175.43.123.14:55336:透明:福建省泉州市联通:91.121.103.144:3128:透明:法国OVHSAS:183.141.168.70:3128:透明:浙江省嘉兴市电信:111.1.46.170:55336:透明:浙江省杭州市移动:124.202.182.198:8118:透明:北京市电信通:112.17.1.32:55336:透明:浙江省宁波市移动:49.90.34.80:3128:透明:江苏省南京市电信:112.253.36.90:55336:透明:山东省联通:221.6.92.18:55336:透明:江苏省苏州市联通:117.170.173.215:8123:透明:江西省移动:112.80.30.20:55336:透明:江苏省南京市联通:171.107.82.135:55336:透明:广西百色市电信:112.253.36.159:55336:透明:山东省联通:175.22.4.154:55336:透明:吉林省长春市联通:112.253.36.151:55336:透明:山东省联通:113.207.63.28:55336:透明:重庆市网宿科技联通CDN节点:14.139.181.130:3130:透明:印度国家教育网:112.25.49.130:55336:透明:江苏省南京市移动:39.177.105.27:8123:透明:北京市移动:113.207.35.4:55336:透明:重庆市联通:175.22.4.138:55336:透明:吉林省长春市联通:111.1.54.69:55336:透明:浙江省杭州市移动:186.46.185.186:8080:透明:厄瓜多尔CZ88.NET:58.220.2.156:80:透明:江苏省扬州市电信:110.176.105.222:80:透明:山西省太原市电信:112.25.49.137:55336:透明:江苏省南京市移动:111.12.13.171:55336:透明:广西南宁市移动:177.75.236.5:8080:透明:巴西CZ88.NET:218.206.207.42:55336:透明:河南省濮阳市移动:117.173.21.83:8123:透明:四川省雅安市移动:221.195.4.186:55336:透明:河北省沧州市青县联通:218.7.121.213:55336:透明:黑龙江省佳木斯市联通:112.90.35.87:55336:透明:广东省珠海市联通:117.164.146.43:8123:透明:江西省赣州市移动:112.25.10.138:55336:透明:江苏省南京市移动:112.253.36.69:55336:透明:山东省联通:117.167.51.6:8123:透明:江西省鹰潭市移动:49.94.145.151:80:透明:江苏省南京市电信:111.1.54.70:55336:透明:浙江省杭州市移动:223.86.213.15:8123:透明:四川省广元市移动:95.85.33.63:3128:透明:俄罗斯CZ88.NET:120.198.243.83:80:透明:广东省移动:124.202.181.110:8118:透明:北京市电信通:223.82.238.31:8123:透明:江西省鹰潭市移动:112.25.44.56:55336:透明:江苏省南京市移动:39.158.200.165:8123:透明:江西省上饶市移动:112.25.49.30:55336:透明:江苏省南京市移动:221.6.92.30:55336:透明:江苏省苏州市联通:175.22.4.133:55336:透明:吉林省长春市联通:223.99.249.35:55336:透明:山东省移动:198.11.181.176:8088:透明:美国加利福利亚州圣克拉拉谷阿里云数据中心:117.175.108.83:8123:透明:四川省宜宾市移动:221.204.246.166:55336:透明:山西省太原市联通IDC机房:119.167.197.68:55336:透明:山东省青岛市联通:182.160.121.116:8080:透明:孟加拉CZ88.NET:111.1.46.164:55336:透明:浙江省杭州市移动:117.164.52.158:8123:透明:江西省抚州市移动:218.206.207.32:55336:透明:河南省濮阳市移动:175.22.4.149:55336:透明:吉林省长春市联通:122.96.59.104:843:透明:江苏省南京市联通:122.96.59.106:80:透明:江苏省南京市联通:117.173.20.40:8123:透明:四川省雅安市移动:112.25.62.21:55336:透明:江苏省南京市移动:39.179.68.181:8123:透明:北京市移动:213.185.81.248:80:透明:德国CZ88.NET:223.82.244.1:55336:透明:江西省抚州市移动:221.6.92.23:55336:透明:江苏省苏州市联通:218.92.227.171:18888:透明:江苏省盐城市网宿科技电信CDN节点:112.17.1.38:55336:透明:浙江省宁波市移动:111.8.179.190:9797:透明:湖南省岳阳市移动:58.215.114.155:55336:透明:江苏省无锡市电信:120.194.185.99:9797:透明:河南省焦作市移动:183.22.130.119:8090:透明:广东省东莞市电信:112.25.44.59:55336:透明:江苏省南京市移动:117.177.171.143:8123:透明:四川省广元市移动:223.99.249.67:55336:透明:山东省移动:112.25.62.3:55336:透明:江苏省南京市移动:117.163.122.78:8123:透明:江西省九江市移动:39.177.188.226:8123:透明:北京市移动:111.8.3.107:55336:透明:湖南省长沙市移动:212.94.116.34:1920:透明:俄罗斯CZ88.NET:139.214.113.78:55336:透明:吉林省联通:60.210.17.227:55336:透明:山东省淄博市联通:119.167.234.31:55336:透明:山东省青岛市联通:221.10.102.203:81:透明:四川省德阳市联通:218.92.227.173:33976:透明:江苏省盐城市网宿科技电信CDN节点:117.165.86.165:8123:透明:中国移动:112.253.36.142:55336:透明:山东省联通:::::版权所有Copyright
……省略……
----------
最后使用匹配“IP:port”的正则表达式提取即可。
此方法通杀所有html纯源码格式输出的代理发布站,对js动态加密、图片输出的无效(无通用采集方法)。

佚名 @ 2015-11-15 16:56:56

python搞的效率慢啊.不知道大神这个快么.下载个

本站回复:

应该比py快得多

佚名 @ 2015-11-22 05:48:33

必须放在C盘用吗?

本站回复:

无路径要求,硬盘内任何位置即可。

佚名 @ 2015-11-26 08:00:27

c:>C:aasdproxy
Name : King Of The Proxy (代理之王)
Version: 1.1
Author : Nuclear'Atk, url: http://lcx.cc/
Command:
get : 遍历 url.txt 中的链接,抓取代理保存
check: 验证 proxy_tmp.txt,将可用代理保存至
设置线程数[proxy get
'proxy' 不是内部或外部命令,也不是可运行的程序
或批处理文件。

c:>C:aasdproxy proxy get
unknow command, please check!

c:>

本站回复:

-_-!!!

佚名 @ 2015-11-26 08:05:07

好了.解决了.路径问题不好意思

本站回复:

-_-!!!

文章来源于lcx.cc:King Of The Proxy (代理之王) v1.0 发布、HTTP代理采集、验证工具

  • 左青龙
  • 微信扫一扫
  • weinxin
  • 右白虎
  • 微信扫一扫
  • weinxin
admin
  • 本文由 发表于 2021年4月3日19:31:33
  • 转载请保留本文链接(CN-SEC中文网:感谢原作者辛苦付出):
                   King Of The Proxy (代理之王) v1.0 发布、HTTP代理采集、验证工具https://cn-sec.com/archives/323149.html

发表评论

匿名网友 填写信息