解决ip封禁! 新手也能搭建简单的代理池

黑客视频教程免费看

扫码免费看

---

本章亮点：

• 创建自己的代理池

• 提供批量爬取代理思路 及 方法

• 解决代理利用率低问题 o(￣▽￣)o

• 没有代理可循。

• 代理可用性低

• 手动单个测试代理IP是否可用（耗时费力）。

• 没有代码功底，不知如何创建代理池

先来插一一句话，本篇文章以照顾新手为主，讲的比较慢，大佬们可以直接下滑到底部下载我的源码，进行修改哦~

我们是基于爬虫基础上进行代理池创建的，

所以我们要对爬虫的节点选择要有一些了解，

并且找到一个或多个提供免费代理的网站

我们是基于爬虫基础上进行代理池创建的

如果对爬虫节点的选择没有了解，也没关系，本章会介绍部分节点选择的方法

一.寻找提供免费代理的网站

---

(1.)确定IP节点：

将鼠标随机放到一个IP上 直接右键->检查 我们就可以找到IP对应的节点了。

(2.)确定PORT节点
方法同上

我们分析一下：

• <tr>看作祖节点

• <td>父节点

• <a>子节点
  <tr>节点下有许许多多的子节点<td>，而IP位于第一个<td>节点中的<a>节点中，也就是<tr>节点的孙节点
  其中<a>节点有一个target属性 他的值为 “_blank” 这个可以更方便我们去定位此节点
  PORT是位于第二个<td>节点上 也就是第一个<td>的兄节点

分析完之后我们就开始构建脚本吧

import requests
fro

这两个库没有安装的小伙伴可以先安装一下，我记得安装起来应该挺简单的

为什么不用selenium库呢？

虽然selenium库极其强大，但是用于创建代理池就有点小题大做了，而且运行起来也没有这两个库运行的快，安装起来也比较麻烦一点

我们将这些操作都放到一个函数中去

def get_url():
 url ='https://ip.ihuan.me/address/5Lit5Zu9.html?page=b97827cc'
 html = requests.get(url).text
 html = etree.HTML(html)

这样就够建好了html为解析对象

result = html.xpath('//td[2]/text()')
 result2 = html.xpath('//td/a[@target="_blank"]/text()')

//td/a[@target=”_blank”]/text() 选中<td>节点下 target属性为_blank的子节点<a>，text()获取其文本 则result2 = “我们需要的IP”

//td[2]/text() 选择第二个<td>节点，获取文本内容 resul = “端口”

for a,b in zip(result2,result):
 PORT = b
 IP = a
 DL =(a +':'+b)
with open ('DL.txt','a')as f:
 f.write(DL +"n")

DL = “IP”:”PORT” 格式

运行后生成的文本内容为这个样子：

lists =['5crfe930','4ce63706','b97827cc']
def get_url(page):
 url ='https://ip.ihuan.me/address/5Lit5Zu9.html?page='+ page
 html = requests.get(url).text

 html = etree.HTML(html)
 result = html.xpath('//td[2]/text()')
 result2 = html.xpath('//td/a[@target="_blank"]/text()')

for a,b in zip(result2,result):
 PORT = b
 IP = a
 DL =(a +':'+b)
with open ('DL.txt','a')as f:
 f.write(DL +"n")

这里引用了lists列表，简单的循环三次请求，分别请求前三页的网址。因为page后的值被加密了 短时间内很难找到规律。

不过当我们调用动态渲染的话（selenium库）就可以完美解决这个问题了，即可实现无视加密 放肆抓取的效果。

这里我就偷个懒了，0基础的萌新也很难看懂selenium库的使用，

所以为了提高效率 我干脆用这种最直白的方法给你们爬一下。

def check(DL):
 url ='http://%s'% DL.rstrip()
try:
 result = requests.get(url,timeout=5)
print(DL +"代理可用")
except:
print('代理不可用')

这样子就很舒服啦，我们设置一个发送一个请求，

如果请求超时5秒，那么直接回显此代理不可用，

如果5秒内请求成功，那么则证明此代理可用，并且将可用代理回显出来。

这里也可以用状态码（status_code）来进行验证 比较好用，

我嫌麻烦懒得那么写了，

因为并不是只有状态码为[200]的代理可用 其实[400]的也可以用。

for i in lists:
 get_url(i)

with open('DL.txt','r')as F:
Str= F.readlines()
for DL inStr:
 check(DL)

将lists中的page遍历到url中去，你列表写的越多，爬取的页面也就越多。

然后我们爬取的代理都会存放到与脚本的同目录下，DL.txt

将代理从文本中遍历到check()函数中去

所以最终的代码是这个样子的：

import requests
from lxml import etree

def get_url(page):
 url ='https://ip.ihuan.me/address/5Lit5Zu9.html?page='+ page
 html = requests.get(url).text

 html = etree.HTML(html)
 result = html.xpath('//td[2]/text()')
 result2 = html.xpath('//td/a[@target="_blank"]/text()')

for a,b in zip(result2,result):
 PORT = b
 IP = a
 DL =(a +':'+b)
with open ('DL.txt','a')as f:
 f.write(DL +"n")


def check(DL):
 url ='http://%s'% DL.rstrip()
try:
 result = requests.get(url,timeout=5)
print(DL +"可用")
except:
print('不可用')


lists =['5crfe930','4ce63706','b97827cc']
for i in lists:
 get_url(i)

with open('DL.txt','r')as F:
Str= F.readlines()
for DL inStr:
 check(DL)

然后我们来执行一下：

源码有需要，后台回复“源码”即可

黑客视频教程录播+进内部群+黑客工具+攻防靶场

扫下方二维码直接领各资料

扫码免费领资料

（正在为你配置合适的助教）

往期内容回顾

手把手教你如何远程监听他人手机

八款白嫖的开发安全测试工具

黑信息提取工具！Linux的各类密码提取

原文始发于微信公众号（白帽子左一）：解决ip封禁! 新手也能搭建简单的代理池