python工具学习-子域名收集工具

https://phpinfo.me/domain/

url = "https://cn.bing.com/search?q=site%3a" + site + "&go=Search&qs=ds&first=" + str((int(i) - 1) * 10) + "&FORM=PERE"

if __name__ == '__main__':    main()

#! /usr/bin/env python# _*_  coding:utf-8 _*_
import requests  #请求url相关from bs4 import BeautifulSoup  #用于爬取网页中的数据的模块from urllib.parse import urlparse  #处理url相关import sysimport time
def bing_search(site,pages):    Subdomain = []  #建立一个列表，装子域名    headers = {   #伪装一个请求头，这样更真实一些，搜索引擎不会直接断掉搜索        'User-Agent': 'Mozilla/5.0 (X11; Linux x86_64; rv:68.0) Gecko/20100101 Firefox/68.0',        'Accept': 'text/html,application/xhtml+xml,application/xml;q=0.9,*/*;q=0.8',        'Accept-Language': 'en-US,en;q=0.5',        'Accept-Encoding': 'gzip,deflate',        'Referer': "https://cn.bing.com/search?q=site%3abaidu.com&qs=n&sp=-1&pq=site%3abaidu.com&sc=0-14&sk=&cvid=8D311FFA33984B8A9E5F0C2F0308C40E&first=1&FORM=PERE",        'Cookie': "MUID=3B16E5BB57DC6D5300C5EACA56F26CF1; MUIDB=3B16E5BB57DC6D5300C5EACA56F26CF1; _EDGE_S=F=1&SID=10751AC54EAB619433FE15B44F856024&mkt=zh-cn; _EDGE_V=1; SRCHD=AF=NOFORM; SRCHUID=V=2&GUID=64FD5CC7783F4B1D89298A27EE989D36&dmnchg=1; SRCHUSR=DOB=20201028&T=1603843719000; _SS=SID=10751AC54EAB619433FE15B44F856024&bIm=113; SRCHHPGUSR=CW=1322&CH=670&DPR=1&UTC=-240&DM=1&WTS=63739440510&HV=1603844080&BRW=M&BRH=S; ipv6=hit=1603847309782&t=6"    }    for i in range(1,int(pages)+1):  #多少页就请求多少次        url = "https://cn.bing.com/search?q=site%3a" + site + "&go=Search&qs=ds&first=" + str((int(i) - 1) * 10) + "&FORM=PERE"        html = requests.get(url,headers=headers,timeout=5)       #进行一次get请求,并且附带headers属性，值就是我们之前设置的headers        # print(html)  代码测试,每完成一个功能，都应该输出一下测试代码，下面备注的print都是测试        soup = BeautifulSoup(html.content,'html.parser')        # print(soup)        #这里使用.content方式保存请求的url，用text的有可能会出现汉字乱码        #content返回的是二进制的数据，需要再解码，text返回的是unicode类型的数据        #BeautifulSoup将html.content的内容解码  格式为soup=beautifulsoup(解析内容,解析器)  常用解析器：html.parser,lxml,xml,html5lib，一般用第一个即可        jobdir = soup.findAll('h2')        # print(jobdir)        # 将获取到的内容存放到变量中        #利用findall进行标签的筛选，域名存放在H2标签里面,        for i in jobdir:            # print(i) #测试打印            link= i.a.get('href')            # #将h2标签里面的a属性中的href值获取出来            # print(link)   #这里测试，当发起大量请求的时候，有很多链接失败的返回来，导致于会报错。解决办法是在上面的请求里面添加一个timeout，另外查到说，改为国内源即可            domain = str(urlparse(link).scheme + "://" + urlparse(link).netloc)            #urlparse模块主要是用于解析url中的参数  对url按照一定格式进行 拆分或拼接            # print(domain)  进行代码测试            if domain in Subdomain:  #进行一下过滤去重                pass            else:                Subdomain.append(domain)  #如果发现的域名不存在subdomain列表中，则添加                print(domain)            time.sleep(0.1)if __name__ == '__main__':    if len(sys.argv) == 3:        site = sys.argv[1]        page = sys.argv[2]    else:        print ("usage: %s baidu.com 10" % sys.argv[0])   #用户输入错误时输出格式提示        sys.exit(-1)    Subdomain = bing_search(site, page)