【奇技淫巧】利用Zgrab绕CDN找真实IP

安装 zmap：

yum install zmap git wget

安装go：

wget https://storage.googleapis.com/golang/go1.8.1.linux-amd64.tar.gz tar -C /usr/local -xzf go1.8.1.linux-amd64.tar.gzexport PATH=$PATH:/usr/local/go/binexport GOPATH=/usr/local/go/bin/

安装Zgrab：

go get github.com/zmap/zgrab cd $GOPATH/src/github.com/zmap/zgrab go build

以抓取www.abc.com为例子:

cd $GOPATH/src/github.com/zmap/zgrab

修改http请求头：

vi http-req

格式一般为：

GET / HTTP/1.1
Host: www.abc.com
（空行）

可以参考RFC 2616：

https://tools.ietf.org/html/rfc2616
如果要抓取具体页面，比如

www.abc.com/abc/

GET /abc/ HTTP/1.1
Host: www.abc.com
（空行）

下载目标地区的ip地址列表：（国区为例）

wget http://www.ipdeny.com/ipblocks/data/countries/cn.zone

Zmap扫描开放的80口：

zmap -w cn.zone -p 80 -B 200M -o cn.80

（-i 指定interface -B 速度）

扫全球的话：

wget http://www.ipdeny.com/ipblocks/data/countries/all-zones.tar.gz tar zxvf all-zones.tar.gz cat *.zone | zmap -p 80 -B 200M -o world.80

扫完的80端口保留在-o的输出文件中，然后我们用Zgrab批量抓：

cat cn.80 | ./zgrab --port 80 -http-user-agent="Mozilla/5.0 (Macintosh; Intel Mac OS X 10_12_2) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/55.0.2883.95 Safari/537.36" -timeout=30 -senders=2000 -data="./http-req" --output-file=cnresult.txt

一般200M的网速sender可以在2K-3K 供参考，实际速度取决于网络质量、硬盘I/O 。
对于443的https：（当然zmap要抓443）

cat cn.443 | ./zgrab --port 443 --tls -http-user-agent="Mozilla/5.0 (Macintosh; Intel Mac OS X 10_12_2) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/55.0.2883.95 Safari/537.36" -timeout=30 -senders=2000 -data="./http-req" --output-file=cnresult.txt

扫完以后筛选
随便找个特别的关键字：

cat cnresult.txt |grep -E "关键词"  cnpr.txt

去掉阿里云高防ip，CF代理ip：

sed -e '/aliyungf/d' cnpr.txt  cn.target sed -e '/cfduid/d' cnpr.txt  cn.target