一、新建一个Scrapy项目daimg
scrapy
startproject daimg
二、进入该项目并创建爬虫文件daimgpc
cd
daimg
scrapy genspider daimgpc www.xxx.com
三、修改配置文件settings.py
ROBOTSTXT_OBEY
=
False
LOG_LEVEL
=
'ERROR'
USER_AGENT
=
"Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/111.0.0.0 Safari/537.36"
四、进入爬虫文件,编写代码
1、指定要爬取的网站
start_urls
= [
"http://www.daimg.com/photo/world/"
]
2、解析该页面获取,获取详情页网址和图片名称
列表= response.xpath(
'/html/body/div[5]/ul/li'
)
for
i
in
列表:
标题=i.xpath(
'./a/@title'
).extract_first()+
'.jpg'
详情页=i.xpath(
'./a/@href'
).extract_first()
3、爬取多页图片标题及详情页
start_urls
= [
"http://www.daimg.com/photo/world/"
]
多页url模板=
'http://www.daimg.com/photo/world/list_69_%d.html'
if self.页码<
4
:
新url=format(self.多页url模板%self.页码)
self.页码+=
1
yield scrapy.Request(url=新url,callback=self.parse)
4、解析详情页,获取图片链接
yield
scrapy.Request(url=详情页,callback=self.详情页解析)
def
详情页解析
(self,response)
:
图片地址=response.xpath(
'/html/body/div[4]/div[1]/ul[2]/img/@src'
).extract_first()
print(图片地址)
5、将图片地址和图片名称声明到items
图片名称 = scrapy.Field()
图片地址 = scrapy.Field()
6、将DaimgTiem函数导入爬虫文件
from
..items
import
DaimgItem
7、将图片地址和图片名字保存到itme对象,并提交给管道处理
itme对象=DaimgItem()
itme对象[
'图片名称'
]=标题
yield
scrapy.Request(url=详情页,callback=
self
.详情页解析,meta={
'item'
:itme
对象})
meta=response.meta
item=meta[
'item'
]
item[
'图片地址'
]=图片地址
yield
item
8、管道文件编写
from scrapy.pipelines.images import ImagesPipeline
class
DaimgPipeline
(
ImagesPipeline
):
def
get_media_requests
(
self
, item, info)
:
请求地址=item[
'图片地址'
]
yield
scrapy.Request(url=请求地址,meta={
'名称'
:item
[
'图片名称'
]})
def
file_path
(
self
, request, response=None, info=None, *, item=None)
:
保存名称=request.meta[
'名称'
]
return
保存名称
def
item_completed
(
self
, results, item, info)
:
return
item
9、配置文件填写保存的文件夹
IMAGES_STORE
=
'aiyou'
10、开启管道
ITEM_PIPELINES = {
"daimg.pipelines.DaimgPipeline"
: 300,
}
五、运行爬虫文件
scrapy
crawl daimgpc
六、运行结果
七、提高效率设置
1、线程数量,默认16
CONCURRENT_REQUESTS
=
32
2、禁止cookies
COOKIES_ENABLED
=
False
3、禁止重试
RETRY_ENABLED
=
False
4、设置超时时间
DOWNLOAD_TIMEOUT
=
10
下载:
链接: https://pan.baidu.com/s/1OJ0FWTg1bNSp9K31PLA9aw?pwd=bgk8
原文始发于微信公众号(Web安全工具库):Scrapy框架 -- 深度爬取并持久化保存图片
免责声明:文章中涉及的程序(方法)可能带有攻击性,仅供安全研究与教学之用,读者将其信息做其他用途,由读者承担全部法律及连带责任,本站不承担任何法律及连带责任;如有问题可邮件联系(建议使用企业邮箱或有效邮箱,避免邮件被拦截,联系方式见首页),望知悉。
- 左青龙
- 微信扫一扫
-
- 右白虎
- 微信扫一扫
-
评论