0x00 前言前文中讲到了将爬取的数据导出到文件中,接下来就在前文的代码基础之上,将数据导出到 MongoDB中。0x01 配置 pipelines.py首先来到 pipelines.py 文件下,在...
Python Scrapy 爬虫框架 | 6、继续爬虫、终止和重启任务
0x00 前言有时候我们不想只爬一个页面的,比如之前我只爬了主页,但是现在想把其他页面的也爬下来,这就是本文的任务。0x01 修改代码在之前的基础上,修改 teamssix_blog_spider.p...
Python Scrapy 爬虫框架 | 4、数据项介绍和导出文件
0x00 前言通过上文的内容,已经把博客文章的标题及目录爬取下来了,接下来为了方便数据的保存,我们可以把这些文章的标题及目录给包装成一个数据项,也就是 items。0x01 配置 item先来到 it...
2