【Python Scrapy 爬虫框架】 5、利用 pipelines 和 settings 将爬取数据存储到 MongoDB


0x00 前言

前文中讲到了将爬取的数据导出到文件中,接下来就在前文的代码基础之上,将数据导出到 MongoDB中。

0x01 配置 pipelines.py

首先来到 pipelines.py 文件下,在这里写入连接操作数据库的一些功能。

将连接操作 mongo 所需要的包导入进来

import pymongo

接下来定义一些参数,注意下面的函数都是在 TeamssixPipeline 类下的

@classmethod
def from_crawler(cls, crawler):
    cls.DB_URL = crawler.settings.get('MONGO_DB_URI')
    cls.DB_NAME = crawler.settings.get('MONGO_DB_NAME')
    return cls()

def open_spider(self, spider):
    self.client = pymongo.MongoClient(self.DB_URL)
    self.db = self.client[self.DB_NAME]

def close_spider(self, spider):
    self.client.close()

def process_item(self, item, spider):
    collection = self.db[spider.name]
    collection.insert_one(dict(item))
    return item

0x02 配置 settings.py

ITEM_PIPELINES 是settings.py 文件自带的,把注释符号删掉就好

ITEM_PIPELINES = {
    'teamssix.pipelines.TeamssixPipeline': 300,  #优先级,1-1000,数值越低优先级越高
}
MONGO_DB_URI = 'mongodb://localhost:27017'  #mongodb 的连接 url
MONGO_DB_NAME = 'blog'  #要连接的库

0x02 运行

直接执行命令,不加参数

scrapy crawl blogurl

注意,如果原来 MongoDB 中没有我们要连接的库, MongoDB 会自己创建,就不需要自己创建了,所以还是蛮方便的,使用 Robo 3T 打开后,就能看到刚才存进的数据。

更多信息欢迎关注我的个人微信公众号:TeamsSix

参考链接:
https://youtu.be/aDwAmj3VWH4
http://doc.scrapy.org/en/latest/topics/architecture.html
https://lemmo.xyz/post/Scrapy-To-MongoDB-By-Pipeline.html


文章作者: Teams Six
版权声明: 本博客所有文章除特別声明外,均采用 CC BY 4.0 许可协议。转载请注明来源 Teams Six !
评论
 上一篇
【Python Scrapy 爬虫框架】 6、继续爬虫、终止和重启任务 【Python Scrapy 爬虫框架】 6、继续爬虫、终止和重启任务
0x00 前言有时候我们不想只爬一个页面的,比如之前我只爬了主页,但是现在想把其他页面的也爬下来,这就是本文的任务。 0x01 修改代码在之前的基础上,修改 teamssix_blog_spider.py 文件,首先添加 start_url
2019-12-26
下一篇 
【Python Scrapy 爬虫框架】 4、数据项介绍和导出文件 【Python Scrapy 爬虫框架】 4、数据项介绍和导出文件
0x00 前言通过上文的内容,已经把博客文章的标题及目录爬取下来了,接下来为了方便数据的保存,我们可以把这些文章的标题及目录给包装成一个数据项,也就是 items。 0x01 配置 item先来到 items.py 文件下,对标题及目录的信
2019-12-26
  目录