0x00 前言
通过上文的内容,已经把博客文章的标题及目录爬取下来了,接下来为了方便数据的保存,我们可以把这些文章的标题及目录给包装成一个数据项,也就是 items。
0x01 配置 item
先来到 items.py 文件下,对标题及目录的信息进行包装,为了对这些信息进行区别,还需要有一个 id,所以代码如下:
1 | class TeamssixItem(scrapy.Item): |
编辑好 items.py 文件后,来到 teamssix_blog_spider.py 先把刚才编辑的内容引用进来。
1 | from teamssix.items import TeamssixItem |
接着创建一个 item ,并抛出 item ,这时这个 item 就会进入到 item pipelines 中处理。
1 | item = TeamssixItem(_id = response.url,title = title,list = list) |
0x02 运行
程序中包含 item 的好处就在于可以直接把运行结果输出到文件中,直接 -o 指定导出文件名,scrapy 支持导出 json 、jsonlines 、jl 、csv 、xml 、marshal 、pickle 这几种格式。
1 | scrapy crawl blogurl -o result.json |
另外如果发现导出文件乱码,只需要在 settings.py 文件中添加下面一行代码即可。
1 | FEED_EXPORT_ENCODING = "gb18030" |
运行结果如下:
1 | ~# scrapy crawl blogurl -o result.json |
可以很明显的感受到使用 scrapy 可以很方便的将数据导出到文件中,下一篇文章将介绍如何导出到 MongoDB数据库中。
更多信息欢迎关注我的个人微信公众号:TeamsSix
参考链接:
https://youtu.be/aDwAmj3VWH4
http://doc.scrapy.org/en/latest/topics/architecture.html