0x00 前言有时候我们不想只爬一个页面的，比如之前我只爬了主页，但是现在想把其他页面的也爬下来，这就是本文的任务。 0x01 修改代码在之前的基础上，修改 teamssix_blog_spider.py 文件，首先添加 start_url

0x00 前言前文中讲到了将爬取的数据导出到文件中，接下来就在前文的代码基础之上，将数据导出到 MongoDB中。 0x01 配置 pipelines.py首先来到 pipelines.py 文件下，在这里写入连接操作数据库的一些功能。 将

0x00 前言通过上文的内容，已经把博客文章的标题及目录爬取下来了，接下来为了方便数据的保存，我们可以把这些文章的标题及目录给包装成一个数据项，也就是 items。 0x01 配置 item先来到 items.py 文件下，对标题及目录的信

0x00 写在前面在之前的文章中，会发现如果直接使用爬取命令，终端会回显很多调试信息，这样输出的内容就会显得很乱，所以就可以使用下面的命令： scrapy crawl blogurl -s LOG_FILE=all.log 也

0x00 新建项目在终端中即可直接新建项目，这里我创建一个名称为 teamssix 的项目，命令如下： scrapy startproject teamssix 命令运行后，会自动在当前目录下生成许多文件，如下所示： teamssix

0x00 简介下图展示了 Scrapy 的体系结构及其组件概述，在介绍图中的流程前，先来简单了解一下图中每个组件的含义。 EngineEngine 负责控制系统所有组件之间的数据流，并在某些操作发生时触发事件。 SchedulerSche

声明：本文仅用作技术交流学习分享用途，严禁将本文中涉及到的技术用法用于违法犯罪目的。 0x00 漏洞说明SSRF (Server-Side Request Forgery) 即服务端请求伪造，从字面意思上理解就是伪造一个服务端请求，也即是说

0x00 前言之前对协程早有耳闻，但一直没有去学习，今天就来学习一下协程，再次感谢莫烦的教程。 可以交给asyncio执行的任务被称为协程， asyncio 即异步的意思，在 Python3 中这是一个仅使用单线程就能达到多线程、多进程效果

0x00 前言前段时间学习了多线程，但在实际的情况中对于多线程的速度实在不满意，所以今天就来学学多进程分布式爬虫，在这里感谢莫烦的Python教程。 0x01 什么是多进程爬虫在讲述多进程之前，先来回顾一下之前学习的多线程。 对于多线程可

声明：文中所使用的环境均为内网环境，本文仅用于学习交流目的，严禁将本文中的技术用于违法犯罪目的。 0x00 关于XXE0、XML是什么XXE（XML External Entity Injection）全称为 XML 外部实体注入，XXE的

注：本文中使用的域名是不存在DNS域传送漏洞的，本文仅用作技术交流学习用途，严禁将该文内容用于违法行为。 0x00 漏洞描述DNS: 网域名称系统（英文：Domain Name System，缩写：DNS）是互联网的一项服务。 它作为将域

子域名监听工具：https://github.com/guimaizi/get_domain，新出来的子域名往往漏洞较多 关于挖掘src漏洞: 白帽子主要是寻找扫描器和风控系统覆盖不到的地方，比如domxss、越权漏洞和逻辑漏洞