Teams Six
【Python Scrapy 爬虫框架】 4、数据项介绍和导出文件 【Python Scrapy 爬虫框架】 4、数据项介绍和导出文件
0x00 前言通过上文的内容,已经把博客文章的标题及目录爬取下来了,接下来为了方便数据的保存,我们可以把这些文章的标题及目录给包装成一个数据项,也就是 items。 0x01 配置 item先来到 items.py 文件下,对标题及目录的信
2019-12-26
【Python Scrapy 爬虫框架】 3、利用 Scrapy 爬取博客文章详细信息 【Python Scrapy 爬虫框架】 3、利用 Scrapy 爬取博客文章详细信息
0x00 写在前面在之前的文章中,会发现如果直接使用爬取命令,终端会回显很多调试信息,这样输出的内容就会显得很乱,所以就可以使用下面的命令: 1scrapy crawl blogurl -s LOG_FILE=all.log
2019-12-26
【Python Scrapy 爬虫框架】 2、利用 Scrapy 爬取我的博客文章标题链接 【Python Scrapy 爬虫框架】 2、利用 Scrapy 爬取我的博客文章标题链接
0x00 新建项目在终端中即可直接新建项目,这里我创建一个名称为 teamssix 的项目,命令如下: 1scrapy startproject teamssix 命令运行后,会自动在当前目录下生成许多文件,如下所示: 1234567891
2019-12-24
【Python Scrapy 爬虫框架】 1、简介与安装 【Python Scrapy 爬虫框架】 1、简介与安装
0x00 简介下图展示了 Scrapy 的体系结构及其组件概述,在介绍图中的流程前,先来简单了解一下图中每个组件的含义。 EngineEngine 负责控制系统所有组件之间的数据流,并在某些操作发生时触发事件。 SchedulerSche
2019-12-24
【漏洞笔记】浅谈SSRF原理及其利用 【漏洞笔记】浅谈SSRF原理及其利用
声明:本文仅用作技术交流学习分享用途,严禁将本文中涉及到的技术用法用于违法犯罪目的。 0x00 漏洞说明SSRF (Server-Side Request Forgery) 即服务端请求伪造,从字面意思上理解就是伪造一个服务端请求,也即是说
2019-12-22
【直播笔记】白帽子的成长之路 【直播笔记】白帽子的成长之路
子域名监听工具:https://github.com/guimaizi/get_domain,新出来的子域名往往漏洞较多 关于挖掘src漏洞: 白帽子主要是寻找扫描器和风控系统覆盖不到的地方,比如domxss、越权漏洞和逻辑漏洞
2019-12-01
【Python Threading 学习笔记】6、锁lock 【Python Threading 学习笔记】6、锁lock
往期内容: 1、什么是多线程? 2、添加线程 3、join功能 4、Queue功能 5、不一定有效率GIL 0x00 关于线程锁lock多线程和多进程最大的不同在于,多进程中,同一个变量,各自有一份拷贝存在于每个进程中,互不影响,而多线程中
2019-11-05
【Python Threading 学习笔记】5、不一定有效率GIL 【Python Threading 学习笔记】5、不一定有效率GIL
往期内容: 1、什么是多线程? 2、添加线程 3、join功能 4、Queue功能 0x00 关于GILGIL的全称是Global Interpreter Lock(全局解释器锁),来源是python设计之初的考虑,为了数据安全所做的决定。
2019-11-04
【Python Threading 学习笔记】4、Queue功能 【Python Threading 学习笔记】4、Queue功能
往期内容: 1、什么是多线程? 2、添加线程 3、join功能 0x00 关于Queuequeue模块实现了各种【多生产者-多消费者】队列,可用于在执行的多个线程之间安全的交换信息。 queue的常用方法: 123456789101112
2019-11-03
【Python Threading 学习笔记】3、join功能 【Python Threading 学习笔记】3、join功能
往期内容: 1、什么是多线程? 2、添加线程 0x00 不使用join()的结果首先在上一节的示例基础上进行简单修改 12345678910111213141516import timeimport threadingdef thread
2019-11-02
【Python Threading 学习笔记】2、添加线程 【Python Threading 学习笔记】2、添加线程
往期内容:1、什么是多线程? 这一节主要学习Threading模块的一些基本操作,如获取线程数,添加线程等。 首先导入Threading模块 1import threading 获取已激活的线程数 1threading.active_co
2019-11-01
【Python Threading 学习笔记】1、什么是多线程? 【Python Threading 学习笔记】1、什么是多线程?
多线程类似于同时执行多个不同程序,比如一个很大的数据,直接运行的话可能需要10秒钟才能运行完。 但如果使用Threading或者说使用多线程,我们把数据分成5段,每一段数据都放到一个单独的线程里面运算,所有线程同时开始。 这就好比原本一个
2019-10-31
3 / 3