Teams Six
【Django 学习笔记】5、常用功能 【Django 学习笔记】5、常用功能
0x00 案例实现 创建的项目名称为BookManager,创建应用名称为Book,完成图书信息的维护 访问图书信息列表127.0.0.1:8000/booklist,并且点击每个图书能够跳转到对应图书人物信息界面 0x01 代码实现
【Django 学习笔记】4、模板 【Django 学习笔记】4、模板
1、在项目根目录下,创建templates目录,在templates下新建index.html文件,PyCharm将自动生成html的文件内容格式。 . ├── Book ├── BookManager └── templates
【Django 学习笔记】3、视图 【Django 学习笔记】3、视图
后台管理页面搞定之后,就需要做公共页面的访问了 对于Django的设计框架MVT: 用户在URL中请求的是视图 视图接受请求后进行处理 然后将处理的结果返回给请求者 使用视图时要进行的两步操作: 定义视图 配置URL 0x0
【Django 学习笔记】2、模型 【Django 学习笔记】2、模型
0x00 模型 当前项目的开发, 都是数据驱动的。 使用Django进行数据库开发的提示 : MVT设计模式中的Model, 专门负责和数据库交互.对应(models.py) 由于Model中内嵌了ORM框架, 所以不需要直接面向数据库
【Django 学习笔记】1、基础概念和MVT架构 【Django 学习笔记】1、基础概念和MVT架构
0x00 Django 简介 Django是Python写的开源Web开发框架,主要目的是做一个简便、快速的开发数据库驱动的网站 Django遵循MVC设计模式,在Django中有个专有名词,叫做MVT 设计模式就是前辈们在开发过程中总结出
【Python Scrapy 爬虫框架】 6、继续爬虫、终止和重启任务 【Python Scrapy 爬虫框架】 6、继续爬虫、终止和重启任务
0x00 前言有时候我们不想只爬一个页面的,比如之前我只爬了主页,但是现在想把其他页面的也爬下来,这就是本文的任务。 0x01 修改代码在之前的基础上,修改 teamssix_blog_spider.py 文件,首先添加 start_url
【Python Scrapy 爬虫框架】 5、利用 pipelines 和 settings 将爬取数据存储到 MongoDB 【Python Scrapy 爬虫框架】 5、利用 pipelines 和 settings 将爬取数据存储到 MongoDB
0x00 前言前文中讲到了将爬取的数据导出到文件中,接下来就在前文的代码基础之上,将数据导出到 MongoDB中。 0x01 配置 pipelines.py首先来到 pipelines.py 文件下,在这里写入连接操作数据库的一些功能。 将
【Python Scrapy 爬虫框架】 4、数据项介绍和导出文件 【Python Scrapy 爬虫框架】 4、数据项介绍和导出文件
0x00 前言通过上文的内容,已经把博客文章的标题及目录爬取下来了,接下来为了方便数据的保存,我们可以把这些文章的标题及目录给包装成一个数据项,也就是 items。 0x01 配置 item先来到 items.py 文件下,对标题及目录的信
【Python Scrapy 爬虫框架】 3、利用 Scrapy 爬取博客文章详细信息 【Python Scrapy 爬虫框架】 3、利用 Scrapy 爬取博客文章详细信息
0x00 写在前面在之前的文章中,会发现如果直接使用爬取命令,终端会回显很多调试信息,这样输出的内容就会显得很乱,所以就可以使用下面的命令: scrapy crawl blogurl -s LOG_FILE=all.log 也就是在原来
【Python Scrapy 爬虫框架】 2、利用 Scrapy 爬取我的博客文章标题链接 【Python Scrapy 爬虫框架】 2、利用 Scrapy 爬取我的博客文章标题链接
0x00 新建项目在终端中即可直接新建项目,这里我创建一个名称为 teamssix 的项目,命令如下: scrapy startproject teamssix 命令运行后,会自动在当前目录下生成许多文件,如下所示: teamssix
【Python Scrapy 爬虫框架】 1、简介与安装 【Python Scrapy 爬虫框架】 1、简介与安装
0x00 简介下图展示了 Scrapy 的体系结构及其组件概述,在介绍图中的流程前,先来简单了解一下图中每个组件的含义。 EngineEngine 负责控制系统所有组件之间的数据流,并在某些操作发生时触发事件。 SchedulerSche
【Python 学习笔记】 异步IO (asyncio) 协程 【Python 学习笔记】 异步IO (asyncio) 协程
0x00 前言之前对协程早有耳闻,但一直没有去学习,今天就来学习一下协程,再次感谢莫烦的教程。 可以交给asyncio执行的任务被称为协程, asyncio 即异步的意思,在 Python3 中这是一个仅使用单线程就能达到多线程、多进程效果
【Python 学习笔记】多进程爬虫 【Python 学习笔记】多进程爬虫
0x00 前言前段时间学习了多线程,但在实际的情况中对于多线程的速度实在不满意,所以今天就来学学多进程分布式爬虫,在这里感谢莫烦的Python教程。 0x01 什么是多进程爬虫在讲述多进程之前,先来回顾一下之前学习的多线程。 对于多线程可
【Python Threading 学习笔记】6、锁lock 【Python Threading 学习笔记】6、锁lock
往期内容: 1、什么是多线程? 2、添加线程 3、join功能 4、Queue功能 5、不一定有效率GIL 0x00 关于线程锁lock多线程和多进程最大的不同在于,多进程中,同一个变量,各自有一份拷贝存在于每个进程中,互不影响,而多线程中
【Python Threading 学习笔记】5、不一定有效率GIL 【Python Threading 学习笔记】5、不一定有效率GIL
往期内容: 1、什么是多线程? 2、添加线程 3、join功能 4、Queue功能 0x00 关于GILGIL的全称是Global Interpreter Lock(全局解释器锁),来源是python设计之初的考虑,为了数据安全所做的决定。
【Python Threading 学习笔记】4、Queue功能 【Python Threading 学习笔记】4、Queue功能
往期内容: 1、什么是多线程? 2、添加线程 3、join功能 0x00 关于Queuequeue模块实现了各种【多生产者-多消费者】队列,可用于在执行的多个线程之间安全的交换信息。 queue的常用方法: q.size():返回队列的正
【Python Threading 学习笔记】3、join功能 【Python Threading 学习笔记】3、join功能
往期内容: 1、什么是多线程? 2、添加线程 0x00 不使用join()的结果首先在上一节的示例基础上进行简单修改 import time import threading def thread_jobs(): # 定义要添加的线程
【Python Threading 学习笔记】2、添加线程 【Python Threading 学习笔记】2、添加线程
往期内容:1、什么是多线程? 这一节主要学习Threading模块的一些基本操作,如获取线程数,添加线程等。 首先导入Threading模块 import threading 获取已激活的线程数 threading.active_coun
1 / 2