【Django 学习笔记】5、常用功能 0x00 案例实现 创建的项目名称为BookManager,创建应用名称为Book,完成图书信息的维护 访问图书信息列表127.0.0.1:8000/booklist,并且点击每个图书能够跳转到对应图书人物信息界面 0x01 代码实现 2020-03-04 Python 学习笔记 学习笔记 Python Django 【Django 学习笔记】4、模板 1、在项目根目录下,创建templates目录,在templates下新建index.html文件,PyCharm将自动生成html的文件内容格式。 . ├── Book ├── BookManager └── templates 2020-03-01 Python 学习笔记 学习笔记 Python Django 【Django 学习笔记】3、视图 后台管理页面搞定之后,就需要做公共页面的访问了 对于Django的设计框架MVT: 用户在URL中请求的是视图 视图接受请求后进行处理 然后将处理的结果返回给请求者 使用视图时要进行的两步操作: 定义视图 配置URL 0x0 2020-03-01 Python 学习笔记 学习笔记 Python Django 【Django 学习笔记】2、模型 0x00 模型 当前项目的开发, 都是数据驱动的。 使用Django进行数据库开发的提示 : MVT设计模式中的Model, 专门负责和数据库交互.对应(models.py) 由于Model中内嵌了ORM框架, 所以不需要直接面向数据库 2020-02-29 Python 学习笔记 学习笔记 Python Django 【Django 学习笔记】1、基础概念和MVT架构 0x00 Django 简介 Django是Python写的开源Web开发框架,主要目的是做一个简便、快速的开发数据库驱动的网站 Django遵循MVC设计模式,在Django中有个专有名词,叫做MVT 设计模式就是前辈们在开发过程中总结出 2020-02-29 Python 学习笔记 学习笔记 Python Django 【Python Scrapy 爬虫框架】 6、继续爬虫、终止和重启任务 0x00 前言有时候我们不想只爬一个页面的,比如之前我只爬了主页,但是现在想把其他页面的也爬下来,这就是本文的任务。 0x01 修改代码在之前的基础上,修改 teamssix_blog_spider.py 文件,首先添加 start_url 2019-12-26 Python 学习笔记 学习笔记 Python Scrapy 【Python Scrapy 爬虫框架】 5、利用 pipelines 和 settings 将爬取数据存储到 MongoDB 0x00 前言前文中讲到了将爬取的数据导出到文件中,接下来就在前文的代码基础之上,将数据导出到 MongoDB中。 0x01 配置 pipelines.py首先来到 pipelines.py 文件下,在这里写入连接操作数据库的一些功能。 将 2019-12-26 Python 学习笔记 学习笔记 Python Scrapy 【Python Scrapy 爬虫框架】 4、数据项介绍和导出文件 0x00 前言通过上文的内容,已经把博客文章的标题及目录爬取下来了,接下来为了方便数据的保存,我们可以把这些文章的标题及目录给包装成一个数据项,也就是 items。 0x01 配置 item先来到 items.py 文件下,对标题及目录的信 2019-12-26 Python 学习笔记 学习笔记 Python Scrapy 【Python Scrapy 爬虫框架】 3、利用 Scrapy 爬取博客文章详细信息 0x00 写在前面在之前的文章中,会发现如果直接使用爬取命令,终端会回显很多调试信息,这样输出的内容就会显得很乱,所以就可以使用下面的命令: scrapy crawl blogurl -s LOG_FILE=all.log 也 2019-12-26 Python 学习笔记 学习笔记 Python Scrapy 【Python Scrapy 爬虫框架】 2、利用 Scrapy 爬取我的博客文章标题链接 0x00 新建项目在终端中即可直接新建项目,这里我创建一个名称为 teamssix 的项目,命令如下: scrapy startproject teamssix 命令运行后,会自动在当前目录下生成许多文件,如下所示: teamssix 2019-12-24 Python 学习笔记 学习笔记 Python Scrapy 【Python Scrapy 爬虫框架】 1、简介与安装 0x00 简介下图展示了 Scrapy 的体系结构及其组件概述,在介绍图中的流程前,先来简单了解一下图中每个组件的含义。 EngineEngine 负责控制系统所有组件之间的数据流,并在某些操作发生时触发事件。 SchedulerSche 2019-12-24 Python 学习笔记 学习笔记 Python Scrapy 【Python 学习笔记】 异步IO (asyncio) 协程 0x00 前言之前对协程早有耳闻,但一直没有去学习,今天就来学习一下协程,再次感谢莫烦的教程。 可以交给asyncio执行的任务被称为协程, asyncio 即异步的意思,在 Python3 中这是一个仅使用单线程就能达到多线程、多进程效果 2019-12-20 Python 学习笔记 Python 协程 异步IO 【Python 学习笔记】多进程爬虫 0x00 前言前段时间学习了多线程,但在实际的情况中对于多线程的速度实在不满意,所以今天就来学学多进程分布式爬虫,在这里感谢莫烦的Python教程。 0x01 什么是多进程爬虫在讲述多进程之前,先来回顾一下之前学习的多线程。 对于多线程可 2019-12-20 Python 学习笔记 Python 多进程 分布式 【Python Threading 学习笔记】6、锁lock 往期内容: 1、什么是多线程? 2、添加线程 3、join功能 4、Queue功能 5、不一定有效率GIL 0x00 关于线程锁lock多线程和多进程最大的不同在于,多进程中,同一个变量,各自有一份拷贝存在于每个进程中,互不影响,而多线程中 2019-11-05 Python 学习笔记 学习笔记 Python 多线程 【Python Threading 学习笔记】5、不一定有效率GIL 往期内容: 1、什么是多线程? 2、添加线程 3、join功能 4、Queue功能 0x00 关于GILGIL的全称是Global Interpreter Lock(全局解释器锁),来源是python设计之初的考虑,为了数据安全所做的决定。 2019-11-04 Python 学习笔记 学习笔记 Python 多线程 【Python Threading 学习笔记】4、Queue功能 往期内容: 1、什么是多线程? 2、添加线程 3、join功能 0x00 关于Queuequeue模块实现了各种【多生产者-多消费者】队列,可用于在执行的多个线程之间安全的交换信息。 queue的常用方法: q.size():返回队列的正 2019-11-03 Python 学习笔记 学习笔记 Python 多线程 【Python Threading 学习笔记】3、join功能 往期内容: 1、什么是多线程? 2、添加线程 0x00 不使用join()的结果首先在上一节的示例基础上进行简单修改 import time import threading def thread_jobs(): # 定义要添加的线程 2019-11-02 Python 学习笔记 学习笔记 Python 多线程 【Python Threading 学习笔记】2、添加线程 往期内容:1、什么是多线程? 这一节主要学习Threading模块的一些基本操作,如获取线程数,添加线程等。 首先导入Threading模块 import threading 获取已激活的线程数 threading.active_coun 2019-11-01 Python 学习笔记 学习笔记 Python 多线程