Scrapy是一个为了爬取网站数据，提取结构性数据而编写的应用框架。 其可以应用在数据挖掘，信息处理或存储历史数据等一系列的程序中。
其最初是为了页面抓取 (更确切来说, 网络抓取 )所设计的， 也可以应用在获取API所返回的数据(例如 Amazon Associates Web Services ) 或者通用的网络爬虫。Scrapy用途广泛，可以用于数据挖掘、监测和自动化测试。
Scrapy 使用了 Twisted异步网络库来处理网络通讯。整体架构大致如下
Scrapy主要包括了以下组件：
在Scrapy的数据流是由执行引擎控制，具体流程如下：
Scrapy运行流程大概如下：
scrapy框架分为七大部分核心的组件
1、引擎(EGINE)
引擎负责控制系统所有组件之间的数据流，并在某些动作发生时触发事件。有关详细信息，请参见上面的数据流部分。
2、调度器(SCHEDULER)
用来接受引擎发过来的请求, 压入队列中, 并在引擎再次请求的时候返回. 可以想像成一个URL的优先级队列, 由它来决定下一个要抓取的网址是什么, 同时去除重复的网址
3、下载器(DOWLOADER)
用于下载网页内容, 并将网页内容返回给EGINE，下载器是建立在twisted这个高效的异步模型上的
4、爬虫(SPIDERS)
SPIDERS是开发人员自定义的类，用来解析responses，并且提取items，或者发送新的请求
5、项目管道(ITEM PIPLINES)
在items被提取后负责处理它们，主要包括清理、验证、持久化（比如存到数据库）等操作
6、下载器中间件(Downloader Middlewares)
下载器中间件是在引擎及下载器之间的特定钩子(specific hook)，处理Downloader传递给引擎的response。 其提供了一个简便的机制，通过插入自定义代码来扩展Scrapy功能。
7、爬虫中间件(Spider Middlewares)
Spider中间件是在引擎及Spider之间的特定钩子(specific hook)，处理spider的输入(response)和输出(items及requests)。 其提供了一个简便的机制，通过插入自定义代码来扩展Scrapy功能。
一、安装
1 Linux 2 pip3 install scrapy # 安装前要安装twisted模块 3 4 5 Windows 6 a. pip3 install wheel 7 b. 下载twisted http://www.lfd.uci.edu/~gohlke/pythonlibs/#twisted 8 c. 进入下载目录，执行 pip3 install Twisted‑17.1.0‑cp35‑cp35m‑win_amd64.whl 9 d. pip3 install scrapy 10 e. 下载并安装pywin32：https://sourceforge.net/projects/pywin32/files/
二、基本使用
1. 基本命令
1 1. scrapy startproject 项目名称 # Step1： 创建项目 2 - 在当前目录中创建中创建一个项目文件（类似于Django） 3 4 2. scrapy genspider [-t template] <name> <domain> # Step2： 创建爬虫 5 - 创建爬虫应用 6 cd 项目名称 7 如： 8 scrapy genspider -t basic oldboy oldboy.com 9 scrapy genspider -t xmlfeed autohome autohome.com.cn 10 PS: 11 查看所有命令：scrapy gensipider -l 12 查看模板命令：scrapy gensipider -d 模板名称 13 14 3. scrapy list 15 - 展示爬虫应用列表 16 17 4. 先进入project，
scrapy crawl 爬虫应用名称 18 - 运行单独爬虫应用
命令行工具
1 #1 查看帮助 2 scrapy -h 3 scrapy <command> -h 4 5 #2 有两种命令：其中Project-only必须切到项目文件夹下才能执行，而Global的命令则不需要 6 Global commands: 7 startproject #创建项目 8 genspider #创建爬虫程序 9 settings #如果是在项目目录下，则得到的是该项目的配置 10 runspider #运行一个独立的python文件，不必创建项目 11 shell #scrapy shell url地址 在交互式调试，如选择器规则正确与否 12 fetch #独立于程单纯地爬取一个页面，可以拿到请求头 13 view #下载完毕后直接弹出浏览器，以此可以分辨出哪些数据是ajax请求 14 version #scrapy version 查看scrapy的版本，scrapy version -v查看scrapy依赖库的版本 15 Project-only commands: 16 crawl #运行爬虫，必须创建项目才行，确保配置文件中ROBOTSTXT_OBEY = False 17 check #检测项目中有无语法错误 18 list #列出项目中所包含的爬虫名 19 edit #编辑器，一般不用 20 parse #scrapy parse url地址 --callback 回调函数 #以此可以验证我们的回调函数是否正确 21 bench #scrapy bentch压力测试 22 23 #3 官网链接 24 https://docs.scrapy.org/en/latest/topics/commands.html
1 全局命令：所有文件夹都使用的命令,可以不依赖与项目文件也可以执行 2 项目的文件夹下执行的命令 3 1、scrapy startproject Myproject #创建项目 4 cd Myproject 5 2、scrapy genspider baidu www.baidu.com #创建爬虫程序，baidu是爬虫名,定位爬虫的名字 6 #写完域名以后默认会有一个url, 7 3、scrapy settings --get BOT_NAME #获取配置文件 8 #全局：4、scrapy runspider budui.py 9 5、scrapy runspider AMAZON\spiders\amazon.py #执行爬虫程序 10 在项目下：scrapy crawl amazon #指定爬虫名，定位爬虫程序来运行程序 11 #robots.txt 反爬协议：在目标站点建一个文件，里面规定了哪些能爬，哪些不能爬 12 # 有的国家觉得是合法的，有的是不合法的，这就产生了反爬协议 13 # 默认是ROBOTSTXT_OBEY = True 14 # 修改为ROBOTSTXT_OBEY = False #默认不遵循反扒协议 15 6、scrapy shell https://www.baidu.com #直接超目标站点发请求 16 response 17 response.status 18 response.body 19 view(response) 20 7、scrapy view https://www.taobao.com #如果页面显示内容不全，不全的内容则是ajax请求实现的，以此快速定位问题 21 8、scrapy version #查看版本 22 9、scrapy version -v #查看scrapy依赖库锁依赖的版本 23 10、scrapy fetch --nolog http://www.logou.com #获取响应的内容 24 11、scrapy fetch --nolog --headers http://www.logou.com #获取响应的请求头 25 (venv3_spider) E:\twisted\scrapy框架\AMAZON>scrapy fetch --nolog --headers http://www.logou.com 26 > Accept: text/html,application/xhtml+xml,application/xml;q=0.9,*/*;q=0.8 27 > Accept-Language: en 28 > User-Agent: Scrapy/1.5.0 (+https://scrapy.org) 29 > Accept-Encoding: gzip,deflate 30 > 31 < Content-Type: text/html; charset=UTF-8 32 < Date: Tue, 23 Jan 2018 15:51:32 GMT 33 < Server: Apache 34 >代表请求 35 <代表返回 36 10、scrapy shell http://www.logou.com #直接朝目标站点发请求 37 11、scrapy check #检测爬虫有没有错误 38 12、scrapy list #所有的爬虫名 39 13、scrapy parse http://quotes.toscrape.com/ --callback parse #验证回调函函数是否成功执行 40 14、scrapy bench #压力测试
示例用法
本文链接：http://task.lmcjl.com/news/6622.html
