使用Scrapyd部署Scrapy爬虫到远程服务器上

1、准备好爬虫程序

2、修改项目配置

　　找到项目配置文件scrapy.cnf,将里面注释掉的url解开来

　　本代码需要连接数据库，因此需要修改对应的数据库配置

　　　　其实就是将里面的数据库地址进行修改，变成远程数据库服务器地址，需要保证scrapy服务器能够连接数据库服务器

3、部署项目

　　在部署项目之前要保证scrapyd服务是开启状态。　　

　　进入本地爬虫工程的目录

　　执行对应的部署命令

4、调度爬虫

　　调度爬虫需要使用curl，以下的命令可以在dos窗口对应的项目目录下面执行，也可以在pycharm中的命令行执行

　　4.1、查看远程服务端上面的爬虫

　　　　curl http://node100:6800/listprojects.json

　　4.2、移除远程服务端上面部署的爬虫工程

　　　　curl http://node100:6800/delproject.json -d project=doubanSpider

　　4.3、启动爬虫

　　　　curl http://node100:6800/schedule.json -d project=doubanSpider -d spider=douban

　　4.4、取消爬虫

　　　　curl http://node100:6800/cancel.json -d project=doubanSpider -d job=000f47e035e911e9a8e90bb05244259f

展开阅读全文

上一篇：使用代理的爬虫下一篇：执行Shell脚本（多种方法）