关键词

使用Scrapyd部署Scrapy爬虫到远程服务器上

1、准备好爬虫程序

2、修改项目配置

  找到项目配置文件scrapy.cnf,将里面注释掉的url解开来

  本代码需要连接数据库,因此需要修改对应的数据库配置

    其实就是将里面的数据库地址进行修改,变成远程数据库服务器地址,需要保证scrapy服务器能够连接数据库服务器

3、部署项目

  在部署项目之前要保证scrapyd服务是开启状态。  

  进入本地爬虫工程的目录

  执行对应的部署命令

4、调度爬虫

  调度爬虫需要使用curl,以下的命令可以在dos窗口对应的项目目录下面执行,也可以在pycharm中的命令行执行

  4.1、查看远程服务端上面的爬虫

    curl http://node100:6800/listprojects.json

  4.2、移除远程服务端上面部署的爬虫工程

    curl http://node100:6800/delproject.json -d project=doubanSpider

  4.3、启动爬虫

    curl http://node100:6800/schedule.json -d project=doubanSpider -d spider=douban

  4.4、取消爬虫

    curl http://node100:6800/cancel.json -d project=doubanSpider -d job=000f47e035e911e9a8e90bb05244259f

本文链接:http://task.lmcjl.com/news/6934.html

展开阅读全文