pyspider的简单使用
登录Pyspider的web页面。
1、创建项目
点击右边的Create按钮
在弹出窗口中,填写项目名称、要爬的网站地址,填好后点击窗口上的Create
点击Create之后,打开代码页面。
这里要注意,先点击右边的save保存,要不然这个项目还是没有创建的。
保存之后,点击中间的run,如果没报错的话,下面的follows会有数量的提示
可以点击followes,再点击出现的链接旁边的按钮,查看要爬的链接有哪些
二、运行项目
现在这个任务只是创建完成了,并没有开始运行
点击黄色的”TODO”字样按钮,会显示一个下拉选项
我们选择”RUNNING”,再点击旁边打勾按钮保存。
然后再点击右边的RUN按钮,这样这个任务才开始跑起来了
正常开始跑后,是这样的
可以点击右边的Rusult查看爬取的结果
3、删除项目
将项目名字(group)改成delete,将状态(status)改成stop,24小时之后自动删除。
其它相关文章:
1.docker安装pyspider方法1:pyspider最简单的安装方法
2.docker安装pyspider方法2:mysql+rabbitmq+pyspider(python2)
3.docker安装pyspider方法3:mysql+redis+HAProxy+pyspider(python3)
4.pyspider的简单使用