cmd运行spider all卡在“result_worker starting...”的一个解决

作者:神秘网友 发布时间:2020-09-06 10:13:34

cmd运行spider all卡在“result_worker starting...”的一个解决

cmd运行spider all卡在“result_worker starting...”的一个解决方案

在确定各种包安装无误的情况下,cmd运行spider all 或者 spider 卡在result_worker starting...

cmd运行spider all卡在“result_worker starting...”的一个解决如上图所示,卡在这里不动。

找了各种方法,都无果,最后我尝试性的又运行了一个spider all,奇迹般的出现了

cmd运行spider all卡在“result_worker starting...”的一个解决
如我的红色箭头所示,出现这个意味着成功了,于是我赶紧关掉了另一个cmd,发现该cmd继续运行下去,最后出现了 webui running on 0.0.0.0:5000
打开 localhost:5000 也成功了。

我的环境是python3.8。
经过我的几次尝试,发现只要运行两个spider all的时间差够短,成功的几率就会增大。
于是我尝试着写了一个bat脚本,一次性运行三个cmd命令,测试了下,基本上每次都能运行成功。

start cmd /c pyspider all
start cmd /c pyspider all
start cmd /c pyspider all

把上面的代码复制进一个txt文件,修改后缀名为bat,运行即可,会发现一次性运行了三个pyspider,在看到有一个cmd程序出现了[I 200905 13:42:11 scheduler:586] in 5m: new:0,success:0,retry:0,failed:0后,就赶紧关掉其余两个即可成功。

如果三个都没出现[I 200905 13:42:11 scheduler:586] in 5m: new:0,success:0,retry:0,failed:0

那就都关闭重新尝试,一定会成功的。

如果有帮到你,点个赞吧,让更多人看到。

cmd运行spider all卡在“result_worker starting...”的一个解决相关教程

  1. Scrapy定向爬虫教程(一)——创建运行项目和基本介绍
  2. 基于Qemu搭建x86_64虚拟环境运行Linux内核
  3. C#加载内嵌exe资源并运行,类似于加壳
  4. 关于HBuilder在云端打包和本地手机运行效果不同的问题
  5. python问题解决在终端上运行报错cls command not found
  6. 【深度之眼】Pytorch框架班第五期-transforms.Normalize运行机制
  7. 优云运维经验分享之 – 剖析CMDB的设计过程
  8. JVM的运行时数据区内部结构