您现在的位置是:首页 > 技术分享 网站首页技术分享

pyspider 启动错误遇到的一些坑

爬虫  
简介突然接到一个项目是关于pyspider,遇到了一些小坑,百度一下发现并没有很好的解决所以研究了一下。我所使用的python版本是3.6.6,因为pyspider是对pip有版本要求的,所以自动升级一下。
pyspider 启动错误遇到的一些坑
1.介绍
突然接到一个项目是关于pyspider,遇到了一些小坑,百度一下发现并没有很好的解决所以研究了一下。我所使用的python版本是3.6.6,因为pyspider是对pip有版本要求的,所以自动升级一下。
2.升级pip
pip install –upgrade pip
3.一切配置好之后,就在CMD中运行命令来看能否跑起来。
pyspider all
4.错误整合
《1》.python3.7不兼容pyspider问题(出现占用关键字的问题)
Python 3.5中引入了async和await,它们在Python 3.7中成为关键字。
所以需要替换一下关键字。
分别在run.py、tornado_fetcher.py、webui>app.py,ctrl+f查找async替换掉就可以了。
《2》.Deprecated option ‘domaincontroller’: use ‘domain_controller’ instead.
这是WsgiDAV发布了版本 pre-release 3.x导致的,所以只要把版本降下来就好了。 将wsgidav替换为2.4.1。
python -m pip install wsgidav==2.4.1
然后运行 pyspider all 发现居然可以了。然后很欢快的打开浏览器输入:localhost:5000


文章评论

请先 登录 ,才可参与评论!

全部评论( 0 )