包子博客

日志 | 分类 | 归档 | 标签 | 搜索

登陆

python利用grequest 实现高并发爬虫

jincon 发表于 2020-02-19 18:55

分类:python开发

标签:爬虫 , grequest

之前都是使用多线程来实现效率的提升,但是由于python的GIL锁的原因,导致所谓的多线程并不是多并发,而是当爬虫发出去的请求还未等到返回的间隙,继续执行别的线程,相当于交替轮流执行,是伪多并发。

而grequest库封装了gevent和requests,实现了真正的多并发请求,不过也不是说来多少并发多少,也是有边界的,所以通过size参数设置一下同时并发数。


import grequests

urls = ["https://www.baidu.com", "https://www.hao123.com", "https://www.taobao.com"]
req = (grequests.get(u) for u in urls)
resp = grequests.map(req, size=10)  # 10个并发
print(resp)
for i in resp: 
    p...

下页

上一篇:JetBrains全家桶永久激活码jetbrains-agent.jar 激活方法 和中文翻译包

下一篇:安装腾讯内部TCPA单边拥塞算法,加速服务器,附一键脚本安装

立即登陆发表评论