爬虫

python利用grequest 实现高并发爬虫

之前都是使用多线程来实现效率的提升,但是由于python的GIL锁的原因,导致所谓的多线程并不是多并发,而是当爬虫发出去的请求还未等到返回的间隙,继续执行别的线程,相当于交替轮流执行,是伪多并发。

grequest库封装了gevent和requests,实现了真正的多并发请求,不过也不是说来多少并发多少,也是有边界的,所以通过size参数设置一下同时并发数。


import grequests

urls = ["https://www.baidu.com", "https://www.hao123.com", "https://www.taobao.com"]
req = (grequests.get(u) for u in urls)

» 阅读全文

关键词: 爬虫 , grequest