shixiaolong0
shixiaolong0

变化!如果今天的自己和昨天点自己没有差异,那么就是白活! 简书:https://www.jianshu.com/u/dd76e4af1f33 twitter:https://twitter.com/dragon72463399 rust学习笔记:https://dev.to/dragon72463399

国内知名三个代理的调研情况

阿布云代理调研:

1. 503错误响应较多:这块沟通下来是代理质量的问题,和爬虫无关,他们某个节点资源被用满了

2. 代理速度这块:公司带宽 去跑 请求耗时基本在1.5s-15s这个区间,基本集中在3s左右,耗时还是比较长的,用在服务器跑的话,耗时会更长

3. 在不考虑被反扒的情况下,多次测试统计60%的代理是可用的,代理可用性相对比较低

4. 然后他们代理转发可能还存在很多丢包的问题,代理转发服务可能本身就存在bug,比如转发过来,响应为空的情况


1.讯代理:计费方式换算成5qps 月费相当于100*30=3000 比起阿布云的500的月费高太多

2.多贝云:资费相对于阿布云便宜,需要实名认证

请求时间:大部分集中在1.6S 区间分布在0.8-6s 16/63 25%(如果上量值不会拉大) ;

代理速度(众数)比阿布云快一倍,代理速度平均值(平均值)比阿布云快2倍左右(阿布云有些响应耗时很夸张能到15s+);代理可用性比阿布云多一倍以上

总体上拿数据的效率是阿布云的6倍左右

需要进一步跟进的问题:代理的带宽瓶颈

CC BY-NC-ND 2.0 版权声明

喜欢我的文章吗?
别忘了给点支持与赞赏,让我知道创作的路上有你陪伴。

加载中…

发布评论