shixiaolong0
shixiaolong0

变化!如果今天的自己和昨天点自己没有差异,那么就是白活! 简书:https://www.jianshu.com/u/dd76e4af1f33 twitter:https://twitter.com/dragon72463399 rust学习笔记:https://dev.to/dragon72463399

爬虫重试装饰器中对于异常的处理

```

except:
    logger.error(f'{func.__name__}网络请求失败,重试{retry_num}...')
    if 'Proxy Error' in format_exc():
        logger.error('Proxy Error')
    elif 'ProxyError' in format_exc():
        logger.error('Proxy Error')
    elif 'SSLEOFError' in format_exc():
        logger.error('SSLEOFError')
    elif 'timed out' in format_exc():
        logger.error('timed out')
    elif '451 Client Error:' in format_exc():
        logger.error('451 Client Error:')
    else:
        logger.info(format_exc())
    retry_num += 1
    if retry_num > num:
        logger.error('重试超过次数')
        break
    # 重试依旧是等待3s,否则会把账号打废掉
    time.sleep(3)


```

CC BY-NC-ND 2.0 版权声明

喜欢我的文章吗?
别忘了给点支持与赞赏,让我知道创作的路上有你陪伴。

加载中…

发布评论