haipproxy校验器编写流程

使用过代理IP的同学应该都知道,即使是同一个IP,访问不同网站,可用性和速度都可能大不相同。因此,根据实际使用情况编写特定站点的代理校验器是非常必要的。本文介绍扩展haipproxy的校验器方法,为了方便阐述,下面我们以zhihu.com为例进行说明。


1.在settings.py中添加zhihu校验器对应的temp queuevalidated queuettl queuespeed queuetemp queue的作用是作为临时队列存储下一次定时校验的任务,validated queue是已经校验过的任务,记录了对应代理IP的打分(成功率),ttl queue是对应代理IP最近一次的校验时间,speed queue记录的是对应代理IP最近一次校验的响应速度,后面三个队列都会作为客户端获取代理IP需要考虑的因素。这里我将四者分别设置为

TEMP_ZHIHU_QUEUE = 'haipproxy:zhihu:temp'
VALIDATED_ZHIHU_QUEUE = 'haipproxy:validated:zhihu'
TTL_ZHIHU_QUEUE = 'haipproxy:ttl:zhihu'
SPEED_ZHIHU_QUEUE = 'haipproxy:speed:zhihu'

2.将上一步的queue配置到rules.py中对应的maps中

VALIDATOR_TASKS = [
    {
        'name': 'zhihu',
        'task_queue': TEMP_ZHIHU_QUEUE,
        'resource': VALIDATED_ZHIHU_QUEUE,
        'internal': 20,
        'enable': 1,
    },
]
TEMP_TASK_MAPS = {
    # temp task maps 中init queue必须存在
    'init': INIT_HTTP_QUEUE,
    'zhihu': TEMP_ZHIHU_QUEUE
}
SCORE_MAPS = {
    'zhihu': VALIDATED_ZHIHU_QUEUE
}
TTL_MAPS = {
    'zhihu': TTL_ZHIHU_QUEUE
}
SPEED_MAPS = {
    'zhihu': SPEED_ZHIHU_QUEUE
}
3.在校验器模块添加知乎校验器爬虫,具体流程如下 - 新建校验器爬虫文件zhihu.py,在其中添加校验具体逻辑
from config.settings import (
    TEMP_ZHIHU_QUEUE, VALIDATED_ZHIHU_QUEUE,
    TTL_ZHIHU_QUEUE, SPEED_ZHIHU_QUEUE)
# ValidatorRedisSpider提供了分布式父类爬虫
from ..redis_spiders import ValidatorRedisSpider
# BaseValidator提供了基本的请求错误处理,但是业务相关逻辑错误需要自己实现
from .base import BaseValidator

class ZhiHuValidator(BaseValidator, ValidatorRedisSpider):   # scrapy爬虫名,必须设置且不能与已知的重复 name = 'zhihu' # 需要验证的URL,建议选择一个稳定且有代表意义的url,数据结构是一个list urls = [ 'https://www.zhihu.com/question/47464143' ] # 下面四个属性必须设置,并且与maps中的一致 task_queue = TEMP_ZHIHU_QUEUE score_queue = VALIDATED_ZHIHU_QUEUE ttl_queue = TTL_ZHIHU_QUEUE speed_queue = SPEED_ZHIHU_QUEUE # 判断success_key是否在响应内容中,从而判断IP是否正常,默认为'',表示正常 success_key = '' - 在[HttpBinInitValidator](https://github.com/SpiderClub/haipproxy/blob/master/crawler/validators/httpbin.py)的`https_tasks`中添加`zhihu`任务python3 class HttpBinInitValidator(BaseValidator, ValidatorRedisSpider): """This validator do initially work for ip resources""" name = 'init' urls = [ 'http://httpbin.org/ip', 'https://httpbin.org/ip', ] use_set = False task_queue = INIT_HTTP_QUEUE https_tasks = ['https', 'zhihu'] http_tasks = ['http']

  • 常规校验器到上一步就完成了,如果有和业务相关的验证逻辑,比如在IP被封的时候返回的状态码仍是200。这个时候依靠BaseValidatorparse_error方法是不够的。因为BaseValidator只会筛选不能用的代理IP。这里不能用的标准是HTTP状态码是非2xx或者3xx。但是某些网站如微博和知乎,在封IP后仍然给客户端返回的是200状态码,所以我们还可能需要提取页面的一些特征来判断该代理IP是否可用。比如知乎在判断出IP有风险的时候,会弹出以下提示

知乎屏蔽IP

我们可以查看页面源码,在title中提取出安全验证这个比较特殊的标记,它可以作为判断IP是否被屏蔽的标准,如果怕误判,我们还可以提取如verification等关键词来加强判断逻辑。这种方式需要实测让IP被屏蔽之后才能实现相关逻辑。另一种方式是我们设置一个预期成功的标记success_flag,比如https://www.zhihu.com/question/47464143这个url,我们先通过正常情况下爬虫访问获取到它的返回结果,然后找一个特殊的字符串作为成功返回的标记,这里我选爬虫这个字符串,我们再设置ZhiHuValidatorsuccess_key=爬虫即可。同时,你也可以强化该场景的校验方法,在ZhiHuValidator中重写BaseValidator的父方法is_ok(self, response),举一个简单的例子 python def is_ok(self, response): return True if self.success_key in response.text and 'python' in response.text else False 4.将ZhiHuValidator加入validators/init.pyall_validators列表中 ``` from .httpbin import ( HttpBinInitValidator, HttpValidator, HttpsValidator) from .zhihu import ZhiHuValidator

all_validators = [ HttpBinInitValidator, HttpValidator, HttpsValidator, ZhiHuValidator ] ```

到这里,我们便完成zhihu校验器的编写了。


配合该校验器抓取知乎的简要说明如下 - 先启动代理抓取爬虫和定时任务调度器(这里我只启动了common这个代理抓取任务)

python crawler_booter.py --usage crawler common

python scheduler_booter.py --usage crawler common

  • 再启动zhihuinit校验器和定时任务调度器

    python crawler_booter.py --usage validator init zhihu

python scheduler_booter.py --usage validator zhihu

  • 调用代理IP客户端实现数据采集

如果代理IP使用过程有不清楚的请查看 haipproxy具体使用说明