为squid设置访问权限

最近在写一个高可用的分布式代理抓取和校验程序 ,由于细节还没实现得比较完美,测试也还没完成,所以暂时项目还是private状态。其中在实现代理IP校验器的时候,遇到了很多困难。比如,1.如何合理地对代理IP的质量进行判定,到底以代理速度还是代理的可用性为考核标准,还是以一个加权的方式来考核?如果加权的话,应该怎么进行加权计算?...

more


2017年年终总结

不知不觉又过了一年。回顾这一年,第一件值得庆祝的事情便是自己算是真正拥抱了开源。...

more


scrapy调试小技巧

因朋友推荐,最近又重新上手了scrapy,和上一次(一年前)用确实有不同的感受了。上次感觉scrapy中的东西完全是一个黑盒,用起来很不顺手。这次重点看了它的整个架构图,搞懂了它的数据流向。然后花了两天把它的整个文档都仔细读了一遍,现在用起来感觉十分好用。这次简单说说使用scrapy进行调试的一些小技巧。 1.使用scrapy.shell.inspect_response 。...

more


谈谈python二分查找模块

这两天做一道题的时候,需要用到二分查找,印象中Python标准库自带了一个名为bisect的模块,好像可以胜任这个任务。...

more


python3如何实现一行输入多个值

最近在刷算法题,有时候需要一行输入多个参数,由于主语言是python,所以记录一下使用python3如何在一行输入多个值,主要代码如下 a, b, c = input().split(' ') 这里其实本质上我们还是输入的一个值(字符串),然后使用split()函数把它切割成了多个值而已。 如果要求a、b、c等变量是整数,那么我们可以再用生成器表达式做一次转换 a, b, c = (x...

more