scrapy调试小技巧

因朋友推荐,最近又重新上手了scrapy,和上一次(一年前)用确实有不同的感受了。上次感觉scrapy中的东西完全是一个黑盒,用起来很不顺手。这次重点看了它的整个架构图,搞懂了它的数据流向。然后花了两天把它的整个文档都仔细读了一遍,现在用起来感觉十分好用。这次简单说说使用scrapy进行调试的一些小技巧。 1.使用scrapy.shell.inspect_response 。...

more


谈谈python二分查找模块

这两天做一道题的时候,需要用到二分查找,印象中Python标准库自带了一个名为bisect的模块,好像可以胜任这个任务。...

more


python3如何实现一行输入多个值

最近在刷算法题,有时候需要一行输入多个参数,由于主语言是python,所以记录一下使用python3如何在一行输入多个值,主要代码如下 a, b, c = input().split(' ') 这里其实本质上我们还是输入的一个值(字符串),然后使用split()函数把它切割成了多个值而已。 如果要求a、b、c等变量是整数,那么我们可以再用生成器表达式做一次转换 a, b, c = (x...

more


sqlalchemy中DATE类型的比较

有一个程序需要从数据库里读取每天新增的数据然后做一些处理,数据库是Oracle,add_time这个字段使用的是DATE类型,在sql语句中,可以用 select * from DATA where ADD_TIME >= to_date('2017-12-21', 'YYYY-MM-DD') 这里的2017-12-21是当天日期,数据库的日期格式是2017-12-21...

more


关于celery routing key的一些疑问及我的理解

自己用celery写应用也有一段时间了,celery任务路由那一块一直没理解得比较透彻。今天做了几个小实验,感觉自己对celery的路由机制清晰了一些。如果需要了解地比较深刻,还是该玩玩rabbitmq,理解AMQP协议。目前时间不允许,只能作罢。 app.conf.task_queues = { 'login': { 'exchange': 'login',...

more