对于这几天宣传分布式微博爬虫的感慨

目前,分布式微博爬虫迎来了第五个用户,我的心里其实还是很高兴的。而且很多朋友都主动赞赏或者使用过后提供了宝贵的建议,很感谢他们。...

more


使用heroku+shadowsocks-heroku进行科学上网

Heroku是标准的Paas服务,我们的程序可以很简单的部署到Heroku上,开发者只需要使用Git将项目Push到Heroku的Git服务器上即可,git push会自动触发安装、配置和部署程序 预备工作 在heroku官网注册heroku账号 安装相应操作系统的Heroku客户端,这里是地址 安装后通过命令行登陆Heroku heroku login...

more


oh-my-zsh修改欢迎界面

前几天看到朋友的bash界面很炫酷,他的oh-my-zsh欢迎页面是自己的ID,几经折腾,终于找到修改方法了,由于网上这方面的内容比较少,所以我就记录下来,便于以后查看。 不管是linux还是mac os,都是修改一个叫motd的文件 vim /etc/motd...

more


对于研究生生活方式的思考

最近,项目组事情比较少,为了让自己不虚度光阴,所以自己新建了一个repository,专门做微博用户抓取,打算用多线程和分布式的方式来提高自己的开发技能,然后给需要的人提供一个Restful接口,这样自己的技能栈可以得到扩展和提升。...

more


linux终端使用shadowsocks客户端科学上网

最近,由于项目需要使用google搜索的API,但是爬虫服务器使用的是Centos,而且没有安装图形化界面,所以只有使用终端翻墙。我采用的方案是shadowsocks,下面是客户端安装和配置的过程。 1.安装和配置shadowsocks 在Ubuntu/CentOS中安装shadowsocks很简单,使用pip即可进行安装: pip install shadowsocks...

more