release-v1.0.9
2018-07-01
set添加srem方法,修改部分说明信息;
添加依赖retrying,imapclient;
添加超级鹰api;
last_insert_id返回调整;
为redis添加单例模式,保证线程内连接池共享;
为sql模块对象添加单例模式支持,实现连接池共享及更名db模块为sqlalchemy;
新增scrapy_plugs自定义常用中间件;
RedisRFPDupeFilter添加SPIDER_NAME检查;
添加有序集合,用于采集时,进行按时间点去重;
添加scrapy_plugs;
添加从consul加载配置文件逻辑。;
添加cls_singleton关键词用于控制单例模式是否生效;
添加zscore;
添加DUPEFILTER_DELAY_DAY选项,若该值大于0,则采用有序集合进行去重,time.time()时间戳作为score;
dict2obj 添加change_dict选项,用于控制是否转换target内部dict为obj;
修复通过zscore判断失效时间时,时间计算错误问题;
添加过滤日志;
添加aby代理下载中间件;
在meta选项中添加对duperliter_delay_day监听,添加DUPEFILTER_DO_HASH选项;
修改代理中间件;
移动redis_m模块到no_sql.