Skip to content

一个简单的web爬虫框架,借鉴scrapy结构开发而来,并为scrapy使用者提供通用轮子^.^

License

Notifications You must be signed in to change notification settings

wuyue92tree/crwy

Folders and files

NameName
Last commit message
Last commit date

Latest commit

 
 
 
 
 
 
 
 
 
 
 
 
 
 
 

Repository files navigation

Crwy

PyPI Version Build Status

简介

Crwy是一个轻量级的爬虫抓取框架,参考Scrapy框架结构开发而来。该框架提供了实用的爬虫模板,旨在帮助大家快速实现爬虫任务,高效开发。并为scrapy使用者提供通用轮子^.^。新增了gevent,使爬虫异步执行,速度更快。

运行环境

  • Python2 & Python3
  • Works on Linux, Mac OSX

依赖包

  • beautifulsoup4>=4.5.1
  • requests==2.12.0
  • configparser>=3.5.0
  • SQLAlchemy>=1.0.14
  • pyssdb>=0.1.2
  • redis>=2.10.5
  • gevent>=1.2.1
  • retrying>=1.3.3
  • imapclient>=2.0.0

安装

快速安装

pip install crwy

or 前往下载: https://pypi.python.org/pypi/Crwy/1.1.1/

使用手册

在这里: http://wuyue92tree.antio.top/opensource/crwy.html

友情链接

更新日志

http://wuyue92tree.antio.top/opensource/crwy.html#更新日志

TODO

  • 兼容python3

About

一个简单的web爬虫框架,借鉴scrapy结构开发而来,并为scrapy使用者提供通用轮子^.^

Topics

Resources

License

Stars

Watchers

Forks

Packages

No packages published

Languages