Crwy是一个轻量级的爬虫抓取框架,参考Scrapy框架结构开发而来。该框架提供了实用的爬虫模板,旨在帮助大家快速实现爬虫任务,高效开发。并为scrapy使用者提供通用轮子^.^。新增了gevent,使爬虫异步执行,速度更快。
- Python2 & Python3
- Works on Linux, Mac OSX
- beautifulsoup4>=4.5.1
- requests==2.12.0
- configparser>=3.5.0
- SQLAlchemy>=1.0.14
- pyssdb>=0.1.2
- redis>=2.10.5
- gevent>=1.2.1
- retrying>=1.3.3
- imapclient>=2.0.0
快速安装
pip install crwy
or 前往下载: https://pypi.python.org/pypi/Crwy/1.1.1/
在这里: http://wuyue92tree.antio.top/opensource/crwy.html
- https://pypi.python.org/pypi/beautifulsoup4/
- https://pypi.python.org/pypi/requests/
- https://pypi.python.org/pypi/configparser/
- https://pypi.python.org/pypi/SQLAlchemy/
- https://pypi.python.org/pypi/gevent/
- https://pypi.python.org/pypi/IMAPClient/
http://wuyue92tree.antio.top/opensource/crwy.html#更新日志
- 兼容python3