爬虫管理平台推荐

推荐列表

  1. Crawlab
  2. ScrapydWeb
  3. Gerapy
  4. SpiderKeeper

对比介绍

框架 技术 优点 缺点 Github统计
Crawlab Golang + Vue 不限于Scrapy,可用于所有编程语言和框架。漂亮的UI界面。支持分布式爬虫。支持爬虫管理,任务管理,计划任务,结果导出,分析,通知,可配置爬虫,在线代码编辑器等。 尚不支持爬虫版本控制 img img
ScrapydWeb Python Flask + Vue 漂亮的UI界面,内置的Scrapy日志解析器,用于执行任务的统计信息和图形,支持节点管理,cron作业,邮件通知,移动设备。全功能爬虫管理平台。 除了Scrapy以外,不支持其他爬虫。由于Python Flask后端,性能有限。 img img
Gerapy Python Django + Vue Gerapy由网络爬虫大师Germey Cui构建。简单的安装和部署。漂亮的UI界面。支持节点管理,代码编辑,可配置的爬网规则等。 再次不支持除Scrapy以外的爬虫。很多错误都是基于v1.0中的用户反馈。期待v2.0的改进 img img
SpiderKeeper Python Flask 开源Scrapyhub。简洁的UI界面。支持cron工作。 也许过于简化,不支持分页,不支持节点管理,不支持Scrapy以外的爬虫。 img img