ScrapydWeb官方版是一款能够帮助用户进行Scrapyd集群管理的爬虫管理平台,我们可以通过ScrapydWeb来对Scrapy日志进行分析和可视化处理,从而方便你管理Scrapyd集群。
ScrapydWeb(爬虫管理平台)是一个用于Scrapyd集群管理的web应用,支持Scrapy日志分析和可视化,支持Scrapyd集群管理、日志可视化、定时任务、邮件通知、移动端UI!
Scrapyd 集群管理
支持所有 Scrapyd JSON API
支持通过分组和过滤来选择若干个节点
一次操作, 批量执行
Scrapy 日志分析
数据统计
进度可视化
日志分类
增强功能
自动打包项目
集成 LogParser
定时器任务
监控和警报
移动端 UI
web UI 支持基本身份认证
1、scrapy是什么?
一个爬虫框架,你可以创建一个scrapy项目
2、scrapyd是什么?
相当于一个组件,能够将scrapy项目进行远程部署,调度使用等因此scrapyd可以看作一个cs(client-server)程序,因此毫无疑问我们需要安装和配置scrapyd(server)和连接的scrapy-client(client)
3、scrapydweb是什么?
是一个基于scrapyd的可视化组件,集成并且提供更多可视化功能和更优美的界面
总结:三者如同葫芦套娃,总共三层
……
点击下载编程软件 >>本地高速下载
点击下载编程软件 >>百度网盘下载