912.01 MB
详情
Crawlab(分布式爬虫管理平台) V0.5.1 中文版
软件类型：应用软件
软件大小：1.08 MB
更新时间：2023-08-26
软件评级：
运行环境：WinAll
软件语言：简体中文
安全监测：
无插件
360 √
腾讯 √
金山 √
瑞星 √
无插件
360 √
腾讯 √
金山 √
瑞星 √
软件介绍
下载地址
Crawlab中文版是一个支持Python、NodeJS等多种编程语言及多种爬虫框架的分布式爬虫管理平台，通过增加工作节点数量，Crawlab可以做到横向扩展，不同的爬虫任务可以分配到不同的节点上执行，非常高效，有需要的朋友们赶紧下载使用吧。
软件说明
Crawlab能够帮助用户实现多语言爬虫的目的，通过多种方式进行安装即可使用，软件采用主节点的形式来快速获取网站数据，从而保存到本地数据中，每当目标站点发生变化时即会更新数据，用户还可通过相关控件来设计前端展示效果，极大的提升了程序员开发的效率。
软件介绍
Crawlab架构
Crawlab的架构包括了一个主节点（Master Node）和多个工作节点（Worker Node），以及负责通信和数据储存的Redis和MongoDB数据库。
前端应用向主节点请求数据，主节点通过MongoDB和Redis来执行任务派发调度以及部署，工作节点收到任务之后，开始执行爬虫任务，并将任务结果储存到MongoDB。架构相对于v0.3.0之前的Celery版本有所精简，去除了不必要的节点监控模块Flower，节点监控主要由Redis完成。
主节点
主节点是整个Crawlab架构的核心，属于Crawlab的中控系统。主节点负责与前端应用进行通信，并通过Redis将爬虫任务派发给工作节点。同时，主节点会同步（部署）爬虫给工作节点，通过Redis和MongoDB的GridFS。
工作节点
工作节点的主要功能是执行爬虫任务和储存抓取数据与日志，并且通过Redis的PubSub跟主节点通信。通过增加工作节点数量，Crawlab可以做到横向扩展，不同的爬虫任务可以分配到不同的节点上执行。
MongoDB
MongoDB是Crawlab的运行数据库，储存有节点、爬虫、任务、定时任务等数据，另外GridFS文件储存方式是主节点储存爬虫文件并同步到工作节点的中间媒介。
Redis
Redis是非常受欢迎的Key-Value数据库，在Crawlab中主要实现节点间数据通信的功能。例如，节点会将自己信息通过HSET储存在Redis的nodes哈希列表中，主节点根据哈希列表来判断在线节点。
前端
前端是一个基于Vue-Element-Admin的单页应用。其中重用了很多Element-UI的控件来支持相应的展示。
使用方法
1、下载完成后不要在压缩包内运行软件直接使用，先解压；
2、软件同时支持32位64位运行环境；
3、如果软件无法正常打开，请右键使用管理员模式运行。
下载地址
正在读取下载地址...
热门软件
1
2
3
4
5
6
7
8
9
10
大白菜u盘启动制作工具 V6.0 最新版
WPS VBA7.1安装包 32&64位 官方免费版
11.30 MB
详情
War3永显魔法条 V3.5 绿色版
48 KB
详情
抖音直播伴侣 V0.1.0 官方安装版
113.68 MB
详情
Projection 3D插件 V2.02 绿色版
548.38 KB
详情
2016双12抢购神器 V2.8
15.66 MB
详情
U帮忙 V8.1 双启动版
20.71 MB
详情
黑鲨一键装机大师 V12 官方版
31.24 MB
详情
歪歪卫士 V2.3 绿色版
1.11 MB
详情
Amped DVRConv(监控视频格式转换软件) V15182 英文安装版
192.52 MB
详情
装机必备 更多+
大家都在看
电脑软件专题 更多+