安卓源码Asp源码Php源码.Net源码Jsp源码其它源码JS特效程序插件程序模板书籍教程
高级搜索
关键字:Discuz!  Axure  团购系统
最新更新发布资源提建议收藏本站
网站源码下载
当前位置:A5下载 > 源码下载 > 其它源码 > 其他网站源码 > Big Whale(巨鲸)任务调度系统 v1.3

Big Whale(巨鲸)任务调度系统 v1.3

  • 资源链接:[ 下载 ]  [ 正版源码购买,上源市场 ]
  • 授权方式:共享软件
  • 界面语言:简体中文
  • 文件大小:3.82 MB
  • 更新时间:2021-07-14
  • 资源类型:国产软件
  • 推荐等级:★★★☆☆
  • 平台环境:Win2003,WinXP,Win2000,Win9X
  • 作者信息:请下载查看
详细介绍 - [ Big Whale(巨鲸)任务调度系统 v1.3 ]

Big Whale(巨鲸)任务调度系统为美柚大数据研发的分布式计算任务调度系统,提供Spark、Flink等批处理任务的DAG执行调度和流处理任务的状态监测调度,并具有重复应用检测、大内存应用检测等功能。 服务基于Spring Boot 2.0开发,打包后即可运行。

环境准备:
Java 1.8+
Mysql 5.1.0+

安装:
1、创建数据库:big-whale
2、运行数据库脚本:big-whale.sql
3、根据Spring Boot环境,配置相关数据库账号密码,以及SMTP信息
4、配置:big-whale.properties
配置项说明
ssh.user: 拥有脚本执行权限的ssh远程登录用户名(平台会将该用户作为统一的脚本执行用户)
ssh.password: ssh远程登录用户密码
dingding.enabled: 是否开启钉钉告警
dingding.watcher-token: 钉钉公共群机器人Token
yarn.app-memory-threshold: Yarn应用内存上限(单位:MB),-1禁用检测
yarn.app-white-list: Yarn应用白名单列表(列表中的应用申请的内存超过上限,不会进行告警)
5、修改:$FLINK_HOME/bin/flink,参考:flink(因flink提交任务时只能读取本地jar包,故需要在执行提交命令时从hdfs上下载jar包并替换脚本中的jar包路径参数)
6、打包:mvn clean package

启动:
1、检查端口17070是否被占用,被占用的话,关闭占用的进程或修改项目端口号配置重新打包
2、拷贝target目录下的big-whale.jar,执行命令:java -jar big-whale.jar

初始配置
1、打开:http://localhost:17070
2、输入账号admin,密码admin
3、点击:权限管理->用户管理,修改当前账号的邮箱为合法且存在的邮箱地址,否则会导致邮件发送失败
4、添加集群
集群管理->集群管理->新增
“yarn管理地址”为Yarn ResourceManager的WEB UI地址
“程序包存储目录”为程序包上传至hdfs集群时的存储路径,如:/data/big-whale/storage
“支持Flink任务代理用户”“流处理任务黑名单”和“批处理任务黑名单”为内部定制的任务分配规则,勿填
5、添加代理
集群管理->代理管理->新增
可添加多个实例(仅支持IP地址,可指定端口号,默认为22),执行脚本的时候会随机选择一个实例执行,在实例不可达的情况下,会继续随机选择下一个实例,在实例均不可达时执行失败
选择集群后,会作为该集群下提交Spark或Flink任务的代理之一
6、添加集群用户
集群管理->集群用户->新增
该配置的语义为:平台用户在所选集群下可以使用的Yarn资源队列(--queue)和代理用户(--proxy-user)
7、添加计算框架版本
集群管理->版本管理->新增
同一集群下不同版本的Spark或Flink任务的提交命令可能有所不同,如Spark 1.6.0版本的提交命令为spark-submit,Spark 2.1.0版本的提交命令为spark2-submit

 

 

下载地址 - [ Big Whale(巨鲸)任务调度系统 v1.3 ]
相关源码
07-16BigBlueButton开源Web会议系统 v2.3.6
下载说明
推荐使用迅雷QQ旋风下载,请使用WINRAR解压文件;
下载本站资源,如服务器暂不能下载请过一段时间再试;
本站资源通过 QQ电脑管家360安全卫士 等软件检测;
本站部分资源供学习交流使用,如商业用途,请购正版。
评论暂时关闭
您喜欢这个源码么?
(0)
0%
(0)
0%
[ 下载地址 ][ 评论吐槽 ]
本类热门源码
  • 源码推荐
  • 软件推荐
关于我们联系我们发布资源广告服务合作伙伴网站地图版权声明与我们对话