Flink从入门到真香(Flink环境部署-集群standalone模式)

技术文章 1年前 (2020) 完美者
1,466 0

标签:ddr   scp   echo   src   sed   cto   log   汇报   代码   

Flink Standalone模式部署集群是最简单的一种部署方式,不依赖于其他的组件,另外还支持YARN/Mesos/K8S等模式下的部署

Standalone执行架构图:

Flink从入门到真香(Flink环境部署-集群standalone模式)

1)client客户端提交任务给Jobmanager
2)JobManager负责申请任务运行所需要的资源并管理任务和资源。
3)JobManager分发任务给TaskManager执行
4)TaskManager定期向JobManager汇报状态

1、环境:
10.0.83.71 jobmanager+taskmanager
10.0.83.72 taskmanager
10.0.83.73 taskmanager

systemctl stop firewalld

systemctl disable firewalld

2、修改配置环境,改为实际的集群配置:
sed -i ‘s/jobmanager.rpc.address: localhost/jobmanager.rpc.address: 10.0.83.71/g‘ /opt/flink/conf/flink-conf.yaml
sed -i ‘s/taskmanager.numberOfTaskSlots: 1/taskmanager.numberOfTaskSlots: 2/g‘ /opt/flink/conf/flink-conf.yaml
#允许通过web提交
sed -i ‘s/#web.submit.enable: false/web.submit.enable: true/g‘ /opt/flink/conf/flink-conf.yaml

指定master节点

sed -i ‘s/localhost:8081/10.0.83.71:8081/g‘ /opt/flink/conf/masters

指定worker节点

echo -e ‘10.0.83.71\n10.0.83.72\n10.0.83.73‘ > /opt/flink/conf/workers

3、配置免密登录
分别在71,72,73上执行:ssh-keygen -t rsa

分别在每台机器上执行copy to其他2个机器地址:
ssh-copy-id 10.0.83.71
ssh-copy-id 10.0.83.72
ssh-copy-id 10.0.83.73

4、代码同步到其他机器
scp -r /opt/flink 10.0.83.72:/opt/
scp -r /opt/flink 10.0.83.73:/opt/

部署hadoop集群

可以参考: https://blog.51cto.com/mapengfei/2546950
在hadoop集群部署完成之后,
hdfs dfs -mkdir -p /wordcount/output
hdfs dfs -mkdir -p /wordcount/input

上传样例数据到hdfs上
hdfs dfs -put /opt/words.txt /wordcount/input

执行flink测试任务:
cd /opt/flink/
bin/flink run examples/batch/WordCount.jar --input hdfs://node1:8020/wordcount/input/words.txt --output hdfs://node1:8020/wordcount/output

Flink从入门到真香(Flink环境部署-集群standalone模式)

标签:ddr   scp   echo   src   sed   cto   log   汇报   代码   

原文地址:https://blog.51cto.com/mapengfei/2546984

版权声明:完美者 发表于 2020-11-06 2:26:29。
转载请注明:Flink从入门到真香(Flink环境部署-集群standalone模式) | 完美导航

暂无评论

暂无评论...