博客
关于我
强烈建议你试试无所不能的chatGPT,快点击我
spark集群启动步骤及web ui查看
阅读量:5972 次
发布时间:2019-06-19

本文共 591 字,大约阅读时间需要 1 分钟。

集群启动步骤:先启动HDFS系统,在启动spark集群,最后提交jar到spark集群执行。

1.hadoop启动

cd /home/***/hadoop-2.7.4/sbin
start-all.sh

3.spark启动

cd /home/***/spark-2.2.0/sbin
start-all.sh

4.spark提交

cd /home/***/spark-2.2.0/bin
spark-submit --master local --class com.helloworld.kmeans /home/***/xsd11.jar

web ui登录查看方式

1.查看hadoop UI

http://192.168.1.***:50070

All Applications 界面(yarn UI:8088)

http://192.168.1.***:8088/cluster

2.查看sparkUI(先要启动./bin/spark-shell)

集群模式:18088
单机模式:4044
日志服务器
7077
小结:如果要在UI界面查看job执行情况,要把配置spark-history,把eventlog打开,程序运行完可以查看已经finished的job。

转载于:https://www.cnblogs.com/moonlightml/p/8862566.html

你可能感兴趣的文章
Debian利用iso搭建本地软件源
查看>>
Linux -- 安装Java
查看>>
我的友情链接
查看>>
Android网络编程之TCP/IP的Socket、ServerSocket模式
查看>>
tomcat下的日志配置详细说明
查看>>
【重新分配分片】Elasticsearch通过reroute api重新分配分片
查看>>
PBR策略路由实例
查看>>
图片居中显示
查看>>
新浪微博PHP7升级实践
查看>>
选择排序
查看>>
认识Linux文件系统
查看>>
当Google谈论机器学习时,世界将会更美好?
查看>>
虚拟化--060 vsphere-vmfs5分区恢复
查看>>
看看我属于哪种月饼
查看>>
深度有趣 | 09 Inception-v3图片分类
查看>>
关于解耦方式的思考
查看>>
电脑右下角小喇叭图标红叉提示未插入扬声器或者耳机
查看>>
对于 已经有与此命令,必须先关闭关联打开 DataReader。 搜索到的解决方案
查看>>
【备忘】JavaEE系统架构师学习路线之高级篇
查看>>
多线程(五)---Runnable接口与Thread类比较
查看>>