集群启动步骤:先启动HDFS系统,在启动spark集群,最后提交jar到spark集群执行。
1.hadoop启动
cd /home/***/hadoop-2.7.4/sbinstart-all.sh3.spark启动
cd /home/***/spark-2.2.0/sbinstart-all.sh4.spark提交
cd /home/***/spark-2.2.0/binspark-submit --master local --class com.helloworld.kmeans /home/***/xsd11.jarweb ui登录查看方式
1.查看hadoop UI
http://192.168.1.***:50070All Applications 界面(yarn UI:8088)
http://192.168.1.***:8088/cluster2.查看sparkUI(先要启动./bin/spark-shell)
集群模式:18088 单机模式:4044 日志服务器 7077小结:如果要在UI界面查看job执行情况,要把配置spark-history,把eventlog打开,程序运行完可以查看已经finished的job。