网站建设 指标服装公司网站建设规划方案

1. 服务端口号

1.1 Hadoop相关的服务端口号

• HDFS的web页面访问端口 9870
• HDFS 的程序访问端口 8020
• Yarn的访问端口 8088
• 历史日志访问端口 19888

1.2 Spark相关的服务端口号

• standalone 8080 查看资源调度
• 历史日志 18080
• 交互模式下 查看计算运行情况 4040

1.3 Hive的连接端口

• 10000

2. 服务启动指令

• Hadoop

# 启动所有服务器
/export/server/hadoop/sbin/start-all.sh 
# 启动历史日志
/export/server/hadoop/bin/mapred --daemon start historyserver

• Hive启动

# 启动metastore
nohup hive --service  metastore >> /export/server/hive/metastore.log  2>&1 &
# 启动hiveserver
nohup hive --service  hiveserver2  >> /export/server/hive/hiveserver2.log  2>&1 &

• zookeeper启动

/export/server/zookeeper/bin/zkServer.sh start

• Spark启动

# standalone的启动
/export/server/spark/sbin/start-all.sh# 历史日志启动
/export/server/spark/sbin/start-history-server.sh