查看“2021云+数:Spark搭建”的源代码
←
2021云+数:Spark搭建
跳转至:
导航
,
搜索
因为以下原因,您没有权限编辑本页:
您所请求的操作仅限于该用户组的用户使用:
用户
您可以查看与复制此页面的源代码。
==大数据平台组件搭建== 要求在Hadoop集群上搭建1.6.3版本的Spark分布式集群。(提示如下,注意每一步骤的代码与结果需截图在报告中体现) 1.Spark安装包处理,解压到/usr/local目录下,在master 节点通过命令“wget -P lopt http://datasrc.tipdm.net:81/bigdata/spark/software/spark-1.6.3-bin-hadoop2.6.tgz”进行获取。 2.Spark配置文件修改( spark-env.sh、slaves、spark-default.conf),配置要求为:以master为主节点,Spark Master端口号为7077,Worker使用计算资源为单核512m,Executor使用计算资源为单核512m,限制每台机器只能有一个worker,spark日志相关信息与事件日志的保存路径均设置为HDFS 文件系统上的/spark-logs。 3.子节点同步。 4.创建spark-default.conf配置文件中指定的Spark日志存放目录。 5.修改环境变量,并使其生效。 6.确保Hadoop集群已开启。 7.启动Spark集群。 8.查看Spark 监控界面,确认集群部署状态无误。 (1)解压安装包到/usr/local 下。 tar -zxf /opt/spark-1.6.3-bin-hadoop2.6.tgz -C/usr/local(2)进入/usr/local/spark-1.6.3-bin-hadoop2.6/conf。cd /usr/local/spark-1.6.3-bin-hadoop2.6/conf (3)配置 spark-env.sh文件,复制spark-env.sh.template文件,重命名为spark-env.sh。cp spark-env.sh.template spark-env.sh <nowiki>#在文件末尾配置如下内容: export JAVA_HOME=/usr/lib/jvm/java export HADOOP_CONF_DIR=/usr/local/hadoop/etc/hadoop/export SPARK_MASTER_IP=master export SPARK_MASTER_PORT=7077export SPARK_WORKER_MEMORY=512mexport SPARK_WORKER_CORES=1 export SPARK_EXECUTOR_MEMORY=512mexport SPARK_EXECUTOR_CORES=1 export SPARK_WORKER_INSTANCES=1</nowiki> (4)配置slaves文件,复制slaves.template 文件,重命名为slaves。 cp slaves.template slaves <nowiki>#在文件中配置如下内容: slavel slave2</nowiki> (5)配置spark-defaults.conf文件,复制spark-defaults.conf.template文件,重命名为spark-defaults.conf. cp spark-defaults. conf.template spark defaults.conf <nowiki>#在配置文件中添加如下内容: spark.master spark://master:7077 spark.eventLog enabled true spark.eventLog.dir hdfs://master:8020/spark-logs spark. history.fs.logDirectory hdfs://master:8020/spark-logs</nowiki> (6)将配置好的Spark目录同步到子节点。 scp -r /usr/local/spark- 1 .6.3-bin-hadoop2.6/ slave l:/usr/local scp -r /usr/local/spark- 1 .6.3-bin-hadoop2.6/ slave2:/usr/local (7)创建spark-_logs目录 hdfs dfs -mkdir /spark-logs (8)修改环境变量,在各节点的/etc/profile下添加Spark对应路径。 <nowiki>export SPARK_ HOME=/usr/local/spark-1.6.3-bin-hadoop2.6 export PATH=$PATH:$SPARK_HOME/bin</nowiki> 运行“source /etc/profile”使配置生效。 (9) jps检查三个节点是否已开启Hadoop集群,未开启则在master通过命令开启。 $HADOOP_HOME/sbin/start-all.sh (10)启动Spark 集群 /usr/local'spark-1.6.3-bin-hadoop2.6/sbin/start-all.sh (11)在浏览器查看,检查能否正常监控,两个子节点状态是否与要求一致。http://master:8080
返回至
2021云+数:Spark搭建
。
导航菜单
个人工具
登录
命名空间
页面
讨论
变种
视图
阅读
查看源代码
查看历史
更多
搜索
导航
首页
最近更改
随机页面
帮助
工具
链入页面
相关更改
特殊页面
页面信息