查看“Spark安装配置”的源代码
←
Spark安装配置
跳转至:
导航
,
搜索
因为以下原因,您没有权限编辑本页:
您所请求的操作仅限于该用户组的用户使用:
用户
您可以查看与复制此页面的源代码。
==软件环境== <nowiki>软 件 版 本 安 装 包 备注 Linux OS CentOS6.8 CentOS-6.8-x86_64-bin-DVD1.iso 64位 JDK 1.8+ jdk-8u151-linux-x64.rpm 64位 VMware 11 VMware-workstation-full-11.0.0-2305329.exe Hadoop 2.6.5 hadoop-2.6.5.tar.gz 已编译好的安装包 Hive 1.2.1 apache-hive-1.2.1-bin.tar.gz Spark 2.4.0 spark-2.4.0-bin-hadoop2.6.tgz 64位 IntelliJ IDEA 2.7 ideaIU-2017.2.6.exe SSH连接工具 5 Xme5.exe </nowiki> ==集群规模== <nowiki>192.168.128.130 master 1.5G ~2G内存、20G硬盘、NAT、1~2核 ; 192.168.128.131 slave1 1G内存、20G硬盘、NAT、1核 192.168.128.132 slave2 1G内存、20G硬盘、NAT、1核 192.168.128.133 slave3 1G内存、20G硬盘、NAT、1核 </nowiki> ==安装模式== ===本地模式=== 在一个节点上安装Spark,利用本地线程运行程序,非分布式环境 ===伪分布式=== Spark单机伪分布式是在一台机器上既有Master,又有Worker进程 ===完全分布式=== 全分布模式用于生产,至少需要3~4台机器,其中一台为为主节点,部署Master,其他节点部署Worker ===HA高可用模式=== 在完全分布式基础上利用Zookeeper实现Master主从备份
返回至
Spark安装配置
。
导航菜单
个人工具
登录
命名空间
页面
讨论
变种
视图
阅读
查看源代码
查看历史
更多
搜索
导航
首页
最近更改
随机页面
帮助
工具
链入页面
相关更改
特殊页面
页面信息