“2021高寻真源：Spark安装”的版本间的差异

2021年1月20日 (三) 04:16的版本

安装Scala

Scala下载并解压缩

Note：Note that, Spark 2.x is pre-built with Scala 2.11 except version 2.4.2, which is pre-built with Scala 2.12. Spark 3.0+ is pre-built with Scala 2.12.

下载地址 https://www.scala-lang.org/download/2.12.13.html

scala-2.12.13.tgz

将下载的二进制包移动到目录，解压缩文件包至BD

设置环境变量

gedit ~/.bashrc

打开后，在文档最下方添加如下配置：

export SCALA_HOME=/home/maxin/BD/scala-2.12.13

export PATH=$SCALA_HOME/bin:$PATH:

x保存退出，执行如下命令，使更改生效

source ~/.bashrc

检查SCALA是否安装成功

输入 scala -version

 Scala code runner version 2.11.12 -- Copyright 2002-2017, LAMP/EPFL

如果看到scala版本信息，即安装成功

或者输入 scala

如果看到scala版本及相关信息，即安装成功

Welcome to Scala 2.11.12 (Java HotSpot(TM) 64-Bit Server VM, Java 1.8.0_181).
Type in expressions for evaluation. Or try :help.

就可以执行scala命令

Spark下载

使用国内的镜像地址：

https://mirrors.tuna.tsinghua.edu.cn/apache/spark/spark-3.0.1/