PySpark实战:建立Spark环境前提

来自CloudWiki
跳转至: 导航搜索

搭建Spark实战环境的宿主操作系统配置:

  • 操作系统:win7 以上
  • 内存:32GB

3台虚拟机配置:

  • 操作系统:CentOS 7 64位
  • 处理器:4核
  • 内存:4GB

每台虚拟机安装的软件:

  • java 8及以上
  • hadoop 2.7及以上
  • python3.7
  • pip 20及以上