PySpark实战:first操作-获取第一个元素

来自CloudWiki
跳转至: 导航搜索

介绍

first操作,

是一个动作算子,

可以获取到RDD中的一个元素。

代码

import findspark
findspark.init()
##############################################
from pyspark.sql import SparkSession
spark = SparkSession.builder \
        .master("local[1]") \
        .appName("RDD Demo") \
        .getOrCreate();
sc = spark.sparkContext
#############################################
rdd =sc.parallelize(["a","a","c"])
#first()获取第一个元素
#a
print(rdd.first())
##############################################
sc.stop()
  • findspark.init() 初始化
  • master("local[1]") 表示采用local模式
  • sc.stop: 关闭sparkContext对象