PySpark实战:take操作-获取前n个元素

来自CloudWiki
跳转至: 导航搜索

介绍

take操作 是一个动作算子,

它可以获取RDD中指定的前n个元素

代码

import findspark
findspark.init()
##############################################
from pyspark.sql import SparkSession
spark = SparkSession.builder \
        .master("local[1]") \
        .appName("RDD Demo") \
        .getOrCreate();
sc = spark.sparkContext
#############################################
rdd =sc.parallelize(range(2,100))
#take(N)获取前面N个元素
#[2, 3, 4, 5, 6, 7, 8, 9, 10, 11]
print(rdd.take(10))
##############################################
sc.stop()

结果

[2, 3, 4, 5, 6, 7, 8, 9, 10, 11]