PySpark实战:take操作-获取前n个元素

来自CloudWiki
Cloud17讨论 | 贡献2022年7月31日 (日) 09:32的版本 (Cloud17移动页面PySpark实战:take操作PySpark实战:take操作-获取前n个元素
(差异) ←上一版本 | 最后版本 (差异) | 下一版本→ (差异)
跳转至: 导航搜索

介绍

take操作 是一个动作算子,

它可以获取RDD中指定的前n个元素

代码

import findspark
findspark.init()
##############################################
from pyspark.sql import SparkSession
spark = SparkSession.builder \
        .master("local[1]") \
        .appName("RDD Demo") \
        .getOrCreate();
sc = spark.sparkContext
#############################################
rdd =sc.parallelize(range(2,100))
#take(N)获取前面N个元素
#[2, 3, 4, 5, 6, 7, 8, 9, 10, 11]
print(rdd.take(10))
##############################################
sc.stop()

结果

[2, 3, 4, 5, 6, 7, 8, 9, 10, 11]