PySpark实战：map操作

介绍

map操作是一个变换算子，

它的作用是对RDD每个元素按照func定义的逻辑进行处理。

它在统计单词个数等场景下经常使用。

代码

import findspark
findspark.init()
##############################################
from pyspark.sql import SparkSession
spark = SparkSession.builder \
        .master("local[1]") \
        .appName("RDD Demo") \
        .getOrCreate();
sc = spark.sparkContext
#############################################
rdd = sc.parallelize(["b", "a", "c", "d"])
rdd2 = rdd.map(lambda x: (x, 1))
#[('b', 1), ('a', 1), ('c', 1), ('d', 1)]
print(rdd2.collect())
##############################################
sc.stop()

输出

[('b', 1), ('a', 1), ('c', 1), ('d', 1)]