PySpark实战：collectAsMap操作-将RDD 转换为Map映射

介绍

collectAsMap操作是一个动作算子，

它将键值RDD 转换为Map映射以保留其键值结构。

代码

import findspark
findspark.init()
##############################################
from pyspark.sql import SparkSession
spark = SparkSession.builder \
        .master("local[1]") \
        .appName("RDD Demo") \
        .getOrCreate();
sc = spark.sparkContext
#############################################
m = sc.parallelize([("a", 2), ("b", "c")]).collectAsMap()
print(m["a"])
print(m["b"])
print(m)
#2
# c
# {'a': 2, 'b': 'c'}
##############################################
sc.stop()

输出

2

c

{'a': 2, 'b': 'c'}