查看“PySpark实战:fullOuterJoin操作”的源代码
←
PySpark实战:fullOuterJoin操作
跳转至:
导航
,
搜索
因为以下原因,您没有权限编辑本页:
您所请求的操作仅限于该用户组的用户使用:
用户
您可以查看与复制此页面的源代码。
==介绍== fullOuterJoin操作是一个变换算子,调用形式为rdd.fullOuterJoin(otherRDD,numPartitions=None),它返回此RDD和另一个oherRDD的全外部连接(full outer join)。 对于RDD自身中的每个元素(k,v) ,如果另外一个otherRDD匹配到k ,那么生成的RDD元素格式为(k,(v,w)),如果另外一个otherRDD匹配不到k,则生成的RDD元素格式为(k,(v,None)) 如果另外一个otherRDD匹配k,但是在RDD自身没有匹配到值w ,则返回None. 则生成的RDD元素格式为(k,(None,w)) ==代码== <nowiki> import findspark findspark.init() ############################################## from pyspark.sql import SparkSession spark = SparkSession.builder \ .master("local[1]") \ .appName("RDD Demo") \ .getOrCreate(); sc = spark.sparkContext ############################################# x = sc.parallelize([("a", 1), ("b", 4)]) y = sc.parallelize([("a", 2), ("c", 8)]) rdd = x.fullOuterJoin(y) # [('b', (4, None)), ('c', (None, 8)), ('a', (1, 2))] print(rdd.collect()) ############################################## sc.stop()</nowiki> ==输出== [('b', (4, None)), ('c', (None, 8)), ('a', (1, 2))]
返回至
PySpark实战:fullOuterJoin操作
。
导航菜单
个人工具
登录
命名空间
页面
讨论
变种
视图
阅读
查看源代码
查看历史
更多
搜索
导航
首页
最近更改
随机页面
帮助
工具
链入页面
相关更改
特殊页面
页面信息