查看“PySpark实战:keyBy操作”的源代码
←
PySpark实战:keyBy操作
跳转至:
导航
,
搜索
因为以下原因,您没有权限编辑本页:
您所请求的操作仅限于该用户组的用户使用:
用户
您可以查看与复制此页面的源代码。
==介绍== keyBy操作是一个变换算子, 它通过在RDD上应用函数func,其中将原有RDD中的元素作为value,该key通过func函数返回的值作为key创建一个元组,并返回一个新的RDD对象。 ==代码== <nowiki> import findspark findspark.init() ############################################## from pyspark.sql import SparkSession spark = SparkSession.builder \ .master("local[1]") \ .appName("RDD Demo") \ .getOrCreate(); sc = spark.sparkContext ############################################# rdd = sc.parallelize(range(0,3)) #[0, 1, 2] print(rdd.collect()) def f(x): #0, 1, 2 print(x) #0, 1, 4 return x * x rdd = rdd.keyBy(f) #[(0, 0), (1, 1), (4, 2)] print(rdd.collect()) ############################################## sc.stop() </nowiki> ==输出== <nowiki> [0, 1, 2] 0 1 2 [(0, 0), (1, 1), (4, 2)] </nowiki>
返回至
PySpark实战:keyBy操作
。
导航菜单
个人工具
登录
命名空间
页面
讨论
变种
视图
阅读
查看源代码
查看历史
更多
搜索
导航
首页
最近更改
随机页面
帮助
工具
链入页面
相关更改
特殊页面
页面信息