查看“PySpark实战:saveAsTextFile操作”的源代码
←
PySpark实战:saveAsTextFile操作
跳转至:
导航
,
搜索
因为以下原因,您没有权限编辑本页:
您所请求的操作仅限于该用户组的用户使用:
用户
您可以查看与复制此页面的源代码。
==介绍== saveAsTextFile操作的调用形式为rdd.saveAsTextFile(path,compressionCodeClass=None), 它的作用是保存RDD对象为一个文件,其中元素以字符串的形式体现。 ==代码== <nowiki> import findspark findspark.init() ############################################## from pyspark.sql import SparkSession spark = SparkSession.builder \ .master("local[1]") \ .appName("RDD Demo") \ .getOrCreate(); sc = spark.sparkContext ############################################# rdd =sc.range(1,10,2) #[1, 3, 5, 7, 9] print(rdd.collect()) #spark-rdd是目录,且不能存在此目录 rdd.saveAsTextFile("/root/spark-rdd2") ############################################## sc.stop() </nowiki> 生成的数据是由多个文件组成的 [root@localhost wmsoft]# ls ~/spark-rdd2 part-00000 _SUCCESS ==输出== [1, 3, 5, 7, 9]
返回至
PySpark实战:saveAsTextFile操作
。
导航菜单
个人工具
登录
命名空间
页面
讨论
变种
视图
阅读
查看源代码
查看历史
更多
搜索
导航
首页
最近更改
随机页面
帮助
工具
链入页面
相关更改
特殊页面
页面信息