查看“PySpark实战:cache操作”的源代码
←
PySpark实战:cache操作
跳转至:
导航
,
搜索
因为以下原因,您没有权限编辑本页:
您所请求的操作仅限于该用户组的用户使用:
用户
您可以查看与复制此页面的源代码。
==介绍== cache操作会使用默认存储级别(MEMORY_ONLY)保留该RDD, 防止多次进行创建,从而提高效率。 它的调用形式为rdd.cache() ==代码== <nowiki> import findspark findspark.init() ############################################## from pyspark.sql import SparkSession spark = SparkSession.builder \ .master("local[1]") \ .appName("RDD Demo") \ .getOrCreate(); sc = spark.sparkContext ############################################# #0...999 rdd =sc.parallelize(range(1000)) #缓存 rdd.cache() #最大值999 print(rdd.max()) ############################################## sc.stop() </nowiki> *rdd.cache()在RDD对象上进行缓存操作,后续的RDD操作会直接从内存中加载数据进行计算 *Spark当中还有一个类似的缓存操作rdd.persist(storageLevel),它可以制定存储级别storageLevel ==输出== 999
返回至
PySpark实战:cache操作
。
导航菜单
个人工具
登录
命名空间
页面
讨论
变种
视图
阅读
查看源代码
查看历史
更多
搜索
导航
首页
最近更改
随机页面
帮助
工具
链入页面
相关更改
特殊页面
页面信息