persist

クラス: matlab.compiler.mlspark.RDD
名前空間: matlab.compiler.mlspark

RDD のストレージ レベルの値を、計算後に操作全体で永続するように設定

このページをすべて展開する

構文

persist(obj,storageLevel)

説明

persist(obj,storageLevel) は、RDD オブジェクト obj に storageLevel で指定される永続ストレージ レベルを設定します。既定のストレージ レベルは MEMORY_ONLY です。obj にストレージ レベルが設定されていない場合に、persist メソッドを使用して新しいストレージ レベルを割り当てます。また、これを使用して、永続ストレージ レベルを操作全体のメモリ内に設定することもできます。

入力引数

すべて展開する

入力 RDD。RDD オブジェクトとして指定します。

割り当てる新しいストレージ レベル。'' で囲んだ文字ベクトルとして指定します。RDD にストレージ レベルが設定されていない場合に、storageLevel を使用して新しいストレージ レベルを割り当てます。既定のストレージ レベルは MEMORY_ONLY です。

ストレージ レベル説明
MEMORY_ONLY

RDD をメモリに保存します。RDD がメモリに収まらない場合、一部のパーティションはキャッシュされず、必要になるたびに再計算されます。

DISK_ONLY

RDD パーティションをディスクに保存します。

MEMORY_AND_DISK

RDD をメモリに保存します。メモリに収まらない場合は、ディスクにあふれます。

MEMORY_ONLY_2

RDD をメモリに保存しますが、各パーティションを 2 つのクラスター ノードに複製します。

DISK_ONLY_2

RDD パーティションをディスクに保存しますが、各パーティションを 2 つのクラスター ノードに複製します。

MEMORY_AND_DISK_2

RDD をメモリに保存します。メモリに収まらない場合は、ディスクにあふれます。各パーティションを 2 つのクラスター ノードに複製します。

OFF_HEAPRDD をシリアル化された形式で保存します。詳細については、https://spark.apache.org/ のプログラミング ガイドを参照してください。

データ型: char

例

すべて展開する

パラメーターを指定せずに persist メソッドを使用して、クラスター全体の実行プログラムのメモリに RDD を保存します。

%% Connect to Spark
sparkProp = containers.Map({'spark.executor.cores'}, {'1'});
conf = matlab.compiler.mlspark.SparkConf('AppName','myApp', ...
                        'Master','local[1]','SparkProperties',sparkProp);
sc = matlab.compiler.mlspark.SparkContext(conf);

%% persist
myFile = sc.textFile('airlinesmall.csv');
myFile.persist();
myFile.unpersist();

バージョン履歴

R2016b で導入

参考

| | |