coalesce

クラス: matlab.compiler.mlspark.RDD
名前空間: matlab.compiler.mlspark

RDD 内のパーティション数の削減

構文

result = coalesce(obj,numPartitions,doShuffle)


説明

result = coalesce(obj,numPartitions,doShuffle) は、RDD 内のパーティション数を numPartitions で指定された数に削減します。

入力引数

obj — 入力 RDD

RDD オブジェクト

入力 RDD。RDD オブジェクトとして指定します。

numPartitions — 作成するパーティションの数

スカラー値

作成するパーティションの数。スカラー値として指定します。

データ型: double

doShuffle — シャッフルの実行

false (既定値) | true|false

シャッフルを実行する必要があるかどうかを指定します。既定では、doShuffle は false に設定されています。

データ型: logical

出力引数

result — パーティション数を削減した RDD

RDD オブジェクト

パーティション数を削減した RDD。RDD オブジェクトとして返されます。

例

RDD 内のパーティション数の削減

%% Connect to Spark
sparkProp = containers.Map({'spark.executor.cores'}, {'1'});
conf = matlab.compiler.mlspark.SparkConf('AppName','myApp', ...
                        'Master','local[1]','SparkProperties',sparkProp);
sc = matlab.compiler.mlspark.SparkContext(conf);

%% coalesce
inputRDD = sc.parallelize({'A','B','C','A','B'},2);
redRDD= inputRDD.map(@(x)({x,1})).reduceByKey(@(x,y)(x+y),3);
coaRDD = redRDD.checkpoint(2);
viewRes = coaRDD.glom.collect() % {{{'B',2}},{{'C',1},{'A',2}}}

バージョン履歴

R2016b で導入

参考

reduceByKey | map | glom | collect | parallelize