aggregate

クラス: matlab.compiler.mlspark.RDD
名前空間: matlab.compiler.mlspark

各パーティションの要素を集計したあと、すべてのパーティションの結果を 1 つの値に集計

構文

result = aggregate(obj,zeroValue,seqOp,combOp)


説明

result = aggregate(obj,zeroValue,seqOp,combOp) は、seqOp と combOp で指定された特定の結合関数と、zeroValue で指定されたニュートラルな “ゼロ値” を使用して、要素を 1 つの値に集計します。

入力引数

obj — 入力 RDD

RDD オブジェクト

入力 RDD。RDD オブジェクトとして指定します。

zeroValue — ニュートラルな “ゼロ値”

数値の cell 配列

ニュートラルな “ゼロ値”。数値の cell 配列として指定します。

データ型: cell

seqOp — 各キーの値を集計する関数

関数ハンドル

各キーの値を集計する関数。関数ハンドルとして指定します。

データ型: function_handle

combOp — seqOp の結果を集計する関数

関数ハンドル

seqOp の結果を集計する関数。関数ハンドルとして指定します。

データ型: function_handle

出力引数

result — 集計された要素を含む RDD

RDD オブジェクト

集計された要素を含む RDD。RDD オブジェクトとして返されます。

例

RDD 要素の 1 つの値への集計

%% Connect to Spark
sparkProp = containers.Map({'spark.executor.cores'}, {'1'});
conf = matlab.compiler.mlspark.SparkConf('AppName','myApp', ...
                        'Master','local[1]','SparkProperties',sparkProp);
sc = matlab.compiler.mlspark.SparkContext(conf);

%% Aggregate
seqOp = @(x,y)({x{1} + y, x{2} + 1});
combOp = @(x,y)({x{1} + y{1}, x{2} + y{2}});
x = sc.parallelize({1, 2, 3, 4});
y = x.aggregate({0, 0}, seqOp, combOp) % {10,4}

バージョン履歴

R2016b で導入

参考

aggregateByKey | parallelize