groupBy

クラス: matlab.compiler.mlspark.RDD
名前空間: matlab.compiler.mlspark

グループ化された項目からなる RDD を返す

構文

result = groupBy(obj,func,numPartitions)


説明

result = groupBy(obj,func,numPartitions) は、func で表されるユーザー指定の基準に従って obj の要素をグループ化します。numPartitions は、結果の RDD 内に作成する分割数を指定します。

入力引数

obj — 入力 RDD

RDD オブジェクト

入力 RDD。RDD オブジェクトとして指定します。

func — グループ化する関数

関数ハンドル

グループ化を実行する関数。関数ハンドルとして指定します。

データ型: function_handle

numPartitions — 作成するパーティションの数

スカラー値

作成するパーティションの数。スカラー値として指定します。

データ型: double

出力引数

result — グループ化された要素を含む RDD

RDD オブジェクト

入力 RDD のグループ化された要素を含む、パイプライン化された RDD。RDD オブジェクトとして返されます。

例

グループ化された項目からなる RDD

ユーザー指定の基準に従って、RDD の要素をグループ化します。

%% Connect to Spark
sparkProp = containers.Map({'spark.executor.cores'}, {'1'});
conf = matlab.compiler.mlspark.SparkConf('AppName','myApp', ...
                        'Master','local[1]','SparkProperties',sparkProp);
sc = matlab.compiler.mlspark.SparkContext(conf);

%% groupBy
inRDD = sc.parallelize({1,2,3,4,5});
outRDD = inRDD.groupBy(@(x)(mod(x,2))).collect(); % {{0,{2,4}},{1,{1,3,5}

バージョン履歴

R2016b で導入

参考

groupByKey | parallelize