datastoreToRDD

クラス: matlab.compiler.mlspark.SparkContext
名前空間: matlab.compiler.mlspark

MATLAB datastore を Spark RDD に変換する

このページをすべて展開する

構文

rdd = datastoreToRDD(sc,ds)

説明

rdd = datastoreToRDD(sc,ds) は、MATLAB® datastore オブジェクト ds を Spark™ RDD に変換します。

入力引数

すべて展開する

使用する SparkContext。SparkContext オブジェクトとして指定します。

RDD に変換するデータストア。MATLAB datastore オブジェクトとして指定します。

出力引数

すべて展開する

変換された datastore オブジェクトを表す出力 RDD。RDD オブジェクトとして返されます。

例

すべて展開する

MATLAB datastore オブジェクトを Spark RDD に変換します。

% Setup Spark Properties as a MATLAB Map object using a containers.Map class
sparkProp = containers.Map({'spark.executor.cores'}, {'1'}); 

% Create SparkConf object
conf = matlab.compiler.mlspark.SparkConf(...
    'AppName'        , 'myApp', ...
    'Master'         , 'local[1]', ...
    'SparkProperties',  sparkProp );
     
% Create a SparkContext
sc = matlab.compiler.mlspark.SparkContext(conf);

% Create a MATLAB datastore 
ds = datastore('airlinesmall.csv','TreatAsMissing','NA');

% Convert MATLAB datastore to Spark RDD 
rdd = datastoreToRDD(sc,ds);

% Alternate object usage:
rdd = sc.datastoreToRDD(ds);

バージョン履歴

R2016b で導入