saveAsKeyValueDatastore

R2026b

クラス: matlab.compiler.mlspark.RDD
名前空間: matlab.compiler.mlspark

(削除予定) キーと値の RDD を datastore 関数を使用して読み戻すことができるバイナリ ファイルとして保存

このページをすべて展開する

matlab.compiler.mlspark.RDD.saveAsKeyValueDatastore は将来のリリースで削除される予定です。代替となる機能はありません。詳細については、バージョン履歴を参照してください。

構文

saveAsKeyValueDatastore(obj,path)

説明

saveAsKeyValueDatastore(obj,path) は、キーと値の入力 RDD obj を、関数 datastore を使用して読み戻すことができるバイナリ ファイルとして保存します。

入力引数

すべて展開する

入力 RDD。RDD オブジェクトとして指定します。

バイナリ ファイルを保存する必要があるディレクトリの場所。'' で囲んだ文字ベクトルとして指定します。

データ型: char

例

すべて展開する

キーと値の RDD を、関数 datastore を使用して読み戻すことができるバイナリ ファイルとして保存します。

%% Connect to Spark
sparkProp = containers.Map({'spark.executor.cores'}, {'1'});
conf = matlab.compiler.mlspark.SparkConf('AppName','myApp', ...
                        'Master','local[1]','SparkProperties',sparkProp);
sc = matlab.compiler.mlspark.SparkContext(conf);

%% saveAsKeyValueDatastore

% May require setting HADOOP_PREFIX or HADOOP_HOME environment variables to a
% valid Hadoop installation folder even if running locally.
% For example:
% setenv('HADOOP_PREFIX','/share/hadoop/hadoop-2.5.2')

inRDD = sc.parallelize({1,2,3,4,5});
redRDD= inputRDD.map(@(x)({x,1})).reduceByKey(@(x,y)(x+y))
% Store RDD in a key-value binary file that can be read back into MATLAB using datastore
redRdd.saveAsKeyValueDatastore('myKVdir')

バージョン履歴

R2016b で導入

すべて折りたたむ

参考

| | |