textFile

クラス: matlab.compiler.mlspark.SparkContext
名前空間: matlab.compiler.mlspark

テキスト ファイルから RDD を作成

構文

rdd = textFile(sc,pathToFile)
rdd = textFile(sc,pathToFile,minPartitions)


説明

rdd = textFile(sc,pathToFile) は、pathToFile にあるテキスト ファイルから RDD を作成します。

rdd = textFile(sc,pathToFile,minPartitions) は、minPartitions で指定された最小の分割数をもつ RDD を作成します。

入力引数

sc — 使用する SparkContext

SparkContext オブジェクト

使用する SparkContext。SparkContext オブジェクトとして指定します。

pathToFile — テキスト ファイルへのファイル パス

文字ベクトル | string

テキスト ファイルへのファイル パス。'' で囲んだ文字ベクトルとして指定します。

データ型: char | string

minPartitions — 作成する分割の最小数

スカラー

作成する分割の最小数。スカラーとして指定します。

データ型: double

出力引数

result — テキスト ファイルから作成された出力 RDD

RDD オブジェクト

テキスト ファイル内の読み取りから作成された出力 RDD。RDD オブジェクトとして返されます。

例

テキスト ファイルからの RDD の作成

%% Connect to Spark
sparkProp = containers.Map({'spark.executor.cores'}, {'1'});
conf = matlab.compiler.mlspark.SparkConf('AppName','myApp', ...
                        'Master','local[1]','SparkProperties',sparkProp);
sc = matlab.compiler.mlspark.SparkContext(conf);

%% textFile
rdd = sc.textFile('/<matlabroot>/toolbox/matlab/demos/airlinesmall.csv')

バージョン履歴

R2016b で導入