matlab.compiler.mlspark.SparkContext クラス

名前空間: matlab.compiler.mlspark
スーパークラス:

Spark 対応のクラスターへの接続を初期化するインターフェイス クラス

このページをすべて展開する

説明

SparkContext オブジェクトは、Spark™ クラスターへの接続を初期化することにより、Spark へのエントリ ポイントとして機能します。SparkConf オブジェクトを入力引数として受け入れ、そのオブジェクトで指定されたパラメーターを使用して、Spark 実行環境への接続を確立する上で必要な内部サービスを設定します。

構築

sc = matlab.compiler.mlspark.SparkContext(conf) は、SparkContext オブジェクトを作成し、Spark クラスターへの接続を初期化します。

入力引数

すべて展開する

SparkConf オブジェクトを入力として SparkContext に渡します。

例: sc = matlab.compiler.mlspark.SparkContext(conf);

SparkConf オブジェクトの作成方法については、matlab.compiler.mlspark.SparkConf を参照してください。

プロパティ

このクラスのプロパティは非表示です。

メソッド

addJarSparkContext で実行する必要があるすべてのタスクに対して JAR ファイルの依存関係を追加
broadcastクラスターに読み取り専用の変数をブロードキャストする
datastoreToRDDMATLAB datastore を Spark RDD に変換する
deleteSpark 対応のクラスターへの接続をシャットダウン
getSparkConfSparkConf の構成パラメーターの取得
parallelizeローカルの MATLAB 値の集合から RDD を作成
setCheckpointDirRDD がチェックポイント化されるディレクトリの設定
setLogLevelログ レベルの設定
textFileテキスト ファイルから RDD を作成

例

すべて折りたたむ

SparkContext クラスは、Spark プロパティを使用して、Spark 対応のクラスターへの接続を初期化します。

% Setup Spark Properties as a containers.Map object
sparkProp = containers.Map({'spark.executor.cores'}, {'1'}); 

% Create SparkConf object
conf = matlab.compiler.mlspark.SparkConf('AppName','myApp', ...
                        'Master','local[1]','SparkProperties',sparkProp);
% Create a SparkContext
sc = matlab.compiler.mlspark.SparkContext(conf);

詳細

すべて展開する

参考文献

詳細については、Spark の最新のドキュメンテーションを参照してください。

バージョン履歴

R2016b で導入

参考

クラス

トピック