matlab.compiler.mlspark.SparkContext クラス

R2026b

名前空間: matlab.compiler.mlspark
スーパークラス:

(削除予定) Spark 対応のクラスターへの接続を初期化するインターフェイス クラス

このページをすべて展開する

matlab.compiler.mlspark.SparkContext は将来のリリースで削除される予定です。代替となる機能はありません。詳細については、バージョン履歴を参照してください。

説明

SparkContext オブジェクトは、Spark™ クラスターへの接続を初期化することにより、Spark へのエントリ ポイントとして機能します。SparkConf オブジェクトを入力引数として受け入れ、そのオブジェクトで指定されたパラメーターを使用して、Spark 実行環境への接続を確立する上で必要な内部サービスを設定します。

構築

sc = matlab.compiler.mlspark.SparkContext(conf) は、SparkContext オブジェクトを作成し、Spark クラスターへの接続を初期化します。

入力引数

すべて展開する

SparkConf オブジェクトを入力として SparkContext に渡します。

例: sc = matlab.compiler.mlspark.SparkContext(conf);

SparkConf オブジェクトの作成方法については、matlab.compiler.mlspark.SparkConf を参照してください。

プロパティ

このクラスのプロパティは非表示です。

メソッド

addJar(削除予定) SparkContext で実行する必要があるすべてのタスクに対して JAR ファイルの依存関係を追加
broadcast(削除予定) クラスターに読み取り専用の変数をブロードキャストする
datastoreToRDDMATLAB datastore を Spark RDD に変換する
delete(削除予定) Spark 対応のクラスターへの接続をシャットダウン
getSparkConfSparkConf の構成パラメーターの取得
parallelize(削除予定) ローカルの MATLAB 値の集合から RDD を作成
setCheckpointDir(削除予定) RDD がチェックポイント化されるディレクトリの設定
setLogLevel(削除予定) ログ レベルの設定
textFile(削除予定) テキスト ファイルから RDD を作成

例

すべて折りたたむ

SparkContext クラスは、Spark プロパティを使用して、Spark 対応のクラスターへの接続を初期化します。

% Setup Spark Properties as a containers.Map object
sparkProp = containers.Map({'spark.executor.cores'}, {'1'}); 

% Create SparkConf object
conf = matlab.compiler.mlspark.SparkConf('AppName','myApp', ...
                        'Master','local[1]','SparkProperties',sparkProp);
% Create a SparkContext
sc = matlab.compiler.mlspark.SparkContext(conf);

詳細

すべて展開する

参考文献

詳細については、Spark の最新のドキュメンテーションを参照してください。

バージョン履歴

R2016b で導入

すべて折りたたむ

参考

クラス

トピック