Main Content

Spark 用 MATLAB API を使用したアプリケーションのデプロイ

Spark™ 用 MATLAB® API を使用して MATLAB アプリケーションを作成し、Spark で実行する

サポートされるプラットフォーム: Linux® のみ。

Spark 用 MATLAB API を使用したアプリケーションのデプロイは、次の 2 つの部分で構成されます。

  • Spark 用 MATLAB API を使用してアプリケーションを作成し、MATLAB デスクトップ環境でスタンドアロン アプリケーションとしてパッケージ化する。

  • Spark 対応のクラスターで、Linux シェルからスタンドアロン アプリケーションを実行する。

Spark 用 MATLAB API を使用してアプリケーションを作成する際に、flatMap、mapPartitions、aggregate、およびその他の Spark 関数を MATLAB コードで使用することができます。API は Spark プログラミング モデルを MATLAB に公開するため、MATLAB の実装で多くの Spark 関数を使用できるようになります。これらの MATLAB 実装の多くは、関数ハンドルや無名関数を入力として受け取り、さまざまなタイプの解析を実行します。

API により、単一マシン上で非分散モードの MATLAB デスクトップ環境内から、アプリケーションを対話的に実行できるようになります。同一マシンの 2 番目の MATLAB セッションはワーカーとして機能します。これは、Spark 対応のクラスターへのデプロイ前にアプリケーションをデバッグするときに便利な機能です。Spark 用 MATLAB API を使用して、対話型のデバッグを行うよう MATLAB 環境を構成する必要があります。詳細については、Configure Environment for Interactive Debuggingを参照してください。

Spark 用 MATLAB API を使用する一般的なワークフローは次のとおりです。

  1. Spark プロパティを指定します。

  2. SparkConf オブジェクトを作成します。

  3. SparkContext オブジェクトを作成します。

  4. RDD オブジェクトをデータから作成します。

  5. RDD オブジェクト上で操作を実行します。

この API で作成したアプリケーションは、mcc コマンドまたは deploytool を使用して、スタンドアロン アプリケーションにパッケージ化することができます。その後、Spark 対応のクラスターで、Linux シェルからアプリケーションを実行できます。

メモ

Spark 用 MATLAB API を使って開発された MATLAB アプリケーションは、tall 配列が含まれている場合にはデプロイできません。

詳細な例については、Deploy Applications to Spark Using the MATLAB API for Sparkを参照してください。同じ手順に従って、Spark 用 MATLAB API を使用して作成されたアプリケーションを CLOUDERA® CDH にデプロイできます。

クラス

matlab.compiler.mlspark.SparkConfInterface class to configure an application with Spark parameters as key-value pairs
matlab.compiler.mlspark.SparkContextSpark 対応のクラスターへの接続を初期化するインターフェイス クラス
matlab.compiler.mlspark.RDDSpark の耐障害性分散データセット (RDD) を表すインターフェイス クラス

トピック