ドキュメンテーション

Spark アプリケーション

コンパイルされた MATLAB® アプリケーションを作成し、Spark™ 対応の Hadoop® クラスターで実行する

サポートされるプラットフォーム: Linux® のみ。

MATLAB アプリケーションは、次の 2 つの方法で Spark に配布することができます。

  • Spark が有効になった Hadoop クラスターへの tall 配列の配布

  • Spark 用 MATLAB API を使用したアプリケーションの配布

tall 配列を含む MATLAB アプリケーションの配布については、Spark 対応の Hadoop クラスターへの tall 配列の配布を参照してください。tall 配列を操作する方法の詳細については、tall 配列 (MATLAB)を参照してください。

Spark プログラムで共通の flatMap などの関数を使用する MATLAB アプリケーションの配布については、Spark 用 MATLAB API を使用したアプリケーションの配布を参照してください。

Spark 用 MATLAB API は、Spark プログラミング モデルを MATLAB に公開します。したがって、MATLAB アプリケーションの作成時にすぐに使用できる flatMapmapPartitions、および aggregate などの Spark 関数を見つけることができます。

メモ

Spark 用 MATLAB API を使って開発された MATLAB アプリケーションは、tall 配列が含まれている場合には配布できません。

Spark の概念の簡潔な概要と、配布された MATLAB アプリケーションにこれらの概念がどう組み込まれているかの説明は、Apache Spark Basicsを参照してください。

MATLAB は科学的アルゴリズムおよびエンジニアリング アルゴリズムの膨大なコレクションを有しており、Spark は大規模データを処理するための高速で汎用型のエンジンです。MATLAB アプリケーションを Spark に配布することにより、MATLAB でアプリケーションを作成して Spark 対応のクラスターで実行することができます。

サポートされる Apache Spark™ のバージョン: 1.3–2.x.