Databricks® 用 MATLAB インターフェイスにより、クラウド上のデータや計算機能にアクセスできます。大規模なデータセットにリモートでアクセスしてクエリを実行したり、MATLAB コードを展開して Databricks クラスター上で実行したりできます。
- SQL を使用して Databricks 内のデータを処理
- MATLAB で対話的に Spark™ を操作
- コンパイルした MATLAB アルゴリズムを Databricks で実行
- Python® を使用して作業している他の Databricks ユーザーと MATLAB アルゴリズムを共有
SQL でビッグデータにアクセス
Database Toolbox を使用して MATLAB から Databricks クラスターに接続することで、クラウド上のデータソースにアクセスできます。データをリモートで操作し、SQL で Databricks 上の表形式データにアクセスします。さらに、Apache® Spark™ SQL を使用すると、Spark ワークフロー内のデータをクエリできます。
MATLAB および Simulink で Spark を使用
Databricks Connect を使用して、Apache Spark API コマンドを MATLAB アルゴリズムに組み込みます。Spark API コマンドが、サーバーレス クラスターを含む Databricks クラスターで実行されます。
MATLAB をデータ側にデプロイ
MATLAB Compiler SDK や Simulink Compiler を使用して、MATLAB Runtime を利用した Databricks クラスターへのデプロイ用にアルゴリズムをパッケージ化します。デプロイしたアルゴリズムは、ノートブック上で、またはオンデマンドジョブやスケジュール済みジョブとして実行できます。これらのアルゴリズムを活用して、データ処理パイプラインの一部として組み込むことができます。
プログラムによる Databricks との連携
REST API を通じて、MATLAB からプログラムによる Databricks 環境との連携が可能です。たとえば、Databricks 内のジョブやクラスターを制御できるようになります。
Databricks 用 MATLAB インターフェイスのダウンロード
リリース 5.3.6
お問い合わせ
ご不明な点があればご連絡ください。
SQL を使用して Databricks データを処理
SQL を使用して、クラウド上でクエリを送信してデータを操作します。MATLAB Database Toolbox™ または Spark SQL を使用して、Databricks の表、Databricks に接続されたデータソース、さまざまなファイルタイプからデータを読み取ります。複数のファイル形式で独自の表を作成するか、Databricks Delta Lake の表および Delta Lake を使用します。クエリ結果は、MATLAB のツールボックスおよびアルゴリズムで直接使用できる MATLAB table に変換されます。クラウドが有効になっている独自のアルゴリズムも作成します。
Databricks Connect および DBFS を使用して、MATLAB でクラウドデータを対話的に処理
DBFS を使用したクラウドでデータを探索します。ローカルで行うときと同様に、ファイルの作成、アップロード、ダウンロード、整理をすべて、MATLAB から行います。Databricks Connect を使用して、デスクトップからクラウド上で Spark を直接操作します。大規模なデータセットを処理し、Spark の拡張性と速度を活用します。アルゴリズムの調整をする際にデータサンプルをダウンロードし、AI モデルの学習とテストをローカルで行った後に、クラウド上の完全なデータセットで展開して実行します。
Databricks Spark クラスターで MATLAB アルゴリズムをネイティブに実行
MATLAB Compiler および MATLAB Compiler SDK を使用して、MATLAB コードを Spark Submit ジョブとして実行します。MATLAB アルゴリズムは、MATLAB Runtime が有効になっている Databricks クラスターに展開されると、任意の数のノードまで拡張できます。MATLAB ジョブを任意で実行するか、自動スケジュールで実行します。MATLAB アルゴリズムが Spark の並列処理能力を活用してクラウド上でのデータ処理を高速化できるようにします。
他の Databricks ユーザーと MATLAB アルゴリズムを共有
Databricks に MATLAB アルゴリズムを展開したら、他のユーザーと共有して多段階のワークフローに組み込みます。MATLAB アルゴリズムをジョブとしてネイティブかつ大規模に、または MATLAB Runtime が有効になっているクラスター上で、展開および実行します。
SQL スクリプトなどの任意の言語で使用できるように、MATLAB コードをライブラリまたはユーザー定義の関数として展開します。Java ライブラリまたは Python ライブラリおよびノートブックでもこのコードを使用できます。
