Databricks で実行する MATLAB と Simulink の参照アーキテクチャを使用すると、ドメイン固有のモデルを Databricks の安全およびスケーラブルな計算基盤と組み合わせ、データが存在する場所で作業できるようになります。
Databricks 用 MATLAB インターフェースは、エンジニアやデータサイエンティストが MATLAB および Simulink のワークフローを直接 Databricks 上で開発、拡張、デプロイすることを可能にし、アルゴリズムやシミュレーションを生産パイプラインやデジタルツインで運用します。
- Databricks で MATLAB と Simulink を直接実行する
- MATLAB と Databricks で SQL を使用する
- MATLAB と Simulink でモデルを開発し、Spark™ で拡張する
- MATLAB で対話的に Spark を操作する
- MATLAB および Simulink のアルゴリズムとモデルを Python および SQL ユーザーと共有する
- Simulink モデルを Databricks にデジタルツインとしてデプロイする
インタラクティブな開発およびプロトタイピング
Databricks で実行する MATLAB と Simulink
Databricks で実行する MATLAB と Simulink の参照アーキテクチャは、データに対してインタラクティブな計算能力をもたらし、チームが Databricks 内でデータを安全に使用して開発およびシミュレーションを行うことを可能にします。
SQL を使用したビッグデータへのアクセス
Database Toolbox™ を使用して Databricks クラスターを MATLAB に接続することにより、Databricks クラスターを通じてクラウドデータソースにアクセスします。データを遠隔操作し、SQL を使用して Databricks 上のテーブル形式データにアクセスします。Apache Spark™ SQL を使用して、Spark ワークフローでデータにクエリを実行します。
プログラムで Databricks を操作
REST API により、MATLAB ユーザーは MATLAB から Databricks 環境をプログラムで操作することが可能になります。例として、Databricks 内のジョブやクラスターを制御することができます。
MATLAB および Simulink で Spark を使用
Databricks Connect を使用して、Apache Spark API コマンドを MATLAB アルゴリズムに組み込みます。Spark API コマンドは、サーバーレス クラスターを含む Databricks クラスター上で実行されます。
MATLAB と Simulink を用いた運用環境へのデプロイ
Databricks における MATLAB と Simulink を用いた運用環境へのデプロイ
MATLAB Compiler SDK、Simulink Compiler、MATLAB Runtime を使用して、アルゴリズムおよびモデルをパッケージ化し、Databricks クラスターにデプロイします。ノートブックでオンデマンドに実行したり、ジョブとしてスケジュールしたり、データパイプラインに連携したり、デジタルツインを駆動したりします。
Databricks で実行する MATLAB と Simulink の参照アーキテクチャ
Databricks 用 MATLAB インターフェースをダウンロード
リリース 7.0.4
技術エキスパートへのお問い合わせ
SQL を使用して Databricks データを処理
SQL を使用して、クラウド上でクエリを送信してデータを操作します。MATLAB Database Toolbox™ または Spark SQL を使用して、Databricks テーブル、Databricks に接続されたデータソース、およびさまざまなファイルタイプからデータを読み取ります。複数のファイル形式で独自のテーブルを作成するか、Databricks Delta Lake テーブルおよび Delta Lake を使用します。クエリ結果は、MATLAB のツールボックスおよびアルゴリズムで直接使用できる MATLAB table に変換されます。クラウドが有効になっている独自のアルゴリズムも作成します。
Databricks Connect および DBFS を使用して、MATLAB でクラウドデータを対話的に処理
DBFS を使用してクラウド上のデータを探索します。ファイルの作成、アップロード、ダウンロード、整理を、ローカルで行うときと同様にすべて MATLAB から行います。Databricks Connect を使用して、デスクトップからクラウド上で Spark を直接操作します。大規模なデータセットを処理し、Spark の拡張性と速度を活用します。アルゴリズムの調整を行う際にデータサンプルをダウンロードし、AI モデルの学習とテストをローカルで実施した後、クラウド上の完全なデータセットで実行するためにデプロイします。
Databricks Spark クラスターで MATLAB アルゴリズムをネイティブ実行
MATLAB Compiler と MATLAB Compiler SDK を使用して、MATLAB コードを Spark Submit ジョブとして実行します。MATLAB アルゴリズムは、MATLAB Runtime が有効になっている Databricks クラスターにデプロイされると、任意の数のノードまで拡張できます。MATLAB ジョブを任意で実行するか、自動スケジュールで実行します。MATLAB アルゴリズムが Spark の並列処理能力を活用してクラウド上でのデータ処理を高速化できるようにします。
他の Databricks ユーザーと MATLAB アルゴリズムを共有
Databricks に MATLAB アルゴリズムをデプロイしたら、他のユーザーと共有してマルチステップ ワークフローに組み込みます。MATLAB アルゴリズムはジョブとしてネイティブに、大規模に、または MATLAB Runtime が有効になっているクラスター上でデプロイおよび実行します。
SQL スクリプトなどの任意の言語で使用できるように、MATLAB コードをライブラリまたはユーザー定義の関数としてデプロイします。Java ライブラリまたは Python ライブラリおよびノートブックでもこのコードを使用できます。
