汎用スケジューラインターフェイスを使用した構成

汎用スケジューラインターフェイスには MATLAB^® クライアント、MATLAB ワーカーおよびサードパーティ製スケジューラの相互作用を構成するための柔軟性があります。スケジューラの設定と MATLAB とのインターフェイスを詳細にカスタマイズするには、汎用スケジューラインターフェイスを使用します。

組み込みのクラスタータイプまたは Generic を使用して、クラスタープロファイルを作成することができます。ベストプラクティスとしては、可能であれば組み込みのクラスタータイプを使用します。

以下の場合は Generic クラスタープロファイルを使用する必要があります。

組み込みのクラスタータイプがないクラスターに接続する
MATLAB クライアントとクラスターノードに共有ファイルシステムがない
MATLAB クライアントマシンがサードパーティ製スケジューラにジョブを直接投入できない
並列ジョブをクラスターに投入する方法を完全にカスタマイズする必要がある

組み込みのクラスタータイプを使用してクラスターを構成するには、Slurm、PBS Pro、OpenPBS、LSF、TORQUE 向けの構成、Hadoop クラスターの構成、またはHPC Pack 向けの構成を参照してください。

サードパーティ製スケジューラとのインターフェイス

汎用スケジューラインターフェイスには、Parallel Computing Toolbox™ クライアントセッションからタスクをスケジューラおよびクラスターノードに渡す手段が用意されています。これを実現するには、MATLAB クライアントに一連のプラグインスクリプトを提供しなければなりません。このスクリプトには、ジョブスケジューラとの通信方法、クラスターノードへのジョブおよびタスクデータの転送方法など、使用しているクラスターインフラストラクチャ固有の命令が含まれています。

サポートスクリプト

スケジューラとのインターフェイスに役立つよう、MathWorks^® では、以下のサードパーティ製スケジューラ用にアドオンまたはプラグインを提供しています。これらは GitHub^® リポジトリまたはアドオンマネージャーからダウンロードできます。

プラグイン	GitHub リポジトリ
Slurm の備わった MATLAB Parallel Server™ 用の Parallel Computing Toolbox プラグイン	https://github.com/mathworks/matlab-parallel-slurm-plugin
IBM Spectrum^® LSF^® の備わった MATLAB Parallel Server 用の Parallel Computing Toolbox プラグイン	https://github.com/mathworks/matlab-parallel-lsf-plugin
Grid Engine の備わった MATLAB Parallel Server 用の Parallel Computing Toolbox プラグイン	https://github.com/mathworks/matlab-parallel-gridengine-plugin
PBS の備わった MATLAB Parallel Server 用の Parallel Computing Toolbox プラグイン	https://github.com/mathworks/matlab-parallel-pbs-plugin
HTCondor の備わった MATLAB Parallel Server 用の Parallel Computing Toolbox プラグイン	https://github.com/mathworks/matlab-parallel-htcondor-plugin

これらのワークフローのいずれかを使用して、ご使用のスケジューラに適切なプラグインスクリプトをダウンロードします。

GitHub リポジトリからプラグインをダウンロードできます。
- ご使用のマシンのコマンドウィンドウから GitHub リポジトリをクローンします。たとえば、IBM Spectrum LSF が備わった MATLAB Parallel Server 用の Parallel Computing Toolbox プラグインのリポジトリをクローンするには、以下を使用します。
```
git clone https://github.com/mathworks/matlab-parallel-lsf-plugin
```
- ブラウザーで GitHub ページにアクセスし、プラグインを ZIP アーカイブとしてダウンロードします。
あるいは、MATLAB アドオンマネージャーからアドオンをインストールするには、[ホーム] タブに移動し、[環境] セクションで [アドオン] アイコンをクリックします。アドオンエクスプローラーで、アドオンを検索してインストールします。
また、MATLAB Central™ File Exchange からプラグインをダウンロードすることもできます。

追加情報

MATLAB クライアントがジョブをスケジューラに直接投入できない場合、MATLAB では、コマンドをリモートクラスターに送信するために ssh プロトコルの使用がサポートされます。
クライアントとクラスターノードに共有ファイルシステムがない場合、MATLAB では、コンピューターとクラスター間でジョブおよびタスクファイルをコピーするために sftp (SSH ファイル転送プロトコル) の使用がサポートされます。
プラグインスクリプトの動作をカスタマイズする場合は、AdditionalSubmitArgs などの追加のプロパティを設定できます。詳細については、サンプルプラグインスクリプトの動作のカスタマイズを参照してください。
リポジトリのいずれかでスケジューラまたはクラスター構成がサポートされていない場合、いずれかのパッケージのスクリプトを変更することを推奨します。汎用スケジューラ用の一連のプラグインスクリプトを記述する方法の詳細については、汎用スケジューラのプラグインスクリプト (Parallel Computing Toolbox)を参照してください。

汎用クラスタープロファイルの作成

LSF のサンプル設定

この例では、汎用スケジューラインターフェイスを使用するためのクラスタープロファイルを設定する方法を説明します。クライアントとクラスターマシン間に共有ファイルシステムのないネットワークにおける LSF スケジューラの設定を説明します。次の図は、クラスター構成を示します。

Workflow that shows the operation of an LSF scheduler

このタイプの構成では、ジョブデータが Windows オペレーティングシステムが稼働するクライアントホストから、UNIX® オペレーティングシステムが稼働するクラスター上のホスト (クラスターログインノード) にコピーされます。クラスターログインノードから、LSF の bsub コマンドによりジョブがスケジューラに投入されます。ジョブが終了すると、出力がコピーされてクライアントホストに戻されます。

要件

設定は次の条件を満たさなければなりません。

クライアントノードとクラスターログインノードが ssh および sftp を必ずサポートする。
クラスターログインノードにおいて、bsub コマンド呼び出しによるジョブの LSF スケジューラへの投入が可能である。詳細については、インストールフォルダー内の nonshared サブフォルダーにある README ファイルを参照してください。

クラスタープロファイルの構成

次の手順に従ってクラスタープロファイルを構成します。設定に応じてこれらのオプションを変更できます。

LSF GitHub リポジトリフォルダーを解凍し、MATLAB クライアントからアクセスできる場所に移動します。
クライアントホストで MATLAB セッションを開始します。
MATLAB デスクトップからクラスタープロファイルマネージャーを起動します。[ホーム] タブの [環境] セクションで、[並列] 、 [クラスターの作成と管理] を選択します。
[クラスタープロファイルの追加] 、 [汎用] を選択して、クラスタープロファイルマネージャーで新しいプロファイルを作成します。
リスト内で新しいプロファイルが選択されている状態で、[プロファイルの管理] セクションで [名前の変更] を選択し、プロファイル名を InstallTest に変更します。Enter キーを押します。
[プロパティ] タブで [編集] を選択し、次のフィールドを設定します。
1. [説明] フィールドに For testing installation と入力します。
2. [JobStorageLocation] を、ジョブおよびタスクのデータを保存するクライアントマシン上の場所 (クラスターの場所ではない) に設定します (例: C:\Temp\joblocation)。
  異なるバージョンを実行している並列計算製品の間で [JobStorageLocation] を共有してはなりません。クラスター上の各バージョンはそれぞれ固有の [JobStorageLocation] をもたなければなりません。
3. [NumWorkers] を、インストールのテスト対象とするワーカー数に設定します。
4. [NumThreads] を、各ワーカーで使用するスレッド数に設定します。
5. [ClusterMatlabRoot] を、ワーカーマシン上で実行する MATLAB のインストール場所に設定します。
6. クラスターでオンラインライセンスを使用する場合、[RequiresOnlineLicensing] を true に設定します。
7. [RequiresOnlineLicensing] を true 設定した場合は、[LicenseNumber] を入力します。
8. [OperatingSystem] をクラスターワーカーマシンのオペレーティングシステムに設定します。
9. [HasSharedFilesystem] を false に設定します。この設定はクライアントノードとワーカーノードが同じデータの場所を共有できないことを示します。
10. [PluginScriptsLocation] をプラグインスクリプトの場所に設定します。
11. リモートクラスターに接続するには、[AdditionalProperties] テーブルで [追加] を選択します。名前に ClusterHost、値に cluster-host-name、型に String を使用して新しいプロパティを指定します。
12. 共有ファイルシステムを使用せずにリモートクラスターでジョブを実行するには、[AdditionalProperties] テーブルで [追加] を選択します。名前に RemoteJobStorageLocation、値に /network/share/joblocation、型に String を使用して新しいプロパティを指定します。
[完了] をクリックしてクラスタープロファイルの変更を保存します。ダイアログボックスは次のように表示されます。

プロファイルが機能することを確認するために、クラスタープロファイルの検証とインストールの手順に従って検証を実行します。

クラスタープロファイルの検証とインストール

プロファイルの検証時に、使用するワーカーの数を指定できます。[検証] タブでワーカー数を指定しない場合、検証プロセスでは、[プロパティ] タブの [NumWorkers] プロパティで指定されている値と同数のワーカーの使用が試みられます。より少ないワーカー数を指定すると、クラスター全体を占有せずに構成を検証することができます。

MATLAB デスクトップからクラスタープロファイルマネージャーを起動します。[ホーム] タブの [環境] 領域で、[並列] 、 [クラスターの作成と管理] を選択します。
一覧でクラスタープロファイルを選択します。
[検証] タブをクリックします。
チェックボックスを使用してすべてのテストまたは検証段階のサブセットを選択し、プロファイルの検証時に使用するワーカーの数を指定します。
[検証] をクリックします。

[検証] 結果タブに出力が表示されます。次の図では、すべての検証テストをパスしたプロファイルの結果が表示されています。

Cluster Profile Manager with the InstallTest cluster profile selected. The validation results for the InstallTest cluster are shown in the right pane.

メモ

検証がいずれかの段階で失敗した場合は、MathWorks インストールサポートチームにお問い合わせください。

検証がパスすると、他の並列アプリケーションで利用可能な有効なプロファイルの準備ができたことになります。使用するアプリケーションに合わせて、[NumWorkersRange]、[AttachedFiles]、[AdditionalPaths] など、プロファイルを変更することができます。

他のユーザー用にプロファイルを保存するには、プロファイルを選択して、[エクスポート] をクリックします。そして、便利な場所のファイルにプロファイルを保存します。クラスタープロファイルマネージャーの実行中に、他のユーザーは [インポート] をクリックしてこのプロファイルをインポートできます。

他のユーザーが使用できるように、汎用クラスタープロファイルおよびプラグインスクリプトを配布する方法については、汎用クラスタープロファイルおよびプラグインスクリプトの配布を参照してください。

特別な構成

クラスターのアーキテクチャによっては、汎用スケジューラと接続する前に追加のタスクを実施しなければならない場合があります。

カスタム MPI ビルド

Parallel Computing Toolbox で提供される MPI ビルドとは異なる MPI ビルドを使用できます。汎用スケジューラインターフェイスでこのオプションを使用する方法の詳細については、UNIX システム上での異なる MPI ビルドの使用を参照してください。

Grid Engine ファミリでの通信ジョブの実行

Grid Engine ファミリ用のサンプルスクリプトは、matlab 並列環境の存在に依存しています。並列環境 (PE) とは、クラスターにおける並列計算のために設計されたプログラミング環境です。MATLAB Parallel Server および Grid Engine ファミリクラスターを使用して通信ジョブを実行するには、matlab 並列環境を構築しなければなりません。

並列環境の作成. 次の手順では並列環境を作成し、すべてのキューで実行できるようにします。ベストプラクティスとして、これらの手順はクラスターのヘッドノード上で実行してください。一部の手順では管理者のアクセス権が必要です。

Grid Engine ファミリから Grid Engine のインストーラーをダウンロードして実行します。
インストールフォルダー内で、使用する送信モードに関連するプラグインスクリプトの場所に移動します。
目的のスロット数および startmatlabpe.sh ファイルと stopmatlabpe.sh ファイルの正しい場所を使用するように matlabpe.template の内容を変更します (これらのファイルは、すべてのホストからアクセス可能な共有の場所に配置しても、各ホストの同じ場所にコピーしても構いません)。ご使用のクラスターに合わせて、別の値に変更することも、matlabpe.template に値を追加することもできます。詳細については、ご使用のスケジューラに付属の sge_pe ドキュメンテーションを参照してください。
次のようなシェルコマンドを使用して matlab 並列環境を追加します。
```
qconf -Ap matlabpe.template
```
matlab 並列環境をすべてのキュー上で実行できるようにします。
```
qconf -mq all.q
```
このコマンドによりテキストエディターが起動し、変更を行うことができます。行 pe_list を検索し、matlab を追加します。
小さなジョブを PE に投入できることを確認します。
```
$ echo "hostname" | qsub -pe matlab 1
```
qstat を使用して、ジョブが正しく実行され、ジョブを実行したホストの名前が出力ファイルに含まれることを確認します。この出力ファイルの既定のファイル名は ~/STDIN.o### で、### は Grid Engine ジョブ番号を示します。

メモ

並列環境の名前を matlab 以外の名前に変更する場合は、投入関数も変更してください。

Windows クラスターでのファイアウォールの構成

クラスターノード上で Windows ファイアウォールを使用している場合は、許可されたプログラムとして MATLAB を追加できます。

次の手順において、matlabroot は MATLAB のインストール場所を示します。

管理者権限をもつユーザーとしてログインします。
Windows^® コマンドプロンプトで次のスクリプトを実行します。
```
matlabroot\toolbox\parallel\bin\addMatlabToWindowsFirewall.bat
```

他のファイアウォールを使用している場合は、許可されたプログラムとして MATLAB を追加するために、それらのファイアウォールを個別に構成しなければなりません。