ドキュメンテーション

最新のリリースでは、このページがまだ翻訳されていません。 このページの最新版は英語でご覧になれます。

Hadoop クラスターの構成

適切に構成された MATLAB クライアントから、tall配列およびmapreduce関数を含む並列 MATLAB® コードを Hadoop クラスターに送信できます。

MATLAB コードをクラスターで実行するようにクライアントを構成するには、意図したクライアント マシンからクラスターへの送信が既に可能になっていなければなりません。クライアント マシンには MATLAB 外のクラスターにアクセスできる Hadoop® インストール環境がなければなりません。

多くの Hadoop ディストリビューションは Windows® クライアントからの Linux® ベース クラスターへの直接アクセスをサポートしていません。Windows クライアントのユーザーは多くの場合、Windows クライアントから SSH または VNC を介してアクセスできる Linux ゲートウェイ ノードを設定する必要があります。その後、このゲートウェイ ノードからクラスターにアクセスできます。

クラスターの構成

  1. MATLAB Distributed Computing Server™ をクラスター インフラストラクチャと統合します。詳細については、MATLAB とサードパーティ製スケジューラとの統合を参照してください。

  2. クラスターで Kerberos 認証が必要とされる場合は、MATLAB Distributed Computing Server のインストール環境が適切に設定されていることを確認してください。詳細については、Kerberos 認証を参照してください。

クライアント構成

  1. クライアントが MATLAB 外の Hadoop クラスターにアクセスできることを確認します。

  2. クラスターで Kerberos 認証が必要とされる場合は、クライアント MATLAB のインストール環境が Kerberos 認証用に構成されていることを確認します。詳細については、Kerberos 認証を参照してください。

MATLAB 内からクラスターにアクセスするには、次のステートメントを使用してparallel.cluster.Hadoopオブジェクトを設定します。

setenv('HADOOP_HOME', '/path/to/hadoop/install')
cluster = parallel.cluster.Hadoop;

mapreducerを使用して mapreduce が Hadoop クラスター オブジェクトで実行できるように指定します。

Hadoop クラスター上で並列 MATLAB コードを実行する方法の例については、Hadoop クラスター上での mapreduce の実行 (Parallel Computing Toolbox)とSpark 対応 Hadoop クラスターでの tall 配列の使用 (Parallel Computing Toolbox)を参照してください。

Kerberos 認証

クラスターで Oracle® Java® 暗号化拡張機能を必要とする Kerberos 認証が使用されている場合は、MATLAB と MATLAB Distributed Computing Server のすべてのインストール環境を構成しなければなりません。Hortonworks® または Cloudera® のディストリビューションを使用している場合は、以下の構成手順を実行する必要がある可能性が高いです。

構成手順はクライアントとワーカーの MATLAB インストール環境で同じです。

R2018b 以降では、Java インストール環境の適切なセキュリティ ポリシーを有効にして、MATLAB インストール環境を構成します。

  1. MATLAB エディターで、ファイル ${MATLAB_ROOT}/sys/java/jre/${ARCH}/jre/lib/security/java.security を開きます。

  2. 次の行

    #crypto.policy=unlimited
    を次に変更します。
    crypto.policy=unlimited

以前のリリースの場合、追加のセキュリティ ファイルを Oracle からダウンロードしなければなりません。

  1. Oracle Java 暗号化拡張機能の zip ファイルを Oracle Java SE ページからダウンロードします。

  2. ダウンロードした zip ファイルを一時フォルダーに解凍します。

  3. ${MATLABROOT}/sys/java/jre/${ARCH}/jre/lib/security フォルダー内の local_policy.jar および US_export_policy.jar の各ファイルを、ダウンロードしたバージョンに置き換えます。

Hadoop バージョンのサポート

  • MATLABmapreduce は、Hadoop 2.x クラスターでサポートされています。Hadoop 1.x クラスターのサポートは削除されていることに注意してください。

  • MATLAB の tall 配列は、Spark® 対応 Hadoop 2.x クラスターでサポートされています。クライアントのすべてのアーキテクチャをサポートする、Spark 対応 Hadoop クラスターでは、そのクラスターの Linux および Mac アーキテクチャをサポートしていても、tall 配列を使用できます。これは、クロスプラットフォーム サポートを含みます。

機能結果代替方法互換性についての考慮事項
MATLAB mapreduce を Hadoop 1.x クラスターで実行するためのサポートが削除されている。 エラーHadoop 2.x 以降がインストールされたクラスターを使用して MATLAB mapreduce を実行する。 Hadoop 1.x 上で稼働している MATLAB mapreduce コードを Hadoop 2.x に移行する。

参考

関連するトピック