ドキュメンテーション

最新のリリースでは、このページがまだ翻訳されていません。 このページの最新版は英語でご覧になれます。

Hadoop クラスターの構成

このトピックでは、既存の Hadoop® クラスターでジョブを実行するための要件を説明します。

要件は次のとおりです。

  1. MATLAB® Distributed Computing Server™ がクラスター ノードにインストールされているか使用可能でなければなりません。製品のインストールとクラスター構成の選択を参照してください。

  2. Java 暗号化拡張機能を必要とする Kerberos 認証でクラスターを実行している場合、この拡張機能の Oracle バージョンを、MATLAB Distributed Computing Server の各インストールにダウンロードしなければなりません。また、MATLAB のクライアント インストールについてもこの手順を実行しなければなりません。拡張機能をインストールするには、Java 暗号化拡張機能の jar ファイルをフォルダー ${MATLABROOT}/sys/jre/${ARCH}/jre/lib/security に配置します。

  3. 標準 (非 MATLAB) ジョブをクラスターに投入することができる MATLAB クライアント マシンに Hadoop をインストールしておかなければなりません。

  4. クラスターで、ノードがアクセスできる有効な場所として、ユーザー ホーム ディレクトリを指定しなければなりません。ローカルのファイルシステムのパスを選択しなければならず、通常は /tmp/hduserhome/home/${USER} などのローカル フォルダーを使用します。Hadoop version 2.X の場合は yarn.nodemanager.user-home-dir を設定します。

  5. "final" にしてはならない Hadoop プロパティが 1 つあります (プロパティが "final" である場合、プロパティは固定の事前定義値にロックされ、ジョブでの変更はできません)。

    タスク プロセスが正確に MATLAB を実行できるように、ソフトウェアでこのプロパティに値を追加する必要があります。このプロパティは、ジョブ投入時に Hadoop に送られるジョブ メタデータの一部として渡されます。

    このプロパティは mapred.child.env であり、ジョブのタスク プロセスの環境変数を制御します。

  6. MATLAB クライアント セッションの parallel.cluster.Hadoop オブジェクトに必要な情報を与えなければなりません。例は、Hadoop クラスター上での mapreduce の実行 (Parallel Computing Toolbox)およびSpark 対応 Hadoop クラスターでの tall 配列の使用 (Parallel Computing Toolbox)を参照してください。

  7. Hortonworks の場合は、MATLAB および MATLAB Distributed Computing Server の静的クラス パスの冒頭に以下を追加します。

    $HADOOP_PREFIX/lib/commons-codec-1.9.jar

    詳細については、静的パス (MATLAB)のドキュメンテーションを参照してください。

  8. Cloudera の場合は、MATLAB および MATLAB Distributed Computing Server の静的クラス パスの冒頭に以下を追加します。

    $HADOOP_PREFIX/jars/commons-codec-1.9.jar

    詳細については、静的パス (MATLAB)のドキュメンテーションを参照してください。

Hadoop バージョンのサポート

  • MATLAB MapReduce は、Hadoop 2.x クラスターでサポートされています。Hadoop 1.x クラスターのサポートは削除されています。表を参照してください。

  • MATLAB の tall 配列は、Spark® 対応 Hadoop 2.x クラスターでサポートされています。

  • クライアントのすべてのアーキテクチャをサポートする、Spark 対応 Hadoop クラスターでは、そのクラスターの Linux および Mac アーキテクチャをサポートしていても、tall 配列を使用できます。これは、クロスプラットフォーム サポートを含みます。

機能結果代替方法互換性についての考慮事項
MATLAB MapReduce を Hadoop 1.x クラスターで実行するためのサポートは削除されました。 エラーHadoop 2.x 以降がインストールされたクラスターを使用して MATLAB MapReduce を実行する。 Hadoop 1.x 上で稼働している MATLAB MapReduce コードは、Hadoop 2.x に移行してください。

参考

関連するトピック