ドキュメンテーション

最新のリリースでは、このページがまだ翻訳されていません。 このページの最新版は英語でご覧になれます。

tall 配列および mapreduce

MATLAB® の tall 配列とデータ ストア、または mapreduce を Spark® クラスター、Hadoop® クラスターおよび並列プールで使用して、ビッグ データセットを並列解析する。

Parallel Computing Toolbox™ を使用すると、デスクトップ上の並列プールを使って tall 配列の式を並列で評価できます。tall 配列を使用すると、マシンのメモリに収まらないビッグ データ アプリケーションを実行できます。また、Parallel Computing Toolbox を使用して、MATLAB Distributed Computing Server™ クラスター上で実行される並列プールに接続することで、tall 配列の処理をスケール アップすることもできます。あるいは、MATLAB Distributed Computing Server™ を実行する Spark 対応 Hadoop クラスターを使用できます。詳細については、tall 配列およびデータ ストアを使用するビッグ データのワークフローを参照してください。

関数

すべて展開する

talltall 配列の作成
datastoreデータの大規模な集合用のデータ ストアを作成
mapreduceメモリに収まらないデータセットを解析するプログラミング手法
mapreducermapreduce および tall 配列の並列実行環境の定義
partitionデータ ストアを分割する
numpartitionsデータ ストアの区画数
parpoolクラスターでの並列プールの作成
gcp現在の並列プールの取得

クラス

すべて展開する

parallel.Pool並列プールへのアクセス
parallel.cluster.Hadoopmapreducer、mapreduce および tall 配列用の Hadoop クラスター

例および操作のヒント

tall 配列およびデータ ストアを使用するビッグ データのワークフロー

ビッグ データセットの解析に tall 配列を使用する一般的なワークフローについて学習する。

並列プールでの tall 配列の使用

Parallel Computing Toolbox および MATLAB Distributed Computing Server の tall 配列を理解する。

クラウドでのビッグデータの処理

この例では、クラウド上の大規模データセットにアクセスし、ビッグデータ向けの MATLAB の機能を使用してクラウド クラスター上で処理する方法を説明します。

Spark 対応 Hadoop クラスターでの tall 配列の使用

MATLAB コードを変更せずに、Spark クラスター上で tall table を作成し、使用する。

並列プール上での mapreduce の実行

Parallel Computing Toolbox を使用して、ビッグ データの高度な解析に mapreduce を試す。

Hadoop クラスター上での mapreduce の実行

Hadoop クラスター上でのビッグ データの高度な解析に使用する mapreduce について学習する。

データ ストアの並列分割

partition を使用して、datastore を小部分に分割する。

概念

並列プールでのコードの実行

並列プールの開始と終了、プールのサイズ、およびクラスターの選択について学習する。

並列設定の指定

設定を指定して自動的に並列プールを作成する。

クラスターの検出とクラスター プロファイルの使用

クラスター プロファイルの取り扱い方法を調べて、Amazon EC2 上で実行中のクラウド クラスターを検出する。

関連情報

tall 配列 (MATLAB)

MapReduce (MATLAB)

データ ストア (MATLAB)

注目の例