Main Content

このページの翻訳は最新ではありません。ここをクリックして、英語の最新版を参照してください。

MapReduce

メモリに収まらないデータセットを解析するプログラミング手法

mapreduce は、コンピューターのメモリに収まらない大きなデータセットの解析に適したプログラミング手法です。datastore を使用してデータを小さなチャンクで処理するこの手法は、データの書式設定や前処理となる計算を行う Map フェーズと、Map フェーズからのすべての結果を集約する Reduce フェーズから構成されています。詳細は、MapReduce 入門を参照してください。

他の製品での mapreduce の使用の詳細については、その他の製品を使用した MapReduce の高速化と展開を参照してください。

関数

すべて展開する

mapreduceメモリに収まらないデータセットを解析するプログラミング手法
datastoreデータの大規模な集合用のデータストアを作成
addキーと値の 1 つのペアを KeyValueStore に追加
addmultiキーと値の複数のペアを KeyValueStore に追加
hasnextValueIterator に 1 つ以上の使用可能な値があるかどうかを判別
getnextValueIterator からの次の値の取得
mapreducermapreduce または tall 配列の実行環境の定義
gcmr現在の mapreducer 構成の取得

オブジェクト

KeyValueStoreキーと値のペアを保存して mapreduce で使用
ValueIteratormapreduce と使用する中間値における反復子

トピック

トラブルシューティング

MapReduce アルゴリズムのデバッグ

この例では、簡単なサンプル ファイル MaxMapReduceExample.m を使用して、MATLAB®mapreduce アルゴリズムをデバッグする方法を説明します。デバッグにより、mapreduce 実行の異なるフェーズ間のデータの移動に従い、すべての中間変数の状態を検査できます。