ドキュメンテーション

最新のリリースでは、このページがまだ翻訳されていません。 このページの最新版は英語でご覧になれます。

MapReduce

メモリに収まらないデータセットを解析するプログラミング手法

mapreduce は、コンピューターのメモリに収まらない大きなデータセットの解析に適したプログラミング手法です。datastore を使用してデータを小さなチャンクで処理するこの手法は、データの書式設定や前処理となる計算を行う Map フェーズと、Map フェーズからのすべての結果を集約する Reduce フェーズから構成されています。詳細は、MapReduce 入門を参照してください。

他の製品での mapreduce の使用の詳細については、その他の製品を使用した MapReduce の高速化と展開を参照してください。

関数

すべて展開する

mapreduceメモリに収まらないデータセットを解析するプログラミング手法
datastoreデータの大規模な集合用のデータ ストアを作成
addキーと値の 1 つのペアを KeyValueStore に追加
addmultiキーと値の複数のペアを KeyValueStore に追加
hasnextValueIterator に 1 つ以上の使用可能な値があるかどうかを判別
getnextValueIterator から次の値を取得
mapreducermapreduce または tall 配列の実行環境の定義
gcmr現在の mapreducer 構成の取得

オブジェクト

KeyValueStoreキーと値のペアを保存して mapreduce で使用
ValueIteratormapreduce と使用する中間値における反復子

トピック

MapReduce 入門

MapReduce プログラミング手法について学習し、例の計算を実行します。

map 関数の作成

mapreduce アルゴリズムで使用する map 関数を作成します。

reduce 関数の作成

mapreduce アルゴリズムで使用する reduce 関数を作成する。

MapReduce での効果的なアルゴリズムの構築

サンプル ファイル mapreduce の概要。

その他の製品を使用した MapReduce の高速化と展開

mapreduce アルゴリズムを高速化し共有するための他製品の機能。

MapReduce を使用した最大値の検索

次の例では、mapreduce を使用してデータセット内の単独の変数の最大値を検索する方法を示します。

MapReduce による平均値の計算

この例では、mapreduce を使用してデータセット内で単一の変数の平均を計算する方法を示します。

MapReduce を使用するヒストグラムの作成

次の例は、大規模なデータセット内のパターンを、すべての観測値を同時にメモリに読み込まずに可視化する方法を示します。

MapReduce を使用するグループごとの平均の計算

この例では、mapreduce を使用してデータセット内のグループごとの平均を計算する方法を示します。

MapReduce を使用する簡単なデータのサブセット化

次の例では、大規模なデータセットのサブセットを抽出する方法を示します。

MapReduce を使用して共分散および関連量を計算する

この例では、mapreduce を使用して大規模なデータセット内のいくつかの変数の平均と共分散を計算する方法を示します。

MapReduce を使用してグループごとの要約統計を計算する

この例では、mapreduce を使用して、グループごとに整理された要約統計を計算する方法を示します。

MapReduce を使用するロジスティック回帰モデルの近似

この例では、mapreduce を使用して、単一の予測子を使用して簡単なロジスティック回帰を実行する方法を示します。

MapReduce を使用する tall QR (TSQR) 行列の因数分解

この例では、mapreduce を使用して tall 行列の QR (TSQR) の因数分解を行う方法を示します。

MapReduce によるイメージの最大平均 HSV の計算

この例では、ImageDatastoremapreduce を使用して、イメージ コレクション内で色相、彩度および明度の最大値をもつイメージを検出する方法を説明します。

トラブルシューティング

MapReduce アルゴリズムのデバッグ

この例では、簡単なサンプル ファイル MaxMapReduceExample.m を使用して、MATLAB®mapreduce アルゴリズムをデバッグする方法を説明します。デバッグにより、mapreduce 実行の異なるフェーズ間のデータの移動に従い、すべての中間変数の状態を検査できます。

注目の例