MapReduce

この例では、関数 mapreduce を使用して、ファイルベースのデータを大量に処理する方法を説明します。MapReduce アルゴリズムは、現在の多くの "ビッグ データ" アプリケーションの主軸となっています。この例では単一のコンピューターで処理が行われますが、コードは Hadoop® を使用するようにスケールアップできます。

次の例では、mapreduce を使用してデータ セット内の単独の変数の最大値を検索する方法を示します。キーは 1 つのみで最低限の計算を行うため、これは mapreduce の最も簡単な使用法を示しています。

この例では、mapreduce を使用してデータ セット内で単一の変数の平均を計算する方法を示します。mapreduce を、単一のキー、最低限の計算および中間状態 (中間合計およびカウントの累積) で使用する簡単な方法を示します。

次の例は、大規模なデータ セット内のパターンを、すべての観測値を同時にメモリに読み込まずに可視化する方法を示します。グラフィックスを生成するのに十分な、容量の少ないデータの要約を計算する方法を示します。

この例では、mapreduce を使用してデータ セット内のグループごとの平均を計算する方法を示します。データのサブグループに対する計算の実行方法を示しています。

次の例では、大規模なデータ セットのサブセットを抽出する方法を示します。

この例では、mapreduce を使用して大規模なデータ セット内のいくつかの変数の平均と共分散を計算する方法を示します。次に、共分散を使用していくつかの追跡計算を実行しますが、このときデータ セット全体に対して繰り返す必要はありません。

この例では、mapreduce を使用して、グループごとに整理された要約統計量を計算する方法を示します。無名関数を使用して、パラメーター化された map 関数に追加のグループ化パラメーターを渡す方法も示します。このパラメーター化により、別のグループ化変数を使用して迅速に統計を再計算できます。

この例では、mapreduce を使用して、単一の予測子を使用して簡単なロジスティック回帰を実行する方法を示します。複数の mapreduce 呼び出しを連結して反復アルゴリズムを実行する方法も示します。各反復では独立したデータパスが必要なため、無名関数は 1 つの反復から次の反復に情報を渡して、マッパーに直接情報を提供します。

この例では、mapreduce を使用して tall 行列の QR (TSQR) の因数分解を行う方法を示します。mapreduce 呼び出しを連結して複数の因数分解を繰り返し実行する方法を示し、map 関数の info 引数を使用して数値キーを計算します。

この例では、ImageDatastore と mapreduce を使用して、イメージ コレクション内で色相、彩度および明度の最大値をもつイメージを検出する方法を説明します。