Main Content

tall 配列および mapreduce

MATLAB® の tall 配列とデータ ストア、または mapreduce を Spark® クラスター、Hadoop® クラスターおよび並列プールで使用して、ビッグ データセットを並列解析する。

Parallel Computing Toolbox™ を使用すると、デスクトップ上の並列プールを使って tall 配列の式を並列で評価できます。tall 配列を使用すると、マシンのメモリに収まらないビッグ データ アプリケーションを実行できます。また、Parallel Computing Toolbox を使用して、MATLAB Parallel Server™ クラスター上で実行される並列プールに接続することで、tall 配列の処理をスケール アップすることもできます。あるいは、MATLAB Parallel Server を実行する Spark 対応 Hadoop クラスターを使用できます。詳細については、tall 配列およびデータ ストアを使用するビッグ データのワークフローを参照してください。

関数

すべて展開する

talltall 配列の作成
datastoreデータの大規模な集合用のデータストアを作成
mapreduceメモリに収まらないデータセットを解析するプログラミング手法
mapreducermapreduce および tall 配列の並列実行環境の定義
partitionデータストアを分割する
numpartitionsデータストアの区画数
parpoolクラスターでの並列プールの作成
gcp現在の並列プールの取得

クラス

すべて展開する

parallel.Poolワーカーの並列プール
parallel.cluster.Hadoopmapreducer、mapreduce および tall 配列用の Hadoop クラスター
parallel.cluster.Sparkmapreducer、mapreduce および tall 配列用の Spark クラスター

例および使用方法

概念