大きなファイルとビッグデータ

多数のファイルや大規模なデータセットへのアクセスおよび処理

大規模なデータセットは、利用可能メモリに格納できない大きなファイルの形式や、処理に時間がかかるファイルの形式の場合があります。また、大規模なデータセットが、多数の小さなファイルの集合である可能性もあります。大規模なデータセットを操作できる単一の手法は存在しないため、MATLAB^® では、大規模なデータにアクセスして処理するための多くのツールが提供されています。

まず、データの一部に個別にアクセスできるデータストアを作成します。データストアは、データのインクリメンタルなインポートを管理するために使用できます。mean や histogram など MATLAB の一般的な関数を使用してデータを解析するには、データストアの最上位に tall 配列を作成します。より複雑な問題の場合は、データのチャンク化や削減を定義する MapReduce アルゴリズムを記述できます。