ファイル形式またはアプリケーション用のデータストアの選択
データストアとは、大きすぎてメモリに収まらないデータのコレクションを格納したリポジトリです。それぞれのファイル形式やアプリケーションでは、サポートされるデータ型やアプリケーションの種類に関係する特性をもった、異なる種類のデータストアが使用されます。MATLAB® には、Excel® ファイルなどの標準的なファイル形式用のデータストアや、深層学習などの特定のアプリケーション用のデータストアが備わっています。既存のデータストアに加え、データが独自の形式になっている場合は、カスタム データストア フレームワークを使用してカスタマイズされたデータストアを開発できます。
標準ファイル形式用のデータストア
標準ファイル形式のデータのコレクションでは、以下のオプションのいずれかを使用してください。
| データストア | 説明 |
|---|---|
TabularTextDatastore | CSV ファイルなど、列方向のデータを含むテキスト ファイル |
SpreadsheetDatastore |
|
ImageDatastore | JPEG や PNG など、 |
ParquetDatastore | 列方向データを含む Parquet ファイル |
FileDatastore | 非標準ファイル形式のファイル カスタム ファイルの読み取り関数が必要 |
ArrayDatastore | インメモリ データ |
既存のデータストアの変換または結合。
| データストア | 説明 |
|---|---|
CombinedDatastore | 複数の基となるデータストアから読み取ったデータを結合するためのデータストア |
SequentialDatastore | 複数の基となるデータストアからの、データの順次読み取り |
TransformedDatastore | 基となるデータストアを変換するためのデータストア |
MapReduce および tall 配列と統合されるデータストア。
| データストア | 説明 |
|---|---|
KeyValueDatastore |
|
TallDatastore |
|
特定のアプリケーション用のデータストア
アプリケーションに基づいて、以下のデータストアのいずれかを使用してください。
| アプリケーション | データストア | 説明 | 必要なツールボックス |
|---|---|---|---|
Simulink モデルのデータ | SimulationDatastore (Simulink) | Simulink® モデルで使用するシミュレーション入出力データ用のデータストア | Simulink |
シミュレーション アンサンブルと予知保全のデータ | simulationEnsembleDatastore (Predictive Maintenance Toolbox) | シミュレーション アンサンブル データを管理するためのデータストア | Predictive Maintenance Toolbox™ |
fileEnsembleDatastore (Predictive Maintenance Toolbox) | アンサンブル データをカスタム ファイル形式で管理するためのデータストア | Predictive Maintenance Toolbox | |
測定データ形式 (MDF) ファイル | mdfDatastore (Vehicle Network Toolbox) | MDF ファイルのコレクション用のデータストア | Vehicle Network Toolbox™ |
mdfDatastore (Powertrain Blockset) | MDF ファイルのコレクション用のデータストア | Powertrain Blockset™ | |
深層学習 イメージ データまたはシーケンス データの前処理用のデータストア | pixelLabelDatastore (Computer Vision Toolbox) | ピクセル ラベル データ用のデータストア | Computer Vision Toolbox™ および Deep Learning Toolbox™ |
boxLabelDatastore (Computer Vision Toolbox) | 境界ボックス ラベルのデータ用のデータストア | Computer Vision Toolbox および Deep Learning Toolbox | |
signalDatastore (Signal Processing Toolbox) | 信号ファイルのコレクション用のデータストア | Signal Processing Toolbox™ および Deep Learning Toolbox | |
randomPatchExtractionDatastore (Image Processing Toolbox) | イメージまたはピクセル ラベル イメージからランダム パッチを抽出するためのデータストア データストアは非確定的 | Image Processing Toolbox™ および Deep Learning Toolbox | |
denoisingImageDatastore (Image Processing Toolbox) | イメージのノイズ除去を行うディープ ニューラル ネットワークの学習用データストア データストアは非確定的 | Image Processing Toolbox および Deep Learning Toolbox | |
augmentedImageDatastore (Deep Learning Toolbox) | 学習イメージのサイズ変更と拡張用のデータストア データストアは非確定的 | Deep Learning Toolbox | |
| オーディオ データ | audioDatastore (Audio Toolbox) | オーディオ ファイル コレクション用のデータストア | Audio Toolbox™ |
| メモリに収まらないイメージ データ | blockedImageDatastore (Image Processing Toolbox) | 大きすぎてメモリに収まらない単一イメージの複数ブロックを管理するデータストア | Image Processing Toolbox |
| データベースのデータ | databaseDatastore (Database Toolbox) | リレーショナル データベースのデータ コレクション用のデータストア | Database Toolbox™ |
カスタム ファイル形式
カスタム ファイル形式のデータのコレクションでは、個々のファイルがメモリに収まる場合、FileDatastore をカスタム ファイルの読み取り関数とともに使用します。そうでない場合は、matlab.io.Datastore クラスを使用して、カスタム データまたは独自のデータ用に完全にカスタマイズした独自のデータストアを開発します。カスタム データストアの開発を参照してください。
非確定的なデータストア
関数 read の呼び出し後、関数 reset の呼び出しに対して厳密に同じデータを返さないデータストアは、非確定的なデータストアです。tall 配列、mapreduce、またはデータを複数回読み取る必要がある他のコードでは、非確定的なデータストアを使用しないでください。
アプリケーションによっては、拡張や変換がランダムに行われるデータが必要です。たとえば、深層学習アプリケーションの augmentedImageDatastore (Deep Learning Toolbox) データストアは、ランダム化された前処理操作によって学習イメージ データを拡張しており、ネットワークによる過適合と学習イメージの正確な細部の記憶を防止する上で役立ちます。このデータストアの出力は、reset の呼び出しの後に read 操作を実行するたびに異なったものとなります。
参考
TabularTextDatastore | SpreadsheetDatastore | ImageDatastore | FileDatastore | TallDatastore | tall
