Main Content

データストア

データの大規模な集合の読み取り

関数 datastore は、大きすぎてメモリに収まらないデータの集まりのリポジトリであるデータストアを作成します。データストアを使用すると、ディスク、リモートの場所、またはデータベースの複数のファイルに格納されているデータを単一エンティティとして読み取りおよび処理できます。データが大きすぎてメモリに入らない場合は、データをインクリメンタルにインポートすることで対応するか、tall 配列を作成してデータを操作するか、次の処理のために mapreduce の入力としてデータストアを使用します。詳細は、データストア入門を参照してください。

関数

すべて展開する

datastoreデータの大規模な集合用のデータストアを作成
tabularTextDatastore表形式テキスト ファイルのデータストア
spreadsheetDatastoreスプレッドシート ファイルのデータストア
imageDatastoreイメージ データのデータストア
parquetDatastoreParquet ファイルの集合用のデータストア (R2019a 以降)
fileDatastoreカスタム ファイル リーダーを使用するデータストア
arrayDatastoreインメモリ データのデータストア (R2020b 以降)
readデータストアのデータの読み取り
readallデータストアのすべてのデータの読み取り
previewデータストア内のデータのサブセットをプレビュー
hasdataデータが読み取り可能かどうかを判別
resetデータストアの初期状態へのリセット
writeallファイルへのデータストアの書き込み (R2020a 以降)
subsetデータストアまたは FileSet のサブセットの作成 (R2019a 以降)
isSubsettableDetermine whether datastore is subsettable (R2022b 以降)
shuffleデータストア内のすべてのデータをシャッフルする
isShuffleableデータストアがシャッフル可能かどうかを判別 (R2020a 以降)
numpartitionsデータストアの区画数
partitionデータストアを分割する
isPartitionableデータストアが分割可能かどうかを判別 (R2020a 以降)

関数

combine複数のデータストアのデータを統合 (R2019a 以降)
transformデータストアの変換 (R2019a 以降)

オブジェクト

CombinedDatastore複数の基となるデータストアから読み取ったデータを結合するためのデータストア (R2019a 以降)
SequentialDatastore複数の基となるデータストアからの、データの順次読み取り (R2022b 以降)
TransformedDatastore基となるデータストアを変換するためのデータストア (R2019a 以降)
KeyValueDatastoreキーと値のペアのデータを mapreduce で使用するためのデータストア
TallDatastoretall 配列のチェックポイントのデータストア

クラス

すべて展開する

matlab.io.Datastore 基本データストア クラス
matlab.io.datastore.Partitionableデータストアへの並列処理のサポートの追加
matlab.io.datastore.SubsettableAdd subset and fine-grained parallelization support to datastore (R2022b 以降)
matlab.io.datastore.HadoopLocationBased データストアへの Hadoop のサポートの追加 (R2019a 以降)
matlab.io.datastore.Shuffleableデータストアへのシャッフルのサポートの追加
matlab.io.datastore.DsFileSet データストア内のファイルの集合用ファイルセット オブジェクト
matlab.io.datastore.DsFileReader データストア内のファイルのファイルリーダー オブジェクト
matlab.io.datastore.FileWritableファイルの書き込みサポートをデータストアに追加する (R2020a 以降)
matlab.io.datastore.FoldersPropertyProviderFolders プロパティのサポートをデータストアに追加する (R2020a 以降)
matlab.io.datastore.FileSet データストア内のファイルの集合のファイルセット (R2020a 以降)
matlab.io.datastore.BlockedFileSet ファイル内のブロックの集合に対するブロック ファイルセット (R2020a 以降)

トピック