Main Content

データストア

データの大規模な集合の読み取り

関数 datastore は、大きすぎてメモリに収まらないデータの集まりのリポジトリであるデータストアを作成します。データストアを使用すると、ディスク、リモートの場所、またはデータベースの複数のファイルに格納されているデータを単一エンティティとして読み取りおよび処理できます。データが大きすぎてメモリに入らない場合は、データをインクリメンタルにインポートすることで対応するか、tall 配列を作成してデータを操作するか、次の処理のために mapreduce の入力としてデータストアを使用します。詳細は、データ ストア入門を参照してください。

関数

すべて展開する

datastoreデータの大規模な集合用のデータストアを作成
tabularTextDatastore表形式テキスト ファイルのデータストア
spreadsheetDatastoreスプレッドシート ファイルのデータストア
imageDatastoreイメージ データのデータストア
parquetDatastoreParquet ファイルの集合用のデータストア
fileDatastoreカスタム ファイル リーダーを使用するデータストア
arrayDatastoreインメモリ データのデータストア
readデータストアのデータの読み取り
readallデータストアのすべてのデータの読み取り
previewデータストア内のデータのサブセットをプレビュー
hasdataデータが読み取り可能かどうかを判別
resetデータストアの初期状態へのリセット
writeallファイルへのデータストアの書き込み
subsetデータストアまたは FileSet のサブセットの作成
isSubsettableDetermine whether datastore is subsettable
shuffleデータストア内のすべてのデータをシャッフルする
isShuffleableデータストアがシャッフル可能かどうかを判別
numpartitionsデータストアの区画数
partitionデータストアを分割する
isPartitionableデータストアが分割可能かどうかを判別

関数

combine複数のデータストアのデータを統合
transformデータストアの変換

オブジェクト

CombinedDatastore複数の基となるデータストアから読み取ったデータを結合するためのデータストア
SequentialDatastoreSequentially read data from multiple underlying datastores
TransformedDatastore基となるデータストアを変換するためのデータストア
KeyValueDatastoreキーと値のペアのデータを mapreduce で使用するためのデータストア
TallDatastoretall 配列のチェックポイントのデータストア

クラス

すべて展開する

matlab.io.Datastore 基本データストア クラス
matlab.io.datastore.Partitionableデータ ストアへの並列処理のサポートの追加
matlab.io.datastore.SubsettableAdd subset and fine-grained parallelization support to datastore
matlab.io.datastore.HadoopLocationBased データ ストアへの Hadoop のサポートの追加
matlab.io.datastore.Shuffleableデータ ストアへのシャッフルのサポートの追加
matlab.io.datastore.DsFileSet データ ストア内のファイルの集合用ファイルセット オブジェクト
matlab.io.datastore.DsFileReader データ ストア内のファイルのファイルリーダー オブジェクト
matlab.io.datastore.FileWritableファイルの書き込みサポートをデータストアに追加する
matlab.io.datastore.FoldersPropertyProviderFolders プロパティのサポートをデータストアに追加する
matlab.io.datastore.FileSet データストア内のファイルの集合のファイルセット
matlab.io.datastore.BlockedFileSet ファイル内のブロックの集合に対するブロック ファイルセット

トピック