データストア

データの大規模な集合の読み取り

関数 datastore は、大きすぎてメモリに収まらないデータの集まりのリポジトリであるデータストアを作成します。データストアを使用すると、ディスク、リモートの場所、またはデータベースの複数のファイルに格納されているデータを単一エンティティとして読み取りおよび処理できます。データが大きすぎてメモリに入らない場合は、データをインクリメンタルにインポートすることで対応するか、tall 配列を作成してデータを操作するか、次の処理のために mapreduce の入力としてデータストアを使用します。詳細は、データストア入門を参照してください。

関数

すべて展開する

データストアの作成

`datastore`	データの大規模な集合用のデータストアを作成
`tabularTextDatastore`	表形式テキストファイルのデータストア
`spreadsheetDatastore`	スプレッドシートファイルのデータストア
`imageDatastore`	イメージデータのデータストア
`parquetDatastore`	Parquet ファイルの集合用のデータストア
`fileDatastore`	カスタムファイルリーダーを使用するデータストア
`arrayDatastore`	インメモリデータのデータストア

データストアの読み取りと書き込み

`read`	データストアのデータの読み取り
`readall`	データストアのすべてのデータの読み取り
`preview`	データストア内のデータのサブセットをプレビュー
`hasdata`	データが読み取り可能かどうかを判別
`reset`	データストアの初期状態へのリセット
`writeall`	ファイルへのデータストアの書き込み

データストアのサブセット作成、分割、またはシャッフル

`subset`	データストアまたは FileSet のサブセットの作成
`isSubsettable`	Determine whether datastore is subsettable
`shuffle`	データストア内のすべてのデータをシャッフルする
`isShuffleable`	データストアがシャッフル可能かどうかを判別
`numpartitions`	データストアの区画数
`partition`	データストアを分割する
`isPartitionable`	データストアが分割可能かどうかを判別

データストアの連結または変換

関数

`combine`	複数のデータストアのデータを統合
`transform`	データストアの変換

オブジェクト

`CombinedDatastore`	複数の基となるデータストアから読み取ったデータを結合するためのデータストア
`SequentialDatastore`	Sequentially read data from multiple underlying datastores
`TransformedDatastore`	基となるデータストアを変換するためのデータストア

MapReduce および tall 配列との統合

`KeyValueDatastore`	キーと値のペアのデータを `mapreduce` で使用するためのデータストア
`TallDatastore`	`tall` 配列のチェックポイントのデータストア

クラス