ドキュメンテーション

最新のリリースでは、このページがまだ翻訳されていません。 このページの最新版は英語でご覧になれます。

データ ストア

データの大規模な集合の読み取り

関数 datastore は、大きすぎてメモリに収まらないデータの集まりのリポジトリであるデータ ストアを作成します。データ ストアを使用すると、ディスク、リモートの場所、またはデータベースの複数のファイルに格納されているデータを単一エンティティとして読み取りおよび処理できます。データが大きすぎてメモリに入らない場合は、データをインクリメンタルにインポートすることで対応するか、tall 配列を作成してデータを操作するか、次の処理のために mapreduce の入力としてデータ ストアを使用します。詳細は、データ ストア入門を参照してください。

関数

すべて展開する

datastoreデータの大規模な集合用のデータ ストアを作成
tabularTextDatastore表形式テキスト ファイルのデータ ストア
spreadsheetDatastoreスプレッドシート ファイルのデータ ストア
imageDatastoreイメージ データのデータ ストア
parquetDatastoreParquet ファイルの集合用のデータ ストア
fileDatastoreカスタム ファイル リーダーを使用するデータ ストア
readデータ ストアのデータの読み取り
readallデータ ストアのすべてのデータの読み取り
previewデータ ストア内のデータのサブセット
partitionデータ ストアを分割する
numpartitionsデータ ストアの区画数
hasdataデータが読み取り可能かどうかを判別
resetデータ ストアの初期状態へのリセット

関数

combine複数のデータ ストアのデータを統合
transformデータ ストアの変換

オブジェクト

CombinedDatastore基となる複数のデータ ストアから読み取ったデータを結合するデータ ストア
TransformedDatastore基となるデータ ストアを変換するデータ ストア
KeyValueDatastoreキーと値のペアのデータを mapreduce で使用するためのデータ ストア
TallDatastoretall 配列のチェックポイントのデータ ストア

クラス

すべて展開する

matlab.io.Datastore 基本データ ストア クラス
matlab.io.datastore.Partitionableデータ ストアへの並列処理のサポートの追加
matlab.io.datastore.HadoopLocationBased データ ストアへの Hadoop のサポートの追加
matlab.io.datastore.Shuffleableデータ ストアへのシャッフルのサポートの追加
matlab.io.datastore.DsFileSet データ ストア内のファイルの集合用ファイルセット オブジェクト
matlab.io.datastore.DsFileReader データ ストア内のファイルのファイルリーダー オブジェクト

トピック

データ ストア入門

データ ストアは、単一のファイルまたはファイルやデータの集合を読み取るオブジェクトです。

ファイル形式またはアプリケーション用のデータ ストアの選択

データまたはアプリケーションのファイル形式に基づいて、適切なデータ ストアを選択する。

大規模な表形式テキスト ファイルの読み取りと解析

次の例では、表形式データを含む大規模なテキスト ファイル用のデータ ストアを作成し、次にデータを 1 チャンクずつまたは 1 ファイルずつ読み取って処理する方法を説明します。

イメージ ファイルの読み取りおよび解析

この例では、イメージの集合用のデータ ストアの作成、イメージ ファイルの読み取り、ならびに色相、彩度および明度 (HSV) の最大平均値をもつイメージの検出を行う方法を説明します。

キーと値のデータを含む MAT ファイルの読み取りと解析

次の例では、mapreduce の出力である MAT ファイル内のキーと値のペアのデータに対するデータ ストアを作成する方法を示します。

Hadoop シーケンス ファイルの読み取りと解析

次の例では、キーと値のデータを含むシーケンス ファイルのデータ ストアを作成する方法を示します。

リモート データの操作

Amazon S3™、Microsoft® Azure® Storage Blob、または HDFS™ で、リモート データを操作する。

異なるマシンまたはクラスターで処理するためのデータ ストアの設定

別のマシンまたはクラスターに読み込み、処理できるデータ ストアをマシン上で設定。

カスタム データ ストアの開発

カスタム データや独自のデータ用に完全にカスタマイズされたデータ ストアを作成する。

カスタム データ ストアのテストのガイドライン

カスタム データ ストアの実装が完了したら、このテスト手順に従ってカスタム データ ストアを検定します。