ドキュメンテーション

最新のリリースでは、このページがまだ翻訳されていません。 このページの最新版は英語でご覧になれます。

TallDatastore

tall 配列のチェックポイントのデータ ストア

説明

TallDatastore オブジェクトは、関数 write によってディスクに書き込まれたバイナリ ファイルから tall 配列を再作成するためのオブジェクトです。そのオブジェクトを使用して元の tall 配列を再作成できます。また、TallDataStore プロパティを指定し、オブジェクト関数を使用することで、データにアクセスしてそれらを管理することができます。

作成

関数 datastore を使用して TallDatastore オブジェクトを作成します。たとえば、tds = datastore(location,'Type','tall') は、location で指定されたファイルの集合からデータ ストアを作成します。

プロパティ

すべて展開する

データ ストアに含まれるファイル。文字ベクトル、文字ベクトルの cell 配列、string スカラーまたは string 配列として解決されます。個々の文字ベクトルまたは string はファイルへの絶対パスです。

関数 datastore の引数 location は、データ ストアの作成時に Files プロパティを定義します。location 引数には、ローカル ファイル システム、ネットワーク ファイル システム、または Amazon S3™、Windows Azure® Blob Storage、HDFS™ などのサポートされるリモートの場所にあるファイルへの絶対パスが含まれます。詳細については、リモート データの操作を参照してください。

ファイルは、関数 write で生成された MAT ファイルまたはシーケンス ファイルのいずれかでなければなりません。

例: {'C:\dir\data\file1.ext';'C:\dir\data\file2.ext'}

例: {'s3://bucketname/path_to_files/your_file01.ext';'s3://bucketname/path_to_files/your_file02.ext'}

データ型: char | cell | string

ファイルの種類。MAT ファイルの場合は 'mat'、シーケンス ファイルの場合は 'seq' として指定します。既定では、指定された場所のファイルの種類によって FileType が決まります。

データ型: char | string

関数 read または preview の 1 回の呼び出しで読み取られるデータの最大行数。正の整数として指定します。関数 datastore は、TallDatastore を作成するときに、ReadSize の最適値を決定して割り当てます。

代替ファイル システムのルート パス。'AlternateFileSystemRoots' と string ベクトルまたは cell 配列で構成されるコンマ区切りのペアとして指定します。ローカル マシン上にデータ ストアを作成するが、別のマシン (異なるオペレーティング システムの可能性がある) 上でデータにアクセスして処理する必要がある場合は、'AlternateFileSystemRoots' を使用します。また、Parallel Computing Toolbox™ と MATLAB® Parallel Server™ を使用してデータを処理し、そのデータがローカル マシンに保存され、そのデータのコピーが異なるプラットフォームのクラウドやクラスター マシンにある場合、'AlternateFileSystemRoots' を使用してルート パスを関連付けなければなりません。

  • 相互に対応する 1 組のルート パスを関連付けるには、'AlternateFileSystemRoots' を string ベクトルとして指定します。以下に例を示します。

    ["Z:\datasets","/mynetwork/datasets"]

  • データ ストアに対応する複数の組のルート パスを関連付けるには、複数行を含む cell 配列として 'AlternateFileSystemRoots' を指定します。各行は対応するルート パスの組を表します。cell 配列内の各行を string ベクトル、または文字ベクトルの cell 配列のいずれかとして指定します。以下に例を示します。

    • 'AlternateFileSystemRoots' を string ベクトルの cell 配列として指定します。

      {["Z:\datasets", "/mynetwork/datasets"];...
       ["Y:\datasets", "/mynetwork2/datasets","S:\datasets"]}

    • あるいは、'AlternateFileSystemRoots' を文字ベクトルの cell 配列からなる cell 配列として指定します。

      {{'Z:\datasets','/mynetwork/datasets'};...
       {'Y:\datasets', '/mynetwork2/datasets','S:\datasets'}}

'AlternateFileSystemRoots' の値は、次の条件を満たさなければなりません。

  • 1 行以上の行を含み、各行は 1 組の対応するルート パスを指定する。

  • 各行は複数のルート パスを指定し、各ルート パスは 2 文字以上を含まなければならない。

  • ルート パスは一意で、他のルート パスのサブフォルダーではない。

  • ファイルの場所を指す 1 つ以上のルート パス エントリを含む。

詳細については、異なるマシンまたはクラスターで処理するためのデータ ストアの設定を参照してください。

例: ["Z:\datasets","/mynetwork/datasets"]

データ型: string | cell

オブジェクト関数

hasdataデータが読み取り可能かどうかを判別
numpartitionsデータ ストアの区画数
partitionデータ ストアを分割する
previewデータ ストア内のデータのサブセット
readデータ ストアのデータの読み取り
readallデータ ストアのすべてのデータの読み取り
resetデータ ストアの初期状態へのリセット
transformデータ ストアの変換
combine複数のデータ ストアのデータを統合

すべて折りたたむ

tall 配列を生成したコマンドをすべて再実行するのではなく、TallDatastore オブジェクトを使用して、ディスク上のファイルから直接に tall 配列を再作成します。tall 配列を作成し、関数 write を使用してディスクに保存します。datastore を使用して tall 配列を取得してから、それを変換して tall に戻します。

単純な double 型 tall を作成します。

t = tall(rand(500,1))
t =

  500×1 tall double column vector

    0.8147
    0.9058
    0.1270
    0.9134
    0.6324
    0.0975
    0.2785
    0.5469
    :
    :

結果を C:\ ディスクの ExampleData という名前の新規フォルダーに保存します (特に Windows® コンピューターを使用していない場合は、異なる書き込み先を指定可能)。

location = 'C:\ExampleData';
write(location, t);
Writing tall data to folder C:\ExampleData
Evaluating tall expression using the Parallel Pool 'local':
Evaluation completed in 0 sec

ディスクに書き込まれた tall 配列を復元するには、まず、同じディレクトリを参照する新しいデータ ストアを作成します。次に、データ ストアを tall 配列に変換します。

tds = datastore(location);
t1 = tall(tds)
t1 =

  M×1 tall double column vector

    0.8147
    0.9058
    0.1270
    0.9134
    0.6324
    0.0975
    0.2785
    0.5469
    :
    :

R2016b で導入