このページの翻訳は最新ではありません。ここをクリックして、英語の最新版を参照してください。

datastore

データの大規模な集合用のデータ ストアを作成

構文

ds = datastore(location)

ds = datastore(location,Name,Value)

説明

ds = datastore(location) は、location で指定されたデータの集合からデータ ストアを作成します。データ ストアとは、大きすぎてメモリに収まらないデータのコレクションを格納したリポジトリです。ds の作成後、データを読み取って処理できます。

ds = datastore(location,Name,Value) は、1 つ以上の名前と値のペアの引数を使用して、ds に追加のパラメーターを指定します。たとえば、'Type','image' を指定して、イメージ ファイルのデータ ストアを作成できます。

例

テキスト データのデータ ストアの作成

サンプル ファイル airlinesmall.csv に関連付けられたデータ ストアを作成します。このファイルには、1987 年から 2008 年までの航空会社のデータが格納されています。

数値列の欠損データのインポートを管理するには、名前と値のペアの引数 'TreatAsMissing' および 'MissingValue' を使用します。'TreatAsMissing' の値を 'NA'、'MissingValue' の値を 0 に指定して、インポート データで 'NA' のすべてのインスタンスを 0 に置き換えます。

ds = datastore('airlinesmall.csv','TreatAsMissing','NA',...
               'MissingValue',0)

ds = 
  TabularTextDatastore with properties:

                      Files: {
                             ' .../devel/bat/Bdoc21a/build/matlab/toolbox/matlab/demos/airlinesmall.csv'
                             }
                    Folders: {
                             '/mathworks/devel/bat/Bdoc21a/build/matlab/toolbox/matlab/demos'
                             }
               FileEncoding: 'UTF-8'
   AlternateFileSystemRoots: {}
         VariableNamingRule: 'modify'
          ReadVariableNames: true
              VariableNames: {'Year', 'Month', 'DayofMonth' ... and 26 more}
             DatetimeLocale: en_US

  Text Format Properties:
             NumHeaderLines: 0
                  Delimiter: ','
               RowDelimiter: '\r\n'
             TreatAsMissing: 'NA'
               MissingValue: 0

  Advanced Text Format Properties:
            TextscanFormats: {'%f', '%f', '%f' ... and 26 more}
                   TextType: 'char'
         ExponentCharacters: 'eEdD'
               CommentStyle: ''
                 Whitespace: ' \b\t'
    MultipleDelimitersAsOne: false

  Properties that control the table returned by preview, read, readall:
      SelectedVariableNames: {'Year', 'Month', 'DayofMonth' ... and 26 more}
            SelectedFormats: {'%f', '%f', '%f' ... and 26 more}
                   ReadSize: 20000 rows
                 OutputType: 'table'
                   RowTimes: []

  Write-specific Properties:
     SupportedOutputFormats: ["txt"    "csv"    "xlsx"    "xls"    "parquet"    "parq"]
        DefaultOutputFormat: "txt"

datastore は TabularTextDatastore を作成します。

イメージ データ用データ ストアの作成

MATLAB® パスおよびそのサブフォルダー内にあるすべての .tif ファイルを含むデータ ストアを作成します。

ds = datastore(fullfile(matlabroot, 'toolbox', 'matlab'),...
'IncludeSubfolders', true,'FileExtensions', '.tif','Type', 'image')

ds = 

  ImageDatastore with properties:

       Files: {
              ' ...\matlab\toolbox\matlab\demos\example.tif';
              ' ...\matlab\toolbox\matlab\imagesci\corn.tif'
              }
    ReadSize: 1
      Labels: {}
     ReadFcn: @readDatastoreImage

入力引数

location — データ ストアに含めるファイルまたはフォルダー

パス | DsFileSet オブジェクト

データ ストアに含めるファイルまたはフォルダー。パスまたは DsFileSet オブジェクトとして指定します。

• パス — ローカルやリモートのファイルまたはフォルダーの場所を含む文字ベクトル、文字ベクトルの cell 配列、string スカラー、または string 配列としてパスを指定します。

  • ローカルのファイルまたはフォルダー — ファイルまたはフォルダーのローカル パスとして location を指定します。ファイルが現在のフォルダーに存在しない場合、ローカル パスは絶対パスまたは相対パスを指定しなければなりません。指定したフォルダーのサブフォルダー内にあるファイルは、自動ではデータ ストアに含まれません。ローカル パスを指定するときにワイルドカード文字 (*) を使用できます。この文字は、一致するフォルダー内にある、すべてのファイルまたは一致するすべてのファイルをデータ ストアに含めることを指定します。

  • リモートのファイルまたはフォルダー — location を hdfs:///path_to_file の形式の Uniform Resource Locator (URL) として、ファイルまたはフォルダーの絶対パスに指定します。詳細については、リモート データの操作を参照してください。

• DsFileSet オブジェクト — location を DsFileSet オブジェクトとして指定することもできます。詳細については、matlab.io.datastore.DsFileSet を参照してください。

location がフォルダーを表す場合、データ ストアにはサポートされているファイル形式のみが含まれ、その他の形式は無視されます。データ ストアに含めるファイル拡張子のカスタム リストを指定するには、FileExtensions プロパティを参照してください。

KeyValueDatastore の場合、ファイルは関数 mapreduce で生成された MAT ファイルまたはシーケンス ファイルでなければなりません。MAT ファイルはローカル ファイル システムまたはネットワーク ファイル システムになければなりません。シーケンス ファイルは、ローカル、ネットワークまたは HDFS™ のファイル システムに配置できます。DatabaseDatastore の場合、引数 location がファイルである必要はありません。詳細については、DatabaseDatastore (Database Toolbox) を参照してください。

例: 'file1.csv'

例: '../dir/data/file1.jpg'

例: {'C:\dir\data\file1.xls','C:\dir\data\file2.xlsx'}

例: 'C:\dir\data\*.mat'

例: 'hdfs:///data/file1.txt'

名前と値のペアの引数

オプションの Name,Value の引数ペアをコンマ区切りで指定します。Name は引数名で、Value は対応する値です。Name は引用符で囲まなければなりません。Name1,Value1,...,NameN,ValueN のように、複数の名前と値のペアの引数を任意の順序で指定できます。

例: 'FileExtensions',{'.jpg','.tif'} は、ImageDatastore オブジェクトについて、.jpg または .tif の拡張子をもつすべてのファイルを含めます。

Type — データ ストアの種類

'tabulartext' | 'image' | 'spreadsheet' | 'keyvalue' | 'file' | 'tall' | ...

データ ストアの種類。'Type' と次のいずれかで構成されるコンマ区切りのペアとして指定します。

'Type' の値	説明
'tabulartext'	表形式データを含むテキスト ファイル。データのエンコードは ASCII または UTF-8 でなければなりません。
'image'	JPEG や PNG などの形式のイメージ ファイル。使用できるファイルには imformats 形式が含まれます。
'spreadsheet'	1 つ以上のシートを含むスプレッドシート ファイル。
'keyvalue'	MAT ファイルまたはシーケンス ファイルに含まれ、mapreduce で生成したデータをもつキーと値のペアのデータ。
'file'	データの読み取りに指定の読み取り関数を必要とするカスタム形式ファイル。詳細については、FileDatastore を参照してください。
'tall'	tall データ型の関数 write によって生成された MAT ファイルまたはシーケンス ファイル。詳細については、TallDatastore を参照してください。
'parquet'	列方向データを含む Parquet ファイル。詳細については、ParquetDatastore を参照してください。
'database'	データベースに保存されたデータ。Database Toolbox™ が必要です。type パラメーターを使用する場合は、追加の入力引数を指定する必要があります。詳細については、DatabaseDatastore (Database Toolbox) を参照してください。

• ファイル形式をサポートする種類が複数ある場合は、引数 'Type' を使用してデータ ストアの種類を指定します。

• 'Type' の値を指定しない場合、作成するデータ ストアの適切な種類はファイルの拡張子に基づいて datastore により自動的に判別されます。

データ型: char | string

IncludeSubfolders — フォルダー内のサブフォルダーを含める

true または false | 0 または 1

フォルダー内のサブフォルダーを含めるかどうか。'IncludeSubfolders' と、true (1) または false (0) で構成されるコンマ区切りのペアとして指定します。各フォルダー内のすべてのファイルとサブフォルダーを含めるには true を指定し、各フォルダー内のファイルのみを含めるには false を指定します。

'IncludeSubfolders' を指定しない場合、既定値は false です。

'IncludeSubfolders' の名前と値のペアは、次のオブジェクトを作成する場合にのみ有効です。

• TabularTextDatastore

• ImageDatastore

• SpreadsheetDatastore

• FileDatastore

• KeyValueDatastore

• ParquetDatastore

例: 'IncludeSubfolders',true

データ型: logical | double

FileExtensions — ファイルの拡張子

文字ベクトル | 文字ベクトルの cell 配列 | string スカラー | string 配列

ファイルの拡張子。'FileExtensions' と、文字ベクトル、文字ベクトルの cell 配列、string スカラーまたは string 配列で構成されるコンマ区切りのペアとして指定します。'FileExtensions' を指定する場合は 'Type' も指定します。空の引用符 '' を使用して、拡張子のないファイルを表すことができます。

'FileExtensions' を指定しない場合、データ ストアの種類に応じて、サポートされるすべてのファイル拡張子が datastore により自動的に含められます。サポートされていない拡張子を含める場合は、含める拡張子を個々に指定します。

• TabularTextDatastore オブジェクトの場合、サポートされる拡張子には .txt、.csv、.dat、.dlm、.asc および .text が含まれます。また、拡張子がない場合もサポートされます。

• ImageDatastore オブジェクトの場合、サポートされる拡張子にはすべての imformats が含まれます。

• SpreadsheetDatastore オブジェクトの場合、サポートされる拡張子には .xls、.xlsx、.xlsm、.xltx および .xltm が含まれます。

• TallDatastore オブジェクトの場合、サポートされる拡張子には .mat および .seq が含まれます。

• ParquetDatastore オブジェクトの場合、サポートされる拡張子には .parquet および .parq が含まれます。

'FileExtensions' の名前と値のペアは、次のオブジェクトを作成する場合にのみ有効です。

• TabularTextDatastore

• ImageDatastore

• SpreadsheetDatastore

• FileDatastore

• KeyValueDatastore

• ParquetDatastore

例: 'FileExtensions','.jpg'

例: 'FileExtensions',{'.txt','.text'}

データ型: char | cell | string

AlternateFileSystemRoots — 代替ファイル システムのルート パス

string ベクトル | cell 配列

代替ファイル システムのルート パス。'AlternateFileSystemRoots' と string ベクトルまたは cell 配列で構成されるコンマ区切りのペアとして指定します。ローカル マシン上にデータ ストアを作成するが、別のマシン (異なるオペレーティング システムの可能性がある) 上でデータにアクセスして処理する必要がある場合は、'AlternateFileSystemRoots' を使用します。また、Parallel Computing Toolbox™ と MATLAB^® Parallel Server™ を使用してデータを処理し、そのデータがローカル マシンに保存され、そのデータのコピーが異なるプラットフォームのクラウドやクラスター マシンにある場合、'AlternateFileSystemRoots' を使用してルート パスを関連付けなければなりません。

• 相互に対応する 1 組のルート パスを関連付けるには、'AlternateFileSystemRoots' を string ベクトルとして指定します。以下に例を示します。

  ["Z:\datasets","/mynetwork/datasets"]

• データ ストアに対応する複数の組のルート パスを関連付けるには、複数行を含む cell 配列として 'AlternateFileSystemRoots' を指定します。各行は対応するルート パスの組を表します。cell 配列内の各行を string ベクトル、または文字ベクトルの cell 配列のいずれかとして指定します。以下に例を示します。

  • 'AlternateFileSystemRoots' を string ベクトルの cell 配列として指定します。

    {["Z:\datasets", "/mynetwork/datasets"];...
     ["Y:\datasets", "/mynetwork2/datasets","S:\datasets"]}

  • あるいは、'AlternateFileSystemRoots' を文字ベクトルの cell 配列からなる cell 配列として指定します。

    {{'Z:\datasets','/mynetwork/datasets'};...
     {'Y:\datasets', '/mynetwork2/datasets','S:\datasets'}}

'AlternateFileSystemRoots' の値は、次の条件を満たさなければなりません。

• 1 行以上の行を含み、各行は 1 組の対応するルート パスを指定する。

• 各行は複数のルート パスを指定し、各ルート パスは 2 文字以上を含まなければならない。

• ルート パスは一意で、他のルート パスのサブフォルダーではない。

• ファイルの場所を指す 1 つ以上のルート パス エントリを含む。

詳細については、異なるマシンまたはクラスターで処理するためのデータ ストアの設定を参照してください。

例: ["Z:\datasets","/mynetwork/datasets"]

データ型: string | cell

TextType — テキスト変数の出力データ型

'char' (既定値) | 'string'

テキスト変数の出力データ型。'TextType' と 'char' または 'string' のいずれかで構成されるコンマ区切りのペアとして指定します。関数 read、readall または preview の出力テーブルにテキスト変数が含まれる場合、'TextType' は、TabularTextDatastore オブジェクトおよび SpreadsheetDatastore オブジェクトについてのみ、それらの変数のデータ型を指定します。'TextType' が 'char' の場合、出力は文字ベクトルの cell 配列です。'TextType' が 'string' の場合、出力の型は string です。

データ型: char | string

DatetimeType — インポートされる日付と時刻のデータの型

'datetime' (既定値) | 'text'

インポートされる日付と時刻のデータの型。'DatetimeType' と、'datetime' または 'text' のいずれかの値で構成されるコンマ区切りのペアとして指定します。'DatetimeType' 引数は、TabularTextDatastore オブジェクトを作成する場合にのみ適用されます。

値	インポートされる日付と時刻のデータの型
'datetime'	MATLAB の datetime データ型 詳細については、datetime を参照してください。
'text'	'DatetimeType' を 'text' として指定した場合、インポートされる日付と時刻のデータの型は 'TextType' パラメーターで指定された値によって決まります。 'TextType' が 'char' の場合、datastore は日付を文字ベクトルの cell 配列として返します。 'TextType' が 'string' の場合、datastore は日付を string 配列として返します。

例: 'DatetimeType','datetime'

データ型: char | string

DurationType — duration データの出力データ型

'duration' (既定値) | 'text'

テキスト ファイルからの duration データの出力データ型。'DurationType' と 'duration' または 'text' のいずれかで構成されるコンマ区切りのペアとして指定します。

値	インポートされる duration データの型
'duration'	MATLAB の duration データ型 詳細については、duration を参照してください。
'text'	'DurationType' を 'text' として指定した場合、インポートされる duration データの型は 'TextType' パラメーターで指定された値によって決まります。 'TextType' が 'char' の場合、インポート関数は duration データを文字ベクトルの cell 配列として返します。 'TextType' が 'string' の場合、インポート関数は duration データを string の配列として返します。

データ型: char | string | datetime

VariableNamingRule — 変数名を保持するかどうかのフラグ

'modify' (既定値) | 'preserve'

変数名を保持するかどうかのフラグ。VariableNamingRule と、'modify' または 'preserve' のいずれかで構成されるコンマ区切りのペアとして指定します。

• 'modify' — 無効な変数名 (関数 isvarname で判定) を、有効な MATLAB 識別子に変換。

• 'preserve' — スペースや非 ASCII 文字を含む変数名など、有効な MATLAB 識別子ではない変数名を保持。

R2019b 以降、変数名と行名には、スペースや非 ASCII 文字など任意の文字を含めることができます。また、英字だけでなく任意の文字で始めることができます。変数名と行名は、有効な MATLAB 識別子 (関数 isvarname で判定) である必要はありません。これらの変数名と行名を保持するには、VariableNamingRule の値を 'preserve' に設定します。

データ型: char | string

これらの名前と値のペアに加えて、次のオブジェクトの任意のプロパティも名前と値のペアとして指定できます。ただし、Files プロパティを除きます。

• TabularTextDatastore

• ImageDatastore

• SpreadsheetDatastore

• KeyValueDatastore

• TallDatastore

• DatabaseDatastore (Database Toolbox)

出力引数

ds — データの集合のデータ ストア

TabularTextDatastore | ImageDatastore | SpreadsheetDatastore | KeyValueDatastore | FileDatastore | TallDatastore | ...

データの集合のデータ ストア。TabularTextDatastore、ImageDatastore、SpreadsheetDatastore、KeyValueDatastore、FileDatastore、TallDatastore、ParquetDatastore、または DatabaseDatastore の各オブジェクトのいずれかとして返されます。データ ストアの種類は、ファイルの種類または引数 location によって決まります。詳細については、次の表のデータ ストア名をクリックしてください。

タイプ	出力
テキスト ファイル	TabularTextDatastore
イメージ ファイル	ImageDatastore
スプレッドシート ファイル	SpreadsheetDatastore
mapreduce によって生成された MAT ファイルまたはシーケンス ファイル	KeyValueDatastore
カスタム形式ファイル	FileDatastore
tall データ型の関数 write によって生成された MAT ファイルまたはシーケンス ファイル。	TallDatastore
Parquet ファイル	ParquetDatastore
データベース	DatabaseDatastore (Database Toolbox)

これらの各データ ストアの種類の場合、Files プロパティは文字ベクトルの cell 配列です。個々の文字ベクトルは、location 引数に関連付けられたファイルへの絶対パスです。

参考

mapreduce | tabularTextDatastore | imageDatastore | spreadsheetDatastore | fileDatastore | parquetDatastore | javaaddpath | imformats | tall | CombinedDatastore | TransformedDatastore

トピック

• データ ストア入門
• リモート データの操作
• 異なるマシンまたはクラスターで処理するためのデータ ストアの設定

R2014b で導入

×

例を開く

この例の変更されたバージョンがあります。編集された方の例を開きますか?

いいえ、変更されたバージョンを上書きします。 はい