randomPatchExtractionDatastore

イメージまたはピクセルラベルイメージから 2 次元または 3 次元のランダムパッチを抽出するためのデータストア

説明

randomPatchExtractionDatastore オブジェクトは、2 つのイメージベースのデータストアから、対応するランダムに配置されたパッチを抽出します。たとえば、入力データストアには、image-to-image 回帰ネットワークの学習用のネットワーク入力と目的のネットワーク応答、またはセマンティックセグメンテーションネットワークの学習用のグラウンドトゥルースイメージとピクセルラベルデータを含む 2 つのイメージデータストアを指定できます。

このオブジェクトを使用するには、Deep Learning Toolbox™ が必要です。

メモ

randomPatchExtractionDatastore を学習データのソースとして使用する場合、データストアがエポックごとに各イメージから複数のランダムパッチを抽出するため、エポックごとに若干異なるデータセットが使用されます。エポックごとの学習パッチの実際の数は、学習イメージの数の PatchesPerImage 倍です。イメージパッチはメモリに格納されません。

作成

構文

patchds = randomPatchExtractionDatastore(ds1,ds2,PatchSize)

patchds = randomPatchExtractionDatastore(ds1,ds2,PatchSize,Name,Value)

説明

patchds = randomPatchExtractionDatastore(ds1,ds2,PatchSize) は、データストア ds1 内の入力データとデータストア ds2 内の応答データからサイズが PatchSize のランダムに配置されたパッチを抽出するデータストアを作成します。

例

patchds = randomPatchExtractionDatastore(ds1,ds2,PatchSize,Name,Value) は、名前と値の引数を使用して PatchesPerImage、DataAugmentation および DispatchInBackground プロパティを設定します。複数の名前と値の引数を指定できます。

たとえば、randomPatchExtractionDatastore(imds1,imds2,50,"PatchesPerImage",40) は、イメージデータストア imds1 と imds2 内の各イメージから 50×50 ピクセルの 40 個のパッチを無作為に生成するデータストアを作成します。

入力引数

すべて展開する

`ds1` — 入力データ
`ImageDatastore` | `PixelLabelDatastore` | `TransformedDatastore`

ネットワークへの学習用の入力を含む入力データ。ImageDatastore、PixelLabelDatastore (Computer Vision Toolbox)、または TransformedDatastore として指定します。

PixelLabelDatastore を指定する場合、Computer Vision Toolbox™ が必要です。

メモ

ImageDatastore を使用すると、事前取得を使用して JPG または PNG イメージファイルのバッチ読み取りを行うことができます。イメージの読み取りにカスタム関数を使用する場合、事前取得は行われません。

`ds2` — 応答データ
`ImageDatastore` | `PixelLabelDatastore` | `TransformedDatastore`

目的のネットワーク応答を表す応答データ。ImageDatastore、PixelLabelDatastore (Computer Vision Toolbox)、または TransformedDatastore として指定します。TransformedDatastore を指定した場合、基になるデータストアは ImageDatastore または PixelLabelDatastore でなければなりません。

PixelLabelDatastore を指定する場合、Computer Vision Toolbox が必要です。

メモ

プロパティ

すべて展開する

`PatchSize` — パッチのサイズ
読み取り専用: 正の整数から成る 2 要素ベクトル | 正の整数の 3 要素ベクトル

このプロパティは読み取り専用です。

パッチのサイズ。次のいずれかを指定します。

2 次元パッチの正の整数の 2 要素ベクトル。PatchSize の形式は [r c] であり、r はパッチ内の行数を指定し、c は列数を指定します。
3 次元パッチの正の整数の 3 要素ベクトル。PatchSize の形式は [r c p] であり、r はパッチ内の行数、c は列数、p は平面の数を指定します。

`PatchesPerImage` — イメージあたりのランダムパッチの数
`128` (既定値) | 正の整数

イメージあたりのランダムパッチの数。正の整数として指定します。

`DataAugmentation` — 入力イメージに適用される前処理
`"none"` (既定値) | `imageDataAugmenter` オブジェクト

入力イメージに適用される前処理。imageDataAugmenter (Deep Learning Toolbox) オブジェクトまたは "none" として指定します。DataAugmentation が "none" である場合、入力イメージには前処理が適用されません。

サイズ変更、回転および鏡映などのランダムな変換によってデータを拡張します。ネットワークで過適合が発生したり、学習データの正確な詳細が記憶されたりすることを防止するのに役立ちます。randomPatchExtractionDatastore は各ペアの両方のパッチに同じランダムな変換を適用します。データストアのデータは学習中にリアルタイムで拡張されます。

DataAugmentation プロパティは 3 次元データではサポートされていません。3 次元データを前処理するには、関数 transform を使用します。

`DispatchInBackground` — バックグラウンドの観測値の送信
`false` (既定値) | `true`

学習、予測、または分類中のバックグラウンドにおける観測値の送信。false または true として指定します。バックグラウンドディスパッチを使用するには、Parallel Computing Toolbox™ が必要です。

`MiniBatchSize` — 各バッチの観測値の数
`128` | 正の整数

各バッチで返される観測値の数。データストアの作成後にのみ MiniBatchSize の値を変更できます。学習、予測、および分類では、MiniBatchSize プロパティは trainingOptions (Deep Learning Toolbox) で定義されたミニバッチサイズに設定されます。

`NumObservations` — データストアに含まれている観測値の合計数
読み取り専用: 正の整数

このプロパティは読み取り専用です。

randomPatchExtractionDatastore に含まれている観測値の合計数。観測値の数は 1 つの学習エポックの長さです。

オブジェクト関数

`combine`	複数のデータストアのデータを統合
`hasdata`	データが読み取り可能かどうかを判別
`numpartitions`	データストアの区画数
`partition`	データストアを分割する
`partitionByIndex`	インデックスに応じた `randomPatchExtractionDatastore` の分割
`preview`	データストア内のデータのサブセットをプレビュー
`read`	`randomPatchExtractionDatastore` からデータを読み取る
`readall`	データストアのすべてのデータの読み取り
`readByIndex`	`randomPatchExtractionDatastore` からインデックスで指定されたデータを読み取る
`reset`	データストアの初期状態へのリセット
`shuffle`	データストア内のデータのシャッフル
`transform`	データストアの変換
`isPartitionable`	データストアが分割可能かどうかを判別
`isShuffleable`	データストアがシャッフル可能かどうかを判別

例

すべて折りたたむ

ランダムパッチ抽出データストアの作成

この例では次を使用します。

ライブスクリプトを開く

学習イメージを含むイメージデータストアを作成します。この例のデータストアには JPEG カラーイメージが含まれています。

imageDir = fullfile(toolboxdir('images'),'imdata');
imds1 = imageDatastore(imageDir,'FileExtensions','.jpg');

ガウスぼかしを適用することによって imds1 内のイメージを変換する 2 番目のデータストアを作成します。

imds2 = transform(imds1,@(x)imgaussfilt(x,2));

[0, 90] 度の範囲のランダムな角度でイメージを回転させ、イメージデータを水平にランダムに反転させる imageDataAugmenter を作成します。

augmenter = imageDataAugmenter('RandRotation',[0 90],'RandXReflection',true)

augmenter = 
  imageDataAugmenter with properties:

           FillValue: 0
     RandXReflection: 1
     RandYReflection: 0
        RandRotation: [0 90]
           RandScale: [1 1]
          RandXScale: [1 1]
          RandYScale: [1 1]
          RandXShear: [0 0]
          RandYShear: [0 0]
    RandXTranslation: [0 0]
    RandYTranslation: [0 0]

未処理の学習イメージと対応する平滑化された応答イメージから、サイズが 100 行 100 列のランダムパッチを抽出する randomPatchExtractionDatastore オブジェクトを作成します。DataAugmentation プロパティを設定して拡張オプションを指定します。

patchds = randomPatchExtractionDatastore(imds1,imds2,[100 100], ...
    'DataAugmentation',augmenter)

patchds = 
  randomPatchExtractionDatastore with properties:

         PatchesPerImage: 128
               PatchSize: [100 100]
        DataAugmentation: [1×1 imageDataAugmenter]
           MiniBatchSize: 128
         NumObservations: []
    DispatchInBackground: 0

一連の拡張されたイメージパッチと対応する平滑化されたイメージパッチをプレビューします。

minibatch = preview(patchds);
inputs = minibatch.InputImage;
responses = minibatch.ResponseImage;
test = cat(2,inputs,responses);
montage(test','Size',[8 2])
title('Inputs (Left) and Responses (Right)')

ランダムパッチ抽出データストアを使用したセマンティックセグメンテーションネットワークの学習

この例では次を使用します。

ライブスクリプトを開く

学習イメージを含むイメージデータストアを作成します。

dataDir = fullfile(toolboxdir("vision"),"visiondata","triangleImages");
imageDir = fullfile(dataDir,"trainingImages");
imds = imageDatastore(imageDir);

クラス名と関連するラベル ID を定義します。次に、学習イメージのグラウンドトゥルースピクセルラベルを含むピクセルラベルデータストアを作成します。

classNames = ["triangle" "background"];
labelIDs = [255 0];
labelDir = fullfile(dataDir,"trainingLabels");
pxds = pixelLabelDatastore(labelDir,classNames,labelIDs);

イメージと対応するピクセルラベルから 32×32 ピクセルのランダムパッチを抽出するために、ランダムパッチ抽出データストアを作成します。PatchesPerImage プロパティを設定して、イメージとピクセルラベルの各ペアから 512 個のランダムパッチを抽出します。

patchds = randomPatchExtractionDatastore(imds,pxds,32, ...
     PatchesPerImage=512);

セマンティックセグメンテーションのネットワークを作成します。

layers = [
    imageInputLayer([32 32 1])
    convolution2dLayer(3,64,Padding=1)
    reluLayer()
    maxPooling2dLayer(2,Stride=2)
    convolution2dLayer(3,64,Padding=1)
    reluLayer()
    transposedConv2dLayer(4,64,Stride=2,Cropping=1)
    convolution2dLayer(1,2)
    softmaxLayer()
    ];

学習オプションをセットアップします。学習時間を短縮するために、MaxEpochs を 5 に設定します。

options = trainingOptions("sgdm", ...
    InitialLearnRate=1e-4, ...
    MaxEpochs=5, ...
    Plots="training-progress", ...
    Verbose=false);

ピクセル分類に適したクロスエントロピー損失関数を定義します。

function loss = modelLoss(Y,T)
    mask = ~isnan(T);
    T(isnan(T)) = 0;
    loss = crossentropy(Y,T,Mask=mask,NormalizationFactor="mask-included");
end

関数 trainnet を使用してニューラルネットワークに学習させます。

net = trainnet(patchds,layers,@modelLoss,options);

ヒント

randomPatchExtractionDatastore では、入力データストアに対する read 操作の出力から同じサイズの配列が返されると想定しています。
入力データストアが ImageDatastore の場合、その Labels プロパティの値は randomPatchExtractionDatastore によって無視されます。
randomPatchExtractionDatastore の 2 次元データを可視化するには、データのサブセットを table で返す関数 preview を使用できます。関数 montage を使用して、パッチをすべて同じ Figure に可視化します。たとえば、次のコードは randomPatchExtractionDatastore のイメージパッチ patchds のプレビューを表示します。
```
minibatch = preview(patchds);
montage(minibatch.InputImage)
```

バージョン履歴

R2018b で導入

参考

randomPatchExtractionDatastore

説明

作成

構文

説明

入力引数

ds1 — 入力データ ImageDatastore | PixelLabelDatastore | TransformedDatastore

ds2 — 応答データ ImageDatastore | PixelLabelDatastore | TransformedDatastore

プロパティ

PatchSize — パッチのサイズ 読み取り専用: 正の整数から成る 2 要素ベクトル | 正の整数の 3 要素ベクトル

PatchesPerImage — イメージあたりのランダム パッチの数 128 (既定値) | 正の整数

DataAugmentation — 入力イメージに適用される前処理 "none" (既定値) | imageDataAugmenter オブジェクト

DispatchInBackground — バックグラウンドの観測値の送信 false (既定値) | true

MiniBatchSize — 各バッチの観測値の数 128 | 正の整数

NumObservations — データストアに含まれている観測値の合計数 読み取り専用: 正の整数