resnetLayers
resnetLayers は推奨されません。代わりに関数 resnetNetwork を使用してください。詳細については、バージョン履歴を参照してください。
説明
lgraph = resnetLayers(inputSize,numClasses)inputSize で指定されたイメージ入力サイズおよび numClasses で指定されたクラス数をもつ 2 次元残差ネットワークを作成します。
lgraph = resnetLayers(___,Name=Value)InitialNumFilters=32 は、最初の畳み込み層で 32 個のフィルターを指定します。
ヒント
事前学習済みの ResNet ニューラル ネットワークを読み込むには、関数 imagePretrainedNetwork を使用します。
例
入力引数
名前と値の引数
出力引数
詳細
残差ネットワーク (ResNets) は深層ネットワークの一種で、"残差結合" ("スキップ" 結合または "ショートカット" 結合とも呼ばれる) をもつ基本ブロックで構成されます。この結合を使用すると、入力が主分岐の畳み込みユニットをスキップすることができ、ネットワーク内によりシンプルなパスを実装することができます。残差結合によって、パラメーターの勾配がネットワークの最後の層からより初期の層へとよりスムーズに流れるようになり、学習の初期の段階で勾配が消えてしまうという問題を軽減することができます。
残差ネットワークの構造には柔軟性があります。主なコンポーネントは、"残差ブロック" 内に組み込まれた残差結合です。残差ブロックのグループは "スタック" と呼ばれます。ResNet アーキテクチャは、初期層、それに続く残差ブロックを含むスタック、および最終層で構成されています。ネットワークは次の 3 種類の残差ブロックをもちます。
初期残差ブロック — このブロックは、最初のスタックの開始点に出現します。初期残差ブロックの残差結合に含まれる層は、ブロックが活性化サイズを保持するか、ダウンサンプリングを行うかを決定します。
標準残差ブロック — このブロックは、各スタック内の最初のダウンサンプリング残差ブロックの後に複数回出現します。標準残差ブロックは活性化サイズを保持します。
ダウンサンプリング残差ブロック — このブロックは、各スタックの開始点に 1 回出現します。ダウンサンプリング ブロックの最初の畳み込みユニットは、係数 2 で空間次元をダウンサンプリングします。
標準的なスタックは、ダウンサンプリング残差ブロックと、それに続く m 個の標準残差ブロック (m は正の整数) をもちます。最初のスタックは、初期残差ブロックで始まる唯一のスタックです。
初期残差ブロック、標準残差ブロック、ダウンサンプリング残差ブロックには、"ボトルネック" ブロックまたは非ボトルネック ブロックを使用できます。ボトルネック残差ブロックは、3 行 3 列の畳み込みの前に 1 行 1 列の畳み込みを実行し、チャネル数を 4 分の 1 に減らします。ボトルネック ブロックがあるネットワークとボトルネック ブロックがないネットワークの計算量は同程度ですが、残差結合で伝播される特徴の合計数は、ボトルネック ユニットを使用する場合の方が 4 倍多くなります。そのため、ボトルネック ブロックを使用するとネットワークの効率が向上します。
各ブロック内部の層は、設定するブロックのタイプとオプションによって決まります。
ブロックの層
| 名前 | 最初の層 | 初期残差ブロック | 標準残差ブロック (BottleneckType="downsample-first-conv") | 標準残差ブロック (BottleneckType="none") | ダウンサンプリング残差ブロック | 最後の層 |
| 説明 | 残差ネットワークは、以下の順序で並んだ以下の層で始まります。
オプションのプーリング層を設定するには、引数 | 初期残差ブロックの主分岐は、標準残差ブロックと同じ層をもちます。
| ボトルネック ユニットをもつ標準残差ブロックには、以下の層が以下の順序で含まれます。
標準ブロックには、前のブロックの出力から加算層への残差結合が含まれます。 加算層の位置を設定するには、引数 | ボトルネック ユニットをもたない標準残差ブロックには、以下の層が以下の順序で含まれます。
標準ブロックには、前のブロックの出力から加算層への残差結合が含まれます。 加算層の位置を設定するには、引数 | ダウンサンプリング残差ブロックは (ボトルネックがある、またはボトルネックがない) 標準ブロックと同じですが、残差結合上の最初の畳み込み層と加算層に 残差結合上の層は、
ダウンサンプリング ブロックは、入力の高さと幅を半分にし、チャネルの数を増やします。 | 残差ネットワークは、以下の順序で並んだ以下の層で終了します。
|
| 可視化の例 |
| ボトルネックをもたず、加算層の前にバッチ正規化層があるネットワークの初期残差ブロックの例。
| ボトルネックをもち、加算層の前にバッチ正規化層があるネットワークの標準残差ブロックの例。
| ボトルネックをもたず、加算層の前にバッチ正規化層があるネットワークの標準残差ブロックの例。
| ボトルネックをもたず、加算層の前にバッチ正規化層があるネットワークのダウンサンプリング残差ブロックの例。
|
|
畳み込み層と全結合層の重みを初期化するには、He 重み初期化メソッドを使用します[3]。詳細については、convolution2dLayer を参照してください。
ヒント
小さなイメージを扱うには、
InitialPoolingLayerオプションを"none"に設定し、初期プーリング層を削除してダウンサンプリングの量を減らします。残差ネットワークには、通常、ResNet-"X" という名前が付けられています。ここで、"X" はネットワークの "深さ" です。ネットワークの深さは、入力層から出力層までのパスにある逐次畳み込み層または全結合層の最大数として定義されます。ネットワークの深さを計算するには、次の式を使用します。
ここで、si はスタック i の深さです。
深さが同じネットワークに異なるネットワーク アーキテクチャを使用できます。たとえば、ボトルネックをもつ (またはもたない) ResNet-14 アーキテクチャを作成できます。
ボトルネック アーキテクチャと非ボトルネック アーキテクチャの間の関係は、ボトルネックをもつネットワークとボトルネックをもたないネットワークの深さの違いにも現れています。resnet14Bottleneck = resnetLayers([224 224 3],10, ... StackDepth=[2 2], ... NumFilters=[64 128]); resnet14NoBottleneck = resnetLayers([224 224 3],10, ... BottleneckType="none", ... StackDepth=[2 2 2], ... NumFilters=[64 128 256]);
resnet50Bottleneck = resnetLayers([224 224 3],10); resnet34NoBottleneck = resnetLayers([224 224 3],10, ... BottleneckType="none");
参照
[1] He, Kaiming, Xiangyu Zhang, Shaoqing Ren, and Jian Sun. “Deep Residual Learning for Image Recognition.” Preprint, submitted December 10, 2015. https://arxiv.org/abs/1512.03385.
[2] He, Kaiming, Xiangyu Zhang, Shaoqing Ren, and Jian Sun. “Identity Mappings in Deep Residual Networks.” Preprint, submitted July 25, 2016. https://arxiv.org/abs/1603.05027.
[3] He, Kaiming, Xiangyu Zhang, Shaoqing Ren, and Jian Sun. "Delving Deep into Rectifiers: Surpassing Human-Level Performance on ImageNet Classification." In Proceedings of the 2015 IEEE International Conference on Computer Vision, 1026–1034. Washington, DC: IEEE Computer Vision Society, 2015.
