Squeeze-and-Excitation Networks
スポンサーリンク
論文URL
https://arxiv.org/pdf/1709.01507.pdf
2017年9月公開
ポイント
- ILSVRC2017画像分類コンペティションで1位となったモデル
- 任意のCNNモデルにAttension&gating機構を追加できるSE blockを提案
- 畳み込み層で計算された特徴量をそのまま使用するのではなく、入力画像に応じて有効な特徴量チャンネルを制御
- 計算コストの増加は1%程度(厳密には、SE blockをかますバックボーンモデルの計算コスト次第)
- Top-1 error等の性能は概ね1%程度改善
“Squeeze-and-Excitation” (SE) block
- Squeeze : 特徴量を絞り上げる(Fig 1. のFsq()) Global Average Poolingにより1x1xC次元の特徴量を計算
- Excitation : 有用なチャンネルを励起(Fig 1. のFex())
- bottleneck機構で有効なチャンネルの重みを計算
- Squeeze層の出力を全結合層にかけ C/r 次元ベクトルに圧縮 (rはハイパーパラメータ)
- ReLUにかけた後、再び全結合層にかけ C 次元ベクトルに戻す
- 上記 C 次元ベクトルをsigmoidにかけ、0~1の重みに変換
- bottleneck機構で有効なチャンネルの重みを計算
- SE Blockの出力 C 次元ベクトルを入力特徴量テンソルの各チャンネルに掛け合わせる(Fig 1. のFscale())
関連情報
ai-engineer-memo.hatenablog.com
スポンサーリンク