Concurrent Spatial and Channel `Squeeze & Excitation' in Fully Convolutional Networks

スポンサーリンク

---

Fig1. scSE block

論文URL

https://arxiv.org/pdf/1803.02579.pdf

2018年6月公開

ポイント

• SE-Net で導入されたchannel単位のAttension＆gating機構(SE block)のアイデアをpixel単位のAttension＆gating機構(scSE block)に拡張し、U-Net等のSemantic Segmentation用モデルに適用
• scSE blockを追加することで、ベースのモデルに比べDice scoreを数%～10％程度改善

Spatial and Channel `Squeeze & Excitation' (scSE) block

• Fig 1. (b) Spatial Squeeze and channel Excitation (cSE) block
  SE-NetのSE blockと同じ
• Fig 1. (c) Channel Squeeze and Spatial Excitation (sSE) block
  
  1. カーネルサイズ1x1で出力チャンネル1の畳み込み層により、各pixelの特徴量ベクトルをスカラー化する
  2. 上記スカラーをsigmoid関数にかけ、0～1の重みに変換
  3. pixel毎に計算される上記重みを入力特徴量テンソルの各pixelにかけ合わせる
• Fig 1 (d) Concurrent Spatial and Channel Squeeze and Channel Excitation (scSE) block
  cSE blockの出力とsSE blockの出力を足し合わせ、scSE blockの出力とする
• 補足
  精度向上の大半はsSE blockに起因している。Segmentationの問題には、チャンネル単位のAttensionよりも空間(pixel)単位のAttensionの方が効果が高いのは直感通りの結果と感じる。

---

スポンサーリンク

---