Decoders Matter for Semantic Segmentation:Data-Dependent Decoding Enables Flexible Feature Aggregation

Data-dependent Upsampling (DUpsampling)レイヤーを提案
- bilinearではなく入力データに基づきUpsamplingできるため、低解像度のまま各レイヤーの特徴量をconcatしても最終的なsegmentation精度を確保できる
DeepLabv3+でencoderの出力解像度を1/8ではなく1/16とし、decodeをDUpsamplingで行った結果、mIOUが87.8%から88.1%にやや改善。計算量は30%に低減
- メモリ使用量も同程度に小さくなっていると思われる
DUpsampling
- 1: r倍の解像度にUpsamplingする場合、encoder出力特徴量テンソル(チャンネル数C')に1x1の畳み込みを行いNチャンネルのテンソルを計算
- 2: 各チャンネルをr×r×N/r²にreshapeし、r倍解像度のテンソルを得る
  - N/r² = C(＝クラス数)
- 3: 1の畳み込みの係数は、r×r×C(＝N)のテンソルをC'に射影する行列Pの逆行列Wとして求める
温度を考慮したsoftmaxを使用しないと精度がでなかったとのこと
- 精度が上がる理由は謎
- 通常のsoftmaxと温度を考慮したsoftmaxのlossを比較し、温度を考慮したsoftmaxの優位性を論じていたが、lossの定義が異なる時点でナンセンス