Progressive Neural Architecture Search

スポンサーリンク

---

論文URL

https://arxiv.org/pdf/1712.00559.pdf
2017年12月公開

ポイント

• Neural Architecture Search(NAS)を発展させたモデル自動生成手法
• Progressive NAS (PNAS)
  • ブロックを1段ずつ最適化
    • 構成要素
      • 3x3 Conv
      • 5x5 Conv
      • 7x7 Conv
      • 1x7 + 7x1 Conv
      • identity
      • 3x3 Average Pooling
      • 3x3 Max Pooling
      • 3x3 dilated conv
  • 2つの要素を合成する際は、addで行い、concatはしていない
    • NASで一度もconcatが使われなかったため
  • 本文では5段の結果をまとめていて、補講で10段までやっている
• 2段目以降のブロックを最適化する際、前段のブロックの結果から性能を予測するモデルを作成しており、その予測モデルで成績の良い上位K個のブロックのみ実際に学習を行う
  • 予測モデルは小さいMLPのアンサンブル
  • LSTMでも評価しているが、多分最終的には使用していない

---

スポンサーリンク

---