Learning to Learn from Noisy Labeled Data

スポンサーリンク

---

Fig1. MLNT学習

論文URL

http://openaccess.thecvf.com/content_CVPR_2019/papers/Li_Learning_to_Learn_From_Noisy_Labeled_Data_CVPR_2019_paper.pdf
2019年のCVPRで公開

ポイント

• 質が悪い(一部のラベルが間違っている)教師データを想定し画像分類を行うmeta-learning based noise-tolerant (MLNT) 学習法を提案 (Fig1)
  • あえて学習中に正解ラベルを間違ったラベルに付け替えながら、複数のStudent modelを学習
  • Teacher modelとStudent modelの推論確率分布が同じになるよう正則化をかけつつ、最終モデルのパラメータを更新
  • Teacher modelのパラメータは最終モデルのパラメータの移動平均で計算
• Teacher modelとStudent modelの整合性を取ることで、正解ラベルの間違いに頑健になる最終モデルが得られる

meta-learning based noise-tolerant (MLNT) 学習法

• Algorithm 1
  • 複数(論文では10個)のStudent modelを学習する
    • mini batchサンプルの一部の正解ラベルを付け替える
      • 特徴量空間で上位10近傍のサンプルの中からランダムに選択したラベルを使用
  • Teacher modelとStudent modelの推論確率のKL Divergenceを最小化するよう最終モデルのパラメータθを更新
  • 最終モデルによる推論結果を元の正解ラベルで評価しθをさらに更新
  • θの移動平均でteacher modelのパラメータを更新
• 以下を変更し、Algorithm 1を繰り返す（論文では3回）
  • 直近のAlgorith1で得られたモデル群の中で最も検証精度の高いモデルをMentor modelとする
    • 通常はTeache modelが選択されるとのこと
  • Mentor modelで推論確率が低いサンプルを学習データから外す
  • Student modelの推論確率分布をTeacher modelとMentor modelの推論確率の重み付き平均した分布に合わせる。
  • このイタレーションが有効に機能するためには質の良い検証データが必要と思われる。
    • 特に論文中でこの点は記載されていないが、質の良い検証データとテストデータにより実験している。
    • イタレーション無しでも、それなりに性能改善はしている

Clothing1Mによる評価

• Clothing1M
  • オンラインショッピングサイトの説明文から正解ラベルを作成した100万枚の画像データセット
  • 正解クラスは14分類
  • 74,000枚の質の良いデータも有る

• Mentor modelによる推論確率
  • 図の上側のオレンジが教師ラベル
  • 図の下側の水色が推論ラベル

---

スポンサーリンク

---