Probabilistic End-to-end Noise Correction for Learning with Noisy Labels

論文URL

http://openaccess.thecvf.com/content_CVPR_2019/papers/Yi_Probabilistic_End-To-End_Noise_Correction_for_Learning_With_Noisy_Labels_CVPR_2019_paper.pdf
CVPR2019で公開

ポイント

ラベルのアノテーションミスを推定し、修正したラベルにより分類モデルを学習するPENCIL(probabilistic end-to-end noise correction in labels)フレームワークを提案
- 数十％の大量のミスラベルが有っても一定の性能を確保している
- 精度の高いラベルが付いたデータセットも不要

f:id:y_kurashina:20211003224940p:plain

Entropy Loss
- このLossによりone-hot distributionを保てるとのこと
Classification Loss
- 基準の分布を教師ラベルではなく、推論確率にしている
Compatibility Loss
- 最初のラベルと修正後のラベルが変わりすぎないように抑制するLoss
学習方法
- 最初のラベルのままバックボーンをCEで学習
  - 学習率を大きく設定し、過学習を防ぐ
- PENCILフレームワークでモデルと教師ラベルの両方を学習
  - このステップも学習率は大きいままとする
- Fine tuning
  - classification Lossだけ使用し、モデルのみをFine tuning
  - 学習率は通常通りステップ状に小さくしていく

f:id:y_kurashina:20211003225543p:plain f:id:y_kurashina:20211003225603p:plain f:id:y_kurashina:20211003225634p:plain f:id:y_kurashina:20211003225722p:plain f:id:y_kurashina:20211003225751p:plain