医療系AIエンジニアの技術メモ

ディープラーニング（主に画像系）の技術メモブログです

Max-margin Class Imbalanced Learning with Gaussian Affinity

論文メモ

スポンサーリンク

f:id:y_kurashina:20190316235749j:plain
Fig1. Affinity Lossの概念図

論文URL

https://arxiv.org/pdf/1901.07711.pdf

2019年1月公開

ポイント

  • クラスごとの教師データ数がアンバランスな場合に対応できるAffinity Lossが提案されている。
    • 各クラスの特徴量をクラスタリングし、クラス境界のマージンを最大化する
    • クラスタのセントロイドと各サンプルの類似度をガウシアンで測っている
      • 概念的にはガウシアンカーネルを使ったSVMをイメージすると理解しやすい
    • Softmax Lossでは教師データ数の少ないクラスの特徴量空間は適切に分離できないが、Affinity Lossではマージン最大化によりこの問題に対処している。
    • Affinity Lossのハイパーパラメータ(σ、λ、m)を問題ごとに調整する必要が有る。
      • 論文中には、実験用に用意したImbalanced MNISTでの調整結果のみ記述されており、他の実データセットでどのようなパラメータを使用したか不明。
      • 実用上ハイパーパラメータチューニングが問題になりそうで、軽く試すには不向きなLossに思える。

Affinity Loss

  • 類似度
    d(f _ i,w _ j)=\max \left( \exp(-\frac{||f _ i-w _ {j,t}||^2}{\sigma}) \right) , t=[1,m]
    • f_i : 特徴量ベクトル
    • w_j : クラスタのセントロイド
      学習パラメタで各クラスm個のセントロイドを使用する。複数のセントロイドを使用することで、特徴量ベクトルの複雑な分布に対応。
  • Max margin Loss
    L _ {mm} = \sum _ {j \neq y _ i} \max(0,\lambda+d(f _ i,w _ j)-d(f _ i,w _ {y _ i}))
    • d(f _ i,w _ j) : 他のクラスとサンプルiの類似度
    • d(f _ i,w _ {y _ i}) : 真のクラスとサンプルiの類似度
  • Diversity regularizer (セントロイドを均一に分布させる正則化項)
    R(w)=\mathbb{E}[(||w _ j -w _ k|| ^ 2 -\mu) ^ 2 , s.t. j<k]
    \mu=\frac{ 2 }{ C ^ 2 - C } \sum _ { j \lt k } ||w _ j - w _ k|| ^ 2
  • Affinity Loss
    L=L _ {mm} + R(w)

f:id:y_kurashina:20190317011905j:plain
Fig2. Imbalanced MNISTで評価した特徴量ベクトル分布

(a)のSigmoidの結果は教師データ数の少ない0~4の分布領域が小さいのに対し、(c)のAffinity Lossでは均一な分布が得られている。

スポンサーリンク