医療系AIエンジニアの技術メモ

ディープラーニング（主に画像系）の技術メモブログです

DIFFUSION ADVERSARIAL REPRESENTATION LEARNING FOR SELF-SUPERVISED VESSEL SEGMENTATION

スポンサーリンク

論文URL

https://arxiv.org/abs/2209.14566
2022年9月公開

Fig1. 論文の提案手法概念図

Fig2. 学習方法概念図

ポイント

  • 自己教師あり学習で血管セグメンテーション
    • 冠動脈造影X線画像と網膜画像で評価
      • どちらも二次元画像
      • モデルの学習は冠動脈造影X線画像で行い、その学習済みモデルで網膜画像の血管セグメンテーションも行っていた
    • 造影X線画像から血管領域セグメンテーションを行うパスAと、血管が写っていない非造影X線画像（背景画像）と血管構造を模擬したフラクタル画像から疑似造影X線画像を生成するパスBを用意
      • パスAとBでほぼモデルを共有
        • GeneratorのSwitchable SPADE (spatially-adaptive denormalization layer)だけパスA、Bで動きが変わる
          • パスAではInstance Normalizationとして働き、パスBではフラクタルマスクを入力条件としたSPADEブロックとして働く
      • 網膜画像に対してもそのまま使えているのは凄いと思う一方、背景画像がないと学習できないことは実用上厳しいと感じる。
    • パスA、パスBの出力をCycle GANの枠組みで学習
      • パスBを先に通し生成された疑似造影画像をパスAに通す。パスAで生成した血管マスクがパスBの入力に用意したフラクタル画像と一致するようにConsistencyを取る。
    • パスA,BともにGeneratorに通す前に拡散モデルに通す
      • 拡散モデルは血管が写っていないパスBの非造影X線画像で学習するのがポイント
        • パスAで拡散モデルにかけると血管領域が拡散モデルが推定する潜在空間でoutlierになるため、Generatorが血管マスクを推定する際の良い特徴量になる
      • 拡散モデルを挟むことで入力ノイズに対してロバストになる
      • 推論時は入力画像に1ステップ分だけノイズを乗せ、逆拡散過程も1回だけ行うケースが最も性能が高くなっていた
        • 逆拡散過程を繰り返す必要がないため、通常の拡散モデルほどは推論が遅くならない

スポンサーリンク

Striking the Right Balance with uncertainty

論文メモ

スポンサーリンク

論文URL

http://openaccess.thecvf.com/content_CVPR_2019/papers/Khan_Striking_the_Right_Balance_With_Uncertainty_CVPR_2019_paper.pdf
CVPR2019で公開

ポイント

  • クラスレベルとサンプルレベルの分類の不確定性を考慮して、マージンを最大化するLossを提案
    • 以下のSlide Shareを見ると分かりやすい
    • 【CVPR 2019】Striking the Right Balance with Uncertainty

www.slideshare.net

スポンサーリンク

Deep Learning for Chest Radiograph Diagnosis in the Emergency Department

論文メモ

スポンサーリンク

論文URL

https://pubs.rsna.org/doi/10.1148/radiol.2019191225
2021年8月公開

ポイント

  • Lunitの胸部レントゲン画像用AIを救急での使用を想定して評価
    • 1施設のみ
    • 後ろ向き試験

f:id:y_kurashina:20211023233043p:plain f:id:y_kurashina:20211023233111p:plain f:id:y_kurashina:20211023233205p:plain f:id:y_kurashina:20211023233238p:plain f:id:y_kurashina:20211023233304p:plain f:id:y_kurashina:20211023233328p:plain

スポンサーリンク

Bounding Box Regression with Uncertainty for Accurate Object Detection

論文メモ

スポンサーリンク

論文URL

http://openaccess.thecvf.com/content_CVPR_2019/papers/He_Bounding_Box_Regression_With_Uncertainty_for_Accurate_Object_Detection_CVPR_2019_paper.pdf
CVPR2019で公開

ポイント

  • BBoxのregression時にボックス位置の不確定性(ガウス分布の分散)をKL Divergenceで測り、その分散に基づきボックス位置を修正する

f:id:y_kurashina:20211017203756p:plain

  • ボックス位置の確率分布 f:id:y_kurashina:20211017203954p:plain

    • σは学習パラメータ
    • x1,y1,x2,y2をそれぞれ独立の分散でモデル化している

  • 正解ボックス位置の分布はDirac delta f:id:y_kurashina:20211017204655p:plain

  • Loss f:id:y_kurashina:20211017204750p:plain f:id:y_kurashina:20211017204815p:plain f:id:y_kurashina:20211017204950p:plain

※学習の安定性のために、σを上記式でαに変換している

f:id:y_kurashina:20211017205657p:plain f:id:y_kurashina:20211017205735p:plain

スポンサーリンク

Precise diagnosis of intracranial hemorrhage and subtypes using a three-dimensional joint convolutional and recurrent neural network

論文メモ

スポンサーリンク

論文URL

https://link.springer.com/article/10.1007%2Fs00330-019-06163-2
2019年4月公開

ポイント

  • CT画像により脳出血の分類
    • 1検査単位での検出とスライス単位での検出の両方に対応
    • VGG16のFC層で各スライスに対し抽出した特徴量ベクトルを双方向GRUにかけ分類
      • HU範囲別の3チャンネル化
        • -50～150：正常部位と出血部位の判別
        • 100～300：頭蓋内と骨の間のHU値変化にフォーカス
        • 250～450：骨にフォーカス
      • 1検査単位の場合はスライスごとに出力される特徴量ベクトルをAverage Poolingしている
    • 出血の有無を分類するモデルと、出血の種類を分類するモデルを分けている
      • ICH : Intracranial hemorrhage 脳出血
      • EDH : epidural hemorrhage 硬膜外血種
      • SDH : subdural hemorrhage 硬膜下血腫
      • SAH : subarachnoid hemorrhage くも膜下出血
      • CPH : cerebral parenchymal hemorrhage 脳実質内出血
      • IVH : intraventricular hemorrhage 脳室内出血

f:id:y_kurashina:20211014232450p:plain f:id:y_kurashina:20211014232530p:plain f:id:y_kurashina:20211014232608p:plain Supplementary Figure 1

f:id:y_kurashina:20211014232812p:plain f:id:y_kurashina:20211014232846p:plain f:id:y_kurashina:20211014232954p:plain f:id:y_kurashina:20211014233032p:plain

スポンサーリンク

Probabilistic End-to-end Noise Correction for Learning with Noisy Labels

論文メモ

スポンサーリンク

論文URL

http://openaccess.thecvf.com/content_CVPR_2019/papers/Yi_Probabilistic_End-To-End_Noise_Correction_for_Learning_With_Noisy_Labels_CVPR_2019_paper.pdf
CVPR2019で公開

ポイント

  • ラベルのアノテーションミスを推定し、修正したラベルにより分類モデルを学習するPENCIL(probabilistic end-to-end noise correction in labels)フレームワークを提案
    • 数十％の大量のミスラベルが有っても一定の性能を確保している
    • 精度の高いラベルが付いたデータセットも不要

f:id:y_kurashina:20211003224940p:plain

  • Entropy Loss
    • f:id:y_kurashina:20211003225049p:plain
    • このLossによりone-hot distributionを保てるとのこと
  • Classification Loss
    • f:id:y_kurashina:20211003225301p:plain
    • 基準の分布を教師ラベルではなく、推論確率にしている
  • Compatibility Loss
    • f:id:y_kurashina:20211003225358p:plain
    • 最初のラベルと修正後のラベルが変わりすぎないように抑制するLoss
  • 学習方法
    • 最初のラベルのままバックボーンをCEで学習
      • 学習率を大きく設定し、過学習を防ぐ
    • PENCILフレームワークでモデルと教師ラベルの両方を学習
      • このステップも学習率は大きいままとする
    • Fine tuning
      • classification Lossだけ使用し、モデルのみをFine tuning
      • 学習率は通常通りステップ状に小さくしていく

f:id:y_kurashina:20211003225543p:plain f:id:y_kurashina:20211003225603p:plain f:id:y_kurashina:20211003225634p:plain f:id:y_kurashina:20211003225722p:plain f:id:y_kurashina:20211003225751p:plain

  • CUB-200は鳥の分類データセットで高精度のラベルが付いていると考えられている
    • ラベルが高精度でもPENCILが悪さをすることはなく、ハイパーパラメータ次第では高精度になることも。

スポンサーリンク

SSAP: Single-Shot Instance Segmentation With Affinity Pyramid

論文メモ

スポンサーリンク

論文URL

https://arxiv.org/pdf/1909.01616.pdf
2019年9月公開

ポイント

  • proposal-free instance segmentation
    • 先にセグメンテーションを行い、セグメンテーション結果および画素間の類似度に基づき物体を分ける

f:id:y_kurashina:20210926224504p:plain f:id:y_kurashina:20210926224629p:plain f:id:y_kurashina:20210926224655p:plain

  • 5x5の範囲で当該領域の中心画素と周囲画素の類似度(Affinity)を推定
    • 各解像度のレイヤーで常に5x5の範囲を計算することで、大域特徴量と局所特徴量を取得している
  • あまり理解できていないが、Graph Partitionを低解像度側から行うことで、計算時間やメモリの削減につながっている
    • 低解像度側でクラスタ化された領域は高解像度側では計算対象外となっている？

f:id:y_kurashina:20210926224857p:plain

スポンサーリンク