医療系AIエンジニアの技術メモ

ディープラーニング（主に画像系）の技術メモブログです

Three-Dimensional Endoscopy

論文メモ

スポンサーリンク

論文URL

https://www.informatik.uni-marburg.de/~thormae/paper/FALK124_TTHBPM.pdf
2021年8月公開

ポイント

  • 内視鏡のMotion stereoで3次元計測
    • Harris特徴量抽出
    • 特徴点回りの15x15領域でフレーム間の相関係数を計算
    • random samplingでoutlierを削除
      • ちゃんと確認していないがRANSACのノリのはず
    • カメラパラメータを推定
      • カメラの並進運動しか考慮していないのが気になる
    • 特徴点群から三角形領域を構成し、テクスチャを張り付けている
    • 得られた3D画像の定量的な評価はしていない

f:id:y_kurashina:20210924230844p:plain f:id:y_kurashina:20210924230929p:plain f:id:y_kurashina:20210924231017p:plain

スポンサーリンク

Deep Learning and Conditional Random Fields-based Depth Estimation and Topographical Reconstruction from Conventional Endoscopy

論文メモ

スポンサーリンク

論文URL

https://arxiv.org/pdf/1710.11216.pdf
2017年10月公開

ポイント

  • 大腸内視鏡画像を用いたDepth推定
  • 教師データ
    • シミュレーション画像
    • Phantom画像
      • CTで立体構造を計測できる模様
    • 豚の大腸画像
      • テストにだけ使用
    • 人の大腸画像
      • 定性的な評価にのみ使用
  • ALEX Netで抽出した特徴量をスーパーピクセル単位で処理し、CRMで滑らかにしている
    • 入力データはGANで合成画像風に変換している

f:id:y_kurashina:20210921225812p:plain f:id:y_kurashina:20210921225914p:plain f:id:y_kurashina:20210921230005p:plain f:id:y_kurashina:20210921230121p:plain f:id:y_kurashina:20210921230212p:plain f:id:y_kurashina:20210921230256p:plain

スポンサーリンク

Elastic Boundary Projection for 3D Medical Image Segmentation

論文メモ

スポンサーリンク

論文URL

http://openaccess.thecvf.com/content_CVPR_2019/papers/Ni_Elastic_Boundary_Projection_for_3D_Medical_Image_Segmentation_CVPR_2019_paper.pdf
CVPR2019で公開

ポイント

  • 臓器のセグメンテーション
    • 3Dデータを2Dのモデルで扱う手法が斬新
      • でも、結果がパッとしない印象
    • pivot（大量にばらまいている？）から放射状に境界までの距離を推論することでセグメンテーションを行う
    • 放射方向(Az, El)毎の境界までの距離を等緯度経度図法likeに2D化

f:id:y_kurashina:20210918005621p:plain f:id:y_kurashina:20210918005659p:plain

スポンサーリンク

Decoders Matter for Semantic Segmentation:Data-Dependent Decoding Enables Flexible Feature Aggregation

論文メモ

スポンサーリンク

論文URL

http://openaccess.thecvf.com/content_CVPR_2019/papers/Tian_Decoders_Matter_for_Semantic_Segmentation_Data-Dependent_Decoding_Enables_Flexible_Feature_CVPR_2019_paper.pdf
CVPR2019で公開

ポイント

  • Data-dependent Upsampling (DUpsampling)レイヤーを提案
    • bilinearではなく入力データに基づきUpsamplingできるため、低解像度のまま各レイヤーの特徴量をconcatしても最終的なsegmentation精度を確保できる
  • DeepLabv3+でencoderの出力解像度を1/8ではなく1/16とし、decodeをDUpsamplingで行った結果、mIOUが87.8%から88.1%にやや改善。計算量は30%に低減
    • メモリ使用量も同程度に小さくなっていると思われる
  • DUpsampling
    • 1: r倍の解像度にUpsamplingする場合、encoder出力特徴量テンソル(チャンネル数C')に1x1の畳み込みを行いNチャンネルのテンソルを計算
    • 2: 各チャンネルをr×r×N/r2にreshapeし、r倍解像度のテンソルを得る
      • N/r2 = C(＝クラス数)
    • 3: 1の畳み込みの係数は、r×r×C(＝N)のテンソルをC'に射影する行列Pの逆行列Wとして求める
  • 温度を考慮したsoftmaxを使用しないと精度がでなかったとのこと
    • 精度が上がる理由は謎
    • 通常のsoftmaxと温度を考慮したsoftmaxのlossを比較し、温度を考慮したsoftmaxの優位性を論じていたが、lossの定義が異なる時点でナンセンス

f:id:y_kurashina:20210916234550p:plain f:id:y_kurashina:20210916234626p:plain

スポンサーリンク

Object as Distribution

論文メモ

スポンサーリンク

論文URL

https://arxiv.org/pdf/1907.12929.pdf
2019年7月公開

ポイント

  • bounding boxではなく2次元正規分布によるオブジェクト検出
  • 純粋な物体検出では使用できずInstance segmentationが対象となると思うので、使い所が思いつかない
    • Instance segmentation用の教師データが無いと、正解となる平均＆共分散を計算できない

f:id:y_kurashina:20210914232319p:plain

スポンサーリンク

Attention Guided Network for Retinal Image Segmentation

論文メモ

スポンサーリンク

論文URL

https://arxiv.org/pdf/1907.12930.pdf
2019年7月公開

ポイント

  • 眼底画像の血管セグメンテーション
  • M-Netにattention機構を追加
    • M-NetはU-Netの各段階にリサイズした入力画像も入力するモデルの模様

f:id:y_kurashina:20210909234210p:plain f:id:y_kurashina:20210909234246p:plain f:id:y_kurashina:20210909234406p:plain f:id:y_kurashina:20210909234456p:plain

スポンサーリンク

Collaborative Learning of Semi-Supervised Segmentation and Classification for Medical Images

論文メモ

スポンサーリンク

論文URL

http://openaccess.thecvf.com/content_CVPR_2019/papers/Zhou_Collaborative_Learning_of_Semi-Supervised_Segmentation_and_Classification_for_Medical_Images_CVPR_2019_paper.pdf
CVPR2019で公開

ポイント

  • 眼底画像の病変セグメンテーション＆鑑別（Classification)
    • 半教師付き学習
      • セグメンテーションマスクが少ない
      • 画像分類時にattention mapも生成
      • attention mapがセグメンテーションマスクと同等の物になるようadversarial lossも入れている

f:id:y_kurashina:20210909001215p:plain f:id:y_kurashina:20210909001401p:plain f:id:y_kurashina:20210909001545p:plain f:id:y_kurashina:20210909001734p:plain

スポンサーリンク