医療系AIエンジニアの技術メモ

ディープラーニング(主に画像系)の技術メモブログです

Xception: Deep Learning with Depthwise Separable Convolutions

* Inceptionを極端な設定にしたネットワーク * "extreme" version of inception * Inceptionではchannel方向と空間方向の相関は弱いと仮定し、1x1 convやaverage poolingをしてから3x3 convをかけている * Xceptionではchannnel方向と空間方向を完全に分離し…

Rethinking Atrous Convolution for Semantic Image Segmentation

* DeepLab v3 * ResNetのblock4をblock5~7にコピーして使用 * atrous convにより特徴量の解像度は落とさずに視野を広げている * Multi gridを採用 * ブロック内でのatrous conv rate(畳み込み画素間隔)を(2,4,8)と変えている * Atrous Spatial Pyramid Pool…

DeepLab: Semantic Image Segmentation withDeep Convolutional Nets, Atrous Convolution,and Fully Connected CRFs

* DeepLab v2 * Atrous Spatial Pyramid Pooling(ASPP)を追加 * 複数のrate(atrous convの畳み込み素子間隔)を統合して使用する。 * 最後の統合方法は明記されていない

SEMANTIC IMAGE SEGMENTATION WITH DEEP CONVOLUTIONAL NETS AND FULLY CONNECTED CRFS

* DeepLab v1の論文 * Segmentation * バックボーンはVGG16 * 第一層のcoarseなCNNをatrous convに変更 * DNNで求めた特徴量マップをConditional Random Field(CRF)で精細化 * CRFでは画素間の距離や色の差も考慮したエネルギー関数を定義して最適化している

LARGE BATCH TRAINING OF CONVOLUTIONAL NETWORKS

バッチサイズを大きくする(1000程度以上)場合、Layer-wise Adaptive Rate Scaling(LARS)を取り入れる必要がある

A Hitchhiker’s Guide On Distributed Training of Deep Neural Networks

* 大規模なハードウェア環境での高速学習に関する論文 * 精度はSynchronous SGDがAsynchronous SGDより良い * 最終結論でSynchronous SGDをrecommendしている * Layer-wise Adaptive Rate Scaling(LARS)を推奨 * 層ごとに、weightとgradの大きさから学習率を…

Progressive Neural Architecture Search

* Neural Architecture Search(NAS)を発展させたモデル自動生成手法 * Progressive NAS (PNAS) * ブロックを1段ずつ最適化 * 構成要素 * 3x3 Conv * 5x5 Conv * 7x7 Conv * 1x7 + 7x1 Conv * identity * 3x3 Average Pooling * 3x3 Max Pooling * 3x3 dilate…

Taskonomy: Disentangling Task Transfer Learning

* 画像のタスク間の関係を調査 * 教師データの多いタスク(ex. 画像分類)で学習したモデルをencorderとして使い、教師データの少ないタスク(ex. detection, segmentation, ...)を解く * decorder部分だけ学習する * encorderは複数モデルとすることも可能 * m…

Focus, Segment and Erase: An Efficient Network for Multi-Label Brain Tumor Segmentation

* 脳腫瘍のSegmentation * 以下のクラスごとのimbalanceに対処する必要がある * non-tumor * edema * enhancing core * necrosis * non-enhancing core * FSE-Net (Focus - Segment - Erase) * 入力 MRデータ * contrast-enhanced T1-weighted (T1c) image *…

The One Hundred Layers Tiramisu: Fully Convolutional DenseNets for Semantic Segmentation

* Dense-NetによるSegmentation * Encoder側で全部のフィルターをconcatするとパラメタが増えすぎる * フィルターの数が増えるだけでなく、spatial resolutionも上がるので。 * upsampleするフィルターは直前のDenseBlockで作られたもののみとして、フィルタ…

Error Corrective Boosting for Learning Fully Convolutional Networks with Limited Data

* Whole brain MRI T1 scan segmentation * SD-Net (SkipDeconv-Net) * ベースはU-Net(Skip connection) * Unpooling でup-samplingする * 学習方法 * FreeSurfer(既存のsegmentation手法)でアノテーションしたデータでpre-train * manual labelデータでfi…

Unsupervised Deep Embedding for Clustering Analysis

* DEC * Stacked Auto Encoder(SAE)ベースのクラスタリング 1. SAEを学習 1. 層ごとのAEを学習 1. SAE全体をfine tuning 1. encoderの特徴量の分布pとcentroidと特徴量の距離の分布qのKLダイバージェンスを最小化するように学習 1. centroidの位置だけでなく…

Learning to Segment Every Thing

* 大量のBounding Box教師データと少量のSegmentation教師データによりSegmentaitionを行う。 * Mask^x R-CNN を使用

Non-local Neural Networks

離れた場所の関連を計算するnon local blockを提案

Deep Extreme Cut: From Extreme Points to Object Segmentation

最も外側の4点をアノテーションし、その情報からSegmentationを行う。

BoxNet: Deep Learning Based Biomedical Image Segmentation Using Boxes Only Annotation

* Boxアノテーション情報により細胞等のsegmentationを行う。 * Fig3のように、青の中心2点で中心線(長辺)を決め、最も外側の4点(緑の点)を指定し、バウンディングボックスを決める。 * アノテーションした6点の情報からFig4(a)の領域を決める。 * 最終…

Chromebook detachable cm3 : linuxの日本語環境セットアップ

ASUS Chromebook detachable cm3でのlinuxの日本語環境セットアップ方法をメモ。 * [公式情報](https://support.google.com/chromebook/answer/9145439)に従い、まずはlinuxを有効化 * ↓のブログに従って、Mozcの設定すればOK(ブログ筆者の齋藤 毅さんに感…

`Project & Excite' Modules for Segmentation of Volumetric Medical Scans

* [Squeeze and Excitation (SE) ブロック](https://www.ai-engineer-memo.com/entry/2019/02/04/005845)のアイデアをベースに、MRIやCT等の3Dボリュームデータに対するセグメンテーションモデルに適用するProject & Excite (PE)ブロックを提案 * SEブロック…

Deep Gamblers: Learning to Abstain with Portfolio Theory

* クラス分類において、推論結果の採用可否を学習するDeep Gamblersを提案 * 競馬を題材にポートフォリオ理論をクラス分類問題に適用 * mクラス分類問題に不採用クラスを追加し、m+1クラス分類問題として定式化 * 教師データは通常通り、mクラスのラベルが付…

Soft-NMS -- Improving Object Detection With One Line of Code

スポンサーリンク (adsbygoogle = window.adsbygoogle || []).push({}); Fig1. 物体検出におけるNMSの問題事例 論文URL https://arxiv.org/pdf/1704.04503.pdf 2017年8月公開 ポイント Faster-RCNNやYolo等の多くの物体検出モデルでは、物体候補領域が重複し…

Probabilistic End-to-end Noise Correction for Learning with Noisy Labels

* 分類問題において教師ラベルのアノテーションミスを推定し、ミスを修正したラベルによりモデルを学習するPENCIL(probabilistic end-to-end noise correction in labels)フレームワークを提案 * 数十%の大量のミスラベルが有っても一定の性能を確保してい…

Robust Histopathology Image Analysis: to Label or to Synthesize?

* 組織病理画像を用いた細胞核セグメンテーション時のGANによるaugmentation手法の提案 * 細胞核の検出は病理学で最も基本的なステップであるものの、様々な状態(癌の種類、細胞の状態、観察組織片の作成方法、画像化手法等)を網羅する教師データを作成する…

Decoders Matter for Semantic Segmentation : Data-Dependent Decoding Enables Flexible Feature Aggregation

* 入力データに応じたupsamplingを行うData-dependent Upsampling (DUpsampling)レイヤーを提案 * 通常使用される共一次補間(bilinear)では低解像度の情報から高解像度の情報を復元することができない。 * 入力テンソルのチャンネル情報を効果的に利用し、低…

Generative Adversarial Minority Oversampling

* conditional GANによりデータ数が少ないクラスの水増しを行うGAMO(Generative Adversarial Minority Oversampling)を提案 * Discriminatorだけでなく、クラス分類モデルも騙せるデータをGeneratorで生成する * Discriminatorとモデルの両方を騙すためには…

Cascaded Generative and Discriminative Learning for Microcalcification Detection in Breast Mammograms

* マンモグラフィー画像から微小石灰化領域(microcalsification)のセグメンテーションを行うモデルを提案 * 微小石灰化領域は1mm程度(14画素)以下の小さい領域(Fig1) * 始めにAnomaly Separation Network (ASN)で異常領域を抽出する。 * 微小石灰化領域だけ…

Learning to Learn from Noisy Labeled Data

* 質が悪い(一部のラベルが間違っている)教師データを想定し画像分類を行うmeta-learning based noise-tolerant (MLNT) 学習法を提案 (Fig1) * あえて学習中に正解ラベルを間違ったラベルに付け替えながら、複数のStudent modelを学習 * Teacher modelとStud…

Collaborative Global-Local Networks for Memory-Efficient Segmentation of Ultra-High Resolution Images

* 超高解像度画像に対し省メモリかつ高性能なセグメンテーションを行うGLNetおよびCoarse-to-Fine GLNetを提案 * 2Kや4K画像の様な数Mピクセルの画像をターゲットにした研究 * これまでに良く採られている方法とその問題点 * 入力画像を低解像度化 : 精細な…

Towards Accurate One-Stage Object Detection with AP-Loss

* 1stage detectorでは、オブジェクトと背景のボックス数の極端なアンバランスを如何に克服するかが問題となる。このアンバランスに対処する新たな損失関数AP Lossを提案 * 物体検出の典型的な評価指標であるAverage Precision (AP) をベースに損失関数を設…

Attentive Feedback Network for Boundary-Aware Salient Object Detection

* Salient object detection(画像中の注目物体検出)を題材に、精細な物体境界が得られるAFNetを提案 * 以下のモジュールおよび損失関数を導入 * Global Perception Module(GPM) * Attentive Feedback Module(AFM) * Boundary Enhanced Loss(BEL) * AFNetでは…

Global Second-order Pooling Convolutional Networks

* [SE Block](https://www.ai-engineer-memo.com/entry/2019/02/05/010030)のような自己注意ブロックGSoP Block(Global Second order Pooling Block)を提案 * cSE Block(spatial squeeze and channel excitation)では空間成分をGlobal Average Pooling(平均)…