医療系AIエンジニアの技術メモ

ディープラーニング(主に画像系)の技術メモブログです

2021-01-01から1年間の記事一覧

Rethinking Atrous Convolution for Semantic Image Segmentation

* DeepLab v3 * ResNetのblock4をblock5~7にコピーして使用 * atrous convにより特徴量の解像度は落とさずに視野を広げている * Multi gridを採用 * ブロック内でのatrous conv rate(畳み込み画素間隔)を(2,4,8)と変えている * Atrous Spatial Pyramid Pool…

DeepLab: Semantic Image Segmentation withDeep Convolutional Nets, Atrous Convolution,and Fully Connected CRFs

* DeepLab v2 * Atrous Spatial Pyramid Pooling(ASPP)を追加 * 複数のrate(atrous convの畳み込み素子間隔)を統合して使用する。 * 最後の統合方法は明記されていない

SEMANTIC IMAGE SEGMENTATION WITH DEEP CONVOLUTIONAL NETS AND FULLY CONNECTED CRFS

* DeepLab v1の論文 * Segmentation * バックボーンはVGG16 * 第一層のcoarseなCNNをatrous convに変更 * DNNで求めた特徴量マップをConditional Random Field(CRF)で精細化 * CRFでは画素間の距離や色の差も考慮したエネルギー関数を定義して最適化している

LARGE BATCH TRAINING OF CONVOLUTIONAL NETWORKS

バッチサイズを大きくする(1000程度以上)場合、Layer-wise Adaptive Rate Scaling(LARS)を取り入れる必要がある

A Hitchhiker’s Guide On Distributed Training of Deep Neural Networks

* 大規模なハードウェア環境での高速学習に関する論文 * 精度はSynchronous SGDがAsynchronous SGDより良い * 最終結論でSynchronous SGDをrecommendしている * Layer-wise Adaptive Rate Scaling(LARS)を推奨 * 層ごとに、weightとgradの大きさから学習率を…

Progressive Neural Architecture Search

* Neural Architecture Search(NAS)を発展させたモデル自動生成手法 * Progressive NAS (PNAS) * ブロックを1段ずつ最適化 * 構成要素 * 3x3 Conv * 5x5 Conv * 7x7 Conv * 1x7 + 7x1 Conv * identity * 3x3 Average Pooling * 3x3 Max Pooling * 3x3 dilate…

Taskonomy: Disentangling Task Transfer Learning

* 画像のタスク間の関係を調査 * 教師データの多いタスク(ex. 画像分類)で学習したモデルをencorderとして使い、教師データの少ないタスク(ex. detection, segmentation, ...)を解く * decorder部分だけ学習する * encorderは複数モデルとすることも可能 * m…

Focus, Segment and Erase: An Efficient Network for Multi-Label Brain Tumor Segmentation

* 脳腫瘍のSegmentation * 以下のクラスごとのimbalanceに対処する必要がある * non-tumor * edema * enhancing core * necrosis * non-enhancing core * FSE-Net (Focus - Segment - Erase) * 入力 MRデータ * contrast-enhanced T1-weighted (T1c) image *…

The One Hundred Layers Tiramisu: Fully Convolutional DenseNets for Semantic Segmentation

* Dense-NetによるSegmentation * Encoder側で全部のフィルターをconcatするとパラメタが増えすぎる * フィルターの数が増えるだけでなく、spatial resolutionも上がるので。 * upsampleするフィルターは直前のDenseBlockで作られたもののみとして、フィルタ…

Error Corrective Boosting for Learning Fully Convolutional Networks with Limited Data

* Whole brain MRI T1 scan segmentation * SD-Net (SkipDeconv-Net) * ベースはU-Net(Skip connection) * Unpooling でup-samplingする * 学習方法 * FreeSurfer(既存のsegmentation手法)でアノテーションしたデータでpre-train * manual labelデータでfi…

Unsupervised Deep Embedding for Clustering Analysis

* DEC * Stacked Auto Encoder(SAE)ベースのクラスタリング 1. SAEを学習 1. 層ごとのAEを学習 1. SAE全体をfine tuning 1. encoderの特徴量の分布pとcentroidと特徴量の距離の分布qのKLダイバージェンスを最小化するように学習 1. centroidの位置だけでなく…

Learning to Segment Every Thing

* 大量のBounding Box教師データと少量のSegmentation教師データによりSegmentaitionを行う。 * Mask^x R-CNN を使用

Non-local Neural Networks

離れた場所の関連を計算するnon local blockを提案

Deep Extreme Cut: From Extreme Points to Object Segmentation

最も外側の4点をアノテーションし、その情報からSegmentationを行う。

BoxNet: Deep Learning Based Biomedical Image Segmentation Using Boxes Only Annotation

* Boxアノテーション情報により細胞等のsegmentationを行う。 * Fig3のように、青の中心2点で中心線(長辺)を決め、最も外側の4点(緑の点)を指定し、バウンディングボックスを決める。 * アノテーションした6点の情報からFig4(a)の領域を決める。 * 最終…

Chromebook detachable cm3 : linuxの日本語環境セットアップ

ASUS Chromebook detachable cm3でのlinuxの日本語環境セットアップ方法をメモ。 * [公式情報](https://support.google.com/chromebook/answer/9145439)に従い、まずはlinuxを有効化 * ↓のブログに従って、Mozcの設定すればOK(ブログ筆者の齋藤 毅さんに感…