* DeepLab v1の論文 * Segmentation * バックボーンはVGG16 * 第一層のcoarseなCNNをatrous convに変更 * DNNで求めた特徴量マップをConditional Random Field(CRF)で精細化 * CRFでは画素間の距離や色の差も考慮したエネルギー関数を定義して最適化している

バッチサイズを大きくする(1000程度以上)場合、Layer-wise Adaptive Rate Scaling(LARS)を取り入れる必要がある

* 大規模なハードウェア環境での高速学習に関する論文 * 精度はSynchronous SGDがAsynchronous SGDより良い * 最終結論でSynchronous SGDをrecommendしている * Layer-wise Adaptive Rate Scaling(LARS)を推奨 * 層ごとに、weightとgradの大きさから学習率を…