LARGE BATCH TRAINING OF CONVOLUTIONAL NETWORKS
スポンサーリンク
論文URL
https://arxiv.org/pdf/1708.03888.pdf 2021年8月公開
ポイント
- バッチサイズを大きくする(1000程度以上)場合、Layer-wise Adaptive Rate Scaling(LARS)を取り入れる必要がある
スポンサーリンク
スポンサーリンク
https://arxiv.org/pdf/1708.03888.pdf 2021年8月公開
スポンサーリンク