Warmup은 adaptive optimizer의 초기 분산을 억제한다

Adam의 업데이트는 $\Delta\theta = -\eta \cdot \hat{m}_t / (\sqrt{\hat{v}_t} + \epsilon)$이다. 학습 초반에는 $\hat{v}_t$가 극소수의 샘플로 추정되므로 분산이 크고, 하필 그것이 분모에 있다. 운 나쁜 gradient 몇 개면 스텝이 폭발한다.

warmup은 “모델이 자리를 잡게” 해주는 것이 아니다. $\hat{v}_t$가 쓸 만한 추정치가 될 때까지, 딱 그 기간만큼 $\eta$를 작게 붙들어 두는 것이다.

이렇게 진술하면 두 가지가 따라 나온다.

• 적절한 warmup 길이는 모델 크기가 아니라 $1/(1-\beta_2)$에 비례해야 한다.
• 분모를 직접 안정화하는 것은 무엇이든 warmup을 대체할 수 있어야 한다. 이것이 학습 불안정은 대개 분모의 문제다가 실제로 말하는 바이고, 검증 가능한 주장이다. 내가 이걸 믿게 된 sweep은 log에 있다.

열린 질문

배치 크기가 아주 클 때도 이 설명이 전부일까? 배치가 커지면 분산 논증은 약해져야 하는데, 실제로는 warmup이 더 중요해진다. 아직 이걸 설명할 방법이 없다.