Notes — Taeheon Lim

Notes

What I currently believe, one idea per note. These get rewritten as I learn — nothing here is a record of what I thought last year. That's what the Log is for.

InboxEvergreen1 in정리되기 전의 빠른 캡처가 잠시 머무는 곳.Warmup은 adaptive optimizer의 초기 분산을 억제한다Budding4 inwarmup은 보통 '모델이 자리를 잡게 해준다'고 설명되지만, 더 구체적인 주장은 2차 모멘트 추정이 쓸 만해질 시간을 벌어준다는 것이다.사건의 기록과 이해의 기록은 서로 다른 집에 살아야 한다Evergreen2 in연구일지는 왜 고쳐 쓰지 않고, 노트는 왜 계속 고쳐 쓰는가.학습 불안정은 대개 분모의 문제다Seed2 in