JINWOOJUNG

4. Approach모델의 underfitting, overfitting regime(상태)을 결정하는 기준은 다음과 같이 정의된다.Overfitting모델이 표준 dropout에서 더 좋은 일반화 성능을 보이는 경우표준 dropout은 training 전 과정에서 dropout 적용Underfitting모델이 dropout이 없을 때 더 좋은 성능을 보이는 경우본 논문에서는 각각의 상태에 따른 서로 다른 dropout 적용 방법을 제안한다. $\quad$Underfitting : early dropout Underfitting 상태의 모델은 dropout을 사용하지 않는 것을 기본 설정으로 한다. 이때, 모델이 training data에 더 잘 맞춰지도록 하기 위한 early dropout을 제안한다...

Research Paperhttps://arxiv.org/pdf/2303.01500https://jmlr.org/papers/v15/srivastava14a.htmlhttps://arxiv.org/abs/1512.033850. AbstractDropout은 Neural Network에서 Overfitting을 방지하는 정규화로써 사용되고 있다. 본 논문에서는 Dropout을 초기학습에서 사용함으로써 Underfitting을 완화하는데 사용할 수 있음을 입증한다.미니배치 간의 기울기 방향 분산을 감소전체 데이터셋의 기울기와 미니 배치의 기울기를 정렬초기 학습에서의 Dropout을 통해 SGD의 확률적 특성을 보완하고, 개별 배치가 모델 학습에 미치는 영향을 제한할 수 있다. 이를 기반으로 Dropout을 ..