JINWOOJUNG

Research Paperhttps://arxiv.org/abs/1409.1556https://papers.nips.cc/paper_files/paper/2012/hash/c399862d3b9d6b76c8436e924a68c45b-Abstract.htmlhttps://www.researchgate.net/publication/220812758_Flexible_High_Performance_Convolutional_Neural_Networks_for_Image_Classification0. Abstract본 논문에서는 Convolutional Network의 Depth에 따른 성능을 분석한다. 3x3의 작은 Convolutional Filter를 사용하여 Network의 Depth를 16~19까지 증가시킴..

본 포스팅은 Michigan Univ.의 EECS 498 강의를 수강하면서 공부한 내용을 정리하는 포스팅입니다.https://jinwoo-jung.tistory.com/127 [EECS 498] Assignment 2. Two Layer Neural Network...(2)본 포스팅은 Michigan Univ.의 EECS 498 강의를 수강하면서 공부한 내용을 정리하는 포스팅입니다.https://jinwoo-jung.tistory.com/126 [EECS 498] Assignment 2. Two Layer Neural Network...(1)본 포스팅은 Michigan Univ.의 EECS 4jinwoo-jung.com지난 과제에서 구현한 Two Layer Network는 Loss, Gradient, F..

Reducing OverfittingAlexNet의 경우 6,000만 개의 Parameter를 가지기에, ImageNet의 Subset(Large Datset)으로도 Overfitting이 발생할 수 있다. 본 논문에서는 Overfitting을 막기위한 2가지 방법을 사용한다. Data Augmentation Image Dataset에서 Overfitting를 줄이기 위해 Label을 보존한 변형(Data Augmentation)을 많이 사용한다. 본 논문에서는 2가지 주요한 Data Augmentation을 다루며, 매우 작은 연산으로 진행되기에 변형된 Image를 추가적으로 저장할 필요가 없다. 추후 저자가 공지한 것 처럼, Input Image는 잘못된 논문과 달리 227x227x3으로 표현하겠다...

IntroductionObject Detection Task는 Machine Learning이 필수적으로 요구된다. 모델의 성능 향상을 위해선 더 큰 데이터 셋(Large Dataset), 더 강인한 모델의 학습(More Powerful Model), 과적합(Preventing Overfitting)을 막기 위한 기술의 사용이 요구된다.Large Dataset이전까지는 Label을 유지한 Augmentation을 사용하면, 데이터 셋의 크기가 작아도 충분히 좋은 성능을 보였다. 하지만, 현실에서의 객체 인식 문제의 차원은 크고 다양한다. 즉, Occlusion, 조명, 변형 등 현실 세계에서의 다양성과 복잡성을 작은 데이터 셋은 충분히 반영하지 않고 있다. 또한, 작은 데이터 셋은 모델의 Overfitt..

4. Approach모델의 underfitting, overfitting regime(상태)을 결정하는 기준은 다음과 같이 정의된다.Overfitting모델이 표준 dropout에서 더 좋은 일반화 성능을 보이는 경우표준 dropout은 training 전 과정에서 dropout 적용Underfitting모델이 dropout이 없을 때 더 좋은 성능을 보이는 경우본 논문에서는 각각의 상태에 따른 서로 다른 dropout 적용 방법을 제안한다. $\quad$Underfitting : early dropout Underfitting 상태의 모델은 dropout을 사용하지 않는 것을 기본 설정으로 한다. 이때, 모델이 training data에 더 잘 맞춰지도록 하기 위한 early dropout을 제안한다...

Research Paperhttps://arxiv.org/pdf/2303.01500https://jmlr.org/papers/v15/srivastava14a.htmlhttps://arxiv.org/abs/1512.033850. AbstractDropout은 Neural Network에서 Overfitting을 방지하는 정규화로써 사용되고 있다. 본 논문에서는 Dropout을 초기학습에서 사용함으로써 Underfitting을 완화하는데 사용할 수 있음을 입증한다.미니배치 간의 기울기 방향 분산을 감소전체 데이터셋의 기울기와 미니 배치의 기울기를 정렬초기 학습에서의 Dropout을 통해 SGD의 확률적 특성을 보완하고, 개별 배치가 모델 학습에 미치는 영향을 제한할 수 있다. 이를 기반으로 Dropout을 ..

본 포스팅은 Michigan Univ.의 EECS 498 강의를 수강하면서 공부한 내용을 정리하는 포스팅입니다.https://jinwoo-jung.tistory.com/126 [EECS 498] Assignment 2. Two Layer Neural Network...(1)본 포스팅은 Michigan Univ.의 EECS 498 강의를 수강하면서 공부한 내용을 정리하는 포스팅입니다.https://jinwoo-jung.tistory.com/125 [EECS 498] Assignment 2. Linear Classifier...(2)본 포스팅은 Michigan Univ.의 EECS 498 강jinwoo-jung.comTrain Neural Network using CIFAR-10Train with defau..

본 포스팅은 Michigan Univ.의 EECS 498 강의를 수강하면서 공부한 내용을 정리하는 포스팅입니다.https://jinwoo-jung.tistory.com/125 [EECS 498] Assignment 2. Linear Classifier...(2)본 포스팅은 Michigan Univ.의 EECS 498 강의를 수강하면서 공부한 내용을 정리하는 포스팅입니다.https://jinwoo-jung.com/124 [EECS 498] Assignment 2. Linear Classifier...(1)본 포스팅은 Michigan Univ.의 EECS 498 강의를jinwoo-jung.com Introduction본 과제는 Classification을 위한 FC Layer를 가진 Neural Networ..