| 일 | 월 | 화 | 수 | 목 | 금 | 토 |
|---|---|---|---|---|---|---|
| 1 | 2 | 3 | 4 | 5 | ||
| 6 | 7 | 8 | 9 | 10 | 11 | 12 |
| 13 | 14 | 15 | 16 | 17 | 18 | 19 |
| 20 | 21 | 22 | 23 | 24 | 25 | 26 |
| 27 | 28 | 29 | 30 |
- dfs
- 강화학습
- eecs 498
- 그래프 이론
- AlexNet
- DP
- 백준
- deep learning
- image processing
- real-time object detection
- BFS
- C++
- object detection
- r-cnn
- 머신러닝
- opencv
- two-stage detector
- canny edge detection
- CNN
- MinHeap
- MySQL
- Mask Processing
- LSTM
- Python
- dynamic programming
- YoLO
- machine learning
- 딥러닝
- Reinforcement Learning
- One-Stage Detector
- Today
- Total
목록딥러닝 (36)
JINWOOJUNG
[EECS 498] Assignment 3. Fully Connected Networks...(1)
본 포스팅은 Michigan Univ.의 EECS 498 강의를 수강하면서 공부한 내용을 정리하는 포스팅입니다.https://jinwoo-jung.tistory.com/127 [EECS 498] Assignment 2. Two Layer Neural Network...(2)본 포스팅은 Michigan Univ.의 EECS 498 강의를 수강하면서 공부한 내용을 정리하는 포스팅입니다.https://jinwoo-jung.tistory.com/126 [EECS 498] Assignment 2. Two Layer Neural Network...(1)본 포스팅은 Michigan Univ.의 EECS 4jinwoo-jung.com지난 과제에서 구현한 Two Layer Network는 Loss, Gradient, F..
ImageNet Classification with Deep Convolutional Neural Networks...(2)
Reducing OverfittingAlexNet의 경우 6,000만 개의 Parameter를 가지기에, ImageNet의 Subset(Large Datset)으로도 Overfitting이 발생할 수 있다. 본 논문에서는 Overfitting을 막기위한 2가지 방법을 사용한다. Data Augmentation Image Dataset에서 Overfitting를 줄이기 위해 Label을 보존한 변형(Data Augmentation)을 많이 사용한다. 본 논문에서는 2가지 주요한 Data Augmentation을 다루며, 매우 작은 연산으로 진행되기에 변형된 Image를 추가적으로 저장할 필요가 없다. 추후 저자가 공지한 것 처럼, Input Image는 잘못된 논문과 달리 227x227x3으로 표현하겠다...
ImageNet Classification with Deep Convolutional Neural Networks...(1)
IntroductionObject Detection Task는 Machine Learning이 필수적으로 요구된다. 모델의 성능 향상을 위해선 더 큰 데이터 셋(Large Dataset), 더 강인한 모델의 학습(More Powerful Model), 과적합(Preventing Overfitting)을 막기 위한 기술의 사용이 요구된다.Large Dataset이전까지는 Label을 유지한 Augmentation을 사용하면, 데이터 셋의 크기가 작아도 충분히 좋은 성능을 보였다. 하지만, 현실에서의 객체 인식 문제의 차원은 크고 다양한다. 즉, Occlusion, 조명, 변형 등 현실 세계에서의 다양성과 복잡성을 작은 데이터 셋은 충분히 반영하지 않고 있다. 또한, 작은 데이터 셋은 모델의 Overfitt..
Dropout Reduces Underfitting...(2)
4. Approach모델의 underfitting, overfitting regime(상태)을 결정하는 기준은 다음과 같이 정의된다.Overfitting모델이 표준 dropout에서 더 좋은 일반화 성능을 보이는 경우표준 dropout은 training 전 과정에서 dropout 적용Underfitting모델이 dropout이 없을 때 더 좋은 성능을 보이는 경우본 논문에서는 각각의 상태에 따른 서로 다른 dropout 적용 방법을 제안한다. $\quad$Underfitting : early dropout Underfitting 상태의 모델은 dropout을 사용하지 않는 것을 기본 설정으로 한다. 이때, 모델이 training data에 더 잘 맞춰지도록 하기 위한 early dropout을 제안한다...
Dropout Reduces Underfitting...(1)
Research Paperhttps://arxiv.org/pdf/2303.01500https://jmlr.org/papers/v15/srivastava14a.htmlhttps://arxiv.org/abs/1512.033850. AbstractDropout은 Neural Network에서 Overfitting을 방지하는 정규화로써 사용되고 있다. 본 논문에서는 Dropout을 초기학습에서 사용함으로써 Underfitting을 완화하는데 사용할 수 있음을 입증한다.미니배치 간의 기울기 방향 분산을 감소전체 데이터셋의 기울기와 미니 배치의 기울기를 정렬초기 학습에서의 Dropout을 통해 SGD의 확률적 특성을 보완하고, 개별 배치가 모델 학습에 미치는 영향을 제한할 수 있다. 이를 기반으로 Dropout을 ..
[EECS 498] Assignment 2. Two Layer Neural Network...(2)
본 포스팅은 Michigan Univ.의 EECS 498 강의를 수강하면서 공부한 내용을 정리하는 포스팅입니다.https://jinwoo-jung.tistory.com/126 [EECS 498] Assignment 2. Two Layer Neural Network...(1)본 포스팅은 Michigan Univ.의 EECS 498 강의를 수강하면서 공부한 내용을 정리하는 포스팅입니다.https://jinwoo-jung.tistory.com/125 [EECS 498] Assignment 2. Linear Classifier...(2)본 포스팅은 Michigan Univ.의 EECS 498 강jinwoo-jung.comTrain Neural Network using CIFAR-10Train with defau..
[EECS 498] Assignment 2. Two Layer Neural Network...(1)
본 포스팅은 Michigan Univ.의 EECS 498 강의를 수강하면서 공부한 내용을 정리하는 포스팅입니다.https://jinwoo-jung.tistory.com/125 [EECS 498] Assignment 2. Linear Classifier...(2)본 포스팅은 Michigan Univ.의 EECS 498 강의를 수강하면서 공부한 내용을 정리하는 포스팅입니다.https://jinwoo-jung.com/124 [EECS 498] Assignment 2. Linear Classifier...(1)본 포스팅은 Michigan Univ.의 EECS 498 강의를jinwoo-jung.com Introduction본 과제는 Classification을 위한 FC Layer를 가진 Neural Networ..
[EECS 498] Assignment 2. Linear Classifier...(2)
본 포스팅은 Michigan Univ.의 EECS 498 강의를 수강하면서 공부한 내용을 정리하는 포스팅입니다.https://jinwoo-jung.com/124 [EECS 498] Assignment 2. Linear Classifier...(1)본 포스팅은 Michigan Univ.의 EECS 498 강의를 수강하면서 공부한 내용을 정리하는 포스팅입니다.https://jinwoo-jung.tistory.com/123 [EECS 498] Assignment 1. k-NN...(2)본 포스팅은 Michigan Univ.의 EECS 498 강의를 수강jinwoo-jung.comFind Optimal Hyperparameter초기 Accuracy는 9% 정도로 매우 낮음을 확인할 수 있다. Linear Cla..