Batch Normalization
Batch Normalization은 배치마다 입력 데이터의 분포가 달라지더라도 학습의 일관성을 유지하기 위해 배치에 대한 평균과 분사을 일치시키는 기술이다.
Kernal Regularization
$$min(||Y-X(\theta)||^2_2 + \lambda ||\theta||^2_2)$$
Kernal Regularization은 모델을 학습하는 과정에서 과적합을 피하면서 층을 깊게 만들기 위해서 통계학의 Ridge Regression에서의 한 개념을 빌려와 구현한 기술이다.
Cost 함수에 $\theta$ 제곱 합을 더해서 $\theta$ 값이 커지는 것을 방지하는 방법이다. 즉, 더 낮은 모수를 가지고 더 낮은 오류(SSE)를 가지도록 하는 모수 절약의 법칙을 적용한 기술이다.
Image Generator
Image Generator는 하나의 이미지를 여러가지 이미지로 변형시키는 기술이다. 이를 모형 학습에 적용한다면, 하나의 이미지만으로 여러 경우의 이미지를 학습시킬 수 있다는 장점이 있다.
Transfer Learning
"피아노를 배운 사람은 다른 악기도 쉽게 배운다."
Transfer Learning은 '전이학습'이라고 하여, 이미 잘 만들어진 학습 모형을 게승하여 해당 모델과 비슷한 문제를 해결하는 방법이다.
Input Layer, Convolution Layer, Fully Connected Layer로 이루어진 CNN 망에서 Convolution Layer를 가져다 쓰고, 결과에 가까운 레이어인 Fully Connected Layer만 새로 구성하는 아이디어다. 이러면 Convolution Layer 학습에 필요한 자원을 절약할 수 있다는 장점이 있다.
'대학교 공부 > 데이터마이닝 (2023)' 카테고리의 다른 글
| 13주차 - 시계열 분석, RNN, LSTM, BiLSTM, Stacked RNN (0) | 2023.06.18 |
|---|---|
| 12주차 - Auto Encoder, PCA, Noise Reduction, Anomaly Detection, Colorization, Image Search (0) | 2023.06.18 |
| 10주차 - Convolutional Layer, Fashion Mnist Data, Cifar10 Data (0) | 2023.06.18 |
| 8주차 - CNN 실습, 파라미터 수 계산 (0) | 2023.06.18 |
| 7주차 - CNN, Convolution Layer, Zero Padding (0) | 2023.05.23 |