자신에 대한 고찰

보통 Bias와 Variance간의 tradeoff 라는 용어를 들어봤을 것이다. 대부분의 학습 알고리즘을 살펴보면 bias 오류를 줄이면 variance에 대한 비용이 증가하거나 반대의 case가 발생하는 경우를 봤을 것이다. 이게 바로 bias와 variance간의 "trade off"를 의미하는 것이다. 예를 들어 신경망의 layer나 neuron을 추가하는 것과 같이 학습 모델의 사이즈를 키우는 것은 일반적으로 bias를 줄이지만, 반대로 variance를 증가시킨다. 다른 방향으로 정규화 특성을 키우게 되면, variance는 감소하지만, bias가 증가하는 형태를 보인다. 요즘에는 매우 큰 신경망에서도 돌릴 수 있을 만큼 데이터가 엄청 많다. 그렇기 때문에 위에서 말한 "trade off"는 ..