[MLY] bias와 Variance간 tradeoff

 보통 Bias와 Variance간의 tradeoff 라는 용어를 들어봤을 것이다. 대부분의 학습 알고리즘을 살펴보면 bias 오류를 줄이면 variance에 대한 비용이 증가하거나 반대의 case가 발생하는 경우를 봤을 것이다. 이게 바로 bias와 variance간의 "trade off"를 의미하는 것이다.

 예를 들어 신경망의 layer나 neuron을 추가하는 것과 같이 학습 모델의 사이즈를 키우는 것은 일반적으로 bias를 줄이지만, 반대로 variance를 증가시킨다. 다른 방향으로 정규화 특성을 키우게 되면, variance는 감소하지만, bias가 증가하는 형태를 보인다.

 요즘에는 매우 큰 신경망에서도 돌릴 수 있을 만큼 데이터가 엄청 많다. 그렇기 때문에 위에서 말한 "trade off"는 적어졌고, variance에 영향을 주지 않고도 bias를 줄일 수 있는 여러가지 방법들이 나왔다(반대의 케이스도 마찬가지다)

 예를 들어 variance를 그렇게 크게 증가시키지 않으면서도 bias를 감소시키기 위해서 신경망의 크기를 증가시키고, 정규화 방식을 적용할 수 있다. 학습 데이터를 추가하면서도 bias에 영향을 주지않고도 variance를 감소시킬 수 있다.

 만약 지금 수행하고자 하는 업무에 맞는 학습 구조를 선택하면서, bias와 variance를 동시에 줄일 수 있다. 문제는 이 학습 구조를 선택하는 것이 어려운 것이다.

 뒤에 나올 포스트에서 추가적으로 bias와 variance 문제를 해결하는 방법에 대해서 소개해보고자 한다.

< 해당 포스트는 Andrew Ng의 Machine Learning Yearning 중 chapter 24. Bias vs. Variance tradeoff을 번역한 내용입니다.>