[MLY] avoidable bias를 줄이는 방법들

 만약 현재 하고 있는 작업이 high avoidable bias에 의해서 어려움을 겪는다면, 아래의 방법들을 시도해보면 좋을것 같다.:

 - (neuron이나 계층의 갯수 같은) 모델의 크기를 증가시켜라: 이 방법은 bias를 줄여주는데, 이 방법을 통해서 학습 데이터에 더 잘 동작하게 해준다. 만약 이 방식이 variance를 증가시킬 수 있을텐데, 이 때 정규화 방식을 사용하면 variance의 증가를 막을 수 있다.

 - 오류평가시 얻은 지식을 기반으로 입력 특성을 수정하라: 만약 오류 평가를 통해서 특정 특성을 지닌 오류 카테고리를 제거할 수 있을 법한 기능을 만들어야 되겠다는 생각이 들었을 때를 보자. 이런 기능은 어쩌면 bias와 variance 관점에서 모두 도움이 될 수 있다. 이론적으로 특성을 더하게 되면 variance가 증가하는 것으로 알고 있을텐데, 만약 이런 케이스가 발생한다면 정규화 방식을 사용하면 되고, 이를 통해서 variance 증가를 막을 수 있다.

 - 정규화를 줄이거나 제거해라 (L2 regularization, L1 regularization, dropout): 이 방법은 avoidable bias를 줄이지만, variance를 증가시킨다.

 - 모델 구조를 수정해라 (신경망 구조) : 이 방법이 제일 문제에 적합한 해결책일거고, 이 방법을 통해 bias와 variance에 영향을 줄 수 있다.

 한가지 도움이 안되는 방식에 대해서 소개하자면,

 - 학습데이터를 추가해라 : 이 방법을 통하면 variance 문제를 해결할 수 있지만, bias 관점에서 그렇게 명확한 영향을 주지는 않는다.

< 해당 포스트는 Andrew Ng의 Machine Learning Yearning 중 chapter 25. Techniques for reducing avoidable bias을 번역한 내용입니다.>