티스토리 뷰
만약 현재 하고 있는 작업이 high avoidable bias에 의해서 어려움을 겪는다면, 아래의 방법들을 시도해보면 좋을것 같다.:
- (neuron이나 계층의 갯수 같은) 모델의 크기를 증가시켜라: 이 방법은 bias를 줄여주는데, 이 방법을 통해서 학습 데이터에 더 잘 동작하게 해준다. 만약 이 방식이 variance를 증가시킬 수 있을텐데, 이 때 정규화 방식을 사용하면 variance의 증가를 막을 수 있다.
- 오류평가시 얻은 지식을 기반으로 입력 특성을 수정하라: 만약 오류 평가를 통해서 특정 특성을 지닌 오류 카테고리를 제거할 수 있을 법한 기능을 만들어야 되겠다는 생각이 들었을 때를 보자. 이런 기능은 어쩌면 bias와 variance 관점에서 모두 도움이 될 수 있다. 이론적으로 특성을 더하게 되면 variance가 증가하는 것으로 알고 있을텐데, 만약 이런 케이스가 발생한다면 정규화 방식을 사용하면 되고, 이를 통해서 variance 증가를 막을 수 있다.
- 정규화를 줄이거나 제거해라 (L2 regularization, L1 regularization, dropout): 이 방법은 avoidable bias를 줄이지만, variance를 증가시킨다.
- 모델 구조를 수정해라 (신경망 구조) : 이 방법이 제일 문제에 적합한 해결책일거고, 이 방법을 통해 bias와 variance에 영향을 줄 수 있다.
한가지 도움이 안되는 방식에 대해서 소개하자면,
- 학습데이터를 추가해라 : 이 방법을 통하면 variance 문제를 해결할 수 있지만, bias 관점에서 그렇게 명확한 영향을 주지는 않는다.
< 해당 포스트는 Andrew Ng의 Machine Learning Yearning 중 chapter 25. Techniques for reducing avoidable bias을 번역한 내용입니다.>
'Study > AI' 카테고리의 다른 글
[MLY] 학습 곡선 : bias와 Variance에 대한 판단 (0) | 2018.09.14 |
---|---|
[MLY] Variance를 줄이는 방법 (0) | 2018.09.14 |
[MLY] 학습 데이터 상에서의 오류 평가 (0) | 2018.09.14 |
[MLY] bias와 Variance간 tradeoff (0) | 2018.09.12 |
[MLY] Bias와 Variance에 대한 해결 방법 (0) | 2018.09.11 |
[MLY] 이상적인 오류율과의 비교 (0) | 2018.09.11 |
[MLY] Bias와 Variance의 예시들 (0) | 2018.09.10 |
- Total
- Today
- Yesterday
- 강화학습
- 한빛미디어
- Kinect SDK
- Gan
- reward
- RL
- Expression Blend 4
- SketchFlow
- Offline RL
- processing
- bias
- DepthStream
- Distribution
- ColorStream
- End-To-End
- Variance
- TensorFlow Lite
- 딥러닝
- windows 8
- Off-policy
- Kinect
- Pipeline
- ai
- arduino
- 파이썬
- Policy Gradient
- Windows Phone 7
- dynamic programming
- Kinect for windows
- PowerPoint
일 | 월 | 화 | 수 | 목 | 금 | 토 |
---|---|---|---|---|---|---|
1 | 2 | |||||
3 | 4 | 5 | 6 | 7 | 8 | 9 |
10 | 11 | 12 | 13 | 14 | 15 | 16 |
17 | 18 | 19 | 20 | 21 | 22 | 23 |
24 | 25 | 26 | 27 | 28 | 29 | 30 |