자신에 대한 고찰

지연율, 오류, 성능, 효율성, 그리고 블랙박스 모니터링에 초점을 맞춤으로써 고성능 시스템 구현하기 Radar station (source: Paul_Henri via Pixabay) 이제 당신은 (이제는 블록체인을 활용해서) 최신의 웹 애플리케이션을 만들 수 있고, 사용자들은 그런 것들을 좋아할 것입니다. 접속률은 높아질 것이고, 이제 큰 압박을 느끼기 시작할 것입니다. 그리고 어느 날 아침에 일어나보면 사이트가 밤새 느려져 있고, 사용자들이 불평하고 있다는 것을 알게 될 것입니다. 문제를 어디에서 찾을 수 있을까요? 당신이 웹사이트나 내부 애플리케이션을 개발하는 개발자이든, 이런 것들을 포괄하는 시스템을 관리하는 관리자이던 간에, 당신의 업무는 이런 작업들이 한번 동작하기 시작하면 멈추지 않게 하는 ..

만약 고양이를 인식하는 작업에서 인간이 거의 완벽에 가까운 성능(0%대의 오류)를 보여줬고, 이상적인 오류율도 0%이다. 지금 상태에서 당신이 가지고 있는 지표가 다음과 같다고 가정해보자: - 학습 데이터 상에서의 1%의 오류 - 학습 개발 데이터 상에서의 5%의 오류 - 개발 데이터 상에서의 5%의 오류 이 결과가 무엇을 의미할까? 여기서는 high variance를 가지고 있는 것을 알 것이다. 앞에서 소개한 variance를 제거하는 방법을 사용하면, 성능이 좋아질 것이다. 이제 알고리즘이 다음의 지표를 가진다고 가정해보자: - 학습 데이터 상에서의 10%의 오류 - 학습 개발 데이터 상에서의 11% 오류 - 개발 데이터 상에서의 12% 오류이건 학습 데이터 상에 높은 avoidable bias가 ..

개발 데이터와 테스트 데이터가 같은 분포를 가지는 상태에서 학습을 시키고 있다고 가정하자. 그러면 단순히 성능을 향상 시키기 위해서 항상 많은 학습 데이터를 수집하려고 할 것이다. 그렇지 않나? 데이터를 많이 가지는 것 자체가 물론 나쁜건 아니지만, 그렇다고 바라는 만큼 항상이 도움이 되지는 않는다. 어쩌면 데이터를 추가로 수집하는 작업 자체가 시간 낭비가 될 수 있다. 그러면 언제 데이터를 수집하고, 언제 수집하지 말고를 어떻게 결정해야 할까? 머신러닝 작업에서 오류를 발생시키는 요인이 두개가 있는데, 그게 bias와 variance 이다. 이 두 요인에 대해서 이해하는 것이 아마 데이터를 수집해야 할지 말지 결정하는 것을 도와 줄 것이고, 이게 성능을 향상시켜주는 다른 작업과 같이 시간을 적절하게 쓰..