[MLY] 인간 성능을 극복하는 것

 지금 음성 인식 시스템을 만들고 있고, 데이터로써 오디오 클립을 가지고 있다. 만약 지금 데이터가 잡음이 많아서 인간도 10%의 오류를 나타내고 있다고 가정해보자. 그리고 지금 시스템도 이미 8%의 오류를 얻고 있다고 치자. 조금더 진전하기 위해서 앞에서 언급했던 3가지 방법을 사용해볼 수 있을까?

 만약 인간이 지금 만들고 있는 머신러닝 시스템보다 확연하게 잘하는 것에 대한 데이터 집합을 다룬다면, 진척을 위해서 그 방법들을 활용해볼 수 있다. 예를 들어 잡음이 섞인 오디오를 인식하는 것에서 시스템이 인간보다 잘한다고 가정해도, 뭔가 발음이 빠른 음성을 번역하는 것은 인간이 더 잘 할수도 있다.

 이렇게 발음이 빠른 음성 데이터 상에서는:

 1. 머신러닝 알고리즘이 수행하는 것보다 더 나은 성능을 보여주는 인간으로부터 번역본을 취할 수 있다.

 2. 뭔가 빠른 발음의 방언이 나왔을때 머신러닝 시스템이 못할 경우 그것을 사람이 어떻게 정확하게 인식하는지에 대해서 직관을 활용해볼 수 있다.

 3. 발음이 빠른 음성에 대해서는 인간 성능 지표를 목표 성능 지표로 정할 수 있다.

 다시 말해서, 인간이 잘하고 알고리즘이 못하는 개발 데이터가 있는 한, 앞에서 언급했던 많은 방법들을 적용해볼 수 있다. 이 사실은 모든 개발/테스트 데이터 상에서 평균낸 성능이 인간 성능 지표를 넘어설 때에도 적용할 수 있다.

 기계가 인간 성능 지표를 넘어서는 머신 러닝 시스템이 많이 있다. 예를 들어 기계는 영화 평점을 예측하고, 배달 차량이 어딘가를 운전할 때 얼마나 걸리는지를 예측하거나, 신용 대출 가부를 예측하는 업무는 인간보다 더 잘한다. 만약 머신러닝 알고리즘이 완전히 잘못 동작하는 문제를 검토하기에 어려운 케이스에는 앞에서 소개한 방법 중 일부만 적용해볼 수 있다. 다시 말해 기계가 사람의 성능 지표를 이미 넘어선 케이스에서는 진척이 보통 느릴 것이고, 기계가 여전히 인간을 쫓아가야 하는 입장에서는 진척이 빠를 것이다.

< 해당 포스트는 Andrew Ng의 Machine Learning Yearning 중 chapter 35. Surpassing human-level performance을 번역한 내용입니다.>