[Kinect with OpenCV] DistanceTransform을 활용한 손 표현

요즘에 간단하게 보고 있는 자료 중 하나가 바로 이겁니다.

<http://vlm1.uta.edu/~athitsos/courses/cse6367_spring2012/lectures/21_chamfer/chamfer.pdf>

이 교수님이 쓰신 방법은 이른바 Chamfer Matching이라는 기법을 활용해서 실제 사람의 손과 데이터베이스에 들어있는 손 모델간의 비교를 통해 제스처를 인식하는 방식입니다. 

그래서 최종적으로는 이렇게 입출력이 나옵니다.

그런데 실제 손의 position을 기반으로 한게 아니라 이것을 edge로 바꾼 결과들끼리 비교합니다. 이때 사용되는 방식이 Chamfer Matching입니다.

위의 말대로 따라간다면 데이터베이스에 들어있는 template을 실제 창에서 탐색하는 단계가 필요할 것이고요. 이때 픽셀간의 거리가 작을수록 template에 맞는 모델이겠지요. 

그런데 보시는 것처럼 실제 창에는 edge가 상당히 맞습니다. 당연히 template과 일치한 이미지를 찾는게 어렵겠지요. 그래서 교수님이 사용하신 방법이 바로 DistanceTransform입니다. 

보통 이방법을 취하게 되면 물체에 대한 SkeletonData가 나오게 됩니다. 물론 키넥트처럼 정확한 데이터는 아니지만 대충 형태가 어떻게 된다는 것에 대한 정보를 얻을 수 있는 것이지요. 바로 이걸 t1과 맞춰본다면 이전보다 조금 수월하게 이미지를 찾을 수 있을겁니다. 그래서 저도 한번 이 접근을 따라가려고 했습니다.

<Pointing Gesture>

<Pinch Gesture>

물론 약간 엉성해보입니다만. 그래도 왠만한 골격이 나오지요. 일단 요기까지 해보고 계속해서 더 진행해보려고 합니다. 동작영상도 같이 첨부합니다.

참고로 이건 재미로^^