[Paper] A Vision-based Real-time hand pose and gesture recognition method for smart device control

우연히 논문은 검색을 하던 도중에 2012년 한국차세대컴퓨팅 학회에서 발표된 논문이 내 주제와 맞는거 같아서 요약을 정리해본다.

http://ocllos.tistory.com/22

- 전체적인 방식은 손의 중점과 contour로 fingertip을 구한 후 그 fingertip간의 각도 관계와 손의 기울기를 통해서 가려진 영역을 예측하고자 했음

 -> 카메라의 특성상 안보이는 영역에 대한 오클루전이 발생

 -> 목적은 속도와 회전에 robust한 pose estimation + HMM(hidden markov model)에 기반한 gesture estimation을 추구함

- 손 포즈 인식

- Chain code를 활용해서 손의 contour를 땀

- DP(douglas-peucker) 방식을 통해서 기존 contour point중 대략적인 포인트로 근사화 시킴

- Convexhull을 통해서 corner point를 구한 후 가장 최외곽점에 대한 특징점을 얻어냄

- DepthMap과 결함해서 fingertip에 해당하는 정보만 추출 ( 손바닥 영역에서 탐지되는 cornerpoint 제거) 

-fingertip 추적

- 손끝점에 의미 부여를 위해서 기준을 둠 ( 여기서는 손가락 사이의 움직임 범위를 누적시키는 방식을 택함)

- 손가락 사이의 각도를 매프레임마다 저장해서 누적시키고 포즈 변동시 이전의 누적된 정보를 통해서 예측

(한계 : 약지는 움직임의 범위가 작기 때문에 예측하기 힘듬)

-> 결론적으로 사전에 학습된 정보가 필요

- HMM 방식의 제스처 인식 (제스처에 대한 학습)

- 손에 대해서 8방향의 벡터를 정의한 후 시간에 따라 그 벡터 방향을 저장함

- 일정 제스처에 대해서는 학습후 db화 시킴 -> 패턴화

-> 다양한 모델에 대한 제스처에 대해서 정의함