Google mediapipe 손동작 인식

0. 손동작을 하는 이유와 과정

핸드폰 카메라 또는 웹캠으로 웹브라우저에서 손동작을 인식해서 손동작에 맞게 이벤트를 걸어야해서 찾아봄.

google에서 손동작 인식 관련한 api가 있어서 테스트해보려고함.

제일 큰 문제는 제대로 된 api 문서가 없고, 그나마 좀 있는 건 android, ios, c++정도...

 

데모사이트가 있는데 왜 라이브러리가 javascript로는 없을까 찾았지만 문서가 있거나 javascript로 된 라이브러리 설명이 있거나 그런걸 못찾겠음...

텐서플로 어쩌고저쩌고 파이썬~ ai~ 등등등 난 지금 당장 api를 써야하는데..

그래서 마지막으로 데모사이트의 소스 코드를 긁어서 테스트를 해봄.

 

데모사이트 url : https://storage.googleapis.com/tfjs-models/demos/handpose/index.html

https://storage.googleapis.com/tfjs-models/demos/handpose/index.html

 

1. 손동작 인식 전에 손을 먼저 인식

데모사이트 소스 긁어서 조금 수정했더니 내 로컬에서도 돌아감.

밑에 구글에서 데모로 보여주는 영상과 같이 내 손을 인식해서 선이 그려짐.

 

저렇게 라인이 생김

손등이 보이게 주먹을 쥔다거나 손의 특징이 적어지면 손을 인식하지 못하는 현상이 아직 있고, 손이 없는 영상에서 손을 인식하는 현상이 좀 자주 발생하긴 함.

그래도 손을 인식하니까 손동작을 어떻게 추출하는지 찾아봤는데......

2. 손동작 인식

없다.

손동작을 인식할 수 있는 방법이 없음.

 

일단 api문서가 없으니 데이터를 어떻게 뽑아오는지 알 수 없고, 손인식은 데모사이트가 있지만, 손동작의 데이터를 추출할 수 있는 데모사이트도 없음..

구글에서 올라온 짤에서만 손동작의 데이터를 뽑아옴.

손동작을 인식해 무엇을 의미하는지 알 수 있는 기능을 개발중이라는 글은 있던데.. 아직 데이터 추출하는 부분이 api로 나온거같진 않음...

3. 시기상조...?

웹브라우저에서 손을 인식하는 것까진 되지만, 손동작 인식은 아직 시기상조인거같음.

손 라인의 좌표라도 얻을 수 있으면 뭐라도 해보겠지만 손이 있냐 없냐 정도밖에 알 수 없으니..

이정도도 ~.min.js파일 해쳐서 좀 보다가 알아낸것... api 문서가 이렇게 중요하다는걸 다시 느낌...

그래서 손동작은 패스