Google mediapipe 손동작 인식
0. 손동작을 하는 이유와 과정
핸드폰 카메라 또는 웹캠으로 웹브라우저에서 손동작을 인식해서 손동작에 맞게 이벤트를 걸어야해서 찾아봄.
google에서 손동작 인식 관련한 api가 있어서 테스트해보려고함.
제일 큰 문제는 제대로 된 api 문서가 없고, 그나마 좀 있는 건 android, ios, c++정도...
데모사이트가 있는데 왜 라이브러리가 javascript로는 없을까 찾았지만 문서가 있거나 javascript로 된 라이브러리 설명이 있거나 그런걸 못찾겠음...
텐서플로 어쩌고저쩌고 파이썬~ ai~ 등등등 난 지금 당장 api를 써야하는데..
그래서 마지막으로 데모사이트의 소스 코드를 긁어서 테스트를 해봄.
데모사이트 url : https://storage.googleapis.com/tfjs-models/demos/handpose/index.html
https://storage.googleapis.com/tfjs-models/demos/handpose/index.html
storage.googleapis.com
1. 손동작 인식 전에 손을 먼저 인식
데모사이트 소스 긁어서 조금 수정했더니 내 로컬에서도 돌아감.
밑에 구글에서 데모로 보여주는 영상과 같이 내 손을 인식해서 선이 그려짐.
손등이 보이게 주먹을 쥔다거나 손의 특징이 적어지면 손을 인식하지 못하는 현상이 아직 있고, 손이 없는 영상에서 손을 인식하는 현상이 좀 자주 발생하긴 함.
그래도 손을 인식하니까 손동작을 어떻게 추출하는지 찾아봤는데......
2. 손동작 인식
없다.
손동작을 인식할 수 있는 방법이 없음.
일단 api문서가 없으니 데이터를 어떻게 뽑아오는지 알 수 없고, 손인식은 데모사이트가 있지만, 손동작의 데이터를 추출할 수 있는 데모사이트도 없음..
구글에서 올라온 짤에서만 손동작의 데이터를 뽑아옴.
손동작을 인식해 무엇을 의미하는지 알 수 있는 기능을 개발중이라는 글은 있던데.. 아직 데이터 추출하는 부분이 api로 나온거같진 않음...
3. 시기상조...?
웹브라우저에서 손을 인식하는 것까진 되지만, 손동작 인식은 아직 시기상조인거같음.
손 라인의 좌표라도 얻을 수 있으면 뭐라도 해보겠지만 손이 있냐 없냐 정도밖에 알 수 없으니..
이정도도 ~.min.js파일 해쳐서 좀 보다가 알아낸것... api 문서가 이렇게 중요하다는걸 다시 느낌...
그래서 손동작은 패스