제스처 인식 및 가상 손 신호 체커

이는 이 도구 자체의 실제 분류 규칙으로, 매 프레임마다 추적되는 21개의 손 랜드마크 지점에 직접 적용됩니다.

1. "시작"를 클릭하고 요청 시 카메라 접근을 허용합니다.
2. 손을 프레임 안에 뚜렷하게 들어 보입니다.
3. 인식 가능한 다섯 가지 제스처를 각각 시도해 현재 조명 상태에서 얼마나 안정적으로 감지되는지 확인합니다.
4. 감지가 불안정하게 느껴지면 조명이나 손 위치를 조정하세요 — 손에 고르고 밝은 빛을 비추는 것이 가장 효과적입니다.

이 도구는 Google이 실시간 온디바이스 사용을 위해 특별히 학습시킨 손 추적 모델인 MediaPipe Hands를 WebAssembly와 WebGL을 통해 브라우저 안에서 완전히 실행합니다. 서버로 전송되는 것은 전혀 없습니다 — 모델은 한 번만 다운로드되고 그 이후의 모든 프레임은 로컬에서 처리됩니다.

매 프레임마다 모델은 감지된 손마다 21개의 랜드마크 지점을 반환합니다: 손목, 그리고 다섯 손가락 각각의 세 관절과 손끝입니다. 제스처 분류 자체는 이러한 지점을 기반으로 한 단순한 기하학적 계산이며, 별도로 학습된 제스처 분류기가 아닙니다 — 손끝이 자신의 중간 관절보다 손목에서 눈에 띄게 더 멀리 떨어져 있으면 그 손가락은 펴진 것으로 간주됩니다. 다섯 손가락이 모두 펴지면 손바닥 펴기로, 엄지만 펴지면 엄지척으로 읽히는 식입니다.

Zoom의 반응 메뉴에는 물리적인 손 들기 제스처가 포함되어 있으며, 최신 데스크톱 클라이언트는 카메라가 켜져 있을 때 이를 자동으로 감지합니다 — 얼굴 근처에서 손바닥을 펴서 들면 버튼을 클릭한 것과 동일한 반응이 트리거됩니다. Teams에도 동등한 손 들기 반응이 있지만, 제스처 기반 자동 감지 기능은 Zoom보다 클라이언트 버전 전반에 걸쳐 더 점진적으로 도입되고 있습니다.

Discord에는 자체 제스처 감지 기능이 없지만, 웹캠 제스처로 화면 오버레이나 효과를 트리거하는 OBS나 Elgato Stream Deck 플러그인을 사용한다면 손 제스처는 여전히 중요합니다 — 이러한 플러그인은 이 도구가 확인하는 것과 정확히 같은 종류의 깨끗하고 조명이 잘 갖춰진 랜드마크 추적에 의존합니다.

손이 프레임 안에 완전히 들어오도록 하고 카메라에 어느 정도 가까이 두세요 — 손이 프레임 너비의 약 10분의 1 미만으로 작아지면 랜드마크 추적 성능이 급격히 저하됩니다. 역광은 가장 흔한 실패 원인입니다: 뒤쪽의 밝은 창문이 손을 실루엣으로 만들어 모델이 어두운 윤곽선에서 개별 손가락 관절을 더 이상 구분할 수 없게 됩니다.

프레임 속도도 중요합니다. USB 대역폭 제한이나 드라이버 문제로 인해 30fps를 유지하기 어려운 웹캠은 추적 모델이 제스처를 포착할 프레임 수가 줄어들어, 완전한 실패라기보다 깜빡임이나 감지 누락으로 나타납니다.