Test Rozpoznawania Gestów i Wirtualnych Znaków Dłoni

Są to własne, rzeczywiste reguły klasyfikacji tego narzędzia, stosowane bezpośrednio do 21 punktów charakterystycznych dłoni śledzonych w każdej klatce.

1. Kliknij "Start" i zezwól na dostęp do kamery, gdy pojawi się takie żądanie.
2. Trzymaj dłoń wyraźnie widoczną w kadrze.
3. Wypróbuj każdy z pięciu rozpoznawanych gestów, aby sprawdzić, jak wiarygodnie jest wykrywany przy aktualnym oświetleniu.
4. Dostosuj oświetlenie lub pozycję dłoni, jeśli wykrywanie wydaje się niestabilne — najbardziej pomaga równomierne, jasne światło padające na dłoń.

To narzędzie uruchamia MediaPipe Hands — model śledzenia dłoni wytrenowany przez Google specjalnie do zastosowań w czasie rzeczywistym bezpośrednio na urządzeniu — działający całkowicie w przeglądarce dzięki WebAssembly i WebGL. Nic nie jest wysyłane na serwer — model jest pobierany jednorazowo, a każda kolejna klatka jest przetwarzana lokalnie.

W każdej klatce model zwraca 21 punktów charakterystycznych dla każdej wykrytej dłoni: nadgarstek oraz trzy stawy i czubek dla każdego z pięciu palców. Sama klasyfikacja gestu to prosta geometria oparta na tych punktach, a nie osobno wytrenowany klasyfikator gestów — palec liczy się jako wyprostowany, gdy jego czubek znajduje się wyraźnie dalej od nadgarstka niż jego własny środkowy staw. Pięć wyprostowanych palców odczytywane jest jako otwarta dłoń; sam kciuk jako kciuk w górę; i tak dalej.

Menu reakcji Zoom zawiera fizyczny gest podniesionej ręki, który najnowsze klienty desktopowe wykrywają automatycznie, gdy kamera jest włączona — uniesienie otwartej dłoni blisko twarzy uruchamia tę samą reakcję co kliknięcie przycisku. Teams ma odpowiadającą mu reakcję podniesionej ręki, choć automatyczne wykrywanie oparte na gestach wprowadzane jest tam stopniowo w kolejnych wersjach klienta wolniej niż w Zoom.

Discord nie posiada natywnego wykrywania gestów, ale gesty dłoni nadal mają znaczenie, jeśli korzystasz z OBS lub wtyczki Elgato Stream Deck, która uruchamia nakładki ekranowe lub efekty na podstawie gestu z kamery internetowej — takie wtyczki zależą dokładnie od tego samego rodzaju czystego, dobrze oświetlonego śledzenia punktów charakterystycznych, które sprawdza to narzędzie.

Trzymaj dłoń całkowicie w kadrze i stosunkowo blisko kamery — śledzenie punktów charakterystycznych szybko się pogarsza, gdy dłoń zajmuje mniej niż mniej więcej jedną dziesiątą szerokości kadru. Podświetlenie od tyłu to najczęstsza przyczyna błędów: jasne okno za twoimi plecami zamienia dłoń w sylwetkę, przez co model nie jest już w stanie rozróżnić poszczególnych stawów palców na ciemnym konturze.

Liczy się też liczba klatek na sekundę. Kamera internetowa, która ma trudności z utrzymaniem 30 kl./s, czy to z powodu ograniczeń przepustowości USB, czy problemów ze sterownikami, dostarcza modelowi śledzącemu mniej klatek do uchwycenia gestu, co objawia się migotaniem lub pominiętymi wykryciami, a nie całkowitym błędem.