เครื่องมือตรวจสอบการรู้จำท่าทางมือและสัญลักษณ์มือเสมือน

นี่คือกฎการจำแนกจริงของเครื่องมือนี้เอง ซึ่งนำมาใช้โดยตรงกับจุดสังเกตของมือ 21 จุดที่ติดตามในแต่ละเฟรม

1. คลิก “เริ่ม” แล้วอนุญาตให้เข้าถึงกล้องเมื่อมีการแจ้งเตือน
2. ยกมือขึ้น ให้อยู่ในเฟรมอย่างชัดเจน
3. ลองทำท่าทางที่รู้จำได้ทั้งห้าท่า เพื่อดูว่าแต่ละท่าถูกตรวจจับได้แม่นยำเพียงใดภายใต้สภาพแสงปัจจุบันของคุณ
4. ปรับแสงหรือตำแหน่งมือ หากการตรวจจับดูไม่สม่ำเสมอ — แสงที่ชัดเจนและสม่ำเสมอบนมือช่วยได้มากที่สุด

เครื่องมือนี้ทำงานด้วย MediaPipe Hands ซึ่งเป็นโมเดลติดตามมือที่ Google ฝึกขึ้นมาโดยเฉพาะสำหรับการใช้งานแบบเรียลไทม์บนอุปกรณ์ ทำงานทั้งหมดภายในเบราว์เซอร์ของคุณผ่าน WebAssembly และ WebGL ไม่มีการส่งข้อมูลใด ๆ ไปยังเซิร์ฟเวอร์ — โมเดลจะดาวน์โหลดเพียงครั้งเดียว และทุกเฟรมหลังจากนั้นจะถูกประมวลผลในเครื่อง

ในแต่ละเฟรม โมเดลจะส่งคืนจุดสังเกต 21 จุดต่อมือที่ตรวจพบหนึ่งข้าง ได้แก่ ข้อมือ และข้อต่อสามข้อบวกปลายนิ้วของนิ้วมือทั้งห้านิ้ว การจำแนกท่าทางเองเป็นเพียงเรขาคณิตอย่างง่ายบนจุดเหล่านี้ ไม่ใช่ตัวจำแนกท่าทางที่ฝึกแยกต่างหาก — นิ้วจะถือว่าเหยียดออกเมื่อปลายนิ้วอยู่ห่างจากข้อมือมากกว่าข้อกลางของนิ้วนั้นอย่างมีนัยสำคัญ ห้านิ้วเหยียดออกอ่านค่าเป็นฝ่ามือเปิด มีเพียงนิ้วโป้งเหยียดออกอ่านค่าเป็นยกนิ้วโป้ง และเป็นเช่นนี้ต่อไป

เมนูปฏิกิริยาตอบสนองของ Zoom มีท่าทางยกมือทางกายภาพ ซึ่งไคลเอนต์เดสก์ท็อปรุ่นล่าสุดตรวจจับได้โดยอัตโนมัติเมื่อเปิดกล้องอยู่ — การยกฝ่ามือเปิดขึ้นใกล้ใบหน้าจะกระตุ้นปฏิกิริยาแบบเดียวกับการคลิกปุ่ม Teams ก็มีปฏิกิริยายกมือที่เทียบเท่ากัน แม้ว่าการตรวจจับอัตโนมัติด้วยท่าทางจะทยอยเปิดใช้งานในไคลเอนต์แต่ละเวอร์ชันอย่างค่อยเป็นค่อยไปมากกว่าใน Zoom

Discord ไม่มีการตรวจจับท่าทางในตัว แต่ท่าทางมือยังคงสำคัญหากคุณใช้ OBS หรือปลั๊กอิน Elgato Stream Deck ที่สั่งการภาพซ้อนหรือเอฟเฟกต์บนหน้าจอจากท่าทางที่จับได้จากเว็บแคม — ปลั๊กอินเหล่านั้นต้องอาศัยการติดตามจุดสังเกตที่ชัดเจนและมีแสงดีแบบเดียวกับที่เครื่องมือนี้ตรวจสอบ

รักษาให้มือของคุณอยู่ในเฟรมทั้งหมดและอยู่ใกล้กล้องพอสมควร — การติดตามจุดสังเกตจะแย่ลงอย่างรวดเร็วเมื่อมือมีขนาดเล็กกว่าประมาณหนึ่งในสิบของความกว้างเฟรม แสงย้อนเป็นสาเหตุความล้มเหลวที่พบบ่อยที่สุด นั่นคือ หน้าต่างที่สว่างอยู่ด้านหลังคุณทำให้มือกลายเป็นเงาดำ และโมเดลไม่สามารถแยกข้อต่อของนิ้วแต่ละนิ้วออกจากโครงร่างมืดได้อีกต่อไป

อัตราเฟรมก็มีความสำคัญเช่นกัน เว็บแคมที่รักษาอัตรา 30fps ได้ยาก ไม่ว่าจะจากข้อจำกัดแบนด์วิดท์ USB หรือปัญหาไดรเวอร์ จะทำให้โมเดลติดตามมีเฟรมน้อยลงสำหรับการจับท่าทาง ซึ่งจะแสดงออกมาเป็นอาการภาพกระตุกหรือการตรวจจับที่พลาดไปมากกว่าจะเป็นความล้มเหลวโดยสิ้นเชิง