Penggunaan MediaPipe untuk Pengenalan Gesture Tangan Real-Time dalam Pengendalian Presentasi

Abstract

Penelitian ini membahas masalah pengendalian presentasi yang terbatas pada penggunaan perangkat fisik seperti mouse atau keyboard, yang sering mengurangi fleksibilitas pengguna. Untuk mengatasi hal ini, penelitian ini mengusulkan implementasi MediaPipe, sebuah framework pengolahan citra dan video, untuk pengenalan gestur tangan secara real-time. Metode ini memungkinkan pengguna mengontrol presentasi PowerPoint secara intuitif melalui gerakan tangan tanpa kontak fisik dengan perangkat. Pengendalian dilakukan dengan mendeteksi dan menginterpretasikan gestur tangan menggunakan teknologi pengenalan pola berbasis jaringan saraf tiruan. Studi ini bertujuan meningkatkan efisiensi dan kenyamanan dalam mengendalikan presentasi, khususnya dalam situasi yang membutuhkan interaksi jarak jauh. Hasil penelitian menunjukkan implementasi ini mampu memberikan respons cepat terhadap perubahan gestur dalam berbagai kondisi penggunaan. Model pengenalan gestur tangan yang diusulkan menunjukkan performa sangat baik, dengan nilai macro average precision, recall, dan F1-score masing-masing mencapai 97%, yang berkontribusi pada pengembangan antarmuka pengguna yang lebih intuitif dan efisien.