Design and Implementation of a Deep Learning-Based Hand Gesture Recognition System for Rehabilitation Internet-of-Things (RIoT) Environments Using MediaPipe

Frequent hospital visits for hand rehabilitation exercises, such as strengthening and opposition exercises, present significant challenges, especially for patients in remote areas. This paper addresses this problem by developing a Rehabilitation Internet-of-Things (RIOT) system that utilizes MediaPipe with its pre-trained Deep Learning (DL) to deliver real-time feedback during hand rehabilitation exercises alongside Web Assembly (WASM) for efficient processing. The system's objective is to provide precise, real-time tracking of hand movements, enabling patients to perform exercises at home by maintaining an optimal distance between the camera and hand placement, ensuring ideal room lighting conditions across IoT devices such as mobile phones' front cameras and webcams, while healthcare professionals remotely monitor their progress. The methodology involves the integration of MediaPipe for detecting hand landmarks and adaptive sensitivity algorithms to ensure reliable recognition across different environments, such as varying lighting and hand positions. Future work could incorporate additional deep-learning models like CNNs and RNNs to enhance gesture classification accuracy. Several limitations, including latency and distance sensitivity, are addressed in this system with edge computing alongside adaptive algorithms. The key contributions of this research are as follows: First, developing a real-time and cost-effective solution for remote stroke rehabilitation. Second, accuracy is improved by integrating MediaPipe with deep learning techniques. Lastly, latency issues and accuracy challenges at extended distances are alleviated by employing innovative calibration methods and adaptive adjustments. Initial trials demonstrate promising results, though further testing is required under real-world conditions to validate the system's effectiveness fully. ABSTRAK: Perjalanan yang kerap ke hospital untuk latihan pemulihan tangan, seperti latihan rawatan fisioterapi telah memberikan cabaran yang besar bagi pesakit yang tinggal di pedalaman. Sistem Pemulihan Internet Benda (RIOT) menggunakan MediaPipe bersama Deep Learning (DL) yang telah dilatih untuk memberikan maklum balas masa nyata semasa latihan pemulihan tangan, serta Web Assembly (WASM) untuk pemprosesan yang cekap, sebagai penyelesaian. Tujuan sistem ini adalah untuk menyediakan penjejakan pergerakan tangan yang tepat dalam masa nyata, yang mampu dijalankan latihan di rumah dengan pemantauan pegawai perubatan untuk meneliti kemajuan mereka dari jarak jauh. Metodologi melibatkan penyatuan MediaPipe untuk mengesan titik penting pada tangan dan algoritma kepekaan suaian untuk memastikan pengiktirafan yang boleh dipercayai dalam pelbagai persekitaran, seperti pencahayaan dan kedudukan tangan. Lonjakan bagi kajian in adalah dapat menggabungkan model DL seperti CNNs dan RNNs untuk meningkatkan ketepatan dan penyusunan isyarat. Sistem ini juga dapat mengurangkan masalah masa pendam dan perubahab jara dengan melaksanakan edge computing dan penyesuaian algoritma. Sumbangan utama kajian ini termasuklah sistem masa nyata yang kos efektif untuk pemulihan strok jarak jauh, peningkatan ketepatan melalui gabungan MediaPipe dan model DL, dan pengurangan masalah masa pendam dan ketepatan jarak yang lebih jauh melalui tentuukur dan suaian algoritma. Percubaan awal telah menunjukkan hasil yang bagus. Walau bagaimanapun, ujian lanjut masih perlu dibuat dalam dunia sebenar untuk menjamin keberkesanan sistem secara keseluruhan.