Hand gesture and sign language recognition based on deep learning

Abstract

The recognition of Arabic sign language (ArSL) plays a crucial role in removing communication barriers between deaf-mute people and non-sign language speakers. In this study, we propose a dynamic model for Arabic sign language recognition using deep learning (DL) techniques. Our model utilizes a convolutional neural network (CNN) architecture to extract meaningful features from sign language (SL) images, for accurate classification of different signs. We also describe the dataset used for training and evaluating the model, which includes a collection of Arabic sign language images. After extensive experimentation and evaluation, the results prove the effectiveness of the proposed methods, achieving high recognition accuracy across multiple ArSL gestures.

االعتراف بلغة اإلشارة العربية (ArSL (كبيرا في إزالة حواجز التواصل بين الصم يلعب دورا -البكم ً و الذين ال يتكلمون بلغة اإلشارة .نقترح في هذه الدراسة نموذجا ديناميكيا للتعرف على لغة اإلشارة العربية باستخدام تقنيات التعلم العميق .(DL(يستخدم نموذجنا هندسة (CNN(الستخراج التفاصيل و الخصائص من صور لغة اإلشارة(SL(، من أجل التصنيف الدقيق لمختلف االشارات .ونصف أيضا مجموعة البيانات المستخدمة في التدريب وتقييم النموذج، التي تتضمن مجموعة من صور لغة اإلشارة العربية .وبعد إجراء تجارب وتقييمات واسعة النطاق، تثبت النتائج فعالية األساليب المقترحة، مما يحقق درجة عالية من الدقة في االعتراف على مختلف إشارات اللغة العربية.