Wika: prototipo de robot educador de lenguaje de señas peruano basado en machine learning

Abstract

Este proyecto se centra en el desarrollo de un robot educativo denominado WIKA, cuyo propósito es enseñar el lenguaje de señas peruano tanto a niños como a adultos, promoviendo la inclusión social de personas con discapacidades auditivas o sordomudas. La investigación justifica su relevancia en la necesidad de herramientas inclusivas y accesibles que faciliten la comunicación. El objetivo principal es desarrollar un prototipo de robot educador para el aprendizaje del lenguaje de señas peruano, fomentando el respeto y la integración de las diferencias. La metodología del proyecto incluye la utilización de modelos de inteligencia artificial específicos para diferentes categorías: se emplean redes neuronales convolucionales (CNN) para procesar vocales, consonantes, números y palabras. El robot está compuesto por cuatro módulos clave: reconocimiento facial, salida de audio, captura de señas y respuesta. El módulo de reconocimiento facial permite al robot identificar al usuario. El módulo de salida de audio ofrece retroalimentación auditiva de la predicción. El módulo de captura de señas utiliza una cámara integrada y un modelo de inteligencia artificial para evaluar la predicción de las señas realizadas. El módulo de respuesta informa al usuario si su desempeño fue correcto o incorrecto. Finalmente, se alcanzó un nivel de precisión del 99% en todas las categorías propuestas (vocales, consonantes, números y palabras) y se proyecta que, en el futuro, el robot WIKA sea evaluado en un entorno real y su desempeño sea valorado por un especialista en Lengua de Señas Peruana (LSP) para medir su efectividad.

This project presents the development of WIKA, an educational robot prototype designed to teach Peruvian Sign Language (PSL) to both children and adults, aiming to promote the social inclusion of individuals with hearing or speech impairments. The research addresses the need for accessible and inclusive tools that facilitate communication and social integration. The main objective is to design an educational robot that fosters PSL learning and respect for communicative diversity. The methodology involves the use of artificial intelligence models, specifically convolutional neural networks (CNN), for recognizing vowels, consonants, numbers, and words. The prototype comprises four main modules: (1) facial recognition, to identify the user; (2) audio output, providing auditory feedback; (3)sign capture, using an integrated camera and AI model to evaluate the performed signs; and (4) response, which informs the user whether their performance is correct or incorrect. The results achieved a 99% accuracy across all evaluated categories, demonstrating the system's effectiveness. Future stages envision validation in real environments with assessments conducted by Peruvian Sign Language (PSL) specialists to measure its impact and effectiveness in inclusive educational settings.