Control de un sistema robótico para la interacción multimodal en un entorno semiestructurado

Abstract

El presente trabajo de investigación se orientó en proveer de un medio de interacción entre un ser humano y un sistema robótico, con el cual el usuario pueda dar instrucciones de movimiento. y manipulación al robot, pero, sobre todo, sin utilizar una herramienta electrónica de comunicación como el teclado. Se plantea el desarrollo de un sistema de reconocimiento multimodal que incluya las dos formas de comunicación más usadas por los humanos, señas y voz. Por una parte, la identificación de seis signos correspondientes al alfabeto del Lenguaje de Señas Mexicano (LSM), proporcionando la interacción con el robot por medio de señas. En tal caso, el reconocimiento no dependerá de mecanismos electrónicos para modelar los símbolos del alfabeto. Por otro lado, el reconocimiento de seis comandos vocales, también para el Español Mexicano, proporcionando la interacción mediante voz con el sistema robótico. En ambos casos, se interpretará un mensaje diseñado para controlar un sistema robótico de servicio.