Título
Sistema de tradução da língua gestual Portuguesa em tempo real
Autor
Ferreira, Sara Cristina Martins
Resumo
pt
O avanço na área da saúde só é possível graças ao avanço da tecnologia. Novos
conceitos e sistemas permitem melhorar a qualidade de vida das pessoas. Os
sistemas de reconhecimento de gestos são um dos campos procedentes do avanço
da tecnologia. Não só tem aplicação na área da saúde mas também em áreas como
a realidade virtual, industria automóvel, e outras tantas.
O objetivo deste trabalho era criar um sistema wireless e low-cost de reconhecimento
de gestos, capaz de traduzir Língua Gestual Portuguesa para Língua
Portuguesa. Este projeto teve um âmbito mais restrito, na medida em que se foca
no alfabeto português.
O sistema é composto por uma rede de sensores implementada numa luva através
de fios condutores e snaps. Ao ser utilizada, a luva faz a leitura da posição
dos dedos assim como da direção da mão em tempo real. Esta informação é dada
por sensores de flexão baseados em velostat e pelo acelerómetro, respetivamente.
A informação recolhida pela luva, que caracteriza o gesto, é então enviada para
a aplicação móvel pelo protocolo de comunicação Bluetooth. Este protocolo tem
a vantagem de ser wireless e de não necessitar da conexão do dispositivo móvel à
Internet para comunicar. A leitura desta informação em conjunto com o k-Nearest
Neighbors, algoritmo de aprendizagem supervisionada que se baseia na similaridade
dos dados que caracterizam o gesto feito em tempo real com os dados que
classificam cada letra do alfabeto, permite ao sistema fazer a tradução de Língua
Gestual Portuguesa para a Língua Portuguesa. Esta tradução é posteriormente
visualizada numa aplicação móvel.
Com o sistema desenvolvido foi atingida uma taxa de acerto quando utilizado
o k-Nearest Neighbors de 93.31% e 89.66%, e de 78.27% e 71.16% quando utilizadas
as Redes Neuronais, para uma pessoa com conhecimento em Língua Gestual
Portuguesa e para uma pessoa sem conhecimento em Língua Gestual Portuguesa,
respetivamente.
en
Advancement in healthcare is only possible thanks to the advancement of technology.
New concepts and systems improve people’s quality of life. Gesture
recognition systems are one of the fields coming from the advancement of technology.
Not only is it applicable in healthcare but also in areas such as virtual
reality, the automotive industry, and many more.
The main goal was to create a wireless and low-cost gesture recognition system
capable of translate Portuguese Sign Language to Portuguese Language. This
project focuses on the Portuguese alphabet translation.
The system is composed by a sensor network implemented in a glove through
conductive thread and snaps. When used, the glove has the function of reading
the position of the fingers as well as the direction of the hand. This information
is given by flex sensors based on velostat and accelerometer, respectively. The
information collected by the glove, which characterizes the gesture, is then sent to
the mobile application by the Bluetooth communication protocol. This protocol
has the advantage of not require the connection of the mobile device to the Internet
to communicate. The reading of this information together with k-NN, a supervised
learning algorithm which is based on similarity of data that characterizes the
gesture made in real time with data that classifies letters of the alphabet, allows
the system to translate the Portuguese Sign Language to Portuguese Language.
This translation is shown in a mobile application.
With the developed system a hit rate was reached when using the k-Nearest
Neighbors of 93.31% and 89.66%, and 78.27% and 71.16% when used the Neural
Networks, for a person with knowledge of Portuguese Sign Language and for a
person without knowledge of Portuguese Sign Language, respectively.