Título
M-R-I-o-T: MR e IoT para reabilitação física
Autor
Neves, João Pedro da Silva
Resumo
pt
Este trabalho descreve uma solução para reabilitação de membros superiores com recurso
a tecnologias de realidade mista (MR) e Internet das Coisas (IoT) através de jogos sérios
para os óculos de realidade virtual (VR) Meta Quest 2, que possui funcionalidades para a
criação de ambientes MR, e de sensores inteligentes incorporados num par de luvas. As
luvas têm como plataformas de computação o Arduino Nano. Sensores de força e flexão
são utilizados para obter informação da força e flexão realizada pelos dedos do paciente,
juntamente com informações sobre a aceleração e a rotação das mãos. Os sensores
inteligentes realizam a comunicação com os óculos VR através de protocolo Bluetooth.
Os dados obtidos pelos sensores são enviados no decorrer do jogo pelos óculos para uma
base de dados na cloud com base no Amazon RDS. As comunicações com a base de dados
são feitas com recurso a ficheiros PHP desenvolvidos e alojados numa instância criada
pela Amazon EC2. Os dados obtidos são depois observáveis numa aplicação para
smartphones onde se pode também visualizar os dados do utilizador e criar usuários.
en
This work describes a solution for rehabilitation of upper members using technologies of
mixed reality (MR) and Internet of Things (IoT) using serious games for virtual reality
(VR) headset Meta Quest 2, which possesses functionalities that can simulate MR
environments, and smart sensors inserted onto a pair of gloves. These gloves are
composed by Arduino Nano boards with connections to force and flexibility sensors, to
get information of the force and the flexibility used on each finger of the patient, as well
as information about the acceleration and rotation of the hands. The Arduino Nano board
establishes a Bluetooth connection with the VR headset. The obtained data is sent from
the headset to a cloud database created in Amazon RDS. The communications with the
database are done by using PHP scripts which were developed and allocated on a virtual
machine created by Amazon EC2. The obtained data is then observable on a cross-platform
application for smartphones where the user can visualize the exercise data and
create new users.