Título
Serious game augmented reality 3D for physical rehabilitation
Autor
Gaspar, Miguel Gil Ferreira Vaz
Resumo
pt
Esta pesquisa consiste no desenvolvimento de uma solução do projeto FisioAR
baseada em dispositivos vestíveis, combinando um conjunto de sensores vestíveis e
controlador de headset para uso em interações naturais com um conjunto de serious games
terapêuticos VR desenvolvidos na plataforma de games 3D Unity. O sistema permite
realizar treinos de reabilitação motora de mãos e dedos, joelhos e pernas tendo em vista
que os jogos são para pessoas que sofreram AVC e devem ser tomados cuidados especiais
com isso e que os jogos estão devidamente adaptados para serem mais simples. ser
jogado.
Este projeto FisioAR tem em todas as implementações, dois aplicativos diferentes
projetados, três tipos diferentes de jogos projetados no Oculus Quest.
Dois aplicativos diferentes foram construídos na plataforma Outsystems sendo um
destinado a fisioterapeutas e outro a pacientes AVC.
Três tipos diferentes de jogos foram especialmente projetados no Unity Platform
Engine e todos os jogos possuem conteúdos específicos para serem jogados.
O primeiro jogo denominado Boxes Game, tem seis cubos apresentados com cores
diferentes e seis esferas também com seis cores diferentes. O principal objetivo deste jogo
é colocar o número máximo de esferas em uma caixa com a mesma cor e com distância
mínima percorrida. Este jogo envolverá o uso de pernas, joelhos e braços e pode ser
facilmente adaptado às condições de cada paciente, tornando-o mais ou menos exigente.
O segundo jogo é chamado de jogo de cuidado de jardim. Seu cenário foi feito com
pré-fabricados e materiais da loja de ativos da unidade para simular um jardim realista,
com regador, cercas e um conjunto de flores. O objetivo principal deste jogo é regar as
flores. Esse objetivo simples está relacionado à medição da rotação do punho feita pelo
paciente por meio de sensores vestíveis ao regar cada flor. Este jogo é uma pontuação
para cada flor regada.
No terceiro jogo, chamado Puzzle Game, há uma tela branca com o mesmo número
de divisões que os blocos de imagem existentes no projeto.
en
This research consists in the development of a PhysioAR framework (Augmented
Reality Physiotherapy) that consider a set of two wearable sensors (Left Controller and
Right Controller and Meta/Oculus Quest headset controller for use in natural interactions
with a set of AR therapeutic serious games developed on the Unity 3D.
The system allows to perform training sessions for hands and fingers, knees and legs
motor rehabilitation bearing in mind that the games are for people who have suffered
from stroke. The training is part of special care that must be taken for this through the
serious games that are properly adapted to be a source of motivation and easy to be played.
This FisioAR project includes, two different apps designed, one for calendar and for
physiotherapists has a background data with all information needed to do and other to
make login in main app and have the possibility to interact with our three types of games
specifically designed, developed and implemented for Oculus Quest.
Two different mobile apps were constructed on Outsystems platform, where one is
destinated to physiotherapists and other is destinated to AVC patient’s.
Three Different types of serious games were developed on Unity Platform Engine and
all the games have specific contents to be played according with motor and cognitive
rehabilitation objectives.
The first game called Boxes Game, has six cubes displayed with different colors and
six spheres also with six different colors. The main goal of this game is to put the
maximum number of spheres in a box with the same color. This game will involve the
use of legs, knees and arms and can be easily adapted to each patients’ conditions, making
it more or less demanding.
The Second Game is called Garden Care Game. Its scenario was made with prefabs
(assets) and materials from Unity asset store to simulate a realistic garden, with a watering
can, fences and a set of flowers. The main goal of this game is to care the flowers with
water. This simple goal is related with the measurement of the wrist rotation made by the
patient through wearable sensors while watering each flower. This game as a score for
each flower watered.
In the Third Game called Puzzle Game, there’s a white screen with the same number
of divisions as the existing image blocks in project.