Título
Virtual environments promoting interaction
Autor
Pedro, Tiago Miguel da Silva
Resumo
pt
A Realidade Virtual (RV) tem sido alvo de investigação extensa na academia e tem vindo a entrar
na indústria. Empresas comuns não têm acesso a esta tecnologia como uma ferramenta de colaboração porque estas soluções necessitam de dispositivos específicos que não estão disponíveis para
o utilizador comum em escritório. Existem outras plataformas de colaboração baseadas em vídeo,
voz e texto, mas a RV permite partilhar o mesmo espaço 3D. Neste espaço podem existir funcionalidades ou informação adicionais que no mundo real não seria possível, algo intrínseco à RV.
Esta dissertação produziu uma framework 3D que promove a comunicação não-verbal que tem
um papel fundamental na interação humana e é principalmente baseada em emoção. Na academia
é sabido que a confusão influencia os ganhos na aprendizagem quando gerida adequadamente.
Desenhámos um estudo para avaliar como as características lexicais, sintáticas e n-gramas influenciam a confusão percecionada. Construímos e testámos um modelo de aprendizagem automática
que prevê o nível de confusão baseado nestas características, produzindo resultados não estatisticamente significativos que suportam esta hipótese. Este modelo foi usado para manipular o texto
de uma apresentação e o feedback dos utilizadores demonstra uma tendência na diminuição do
nível de confusão reportada no texto e aumento da sensação de presença. Outra contribuição vem
das características intrínsecas de um ambiente 3D onde se podem executar ações que no mundo
real não seriam possíveis. Desenhámos um sistema automático de iluminação adaptativa que reage
ao engagement percecionado do utilizador. Os resultados não suportam o que hipotetizámos mas
não têm significância estatística, pelo que esta hipótese foi parcialmente rejeitada.
Três linhas de investigação podem provir desta dissertação. Primeiro, criar características mais
complexas para treinar o modelo de aprendizagem, tais como árvores de sintaxe. Além disso, num
Intelligent Tutoring System este modelo poderá ajustar o discurso do avatar em tempo real, alimentado por um detetor de confusão. As emoções básicas ajustam-se a um cenário social e podem
enriquecê-lo. A emoção expressada facialmente pode estender este efeito ao corpo do avatar para
alimentar o sincronismo social e aumentar a sensação de presença. Finalmente, baseámo-nos em
dispositivos ubíquos, mas com a rápida evolução da tecnologia, podemos considerar que novos
dispositivos irão estar presentes em escritórios. Isto abre possibilidades para novas modalidades.
en
Virtual reality (VR) has been widely researched in the academic environment and is now breaking
into the industry. Regular companies do not have access to this technology as a collaboration tool
because these solutions usually require specific devices that are not at hand of the common user in
offices. There are other collaboration platforms based on video, speech and text, but VR allows
users to share the same 3D space. In this 3D space there can be added functionalities or information
that in a real-world environment would not be possible, something intrinsic to VR.
This dissertation has produced a 3D framework that promotes nonverbal communication. It
plays a fundamental role on human interaction and is mostly based on emotion. In the academia,
confusion is known to influence learning gains if it is properly managed. We designed a study to
evaluate how lexical, syntactic and n-gram features influence perceived confusion and found results (not statistically significant) that point that it is possible to build a machine learning model
that can predict the level of confusion based on these features. This model was used to manipulate
the script of a given presentation, and user feedback shows a trend that by manipulating these
features and theoretically lowering the level of confusion on text not only drops the reported confusion, as it also increases reported sense of presence. Another contribution of this dissertation
comes from the intrinsic features of a 3D environment where one can carry actions that in a real
world are not possible. We designed an automatic adaption lighting system that reacts to the perceived user’s engagement. This hypothesis was partially refused as the results go against what we
hypothesized but do not have statistical significance.
Three lines of research may stem from this dissertation. First, there can be more complex features to train the machine learning model such as syntax trees. Also, on an Intelligent Tutoring
System this could adjust the avatar’s speech in real-time if fed by a real-time confusion detector.
When going for a social scenario, the set of basic emotions is well-adjusted and can enrich them.
Facial emotion recognition can extend this effect to the avatar’s body to fuel this synchronization
and increase the sense of presence. Finally, we based this dissertation on the premise of using
ubiquitous devices, but with the rapid evolution of technology we should consider that new devices
will be present on offices. This opens new possibilities for other modalities.