Título
Light field processing for immersive systems
Autor
Hamad, Maryam Faleh Awad
Resumo
pt
A imagiologia de campo de luz (LF) é uma modalidade de imagem imersiva que tem atraído
cada vez mais atenção nas últimas décadas, devido à sua capacidade de captar a intensidade e
a informação sobre a direção da luz de uma cena numa matriz de quatro dimensões (4D),
conhecida como LF 4D. A vasta informação incluída nos LF 4D permite ao espetador explorar
a cena a partir de diferentes perspectivas, melhorando assim a perceção da profundidade e o
realismo. No entanto, a promessa de uma experiência imersiva traz consigo desafios que
precisam de ser investigados, nomeadamente em termos de processamento e edição.
Um exemplo desses desafios é o processamento e a edição eficientes de LFs 4D,
explorando as correlações espácio-angulares e assegurando simultaneamente a precisão
espacial e a consistência angular. Assim, esta Tese aborda este desafio através de vários
métodos que, em conjunto, formam um pipeline para processar/editar eficientemente LFs 4D.
Em primeiro lugar, esta Tese propõe um método eficiente de propagação de disparidades que
permite calcular mapas de disparidades angularmente consistentes para todas as vistas de LF.
Posteriormente, esta Tese propõe novos métodos de sobre-segmentação que se baseiam em
mapas de disparidade como uma caraterística adicional de orientação para agrupar pixéis
correspondentes em vistas LF em segmentos espácio-angulares. Os LFs 4D sobre-segmentados
são então utilizados como uma representação intermédia que permite a segmentação dos LFs e
facilita a propagação da transferência neuronal de estilo.
Nesta Tese, foi demonstrado que a representação de LFs 4D com base na sobresegmentação
permite a utilização de técnicas clássicas de corte de grafos e de redes neuronais
de grafos para obter uma segmentação de LF 4D eficiente. Os métodos propostos mostraram
um desempenho superior em vários aspectos, como a precisão espacial e a consistência angular.
en
Light Field (LF) imaging is an immersive imaging modality that has attracted increasing
attention in recent decades, due to its ability of capturing both light intensity and direction
information of a scene in a Four-Dimensional (4D) array, known as the 4D LF. The rich
information included in 4D LFs enables the viewer to explore the scene from different
perspectives, hence, enhancing depth perception and realism. However, the promise of an
immersive experience comes with challenges that need to be investigated, notably in terms of
processing and editing.
One example of those challenges is to efficiently process/edit 4D LFs by exploiting the
spatio-angular correlations while ensuring spatial accuracy and angular consistency. Therefore,
this Thesis tackles this challenge through several methods that together form a pipeline to
efficiently process/edit 4D LFs. At first, this Thesis proposes an efficient disparity propagation
method that enables computing angularly consistent disparity maps for all LF views.
Afterwards, this Thesis proposes novel over-segmentation methods that rely on disparity maps
as an additional guiding feature to group corresponding pixels across LF views into spatioangular
segments. The over-segmented 4D LFs are then used as an intermediate representation
that enables LF segmentation and facilitates neural style transfer propagation.
In this Thesis, it has been shown that representing 4D LFs based on over-segmentation
allows the usage of classical graph cut and graph neural networks to achieve efficient 4D LF
segmentation. The proposed processing and editing LF methods have shown outperforming
performance in several aspects, such as spatial accuracy and angular consistency.