Título
Light field saliency detection using deep learning: A comparative study
Autor
Lima, Ronielson Baptista
Resumo
pt
Salient Object Detection (SOD) despertou um interesse crescente na investigação na última
década, e actualmente se baseia em aprendizagem automática e imagens 2D. Recentemente, imagens
Light Field (LF) apresentam uma alternativa atraente à imagens 2D, devido ao fato que
LF contêm informações abrangente de cenas naturais que beneficiam SOD. A utilização das
imagens LF para melhorar a detecção da saliência em relação às imagens 2D convencionais é
uma tendência emergente. Nos últimos anos, Deep Learning (DL) tem sido dominados pelas
chamadas deep Convolutional Neural Networks (CNNs), que tiram partido da capacidade computacional.
Para imagens 2D, os métodos que utilizam CNNs têm alcançado excelentes resultados
em várias tarefas, incluindo SOD. Contudo, a utilização de métodos baseados em CNNs
para a detecção de saliências em imagens LF não é trivial porque não são explicitamente concebidos
para o processamento de conteúdos LF. Além disso, os conjuntos de dados actuais de
LF não são suficientemente grandes para treinar CNNs a partir do zero. Portanto, nesta dissertação,
analisamos e comparamos a eficiência de cinco modelos existentes para LF SOD que
são baseados em DL. Além disso, propomos um método alternativo baseado em LF que utiliza
imagens LF como entrada para verificar as vantagens de imagem LF em relação à imagem 2D
para a tarefa de SOD. Conduzimos os experimentos em dois conjuntos de dados com diferentes
propriedades para validar os modelos escolhidos assim como o modelo proposto. A análise experimental
mostrou que os modelos baseados em DL utilizando imagens LF superam o modelo
convencional 2D.
en
Salient Object Detection (SOD) has drawn an increasing amount of research interest in
the past decade and is currently heavily based on Machine Learning (ML) and 2D imaging.
Recently, Light Field (LF) imaging became an attractive alternative to 2D imaging due to LF
recording comprehensive information of natural scenes that benefit SOD. Using the LF imaging
instead conventional 2D imaging to improve SOD is, therefore, an emerging trend. Over the past
years, Deep Learning (DL) methods have been dominated by the so-called deep Convolutional
Neural Networks (CNNs), which take advantage of the accompanying advances on computing
power and data availability. For 2D imaging, methods using CNNs have achieved excellent
results at various tasks, including saliency detection. However, using CNN-based methods for
LF-based saliency detection is not trivial because these methods are not, typically, explicitly
designed for processing LF inputs. In addition, current LF datasets are not sufficiently large to
train CNNs from scratch. Therefore, for this dissertation, we analyse and compare the efficiency
of five existing models for LF SOD that are based on DL, using common test conditions. Additionally,
we propose an alternative LF-based method that uses LF images as input to verify the
advantages of LF imaging over 2D imaging for the task of SOD. We conducted the experiments
on two different datasets with different properties to validate all five existing approaches and
our proposed model. Experimental analysis has shown that models based on DL using the LF
imaging outshine the conventional 2D model.