Várias melhorias são aplicadas todos os anos para minimizarem o número de acidentes na aviação civil. Felizmente, estas melhorias têm funcionado bem, reduzindo a quantidade de ocorrências de acidentes. No entanto, enquanto o número de acidentes aéreos causados por falhas mecânicas tem diminuido, o número de acidentes causados por falhas humanas parece ter aumentado. Baseado nisto e para tentar minimizar ou mitigar tais indesejadas situações, o presente trabalho desenvolveu uma arquitetura sensorial e um conjunto de experimentos, trazendo duas diferentes perspectivas focadas no piloto da aeronave através de voos simulados e voluntários possuindo diferentes níveis de conhecimento em procedimentos de voo. Os voos simulados foram executados com o software Flight Simulator–Steam Edition (FSX-SE). As duas soluções propostas são baseadas em: reconhecimento de emoções e análises de ondas beta dos cérebros dos pilotos em voo. Os voluntários do experimento, atuaram como pilotos nos voos simulados ao longo de sete momentos ou tarefas de voo, que foram: decolagem, subida, voo de cruzeiro, descida, aproximação, aproximação final e pouso. Sobre as analises das ondas beta, dados de Eletroencefalografia (EEG) foram considerados e também diversos espectrogramas e medições estatísticas para cada voluntário foram executadas. Os resultados destas análises mostraram que as tarefas de decolagem, aproximação e pouso, corresponderam aos momentos com sinais cerebrais de maiores amplitudes ou em outras palavras, 37.06%–67.33% maiores que as atividades cerebrais das demais tarefas. Quando algum acidente estava prestes a acontecer, as amplitudes cerebrais foram similares a tarefa de aproximação final. Considerando a experiência e autoconfiança dos voluntários em executar os referidos voos. Isto mostrou que as mais altas amplitudes e oscilações observadas dos sinais cerebrais dos voluntários que alegaram serem mais experientes e confiantes foram em média 68.44% menor, comparadas as dos voluntários menos experientes e menos confiantes para executas as mesmas tarefas. Além disso, em geral, voluntários mais experientes e confiantes no experimento, apresentaram diferentes padrões de atividades cerebrais comparadas aos voluntários menos experientes ou com menor familiaridade com simuladores de voo e/ou jogos eletrônicos. Sobre o reconhecimento de emoções, o presente trabalho mostrou que é possível reconhecer emoções de diferentes pilotos em voo, combinando suas emoções sentidas em voo no momento e anteriormente. Para isso, três biosinais foram considerados: EEG, Resistência Galvânica da Pele (RGP) e um sistema cardíaco baseado em Ritmo Cardíaco (RC). A referência para produzir o modelo de reconhecimento de emoções, foi baseada nas intensidades de emoções detectadas das faces dos voluntários pelo software Face Reader. Cinco emoções principais foram consideradas: alegria, tristeza, raiva, surpresa e medo. O reconhecimento das emoções foi baseado em Redes Neurais Artificiais (RNA) e aprendizagem profunda. O Erro Quadrático Médio (EQM) e o Erro Médio Absoluto (EMA) foram os métodos principais usados para medir a qualidade dos múltiplos modelos de regressão criados. Os testes dos múltiplos modelos criados, mostraram que os menores erros de reconhecimento de emoções foram alcançados quando todos os biosinais foram considerados ou quando os dados de RGP foram omitidos do processo de treinamento do modelo. Também mostrou que a emoção surpresa, foi a mais fácil de reconhecer, tendo EQM de 0.13 e EMA médio de 0.01; enquanto que a emoção tristeza, foi a mais difícil de ser reconhecida, apresentando um EQM de 0.82 e EMA médio de 0.08. Quando apenas as emoções faciais com maiores intensidades ao longo do tempo foram consideradas como referência do modelo, a maioria dos acertos estiveram entre 55% e 100%.

Several safety-related improvements are applied every year to try to minimize the number of civil aviation accidents. Fortunately, these improvements work well, reducing the number of accident occurrences. However, while the number of accidents due to mechanical failures has decreased, the number of accidents due to human errors seems to grow. Based on that and to try to minimize or mitigate these unwanted situations, the present work developed a sensing architecture and a set of experiments bringing two different solutions focused on the pilot of the aircraft through of simulates flights and volunteers having different expertise on flight procedures. The flight simulations were executed by the Microsoft Flight Simulator–Steam Edition (FSX-SE). The two proposed solutions are based on: emotion recognition and β-band analysis of pilots’ brain in flight. The volunteers acted like pilots in simulated flights along seven flight moments or tasks i.e. takeoff, climb, cruise flight, descent, approach, final approach, and landing. Regarding to β-band analysis, Electroencephalography (EEG) data were considered and also several spectrogram and statistical measurements of each volunteer were carried out. The results of these analyses shown that the takeoff, approach and landing corresponded to the highest brain signal amplitudes, i.e., close to 37.06%-–67.33% higher than the brain activity of other flight tasks. When some accidents were about to occur, the amplitudes of the brain activities were similar to those of the final approach task. Considered the volunteers’ expertise and their confidence on the proposed flight simulation, it shown that the highest brain amplitudes and oscillations observed of more experienced and confident volunteers were on average close to 68.44% less, compared to less experienced and less confident volunteers in the same tasks. Moreover, in general, more experienced and confident volunteers, presented different patterns of brain activities compared to volunteers with less expertise or less familiarity with fight simulations and/or electronic games. Regarding to emotion recognition, the present work shown that it is possible to recognize emotions of different pilots in flight, combining their actual and previous emotions felt in flight. Three biosignals were considered: Galvanic Skin Response (GSR), cardiac system based on Heart Rate (HR), and EEG. The reference to produce the emotion recognition model was based on the intensities of emotions detected of the volunteers’ faces by the software Face Reader. These biosignals were used to extract the emotions patterns along the flights. Five main emotions were considered: happy, sad, angry, surprise and scared. The emotion recognition was based on Artificial Neural Networks (ANN) and Deep Learning (DL) techniques. The Root Mean Squared Error (RMSE) and Mean Absolute Error (MAE) were the main methods used to measure the quality of the multi-outputted regression models. The tests of the produced multi-output models shown that the lowest recognition errors were reached when all biosignals were considered or when only the GSR datasets were omitted of the model training phase. It also showed that the emotion surprised, was the easiest to recognize, having a mean RMSE of 0.13 and mean MAE of 0.01; while the emotion sad, was the hardest to recognize, having a mean RMSE of 0.82 and mean MAE of 0.08. When only the facial emotions having the higher intensities along the time were considered like model reference, the most matches accuracy were between 55% and 100%.