Application of artificial intelligence to the detection of foreign object debris at aerodromes’ movement area

Almeida, João Miguel Brito de

Publication

Application of artificial intelligence to the detection of foreign object debris at aerodromes’ movement area

2022-07Master thesis

dc.contributor.author	Almeida, João Miguel Brito de
dc.date.accessioned	2024-05-08T10:16:59Z
dc.date.available	2024-05-08T10:16:59Z
dc.date.issued	2022-07
dc.description	ASPAL/PILAV 140665-F João Miguel Brito de Almeida Examination Committee Chairperson: BGEN/ENGINF 099828-B Ana Cristina Domingos de Oliveira Telha Supervisor: CAP/ENGEL 133004-H Gonçalo Charters Santos Cruz Co-Supervisor:MAJ/ENGEL 132274-F Tiago Miguel Monteiro de Oliveira Member of the Committee: Doctor Ricardo Adriano Ribeiro	pt_PT
dc.description.abstract	The present dissertation aims to develop a preliminary low-cost and passive system that detects Foreign Object Debris (FODs) at aerodromes based on computer vision with neural networks. FODs are a twofold problem involving safety risks and high associated costs. Although some systems already exist to detect FODs, these are based on radars, making them expensive. We build a dataset of images to test the viability of this solution, which other authors have already attempted, but the datasets are not publicly available. Moreover, we build a simplified system architecture to capture the images. In parallel, we develop a software pipeline that starts with image capturing scripts and ends in evaluating the models of neural networks we selected. The datasets created result from three different electro-optical sensors: visible, near-infrared and long-wave infrared. From the first, resulted a dataset of 9,260 images, 5,672 from the second and 10,388 from the third. Our approach to this problem is based on supervised learning with image classification and object detection, and we train the models in subsets of the datasets. We choose Xception as the neural network for image classification, achieving a 98.86% accuracy. In the case of object detection, we opt for a single-stage detector – YOLOv3 –, achieving an AP of 91.08%. Finally, we test the same models on new examples and verify a decrease in their performance to 77.92% accuracy for the classifier and 37.49% AP for the detector.	pt_PT
dc.description.abstract	O objetivo desta dissertação é desenvolver um sistema preliminar de baixo custo e passivo que detete Objetos Estranhos (OEs) em aeródromos baseados em visão computacional com redes neurais. Os FOD apresentam dois problemas que se prendem com riscos de segurança e os elevados custos associados. Embora já existam alguns sistemas para detetar FOD, estes são baseados em radares, tornando-os caros e exigindo uma série de permissões. Para testar a viabilidade desta solução, criamos um banco de imagens, o que já foi tentado por outros autores, mas os respetivos bancos não estão disponíveis ao público. Além disso, construímos uma arquitetura simplificada do sistema para capturar as imagens. Em paralelo, desenvolvemos um pipeline de software que começa pela captura de imagens e termina na avaliação dos modelos de redes neurais que selecionamos. O banco de dados criados são o resultado de três sensores eletro-óticos diferentes: visível, infravermelho próximo e infravermelho de onda longa. Do primeiro, resultou um conjunto de dados de 9,260 imagens, do segundo 5,672 e do terceiro 10,388. A nossa abordagem a este problema baseia-se na aprendizagem supervisionada com classificação de imagens e deteção de objetos e treinamos os modelos em subconjuntos do banco de imagens. Para a classificação, escolhemos a Xception como rede neural, obtendo uma exatidão de 98.86%. No caso da deteção de objetos, optamos por um detetor single-stage – YOLOv3 –, atingindo uma AP de 91.08%. Finalmente, testamos os mesmos modelos em novos exemplos e verificamos uma diminuição do seu desempenho para 77.92% de exatidão para o classificador e 37.49% de AP para o detetor.	pt_PT
dc.description.version	N/A	pt_PT
dc.identifier.citation	Almeida, J. M. B. de. (2022). Application of artificial intelligence to the detection of foreign object debris at aerodromes’ movement area (Dissertation to obtain the Master of Science Degree in Military and Aeronautical Sciences – Aviator Pilot). Academia da Força Aérea [AFA], Sintra.	pt_PT
dc.identifier.uri	http://hdl.handle.net/10400.26/50788
dc.language.iso	eng	pt_PT
dc.publisher	Academia da Força Aérea	pt_PT
dc.rights.uri	http://creativecommons.org/licenses/by-nc/4.0/	pt_PT
dc.subject	Foreign object debris	pt_PT
dc.subject	Computer vision	pt_PT
dc.subject	Dataset	pt_PT
dc.subject	Image classification	pt_PT
dc.subject	Object detection	pt_PT
dc.subject	Objetos estranhos	pt_PT
dc.subject	Visão computacional	pt_PT
dc.subject	Banco de imagens	pt_PT
dc.subject	Classificação	pt_PT
dc.subject	Deteção de objetos	pt_PT
dc.title	Application of artificial intelligence to the detection of foreign object debris at aerodromes’ movement area	pt_PT
dc.title.alternative	Aplicação de inteligência artificial na detecção de detritos de objetos estranhos na área de movimentação de aeródromos	pt_PT
dc.type	master thesis
dspace.entity.type	Publication
oaire.citation.conferencePlace	Sintra	pt_PT
rcaap.rights	openAccess	pt_PT
rcaap.type	masterThesis	pt_PT