Loading...
Publication
Application of artificial intelligence to the detection of foreign object debris at aerodromes’ movement area
| Name: | Description: | Size: | Format: | |
|---|---|---|---|---|
| 3.08 MB | Adobe PDF |
Authors
Advisor(s)
Abstract(s)
The present dissertation aims to develop a preliminary low-cost and passive system that detects Foreign Object Debris (FODs) at aerodromes based on computer vision with neural networks. FODs are a twofold problem involving safety risks and high associated costs. Although some systems already exist to detect FODs, these are based on radars, making them expensive.
We build a dataset of images to test the viability of this solution, which other authors have already attempted, but the datasets are not publicly available. Moreover, we build a simplified system architecture to capture the images. In parallel, we develop a software pipeline that starts with image capturing scripts and ends in evaluating the models of neural networks we selected.
The datasets created result from three different electro-optical sensors: visible, near-infrared and long-wave infrared. From the first, resulted a dataset of 9,260 images, 5,672 from the second and 10,388 from the third.
Our approach to this problem is based on supervised learning with image classification and object detection, and we train the models in subsets of the datasets. We choose Xception as the neural network for image classification, achieving a 98.86% accuracy. In the case of object detection, we opt for a single-stage detector – YOLOv3 –, achieving an AP of 91.08%.
Finally, we test the same models on new examples and verify a decrease in their performance to 77.92% accuracy for the classifier and 37.49% AP for the detector.
O objetivo desta dissertação é desenvolver um sistema preliminar de baixo custo e passivo que detete Objetos Estranhos (OEs) em aeródromos baseados em visão computacional com redes neurais. Os FOD apresentam dois problemas que se prendem com riscos de segurança e os elevados custos associados. Embora já existam alguns sistemas para detetar FOD, estes são baseados em radares, tornando-os caros e exigindo uma série de permissões. Para testar a viabilidade desta solução, criamos um banco de imagens, o que já foi tentado por outros autores, mas os respetivos bancos não estão disponíveis ao público. Além disso, construímos uma arquitetura simplificada do sistema para capturar as imagens. Em paralelo, desenvolvemos um pipeline de software que começa pela captura de imagens e termina na avaliação dos modelos de redes neurais que selecionamos. O banco de dados criados são o resultado de três sensores eletro-óticos diferentes: visível, infravermelho próximo e infravermelho de onda longa. Do primeiro, resultou um conjunto de dados de 9,260 imagens, do segundo 5,672 e do terceiro 10,388. A nossa abordagem a este problema baseia-se na aprendizagem supervisionada com classificação de imagens e deteção de objetos e treinamos os modelos em subconjuntos do banco de imagens. Para a classificação, escolhemos a Xception como rede neural, obtendo uma exatidão de 98.86%. No caso da deteção de objetos, optamos por um detetor single-stage – YOLOv3 –, atingindo uma AP de 91.08%. Finalmente, testamos os mesmos modelos em novos exemplos e verificamos uma diminuição do seu desempenho para 77.92% de exatidão para o classificador e 37.49% de AP para o detetor.
O objetivo desta dissertação é desenvolver um sistema preliminar de baixo custo e passivo que detete Objetos Estranhos (OEs) em aeródromos baseados em visão computacional com redes neurais. Os FOD apresentam dois problemas que se prendem com riscos de segurança e os elevados custos associados. Embora já existam alguns sistemas para detetar FOD, estes são baseados em radares, tornando-os caros e exigindo uma série de permissões. Para testar a viabilidade desta solução, criamos um banco de imagens, o que já foi tentado por outros autores, mas os respetivos bancos não estão disponíveis ao público. Além disso, construímos uma arquitetura simplificada do sistema para capturar as imagens. Em paralelo, desenvolvemos um pipeline de software que começa pela captura de imagens e termina na avaliação dos modelos de redes neurais que selecionamos. O banco de dados criados são o resultado de três sensores eletro-óticos diferentes: visível, infravermelho próximo e infravermelho de onda longa. Do primeiro, resultou um conjunto de dados de 9,260 imagens, do segundo 5,672 e do terceiro 10,388. A nossa abordagem a este problema baseia-se na aprendizagem supervisionada com classificação de imagens e deteção de objetos e treinamos os modelos em subconjuntos do banco de imagens. Para a classificação, escolhemos a Xception como rede neural, obtendo uma exatidão de 98.86%. No caso da deteção de objetos, optamos por um detetor single-stage – YOLOv3 –, atingindo uma AP de 91.08%. Finalmente, testamos os mesmos modelos em novos exemplos e verificamos uma diminuição do seu desempenho para 77.92% de exatidão para o classificador e 37.49% de AP para o detetor.
Description
ASPAL/PILAV 140665-F João Miguel Brito de Almeida
Examination Committee
Chairperson: BGEN/ENGINF 099828-B Ana Cristina Domingos de Oliveira Telha
Supervisor: CAP/ENGEL 133004-H Gonçalo Charters Santos Cruz
Co-Supervisor:MAJ/ENGEL 132274-F Tiago Miguel Monteiro de Oliveira
Member of the Committee: Doctor Ricardo Adriano Ribeiro
Keywords
Foreign object debris Computer vision Dataset Image classification Object detection Objetos estranhos Visão computacional Banco de imagens Classificação Deteção de objetos
Citation
Almeida, J. M. B. de. (2022). Application of artificial intelligence to the detection of foreign object debris at aerodromes’ movement area (Dissertation to obtain the Master of Science Degree in Military and Aeronautical Sciences – Aviator Pilot). Academia da Força Aérea [AFA], Sintra.
Publisher
Academia da Força Aérea