Loading...
Publication
Stratio AI QA & machine learning testing
| Name: | Description: | Size: | Format: | |
|---|---|---|---|---|
| 2.68 MB | Adobe PDF |
Authors
Advisor(s)
Abstract(s)
Este relatório explica o trabalho realizado durante um estágio de nove meses no
âmbito do Mestrado em Engenharia Informática, com especialização em Análise
Inteligente de Dados, do Instituto Superior de Engenharia de Coimbra. O estágio
decorreu na Stratio Automotive, uma startup localizada no Instituto Pedro Nunes,
cujo foco é a manutenção preditiva de veículos.
Para cumprir esta missão, a empresa usa Artificial Intelligence, recorrendo a modelos
de Machine Learning, para analisar dados provenientes de sensores localizados nos
veículos e detetar comportamentos anómalos ou situações de risco que possam
comprometer o normal funcionamento dos mesmos.
No início do estágio, a Stratio oferecia aos seus clientes uma solução que permitia a
monitorização, a análise e a previsão em tempo real de falhas em veículos pesados.
Atendendo ao ambiente dinâmico e em constante mudança em que os modelos se
inserem, é de supor que a distribuição dos dados que serviram de base ao treino
desses modelos também sofra alterações, podendo deteriorar o seu desempenho ao
longo do tempo. Nesse enquadramento, o trabalho realizado no estágio teve como
objetivo adicionar um módulo de Quality Assurance à pipeline de Artificial
Intelligence da Stratio, integrando um serviço de monitorização de Feature Drift
(alterações das features de entrada decorrentes de variações nos dados), com o intuito
de assegurar que a precisão e a fiabilidade dos modelos se mantenham com o tempo.
Recorrendo à ferramenta open-source Evidently AI foi desenvolvida uma solução que
permite detetar situações de Feature Drift nos modelos, cumprindo requisitos de
escalabilidade para lidar com grandes volumes de dados, compatibilidade com os
modelos já existentes e configurabilidade para ajustes específicos dos mesmos,
encontrando-se atualmente em produção.
Description
Keywords
Artificial intelligence Quality assurance Feature drift monitoring Machine learning Predictive maintenance