A carregar...
Publicação
A data analysis and visualization framework to support the design of digital solution for the sea & dry ports
| Nome: | Descrição: | Tamanho: | Formato: | |
|---|---|---|---|---|
| 1.23 MB | Adobe PDF |
Autores
Orientador(es)
Resumo(s)
O setor global de transporte marítimo de contentores, que se provou ser um pilar do comércio internacional, gera quantidades consideráveis de dados operacionais. No entanto, os portos marítimos frequentemente enfrentam dificuldades para transformar esses dados brutos em informações úteis devido a sistemas isolados e à falta de ferramentas integradas de monitoramento em tempo real. Esta pesquisa aborda a lacuna crítica na tomada de decisões baseada em dados para operadores portuários, projetando a implementação e validação de um pipeline totalmente automatizado para o monitoramento de Indicadores-Chave de Desempenho (KPIs). A metodologia envolveu um processo estruturado de curadoria de dados aplicado a um conjunto de dados de 341.408 registos brutos de movimentação de contentores de um terminal importante. Esse processo incluiu a remoção de dados duplicado, o tratamento de valores ausentes preenchidos como ("Desconhecido"), a padronização de data e hora e a filtragem, resultando em um conjunto de dados limpo e validado de 319.614 registos. Um banco de dados PostgreSQL serviu como data warehouse otimizado, com visualizações materializadas pré-computando os principais KPIs. Os dados processados foram visualizados por meio de um painel interativo construído no Metabase, apresentando 12 cartões distintos que monitoram métricas como movimentação total de contentores, duração média de armazenamento, uso do modo de transporte e atividade do terminal. ETL (Extração, Transformação e Carregar) baseado em Python reduziu o conjunto de dados em 6,4% por meio da limpeza, a camada de banco de dados possibilitou consultas eficientes e o painel do Metabase forneceu aos stakeholders uma visão intuitiva e em tempo real das operações. O sistema foi conteinerizado usando Docker para implantação portátil e automatizado via agendamento cron. Este trabalho contribui com uma estrutura prática e escalável para análise logística portuária, indo além de modelos teóricos para uma solução implementada. Ele comprova que a curadoria e a visualização automatizadas de dados podem aprimorar significativamente a visibilidade operacional. Trabalhos futuros se concentrarão na integração de fluxos de dados em tempo real e análises preditivas para fazer a transição do monitoramento descritivo para o prescritivo.
The global container shipping industry, has proven to be a cornerstone of international trade, generates sizable amounts of operational data. However, seaports often struggle to transform this raw data into actionable insights due to siloed systems and a lack of integrated, real-time monitoring tools. This research addresses the critical gap in data-driven decision-making for port operators by designing, implementing, and validating a fully automated pipeline for Key Performance Indicator (KPI) monitoring. The methodology involved a structured data curation process applied to a dataset of 341,408 raw container movement records from a major terminal. This process included deduplication, handling of missing values (filled with Unknown), datetime standardization, and filtering, resulting in a cleaned and validated dataset of 319,614 records. A PostgreSQL database served as the optimized data warehouse, with materialized views pre-computing core KPIs. The processed data was visualized through an interactive dashboard built in Metabase, featuring 12 distinct cards that monitor metrics such as total movements, average storage duration, transport mode usage, and terminal activity. The results demonstrate a successful end-to-end integration: the Python-based ETL (Extract, Transform, Load) pipeline reduced the dataset by 6.4% through cleaning, the database layer enabled efficient querying, and the Metabase dashboard provided stakeholders with an intuitive, real-time view of operations. The system was containerized using Docker for portable deployment and automated via cron scheduling. This work contributes a practical, scalable framework for port logistics analytics, moving beyond theoretical models to a deployed solution. It proves that automated data curation and visualization can significantly enhance operational visibility. Future work will focus on integrating real-time data streams and predictive analytics to transition from descriptive to prescriptive monitoring.
The global container shipping industry, has proven to be a cornerstone of international trade, generates sizable amounts of operational data. However, seaports often struggle to transform this raw data into actionable insights due to siloed systems and a lack of integrated, real-time monitoring tools. This research addresses the critical gap in data-driven decision-making for port operators by designing, implementing, and validating a fully automated pipeline for Key Performance Indicator (KPI) monitoring. The methodology involved a structured data curation process applied to a dataset of 341,408 raw container movement records from a major terminal. This process included deduplication, handling of missing values (filled with Unknown), datetime standardization, and filtering, resulting in a cleaned and validated dataset of 319,614 records. A PostgreSQL database served as the optimized data warehouse, with materialized views pre-computing core KPIs. The processed data was visualized through an interactive dashboard built in Metabase, featuring 12 distinct cards that monitor metrics such as total movements, average storage duration, transport mode usage, and terminal activity. The results demonstrate a successful end-to-end integration: the Python-based ETL (Extract, Transform, Load) pipeline reduced the dataset by 6.4% through cleaning, the database layer enabled efficient querying, and the Metabase dashboard provided stakeholders with an intuitive, real-time view of operations. The system was containerized using Docker for portable deployment and automated via cron scheduling. This work contributes a practical, scalable framework for port logistics analytics, moving beyond theoretical models to a deployed solution. It proves that automated data curation and visualization can significantly enhance operational visibility. Future work will focus on integrating real-time data streams and predictive analytics to transition from descriptive to prescriptive monitoring.
Descrição
Palavras-chave
Pipeline de dados Monitoramento de KPIs Logística portuária Curadoria de dados Painel de controle Metabase PostgreSQL Operações de terminais de contentores Automação Data Pipeline KPI Monitoring Seaport Logistics Data Curation Dashboard Container Terminal Operations Automation