Publication
Real-time data analytic platform
| dc.contributor.advisor | Marinho, José Manuel Meireles | |
| dc.contributor.author | Carvalho, Dany Fajardo | |
| dc.date.accessioned | 2023-05-26T14:54:19Z | |
| dc.date.available | 2023-05-26T14:54:19Z | |
| dc.date.issued | 2021-04-15 | |
| dc.date.submitted | 2020-12-16 | |
| dc.description.abstract | Atualmente, o mundo dos dados está a crescer, sobretudo nas áreas de Data Science e Data Engineering. A análise de dados, tem-se tornado cada vez mais relevante para obter um conhecimento mais profundo sobre uma determinada empresa e representa uma oportunidade de negócio, precisamente devido à emergente presença de dados derivados da Inteligência Artificial, Internet of Things (IoT), social media e componentes de software/hardware. De modo a processar, analisar e distribuir estes dados num curto espaço de tempo, o tem ganho popularidade e as plataformas de análise de dados em tempo real começaram a surgir, colocando de lado os tradicionais processamentos de dados por lotes. De facto, para desenvolver uma plataforma de análise de dados, em tempo real ou não, as arquiteturas de Big Data e os seus componentes tornaram-se essenciais. As arquiteturas de Big Data existentes, Lambda e Kappa, são suportadas por vários componentes, oferecendo a oportunidade de explorar as suas funcionalidades para desenvolver plataformas de análise de dados em tempo real. Ao implementar este tipo de soluções, surge, por vezes, a questão sob qual das arquiteturas será a mais adequada a um determinado tipo de negócio. Neste relatório de estágio, é demonstrada a análise e conclusões sobre uma possível correlação entre os tipos de negócio e quais as soluções de análise de dados mais adequadas para os suportar. Ao longo deste documento, é ainda ponderada a possibilidade de desenvolver uma plataforma de análise de dados em tempo real, genérica o suficiente, para ser aplicável em qualquer tipo de negócio, reduzindo significativamente os custos de desenvolvimento e implementação. Neste contexto, são examinadas as arquiteturas Lambda e Kappa, por forma a entender se são suficientemente universais para essa possibilidade ou se é viável uma personalização baseada nos seus componentes. De modo a comprovar se qualquer uma destas arquiteturas de é implementável numa plataforma genérica de análise de dados em tempo real, o relatório também descreve o desenvolvimento de um caso de uso específico baseado na arquitetura Kappa. | pt_PT |
| dc.identifier.tid | 203003454 | pt_PT |
| dc.identifier.uri | http://hdl.handle.net/10400.26/44909 | |
| dc.language.iso | eng | pt_PT |
| dc.subject | Streaming | pt_PT |
| dc.subject | Big data | pt_PT |
| dc.subject | Arquitetura Kappa | pt_PT |
| dc.title | Real-time data analytic platform | pt_PT |
| dc.type | master thesis | |
| dspace.entity.type | Publication | |
| rcaap.rights | openAccess | pt_PT |
| rcaap.type | masterThesis | pt_PT |