Real-time data analytic platform

Carvalho, Dany Fajardo

http://hdl.handle.net/10400.26/44909

Use this identifier to reference this record.

Name:	Description:	Size:	Format:
Dany-Fajardo-Carvalho.pdf		5.34 MB	Adobe PDF	Download

Send Feedback

Authors

Carvalho, Dany Fajardo

Advisor(s)

Marinho, José Manuel Meireles

Abstract(s)

Atualmente, o mundo dos dados está a crescer, sobretudo nas áreas de Data Science e Data Engineering. A análise de dados, tem-se tornado cada vez mais relevante para obter um conhecimento mais profundo sobre uma determinada empresa e representa uma oportunidade de negócio, precisamente devido à emergente presença de dados derivados da Inteligência Artificial, Internet of Things (IoT), social media e componentes de software/hardware. De modo a processar, analisar e distribuir estes dados num curto espaço de tempo, o tem ganho popularidade e as plataformas de análise de dados em tempo real começaram a surgir, colocando de lado os tradicionais processamentos de dados por lotes. De facto, para desenvolver uma plataforma de análise de dados, em tempo real ou não, as arquiteturas de Big Data e os seus componentes tornaram-se essenciais. As arquiteturas de Big Data existentes, Lambda e Kappa, são suportadas por vários componentes, oferecendo a oportunidade de explorar as suas funcionalidades para desenvolver plataformas de análise de dados em tempo real. Ao implementar este tipo de soluções, surge, por vezes, a questão sob qual das arquiteturas será a mais adequada a um determinado tipo de negócio. Neste relatório de estágio, é demonstrada a análise e conclusões sobre uma possível correlação entre os tipos de negócio e quais as soluções de análise de dados mais adequadas para os suportar. Ao longo deste documento, é ainda ponderada a possibilidade de desenvolver uma plataforma de análise de dados em tempo real, genérica o suficiente, para ser aplicável em qualquer tipo de negócio, reduzindo significativamente os custos de desenvolvimento e implementação. Neste contexto, são examinadas as arquiteturas Lambda e Kappa, por forma a entender se são suficientemente universais para essa possibilidade ou se é viável uma personalização baseada nos seus componentes. De modo a comprovar se qualquer uma destas arquiteturas de é implementável numa plataforma genérica de análise de dados em tempo real, o relatório também descreve o desenvolvimento de um caso de uso específico baseado na arquitetura Kappa.