Loading...
Publication
Implementação de um laboratório de Big Data para processamento de dados em batch e streaming
| Name: | Description: | Size: | Format: | |
|---|---|---|---|---|
| 1.16 MB | Adobe PDF |
Advisor(s)
Abstract(s)
Big Data é uma área que pretende proporcionar capacidade de processamento dos
dados, face ao crescimento exponencial de informação gerada de dia para dia, através de novas
tecnologias para recolha, transformação, processamento e análise de dados provenientes de
diversas fontes e em diversos formatos. Os desafios do Big Data são significativos, daí terem
surgido diversas tecnologias num curto espaço de tempo, o que torna também desafiante a entrada
nesta área de estudo/investigação. Este artigo apresenta um projeto de implementação de um
laboratório de Big Data, para processamento de dados históricos e em movimento (streaming), cujo
propósito é permitir a utilização/exploração das tecnologias associadas em atividades de ensino e
investigação. São apresentadas as tecnologias, a arquitetura implementada e testes de
processamento de dados realizados para validação da correta configuração e funcionamento do
laboratório.
Big Data is a field that aims to provide data processing capacity, facing the exponential growth of information generated daily, through new technologies for collecting, transforming, processing and analysing data from various sources and in various formats. The challenges of Big Data are significant, so many technologies have emerged in a short time, making the entry into this area of study / research challenging as well. This paper presents a project for the implementation of a big data laboratory for processing historical and data in motion (streaming), whose purpose is to allow the use / exploitation of associated technologies in teaching and research activities. The technologies, the implemented architecture and data processing tests performed to validate the correct configuration and operation of the laboratory are presented.
Big Data is a field that aims to provide data processing capacity, facing the exponential growth of information generated daily, through new technologies for collecting, transforming, processing and analysing data from various sources and in various formats. The challenges of Big Data are significant, so many technologies have emerged in a short time, making the entry into this area of study / research challenging as well. This paper presents a project for the implementation of a big data laboratory for processing historical and data in motion (streaming), whose purpose is to allow the use / exploitation of associated technologies in teaching and research activities. The technologies, the implemented architecture and data processing tests performed to validate the correct configuration and operation of the laboratory are presented.
Description
Trabalho apresentado em XXX Jornadas Luso-Espanholas de Gestão Científica, 5-8 fevereiro 2020, Bragança, Portugal
Keywords
Big Data Fast Data Hadoop Kafka