Repository logo
 
Publication

Implementação de um laboratório de Big Data para processamento de dados em batch e streaming

dc.contributor.authorDias, Manuel António Nunes
dc.contributor.authorBarbosa, Vítor
dc.contributor.authorMourão, Hernâni Raul Vergueiro Monteiro Cidade
dc.date.accessioned2021-04-09T10:58:12Z
dc.date.available2021-04-09T10:58:12Z
dc.date.issued2020-02-05
dc.date.updated2021-04-08T16:52:24Z
dc.descriptionTrabalho apresentado em XXX Jornadas Luso-Espanholas de Gestão Científica, 5-8 fevereiro 2020, Bragança, Portugalpt_PT
dc.description.abstractBig Data é uma área que pretende proporcionar capacidade de processamento dos dados, face ao crescimento exponencial de informação gerada de dia para dia, através de novas tecnologias para recolha, transformação, processamento e análise de dados provenientes de diversas fontes e em diversos formatos. Os desafios do Big Data são significativos, daí terem surgido diversas tecnologias num curto espaço de tempo, o que torna também desafiante a entrada nesta área de estudo/investigação. Este artigo apresenta um projeto de implementação de um laboratório de Big Data, para processamento de dados históricos e em movimento (streaming), cujo propósito é permitir a utilização/exploração das tecnologias associadas em atividades de ensino e investigação. São apresentadas as tecnologias, a arquitetura implementada e testes de processamento de dados realizados para validação da correta configuração e funcionamento do laboratório.pt_PT
dc.description.abstractBig Data is a field that aims to provide data processing capacity, facing the exponential growth of information generated daily, through new technologies for collecting, transforming, processing and analysing data from various sources and in various formats. The challenges of Big Data are significant, so many technologies have emerged in a short time, making the entry into this area of study / research challenging as well. This paper presents a project for the implementation of a big data laboratory for processing historical and data in motion (streaming), whose purpose is to allow the use / exploitation of associated technologies in teaching and research activities. The technologies, the implemented architecture and data processing tests performed to validate the correct configuration and operation of the laboratory are presented.pt_PT
dc.description.versioninfo:eu-repo/semantics/publishedVersionpt_PT
dc.identifier.urihttp://hdl.handle.net/10400.26/36170
dc.language.isoporpt_PT
dc.subjectBig Datapt_PT
dc.subjectFast Datapt_PT
dc.subjectHadooppt_PT
dc.subjectKafkapt_PT
dc.titleImplementação de um laboratório de Big Data para processamento de dados em batch e streamingpt_PT
dc.typeconference object
dspace.entity.typePublication
oaire.citation.conferencePlacePortugalpt_PT
oaire.citation.endPage86pt_PT
oaire.citation.startPage68pt_PT
oaire.citation.titleXXX Jornadas Luso-Españolas de Gestión Científicapt_PT
person.familyNameBarbosa
person.familyNameVERGUEIRO MONTEIRO CIDADE MOURÃO
person.givenNameVítor
person.givenNameHERNÂNI RAUL
person.identifier.ciencia-idD715-8855-7F5F
person.identifier.ciencia-id0210-B5D2-62B5
person.identifier.orcid0000-0002-1641-7834
person.identifier.ridO-2318-2016
person.identifier.scopus-author-id55735355600
rcaap.cv.cienciaidD715-8855-7F5F | Victor Manuel Meneses Barbosa
rcaap.rightsopenAccesspt_PT
rcaap.typeconferenceObjectpt_PT
relation.isAuthorOfPublicationeb482ee1-a9d7-4658-aa79-5be790aa90b4
relation.isAuthorOfPublicationb327145b-804d-4a0d-b3f5-7fee286de027
relation.isAuthorOfPublication.latestForDiscoveryeb482ee1-a9d7-4658-aa79-5be790aa90b4

Files

Original bundle
Now showing 1 - 1 of 1
Loading...
Thumbnail Image
Name:
JLE2020_PT_LabBigData_Repo.pdf
Size:
1.16 MB
Format:
Adobe Portable Document Format
License bundle
Now showing 1 - 1 of 1
No Thumbnail Available
Name:
license.txt
Size:
1.89 KB
Format:
Item-specific license agreed upon to submission
Description: