Publication
Implementação de um laboratório de Big Data para processamento de dados em batch e streaming
| dc.contributor.author | Dias, Manuel António Nunes | |
| dc.contributor.author | Barbosa, Vítor | |
| dc.contributor.author | Mourão, Hernâni Raul Vergueiro Monteiro Cidade | |
| dc.date.accessioned | 2021-04-09T10:58:12Z | |
| dc.date.available | 2021-04-09T10:58:12Z | |
| dc.date.issued | 2020-02-05 | |
| dc.date.updated | 2021-04-08T16:52:24Z | |
| dc.description | Trabalho apresentado em XXX Jornadas Luso-Espanholas de Gestão Científica, 5-8 fevereiro 2020, Bragança, Portugal | pt_PT |
| dc.description.abstract | Big Data é uma área que pretende proporcionar capacidade de processamento dos dados, face ao crescimento exponencial de informação gerada de dia para dia, através de novas tecnologias para recolha, transformação, processamento e análise de dados provenientes de diversas fontes e em diversos formatos. Os desafios do Big Data são significativos, daí terem surgido diversas tecnologias num curto espaço de tempo, o que torna também desafiante a entrada nesta área de estudo/investigação. Este artigo apresenta um projeto de implementação de um laboratório de Big Data, para processamento de dados históricos e em movimento (streaming), cujo propósito é permitir a utilização/exploração das tecnologias associadas em atividades de ensino e investigação. São apresentadas as tecnologias, a arquitetura implementada e testes de processamento de dados realizados para validação da correta configuração e funcionamento do laboratório. | pt_PT |
| dc.description.abstract | Big Data is a field that aims to provide data processing capacity, facing the exponential growth of information generated daily, through new technologies for collecting, transforming, processing and analysing data from various sources and in various formats. The challenges of Big Data are significant, so many technologies have emerged in a short time, making the entry into this area of study / research challenging as well. This paper presents a project for the implementation of a big data laboratory for processing historical and data in motion (streaming), whose purpose is to allow the use / exploitation of associated technologies in teaching and research activities. The technologies, the implemented architecture and data processing tests performed to validate the correct configuration and operation of the laboratory are presented. | pt_PT |
| dc.description.version | info:eu-repo/semantics/publishedVersion | pt_PT |
| dc.identifier.uri | http://hdl.handle.net/10400.26/36170 | |
| dc.language.iso | por | pt_PT |
| dc.subject | Big Data | pt_PT |
| dc.subject | Fast Data | pt_PT |
| dc.subject | Hadoop | pt_PT |
| dc.subject | Kafka | pt_PT |
| dc.title | Implementação de um laboratório de Big Data para processamento de dados em batch e streaming | pt_PT |
| dc.type | conference object | |
| dspace.entity.type | Publication | |
| oaire.citation.conferencePlace | Portugal | pt_PT |
| oaire.citation.endPage | 86 | pt_PT |
| oaire.citation.startPage | 68 | pt_PT |
| oaire.citation.title | XXX Jornadas Luso-Españolas de Gestión Científica | pt_PT |
| person.familyName | Barbosa | |
| person.familyName | VERGUEIRO MONTEIRO CIDADE MOURÃO | |
| person.givenName | Vítor | |
| person.givenName | HERNÂNI RAUL | |
| person.identifier.ciencia-id | D715-8855-7F5F | |
| person.identifier.ciencia-id | 0210-B5D2-62B5 | |
| person.identifier.orcid | 0000-0002-1641-7834 | |
| person.identifier.rid | O-2318-2016 | |
| person.identifier.scopus-author-id | 55735355600 | |
| rcaap.cv.cienciaid | D715-8855-7F5F | Victor Manuel Meneses Barbosa | |
| rcaap.rights | openAccess | pt_PT |
| rcaap.type | conferenceObject | pt_PT |
| relation.isAuthorOfPublication | eb482ee1-a9d7-4658-aa79-5be790aa90b4 | |
| relation.isAuthorOfPublication | b327145b-804d-4a0d-b3f5-7fee286de027 | |
| relation.isAuthorOfPublication.latestForDiscovery | eb482ee1-a9d7-4658-aa79-5be790aa90b4 |