Publicação
Peeking nos testes A/B: estado da arte e estudos de simulação
| dc.contributor.advisor | Viseu, Clara Margarida Pisco | |
| dc.contributor.advisor | Leite, Joana Jorge de Queiroz | |
| dc.contributor.advisor | ||
| dc.contributor.author | Romão, Joana Morais Sarmento Batista | |
| dc.date.accessioned | 2026-06-03T16:09:41Z | |
| dc.date.available | 2026-06-03T16:09:41Z | |
| dc.date.issued | 2025-12-15 | |
| dc.description.abstract | Os testes A/B têm vindo cada vez mais a afirmar-se como uma ferramenta essencial, no meio empresarial, tendo em vista a melhoria contínua de produtos e serviços. Contudo, o ambiente digital onde estes têm sido implementados, tem evidenciado alguns desafios que lhes são inerentes como o problema do peeking associado ao early stopping. Esta problemática decorre da monitorização contínua dos resultados e visa interromper o teste antes deste ter terminado, o que pode levar a tomadas de decisão erradas com prejuízos significativos. A presente investigação tem, assim, como principais objetivos explorar os testes A/B, em particular, o problema do peeking que lhes está associado e desenvolver estudos de simulação para demonstrar este problema, impacto e eficácia de abordagens que permitem mitigá-lo. Para tal, conduziu-se uma revisão sistemática de literatura e realizaram-se estudos de simulação em Python, com dados gerados artificialmente, para mostrar a importância de analisar esta prática problemática, o seu impacto e métodos que o mitigam. Os resultados da revisão sistemática de literatura mostraram que esta prática de peeking é problemática quando existe a intenção de parar antecipadamente o teste, atendendo às consequências estatísticas evidentes, sobretudo quando utilizados métodos inadequados num contexto de monitorização contínua. Foi ainda possível identificar uma variedade de abordagens que permitem mitigar o seu impacto. Nos estudos de simulação, ao utilizar testes estatísticos tradicionais, que exigem que a amostra esteja completa para serem aplicados, a questão do peeking ficou evidente quando se faz early stopping, dado um aumento da taxa de erro de tipo I em cerca de 18%. Mesmo ao aplicar abordagens que minimizam o seu impacto, como as funções alpha spending, que ajustam o nível de significância, é necessário fazê-lo com consciência e cautela, visto que estas não o solucionam este problema. Esta investigação mostra a importância da sensibilização de profissionais para os riscos do peeking e da formação estatística para a implementação responsável dos testes A/B. | por |
| dc.identifier.tid | 204138108 | |
| dc.identifier.uri | http://hdl.handle.net/10400.26/63523 | |
| dc.language.iso | por | |
| dc.rights.uri | http://creativecommons.org/licenses/by-nc-nd/4.0/ | |
| dc.subject | testes A/B | |
| dc.subject | peeking | |
| dc.subject | early stopping | |
| dc.subject | erro de tipo I | |
| dc.subject | funções alpha spending | |
| dc.title | Peeking nos testes A/B: estado da arte e estudos de simulação | por |
| dc.type | master thesis | |
| dspace.entity.type | Publication | |
| thesis.degree.name | Mestrado em Análise de Dados e Sistemas de Apoio à Decisão |