A carregar...
Publicação
Predicting video memorability using traditional and incremental approaches
| Nome: | Descrição: | Tamanho: | Formato: | |
|---|---|---|---|---|
| 1.77 MB | Adobe PDF |
Orientador(es)
Resumo(s)
This study investigates the viability of incremental training
as an alternative to traditional training methods for video
memorability prediction, particularly in
hardware-constrained environments. Using the ViViT
model, a transformer-based architecture, the research seeks
to address the primary question of whether incremental
training can provide stable and consistent performance with
reduced computational demands (RQ1). Two experiments
were conducted: one comparing incremental and traditional
training methods and another applying incremental training
to the full dataset. The results indicate that incremental
training is a feasible alternative, offering comparable
performance in error metrics such as Mean Squared Error
(MSE) and Mean Absolute Error (MAE), while
significantly reducing the computational load. However,
incremental training exhibited limitations in ranking
accuracy, as measured by Spearman’s Rank Correlation
(SRC), when compared to traditional methods. The findings
suggest that incremental training can provide a practical
solution for video memorability prediction in
resource-constrained scenarios, but further refinement is
needed to improve its performance in rank-order tasks.
Future work should explore architectural optimizations,
optimizing input configurations, expanding datasets,
incorporating multimodal data, and tuning the ViViT
architecture for better long-range dependency handling.
Este estudo investiga a viabilidade do treino incremental como uma alternativa aos métodos tradicionais de treino para a previsão de memorabilidade de vídeos, particularmente em ambientes com limitações de hardware. Utilizando o modelo ViViT, uma arquitetura baseada em transformers, a pesquisa pretende responder à principal questão de saber se o treino incremental pode fornecer desempenho estável e consistente com menores demandas computacionais (RQ1). Foram realizados duas experiencias: um comparando os métodos de treino incremental e tradicional, e outro aplicando o treino incremental ao conjunto de dados completo. Os resultados indicam que o treino incremental é uma alternativa viável, oferecendo desempenho comparável em métricas de erro como o Erro Quadrático Médio (MSE) e o Erro Absoluto Médio (MAE), enquanto reduz significativamente a carga computacional. No entanto, o treino incremental apresentou limitações na precisão de ordenação, medida pela Correlação de Rank de Spearman (SRC), em comparação com os métodos tradicionais. Os resultados sugerem que o treino incremental pode ser uma solução prática para a previsão de memorabilidade de vídeos em cenários com restrições de recursos, mas refinamentos adicionais são necessários para melhorar o desempenho em tarefas de ordenação. Trabalhos futuros devem explorar otimizações arquiteturais, configurações de entrada, expansão de conjuntos de dados, incorporação de dados multimodais e ajuste da arquitetura ViViT para um melhor manuseio de dependências de longo prazo.
Este estudo investiga a viabilidade do treino incremental como uma alternativa aos métodos tradicionais de treino para a previsão de memorabilidade de vídeos, particularmente em ambientes com limitações de hardware. Utilizando o modelo ViViT, uma arquitetura baseada em transformers, a pesquisa pretende responder à principal questão de saber se o treino incremental pode fornecer desempenho estável e consistente com menores demandas computacionais (RQ1). Foram realizados duas experiencias: um comparando os métodos de treino incremental e tradicional, e outro aplicando o treino incremental ao conjunto de dados completo. Os resultados indicam que o treino incremental é uma alternativa viável, oferecendo desempenho comparável em métricas de erro como o Erro Quadrático Médio (MSE) e o Erro Absoluto Médio (MAE), enquanto reduz significativamente a carga computacional. No entanto, o treino incremental apresentou limitações na precisão de ordenação, medida pela Correlação de Rank de Spearman (SRC), em comparação com os métodos tradicionais. Os resultados sugerem que o treino incremental pode ser uma solução prática para a previsão de memorabilidade de vídeos em cenários com restrições de recursos, mas refinamentos adicionais são necessários para melhorar o desempenho em tarefas de ordenação. Trabalhos futuros devem explorar otimizações arquiteturais, configurações de entrada, expansão de conjuntos de dados, incorporação de dados multimodais e ajuste da arquitetura ViViT para um melhor manuseio de dependências de longo prazo.
Descrição
Palavras-chave
Incremental training Video memorability ViViT Hardware constraints Transformer models