A carregar...
Publicação
Interference and distortion as portals towards alternative creative cues in dance-making
| Nome: | Descrição: | Tamanho: | Formato: | |
|---|---|---|---|---|
| 1.17 MB | Adobe PDF |
Autores
Orientador(es)
Resumo(s)
This thesis explores the synthesis of creating dance sequences using two different data representation approach and creating a machine learning model that suits the data. One of the models is trained on image data and the other on keyPoint data. Both models were trained on the same video of a one-hour dance performance, with the aim of comparing their effectiveness in generating realistic and expressive movements. The image-based model captures the dancer's visual features, while the keyPoint-based model performed well on learning the skeletal structure and core body movements. By analysing the performance of each model in terms of motion accuracy and temporal coherence, smoothness, and visual effects, this research provides insights into the strengths and weaknesses of both approaches. The study reveals how each model can be used to address different challenges in dance generation, offering a comprehensive evaluation of the trade-offs between visual richness and motion abstraction. The findings have potential applications in fields such as animation, virtual reality, and digital choreography, where the generation of realistic human motion is crucial. The study also paves the way for future research in integrating multimodal data for more sophisticated dance generation systems. In view of this, the project also shows the usefulness of the LSTM in sequences generation.
Esta tese explora a síntese da criação de sequências de dança utilizando duas abordagens diferentes de representação de dados e a criação de um modelo de aprendizagem automática adequado aos dados. Um dos modelos é treinado em dados de imagem e o outro em dados de pontos-chave. Ambos os modelos foram treinados no mesmo vídeo de uma apresentação de dança de uma hora, com o objetivo de comparar a sua eficácia na geração de movimentos realistas e expressivos. O modelo baseado em imagens capta as características visuais do bailarino, enquanto o modelo baseado em pontos-chave teve um bom desempenho na aprendizagem da estrutura esquelética e dos movimentos corporais centrais. Ao analisar o desempenho de cada modelo em termos de precisão de movimento e coerência temporal, suavidade e efeitos visuais, esta pesquisa fornece insights sobre os pontos fortes e fracos de ambas as abordagens. O estudo revela como cada modelo pode ser utilizado para enfrentar diferentes desafios na geração de dança, oferecendo uma avaliação abrangente dos compromissos entre a riqueza visual e a abstração de movimento. As descobertas têm potenciais aplicações em áreas como a animação, a realidade virtual e a coreografia digital, onde a geração de movimentos humanos realistas é crucial. O estudo também abre caminho para futuras pesquisas na integração de dados multimodais para sistemas de geração de dança mais sofisticados. Perante isto, o projeto mostra também a utilidade do LSTM na geração de sequências.
Esta tese explora a síntese da criação de sequências de dança utilizando duas abordagens diferentes de representação de dados e a criação de um modelo de aprendizagem automática adequado aos dados. Um dos modelos é treinado em dados de imagem e o outro em dados de pontos-chave. Ambos os modelos foram treinados no mesmo vídeo de uma apresentação de dança de uma hora, com o objetivo de comparar a sua eficácia na geração de movimentos realistas e expressivos. O modelo baseado em imagens capta as características visuais do bailarino, enquanto o modelo baseado em pontos-chave teve um bom desempenho na aprendizagem da estrutura esquelética e dos movimentos corporais centrais. Ao analisar o desempenho de cada modelo em termos de precisão de movimento e coerência temporal, suavidade e efeitos visuais, esta pesquisa fornece insights sobre os pontos fortes e fracos de ambas as abordagens. O estudo revela como cada modelo pode ser utilizado para enfrentar diferentes desafios na geração de dança, oferecendo uma avaliação abrangente dos compromissos entre a riqueza visual e a abstração de movimento. As descobertas têm potenciais aplicações em áreas como a animação, a realidade virtual e a coreografia digital, onde a geração de movimentos humanos realistas é crucial. O estudo também abre caminho para futuras pesquisas na integração de dados multimodais para sistemas de geração de dança mais sofisticados. Perante isto, o projeto mostra também a utilidade do LSTM na geração de sequências.
Descrição
Palavras-chave
KeyPoints LSTM Image-based data MSE Dance Creation