Loading...
Publication
An evaluation of deep reinforcement learning & neuroevolution in stealth game problems
| Name: | Description: | Size: | Format: | |
|---|---|---|---|---|
| 188.07 KB | Adobe PDF | |||
| 5.23 MB | Adobe PDF |
Advisor(s)
Abstract(s)
Deep learning (DL) is a rapidly evolving field with the potential to revolutionize the videogame industry. While there have been efforts by game companies to research DL approaches to game implementation, very little has been used in the industry. One of the main reasons is the lack of diversity in the game genres to which these algorithms are tested and applied to.
Stealth games are one of the most popular gaming genres, characterized by the need to balance both states of sneaking and detection. Within this genre, game designers have traditionally relied on quality assurance testers to understand how players interact with stealth levels, which can be a time-consuming process. Potentially DL could be used to facilitate the game development processes and make them more cost-effective.
This project aims to investigate whether DL can be used in game development, particularly in stealth games. As such, the project will focus on developing diverse stealth game environments, optimizing DL algorithms for these environments, comparing different DL algorithms, and measuring the computational cost of these algorithms.
To achieve the stated objectives, the project follows a structured methodology: developing diverse stealth game scenarios, implementing state-of-the-art DL models, conducting hyperparameter tuning, performing performance evaluation, and conducting computational benchmarking.
The results obtained from following this methodology show that in most cases, the implemented DL algorithms were able to learn all the different stealth game levels, indicating the strength and flexibility of the implemented algorithms. Also, a deeper evaluation of the algorithm's performance showed clear distinctions into which DL algorithms provided better performances, namely the Rainbow-DQN algorithm within the deep reinforcement learning and GA algorithm for neuroevolution.
Regardless of the successful results, further research is needed to better comprehend the possibilities that the DL techniques can offer to game development in the context of stealth games.
A aprendizagem profunda (AP) é um campo em rápida evolução com potencial para revolucionar a indústria de videojogos. Embora as empresas de jogos tenham feito esforços para desenvolver diversas abordagens de implementação em jogos com recurso à AP, é uma metodologia pouco utilizada na indústria. Uma das principais razões é a falta de diversidade nos géneros de jogos aos quais esses algoritmos são testados e aplicados. Os jogos furtivos são um dos géneros de jogos mais populares, caracterizados pela necessidade de equilibrar entre ações de fuga e deteção. Dentro deste género, os programadores de jogos recorrem a testes de garantia de qualidade para entender como é que os jogadores interagem com os diferentes níveis furtivos, o que torna o processo demorado. Potencialmente, a AP poderia ser usada para facilitar os processos de desenvolvimento de jogos e torná-los mais eficientes. A presente dissertação visa investigar se a AP pode ser usada no desenvolvimento de jogos, particularmente em jogos furtivos. Como tal, o projeto foca-se no desenvolvimento de diversos ambientes de jogos de furtivos, otimizando algoritmos de AP para esses ambientes, comparando diferentes algoritmos de AP e medindo o custo computacional desses algoritmos. Para alcançar os objetivos definidos, o projeto apresenta a seguinte metodologia: desenvolvimento de diversos cenários de jogos furtivos, implementação de modelos de AP de última geração, realização de ajuste de hiperparâmetros, avaliação de desempenho e realização de benchmarking computacional. Os resultados obtidos mostram que, na maioria dos casos, os algoritmos de AP implementados foram capazes de aprender os diferentes níveis de jogos furtivos, demonstrando a plasticidade e adaptabilidade dos algoritmos implementados. Além disso, uma avaliação mais profunda de desempenho dos algoritmos mostrou distinções claras sobre quais algoritmos de AP com melhores desempenho, nomeadamente o algoritmo Rainbow-DQN dentro da aprendizagem por reforço profundo e o algoritmo GA para neuroevolução. Apesar dos resultados bem-sucedidos, é necessária uma pesquisa mais profunda de modo a compreender melhor as possibilidades que as técnicas de AP podem oferecer no desenvolvimento de videojogos, dentro do género de jogos furtivos.
A aprendizagem profunda (AP) é um campo em rápida evolução com potencial para revolucionar a indústria de videojogos. Embora as empresas de jogos tenham feito esforços para desenvolver diversas abordagens de implementação em jogos com recurso à AP, é uma metodologia pouco utilizada na indústria. Uma das principais razões é a falta de diversidade nos géneros de jogos aos quais esses algoritmos são testados e aplicados. Os jogos furtivos são um dos géneros de jogos mais populares, caracterizados pela necessidade de equilibrar entre ações de fuga e deteção. Dentro deste género, os programadores de jogos recorrem a testes de garantia de qualidade para entender como é que os jogadores interagem com os diferentes níveis furtivos, o que torna o processo demorado. Potencialmente, a AP poderia ser usada para facilitar os processos de desenvolvimento de jogos e torná-los mais eficientes. A presente dissertação visa investigar se a AP pode ser usada no desenvolvimento de jogos, particularmente em jogos furtivos. Como tal, o projeto foca-se no desenvolvimento de diversos ambientes de jogos de furtivos, otimizando algoritmos de AP para esses ambientes, comparando diferentes algoritmos de AP e medindo o custo computacional desses algoritmos. Para alcançar os objetivos definidos, o projeto apresenta a seguinte metodologia: desenvolvimento de diversos cenários de jogos furtivos, implementação de modelos de AP de última geração, realização de ajuste de hiperparâmetros, avaliação de desempenho e realização de benchmarking computacional. Os resultados obtidos mostram que, na maioria dos casos, os algoritmos de AP implementados foram capazes de aprender os diferentes níveis de jogos furtivos, demonstrando a plasticidade e adaptabilidade dos algoritmos implementados. Além disso, uma avaliação mais profunda de desempenho dos algoritmos mostrou distinções claras sobre quais algoritmos de AP com melhores desempenho, nomeadamente o algoritmo Rainbow-DQN dentro da aprendizagem por reforço profundo e o algoritmo GA para neuroevolução. Apesar dos resultados bem-sucedidos, é necessária uma pesquisa mais profunda de modo a compreender melhor as possibilidades que as técnicas de AP podem oferecer no desenvolvimento de videojogos, dentro do género de jogos furtivos.
Description
Keywords
Artificial neural networks Deep learning Deep reinforcement learning Neuroevolution Stealth games