IPT - ESTT - Escola Superior de Tecnologia de Tomar
Permanent URI for this community
Browse
Browsing IPT - ESTT - Escola Superior de Tecnologia de Tomar by advisor "Almeida, Luís Agnelo de"
Now showing 1 - 3 of 3
Results Per Page
Sort Options
- Controlo de acessos por NFCPublication . Cardoso, Filipe André Conceição; Barros, Manuel Fernando Martins de; Almeida, Luís Agnelo de
- Desenvolvimento de sistemas de interação audiovisual em recetores de TV para assistência a idososPublication . Jorge, Dário José Marques; Correia, Pedro; Almeida, Luís Agnelo deEste relatório descreve o trabalho desenvolvido no âmbito do projeto VITASENIORMT, uma solução de teleassistência para idosos, com interação baseada em TV com a utilização do comando existente. A solução de interação proposta, pretende colmatar a resistência que a população idosa tem às novas tecnologias, utilizando um equipamento com o qual estão familiarizados. No âmbito do projeto VITASENIOR-MT, foram desenvolvidos vários subprojectos, desde, a VITABOX, um sistema baseado em microcomputador que faz a gestão de todo o sistema em casa do utilizador, a interação com TV com comando, a ligação de uma rede de sensores ambientais, a ligação automática de sensores biométricos e a ligação com os serviços cloud que dão suporte a todo o sistema. Sendo um projeto com várias componentes e em colaboração com várias pessoas e entidades, são apresentadas as contribuições individuais para o seu desenvolvimento, nomeadamente a implementação de interfaces de interação com o utilizador usando o comando da TV, nos seus modos básico e avançado, incluindo as interfaces de configurações, de informações de alertas, da página de boas-vindas com informações úteis e notificações ao utilizador, a ligação automática de wifi, assim como de um serviço de áudio-descrição em modo offline. Adicionalmente, foi implementado o envio e receção de dados e de notificações da VITABOX para a cloud e vice-versa, assim como a gestão e troca de dados entre a VITABOX e a rede de sensores ambientais. O trabalho apresentado e os resultados obtidos contribuíram para uma versão estável do sistema, pronta a ser testada e validada em ambiente real
- Gesture recognition for interaction tasks in immersive realityPublication . Santos, José Luís Picão; Pires, Gabriel Pereira; Almeida, Luís Agnelo deWith continuous advancements in Immersive technology, enhancing humancomputer interaction (HCI) with virtual environments has become a relevant topic. Commercial virtual reality (VR) systems are equipped with handheld controllers, which are limited in naturalness and user interactions. Immersive technologies benefit from the sense of presence, immersion, and embodiment to augment user experience. This project addresses these aspects by developing a computer vision-based dynamic gesture recognition system with full-body pose tracking integrated into a virtual reality experience. Unlike most existing applications that use only body tracking, our system combines both body and hand tracking and includes a gesture recognition module. To demonstrate the effectiveness of the approach, we propose a 3D virtual immersive environment scenario where the user engages in a game of "rock-paper-scissors" against the system, aiming to outperform it. This project uses the Mediapipe framework as a body pose tracking mechanism to extract the user’s articulation coordinates. The obtained data is processed using a long-short-term memory (LSTM) deep neural network (DNN) to classify dynamic gestures. The game engine Unity 3D is used to represent the avatar and to present the immersive experience to the user. To validate the developed system, experimental tasks were conducted with eight participants. Each participant had to play the game 5 times. The system was validated quantitatively by measuring the online classification accuracy, and the v subjective sense of realism, presence, involvement and system usability were evaluated using the iGroup Presence Questionnaire (IPQ). Results show the effective possibility of tracking both body and hands, with potential applications ranging from rehabilitation to sports. Regarding the integration of pose tracking for controlling the avatar in the 3D immersive VR environment, results indicate the experience causes a positive impact on users in terms of realism and presence, as evidenced by a 73.44% score on the IPQ. However, users reported a mismatch in their movements and the avatars during the experience. The performance of the gesture recognition classification model did not match the accuracy achieved during the offline validation and testing phases. This lack of generalisation of the model is attributed to the limited number of training samples and the low variability in participant's gestures, as the dataset included only a single individual. Overall, the biggest challenge of the project was the integration of the pose data to control the avatar. Nevertheless, the results demonstrated the feasibility of combining computer vision-based gesture interaction and full-body tracking ina VR experience