Logo do repositório

Percorrer por autor "Carvalho, Sara"

A mostrar 1 - 3 de 3
  • BATS-PT: Assessing Portuguese Masked Language Models in Lexico-Semantic Analogy Solving and Relation Completion
    Publication . Oliveira, Hugo Gonçalo; Rodrigues, Ricardo; Ferreira, Bruno; Silvano, Purificação; Carvalho, Sara
    This paper presents BATS-PT, the manual translation of the lexicographic portion of the Bigger Analogy Test Set (BATS) to European Portuguese. BATS-PT covers ten types of lexicosemantic analogies and can be used for assessing word embeddings and language models. Following this, the dataset is showcased while assessing two pretrained language models for Portuguese, BERTimbau and Albertina, in two tasks: analogy solving and relation completion, both in zero- and few-shot mask-prediction approaches. Experiments reveal different performance across relations and, in both tasks, the best overall performance was achieved with BERTimbau, in a five-shot scenario. We further discuss the limitations of the reported experiments and directions towards future improvements in these tasks.
    2024Comunicação em conferência Acesso aberto Ver mais
  • MultiLexBATS: Multilingual Dataset of Lexical Semantic Relations
    Publication . Gromann, Dagmar; Oliveira, Hugo Gonçalo; Pitarch, Lucia; Apostol, Elena-Simona; Bernad, Jordi; Bytyçi, Eliot; Cantone, Chiara; Carvalho, Sara; Frontini, Francesca; Garabik, Radovan; Gracia, Jorge; Granata, Letzia; Khan, Fahad; Knez, Timotej; Labropoulou, Penny; Liebeskind, Chaya; Buono, Maria Pia di; Anić, Ana Ostroški; Rackevičienė, Sigita; Rodrigues, Ricardo; Sérasse, Gilles; Selmistraitis, Linas; Sidibé, Mahammadou; Silvano, Purificação; Spahiu, Blerina; Sogutlu, Enriketa; Stanković, Ranka; Truică, Ciprian-Octavian; Oleškevičienė, Giedrė Valūnaitė; Zitnik, Slavko; Zdravkova, Katerina
    Understanding the relation between the meanings of words is an important part of comprehending natural language. Prior work has either focused on analysing lexical semantic relations in word embeddings or probing pretrained language models (PLMs), with some exceptions. Given the rarity of highly multilingual benchmarks, it is unclear to what extent PLMs capture relational knowledge and are able to transfer it across languages. To start addressing this question, we propose MultiLexBATS, a multilingual parallel dataset of lexical semantic relations adapted from BATS in 15 languages including low-resource languages, such as Bambara, Lithuanian, and Albanian. As experiment on cross-lingual transfer of relational knowledge, we test the PLMs’ ability to (1) capture analogies across languages, and (2) predict translation targets. We find considerable differences across relation types and languages with a clear preference for hypernymy and antonymy as well as romance languages.
    2024Comunicação em conferência Acesso aberto Ver mais
  • Tradução e adaptação transcultural da Scale for the Assessment and Rating of Ataxia, para Português Europeu
    Publication . Martins, Maria Elisabete; Santos, Hugo; Silva, Cláudia Ribeiro da; Tavares, Luiza; Noronha, Miguel; Dias, Matilde; Calegare, Vinícius; Carvalho, Sara; Cova, Raquel; Cruz, Rafael; Martins, David; Pais, Rodrigo; Campos, Vitor; Aquino, Mariana; Borisova, Ekaterina; Silva, Ana; Moreira, Mariana; Cohen, Marta
    Introdução: A escala Scale for the Assessment and Rating of Ataxia (SARA) é um instrumento valioso para a avaliação dos sinais e sintomas da ataxia e classificação da gravidade. Objetivos: Contribuir para a tradução, adaptação transcultural da SARA para a população portuguesa e criar e validar um manual de aplicação para os profissionais de saúde. Material e Métodos: Este estudo incluiu duas etapas distintas: a primeira consistiu na tradução e adaptação cultural e a segunda consistiu na criação e validação de um manual de aplicação, composto por duas secções: audiovisual e textual, de forma a facilitar e padronizar a aplicação da escala SARA. Resultados: Na primeira etapa obteve-se uma versão final da SARA traduzida e adaptada para o português europeu, com 100% de concordância entre os peritos; na segunda etapa, os 26 peritos consideraram o manual de aplicação claro, compreensível e importante, para a prática clínica dos profissionais de saúde. Conclusão: A versão portuguesa da SARA revelou equivalência semântica, conceptual e de conteúdo com a escala original e, o manual de aplicação revelou clareza, compreensão e importância. Sugere-se a realização de futuros estudos que analisem as propriedades psicométricas da SARA, de forma a possibilitar a sua disponibilização para a prática clínica dos profissionais de saúde.
    2023-10-27Artigo científico Acesso aberto Ver mais