FCT (DCEA) - Mestrado em Engenharia Informática
URI permanente para esta coleção:
Navegar
Entradas recentes
- iGenTrivia: intelligent content generation system for trivia gamesPublication . Gonçalves, Manuel José Silva; Torres, José; Moreira, Rui SilvaThe digital migration of trivia games significantly expanded their reach and accelerated development; however, the demand for high-quality, diverse, and accurate content remains a critical bottleneck. Traditional human-generated content is time-consuming, while early attempts at automated generation often suffer from quality issues. Although Large Language Models (LLMs) offer a promising solution for content scaling, they are prone to hallucinations and factual inconsistencies errors that are unacceptable in a trivia context. This thesis addresses these limitations by proposing a novel, automated content generation system that integrates Retrieval-Augmented Generation (RAG) with a multi-agent validation pipeline. The system employs distinct LLM roles for generation, fact-checking, and answer verification, utilising a consensusbased mechanism to filter low-confidence outputs. By leveraging vector embeddings for semantic duplicate detection and cross-referencing answers across multiple models, the pipeline ensures high factual integrity. Evaluated across English (United States) and European Portuguese, the system achieved 100% factual correctness in both languages, eliminating the residual hallucinations present in the single-model baseline, and reduced the semantic duplicate rate by up to 15 percentage points (from 21.74% to 6.76% in English, and from 23.87% to 14.40% in Portuguese). On the efficiency dimension, the pipeline improved the question yield rate by over 30 percentage points in both languages 88% versus 53% for English, and 80% versus 49% for Portuguese requiring 44% fewer generated candidates and half the number of API calls to reach the same output target. The result is a scalable, language-agnostic framework capable of producing high-quality trivia content with minimal human intervention.
- Volleyball performance statistics based on video analysis and deep learningPublication . Ferreira, Bruno Filipe Baptista; Torres, José; Soares, ChristopheThis dissertation presents the development and evaluation of a semi-automatic video-based system for extracting volleyball performance statistics using computer vision and deep learning techniques. Performance analysis plays a critical role in modern volleyball, supporting coaches and analysts in understanding match dynamics, technical execution, and tactical behaviour. However, the collection of such statistics is often performed manually or semimanually, making the process time-consuming, difficult to scale, and prone to inconsistency. To address these limitations, this work proposes a modular analysis pipeline centred on ball detection, tracking, scoreboard reading, court calibration, rally management, and event interpretation. The system employs a YOLObased model for volleyball detection, combined with temporal tracking strategies that exploit spatial continuity, motion constraints, foreground validation, and outlier rejection. Manual initialisation is still required for court calibration and scoreboard region selection, but the subsequent analysis stage operates automatically over the selected video segment. The work integrates these components into a unified prototype for volleyball match analysis. The system produces structured outputs describing rallies and event categories such as attacks, blocks, balls out, balls on the net, aces, and errors. The implemented pipeline was evaluated on two recorded volleyball sets from different venues. The system achieved a manual-review agreement rate of 81.82% on the first evaluated set and 72.50% on the second, corresponding to an overall agreement rate of 77.38% across 84 reviewed points. The evaluation shows that the proposed approach can extract useful volleyball event information from fixed-camera match footage, while also highlighting important limitations. The main sources of disagreement were related to fast rallies, trajectory ambiguity near the net and court boundaries, visual interference from additional balls, and venue-specific background complexity. The prototype therefore offers a concrete starting point for future work on semi-automatic volleyball performance analysis, particularly through improved ball tracking, more robust scoreboard recognition, and broader evaluation across additional venues.
- DTIP: a scalable pipeline for traffic congestion detection using floating car dataPublication . Silva, Gil Bernardo Cardoso Rebelo da; Soares, Christophe; Torres, JoséO congestionamento do tráfego urbano continua sendo um obstáculo crítico para a mobilidade, segurança e sustentabilidade nas cidades modernas. Apresentamos o Distributed Traffic Intelligence Pipeline (DTIP), um sistema modular e interpretável projetado para estimar níveis de congestionamento a partir de Floating Car Data (FCD), ou seja, trajetórias de veículos baseadas em Global Positioning System (GPS), e para apoiar a validação de relatórios de perigos relacionados ao tráfego. O framework proposto integra ferramentas de código aberto para processamento de dados, “map-matching” e extração de características, culminando num modelo de aprendizagem supervisionado baseado em Extreme Gradient Boosting (XGBoost). O modelo foi treinado com dados de Vila Nova de Gaia, Portugal, e alcançou um F1-score ponderado acima de 97%, distinguindo com sucesso quatro classes de severidade de congestionamento. Para avaliar ainda mais a plausibilidade das suas previsões, uma camada de simulação qualitativa utilizando Simulation of Urban Mobility (SUMO) foi incorporada. Os resultados da simulação alinharam-se bem com as saídas do modelo na maioria dos cenários de teste, reforçando a validade comportamental das estimativas de congestionamento. Desenvolvido com escalabilidade e implantação de baixa latência em mente, o DTIP oferece uma contribuição prática para o desenvolvimento de sistemas de monitoramento de tráfego urbano transparentes e eficientes. A sua natureza aberta e modular o torna adequado para adaptação a outras cidades ou para integração futura em infraestruturas de suporte a decisões em tempo real.
- Framework modular de RAG plug-and-play para chatbots empresariais em hardware com recursos limitadosPublication . Moutinho, Nuno Ricardo Moreira; Soares, Christophe; Moreira, Rui SilvaCom o crescente interesse por sistemas baseados em modelos de linguagem de grande escala, muitas empresas procuram incorporar soluções de chatbots inteligentes para apoio interno e resposta a clientes. No entanto, as abordagens mais avançadas, como o Retrieval-Augmented Generation, continuam inacessíveis para pequenas e médias empresas (PMEs) devido aos elevados requisitos computacionais, dependência de infraestrutura em cloud e complexidade de configuração. Esta dissertação propõe uma solução modular e plug-and-play que permite a qualquer organização instalar e executar localmente um sistema RAG em hardware modesto, com ou sem GPU. A arquitetura desenvolvida suporta ingestão de documentos em múltiplos formatos, recuperação híbrida (densa e esparsa) e geração de respostas com modelos LLM quantizados, utilizando bibliotecas como llama.cpp, FAISS e SQLite FTS5. Um processo automático de benchmarking permite adaptar o sistema ao hardware disponível, sugerindo configurações ideais de forma transparente para o utilizador. A solução inclui ainda um mecanismo de mitigação de alucinações, com pontuação de confiança, citações e recusa de resposta sempre que necessário. Os testes realizados demonstram que a aplicação é capaz de funcionar com eficácia em dispositivos com apenas CPU, oferecendo tempos de resposta inferiores a 9 segundos e elevada precisão em respostas fundamentadas. Os resultados obtidos validam a viabilidade de democratizar o acesso a sistemas RAG personalizados, seguros e eficientes, especialmente em contextos empresariais com restrições orçamentais e requisitos de privacidade.
- Blockchain-based system for document storage and signatures of consenting formsPublication . Pinto, Rúben José Saraiva; Soares, Christophe; Pereira, IvoNowadays, decentralized models connecting various users and entities have gained prominence across the healthcare, finance, and Supply Chain Domains. Decentralized applications represent a transformational approach to data management and transaction execution, emphasizing security, data integrity, and transparency. At the core of these applications lies the blockchain system. This decentralized architecture supports a framework that guarantees data immutability and ensures network-wide transparency through consensus mechanisms. This work aims to explore the application of a blockchain-based system for managing, storing, and signing consent forms within a decentralized framework. By leveraging smart contracts, the system facilitates the creation, modification, deletion, and storage of documents issued by authorized medical entities. Patients can sign these documents, with every alteration and transaction meticulously tracked and recorded, enhancing privacy and data integrity. In addition to these benefits, a private system with role-based access control restricts access to consent forms, as determined by the medical authority that created the documents. The proposed project of this theses aims to leverage these benefits by implementing a Corda application, a blockchain-based solution designed for managing consent forms within the healthcare ecosystem. This solution will enable healthcare providers, patients, and other stakeholders to securely access, share, and manage sensitive medical data with full confidence in its integrity and privacy. By incorporating decentralized technology, the project seeks to create a system where patient consent is stored immutably on the blockchain, ensuring that no unauthorized modifications can be made. Furthermore, the evaluation and testing section of this work reinforces the access security and permission enforcement mechanisms that are proposed and implemented. Rigorous tests and practical examples demonstrate the system's ability to protect patient data and uphold privacy standards, ensuring that only authorized users can interact with sensitive information.
- Blockchain solution for UCO traceability in a recycling supply chainPublication . Lopes, João Filipe Santos; Soares, Christophe; Moreira, Rui SilvaThe recycling of Used Cooking Oil (UCO) is vital to a circular economy, converting waste oils from food production, restaurants, and households into valuable biofuels. This process promotes sustainability and provides an environmentally responsible way to reduce reliance on fossil fuels and carbon emissions. However, the UCO supply chain faces traceability and quality control challenges that can lead to inefficiencies, financial losses, regulatory non-compliance, waste, and even fraud. Implementing a robust traceability system can improve accountability, ensure regulatory compliance, and enhance overall transparency in the recycling process. This dissertation proposes a blockchain-based system to improve UCO traceability, addressing common challenges in the supply chain by tracking the UCO’s journey from its collection to its storage in a warehouse. The system was implemented using Hyperledger Fabric, selected for its flexibility and support for permissioned networks, with RabbitMQ to manage transaction requests across peer nodes. The study adopts a qualitative methodology that relies on a review of the literature and an analysis of related supply chain management scenarios. This research builds on Hardlevel’s UCO management practices to explore blockchain’s potential to improve traceability in the industry, leveraging Hardlevel’s role as a leading waste management company in Portugal.
- Psoriasis support system based on semantic segmentation AI modelsPublication . Lopes, Toni Marcos Silva; Moreira, Rui Silva; Soares, ChristophePsoriasis is a chronic inflammatory skin disease characterized by the presence of lesions that vary in shape, size, and color. Accurate segmentation of these lesions from clinical images is crucial for effective diagnosis and treatment monitoring. However, the variability in image dimensions, lighting conditions, and the presence of noise in real-world datasets complicates the segmentation task. Additionally, available datasets for psoriasis lesion segmentation are often small, making it challenging to train deep learning models effectively without overfitting. The project aims to enhance the segmentation accuracy of psoriasis lesions by employing a range of AI models and optimizing their performance through the application of advanced pre-processing techniques and data augmentation strategies. The AI models tested include Mask R-CNN, U-Net, YOLOv8n, FCN, DeepLabV3+, BiSeNet, HRNet, PSPNet, and SegNet. Pre-processing techniques, such as bilateral smooth filters and adaptive median filters, were applied to enhance image quality and reduce noise. Furthermore, data augmentations, including random adjustments in brightness, contrast, cropping, rotation, flipping, and scaling, were used to simulate real-world variations and increase the robustness of the models. These augmentations were carefully replicated from related works to mimic their experimental setups. The evaluation of multiple AI models for psoriasis lesion segmentation demonstrated that applying effective pre-processing and data augmentation techniques significantly improves model performance. Among the tested models, FCN achieved the highest F1 score of 0.889, using a bilateral smooth filter and translation augmentations. U-Net and SegNet followed closely, with U-Net reaching an F1 score of 0.885 and SegNet 0.880, both benefiting from similar pre-processing and augmentation strategies. Mask R-CNN and BiseNet also showed competitive results, underscoring the importance of carefully selected augmentations that mimic real-world variability. These findings highlight the value of pre-processing and augmentation in enhancing model generalization, particularly in small, diverse datasets. In addition to the AI-based segmentation work, the project also incorporates a mobile application designed to assist patients in tracking their psoriasis lesions over time. This application enables users to monitor whether lesions are improving or worsening, providing valuable insights for deciding when to consult a dermatologist. By helping patients recognize early signs of deterioration, the application plays a crucial role in supporting more proactive and informed healthcare decisions.
- Sistema assistido para seleção de RH (SA4S-RH)Publication . Mota, Samuel Marques; Moreira, Rui Silva; Pereira, IvoA complexidade envolvida na seleção de candidatos pelas empresas exige a aplicação de diversas tecnologias, que desempenham um papel crucial na otimização da triagem e na escolha dos profissionais mais adequados para cada posição. As metodologias tradicionais apoiam-se sobretudo na correspondência direta (matching) de palavras-chave (keywords) relevantes extraídas do currículo e da descrição da vaga. Contudo, estas limitam-se à avaliação superficial, sendo pouco adaptativas devido à grande variação semântica da linguagem. Para resolver esse problema, foi proposta a pipeline SA4S-RH, onde foram usadas ferramentas com base na análise de processamento de linguagem natural, para analisar e interpretar o contexto das skills apresentadas de cada candidato com base na análise textual profunda e a atribuição de uma skill na taxonomia ESCO com recurso a um modelo de linguagem (Large Language Model). Esta abordagem permitiu a normalização das competências extraídas de cada candidato e dos requisitos da descrição da vaga para poder ser feita uma comparação justa. Paralelamente, esta abordagem permite tirar conclusões sobre o estado atual do mercado de trabalho, como as competências mais procuradas e as mais em falta. Para avaliar os resultados obtidos pelo modelo de linguagem (Large Language Model) na tarefa de atribuição de entidades (Entity Linking) da taxonomia ESCO, foram definidas métricas claras e mensuráveis, como a taxa de acerto em relação a um dataset sintético, anotado com a entidade ESCO esperada e a atribuída pelo modelo. Essa abordagem permitiu uma avaliação objetiva do desempenho da pipeline SA4S-RH, com foco na precisão do modelo na correspondência entre as menções de Skills extraídas e as entidades da taxonomia ESCO. Os resultados obtidos pela aplicação da pipeline SA4S-RH mostraram uma promissora capacidade na utilização de LLM para tarefas de processamento de linguagem natural, na tarefa de Entity Linking. A precisão de 70,63%, alcançada no reconhecimento correto de Skills, indica que a utilização de LLMs para tarefas de Entity Linking pode ser eficaz em contextos onde a identificação de habilidades profissionais a partir de descrições textuais é crítica, bem como na análise de vagas de emprego ou currículos.
- Uma proposta de data mining para análise de dados referentes aos incêndios florestais ocorridos em PortugalPublication . Almeida Júnior, Paulo César de; Soares, Christophe; Torres, JoséIncêndios florestais representam um desafio mundial expressivo, exigindo uma compreensão aprofundada de seus fatores desencadeantes para uma gestão eficaz. Este estudo aborda a necessidade de prevenção, detecção e supressão de incêndios, bem como a consideração das interações ecológicas envolvidas. A mineração de dados de incidentes históricos de incêndios florestais revela-se crucial para a previsão e a compreensão desses eventos. Sendo assim a pesquisa se concentra na construção de modelos preditivos, baseados em algoritmos de aprendizado de máquina, um modelo de aprendizagem supervisionada, que relaciona variáveis independentes (como datas de ocorrências, localidades, duração, índices de severidade meteorológica e de perigo de incêndios e causas) com uma variável dependente (a classe de área ardida). Dois pontos fundamentais são abordados: uma análise exploratória de dados de incêndios ocorridos em Portugal entre 2011 e 2022 e a criação de um modelo preditivo para classificar a faixa de área ardida em registros históricos do conjunto de dados. Os resultados revelaram insights significativos. Visto que a análise exploratória dos dados forneceu uma visão abrangente dos incêndios, identificando áreas suscetíveis e destacando o impacto da ação humana na ampliação desses incidentes. Os fatores meteorológicos, representados pelos índices de severidade meteorológica e risco de incêndio, demonstram uma associação direta com o aumento das ocorrências. A pesquisa superou desafios iniciais, como o desbalanceamento de classes, por meio do método Synthetic Minority Oversampling Technique (SMOTE), resultando em modelos de alta qualidade. O Random Forest, após o balanceamento das classes, emergiu como uma abordagem promissora, obtendo métricas de desempenho notáveis, incluindo uma accuracy de 96% e valores de F1-score consistentemente acima de 87%. As várias análises e dados estatísticos gerados por esta pesquisa contribuem para a compreensão e a prevenção de incêndios florestais, com implicações práticas na gestão desses eventos. A capacidade de predição aprimorada e a identificação de fatores-chave oferecem uma base sólida para estratégias de prevenção e resposta mais eficazes.
- Machine learning for earthquake damage detection: a comparative analysis of algorithm performancePublication . Costa, André Manuel Alves; Gouveia, Feliz Ribeiro; Silva, Vítor Emanuel Marta daThis work aims to analyse and improve the results of machine learning algorithms for estimating damage in buildings following an earthquake, thus enabling rapid post-earthquake assessment to prevent further physical, economic and social damage. Using real datasets, nine algorithms were tested and compared: Ridge Regressor, Lasso Regressor, Support Vector Regressor, Decision Tree, Random Forest, Gradient Boost, Extreme Gradient Boost, Artificial Neural Networks and Multi-layer Perceptron. The key findings of the research resulted in the demonstration of the importance of dataset practicality, while encompassing heterogeneity of buildings, and highlights the positive impact of data transformation on algorithm performance when compared to previous research papers lacking such transformations. Furthermore, it was concluded that the Artificial Neural Network algorithm consistently outperforms others, justifying its academic and practical preference despite the longer training times and reaffirming its significance in earthquake damage prediction. It was possible to assess that other algorithms such as Gradient Boost, Extreme Gradient Boost and Random Forest are acceptable, practical, understandable and reliable alternatives. These findings contribute to the advance of earthquake engineering and highlight the potential of Machine Learning in post-earthquake risk mitigation.