PT
Este estudo explora a integração de Large Language Models (LLMs) com Retrieval-
Augmented Generation (RAG) para desenvolver um chatbot de apoio interno à equipa
técnica do ISCTE na resposta a questões sobre a plataforma Ciência_ISCTE. O objetivo é
reduzir a necessidade de escalonamento para especialistas, otimizar a eficiência da equipa
e proporcionar aos utilizadores apoio rápido e autónomo. O trabalho aborda três questões
centrais: enriquecimento da Knowledge Base (KB), a implementação de técnicas RAG e
avaliação da utilidade e eficácia do chatbot. Seguindo uma framework modular, foram
testadas várias estratégias de estruturação de dados e embeddings, demonstrando que o
desempenho do processo de retrieval depende da forma como a informação é armazenada.
No desenvolvimento do RAG, comparam-se métodos como similarity search, expansão
de inputs, Hypothetical Document Embeddings (HyDE) e reranking. Embora a similarity
search standard já demonstrasse resultados robustos, a integração de memória e ciclos de
feedback aumentou a precisão e permitiu a atualização contínua do conhecimento. Dos
desafios identificados destacam-se a variabilidade da linguagem dos utilizadores, a geração
de respostas dependentes do contexto e a influência de erros na KB na qualidade das
respostas. Em síntese, este estudo contribui com estratégias práticas para a estruturação
de KBs, integração iterativa de feedback e adoção organizacional de sistemas de suporte
baseados em LLMs. Demonstra ainda o potencial dos chatbots com RAG para fornecer
apoio interno escalável e sensível ao contexto, salientando implicações para a eficácia, o
onboarding e partilha de conhecimento.
EN
This study explores the integration of Large Language Models (LLMs) with Rtrieval-
Augmented Generation (RAGe) to develop and implement a chatbot that internally supports
ISCTE’s technical team in responding to questions raised on the Ciência_ISCTE
platform. The goal is to reduce the need for escalation to specialists, optimize team efficiency,
and provide users with faster and more autonomous support. The work addresses
three central issues related to enriching the Knowledge Base (KB), implementing RAG
techniques, and assessing the usefulness and effectiveness of the chatbot for the team.
Following a modular framework, several strategies for structuring data and embeddings
were tested, demonstrating that the performance of the retrieval process strongly depends
on how the information is stored. In terms of RAG development, methods such as similarity
search, input expansion, Hypothetical Document Embeddings (HyDE), and reranking
were compared. Although standard similarity search already showed robust results, the
integration of memory and feedback loops further improved accuracy and enabled continuous
knowledge updates over time. Among the challenges identified are the variability of
user language, the generation of context-dependent answers, and the influence of errors in
the KB on the quality of responses. Overall, this study contributes practical strategies for
structuring KBs, iteratively integrating feedback, and supporting organizational adoption
of LLM-based systems. It also demonstrates the potential of RAG-powered chatbots to
provide scalable, context-sensitive internal support, highlighting broader implications for
effectiveness, onboarding, and knowledge sharing.
