Developing an AI virtual assistant for higher education

Abstract

This research investigates the design, development, and evaluation of an AI-powered educational chatbot, the IBS Virtual Assistant, created to support master’s students at ISCTE Business School. Motivated by the growing demand for scalable digital solutions to enhance communication and reduce repetitive administrative tasks, the study follows the Design Science Research Methodology through iterative design and testing cycles. The chatbot’s knowledge base was structured around ten validated informational categories derived from an institutional questionnaire with 542 student-generated questions. Implemented in Microsoft Copilot Studio, two prototypes were developed and evaluated. Quantitative results revealed significant improvements between versions, with accuracy rising from 0.86 to 1.00 and completeness from 0.71 to 0.86, while maintaining perfect clarity and tone. A complementary user evaluation of eleven master’s students, based on the Unified Theory of Acceptance and Use of Technology model, showed high mean scores across all constructs, confirming strong perceived usefulness, ease of use, and acceptance. These findings validate the methodological robustness of the Design Science Research approach and demonstrate the potential of conversational artificial intelligence to enhance informational accessibility and institutional support. The study contributes theoretically by integrating the Design Science Research and Unified Theory of Acceptance and Use of Technology frameworks, and practically by delivering a replicable and scalable solution for higher education.

Esta investigação analisa o processo de conceção, desenvolvimento e avaliação de um chatbot educacional com base em inteligência artificial, o IBS Virtual Assistant, criado para apoiar estudantes de mestrado da ISCTE Business School. Motivado pela crescente necessidade de soluções digitais escaláveis que melhorem a comunicação e reduzam tarefas administrativas repetitivas, o estudo segue a Design Science Research Methodology, através de ciclos iterativos de conceção e teste. A base de conhecimento do chatbot foi estruturada em dez categorias informacionais validadas, derivadas de um questionário institucional com 542 questões formuladas por estudantes. Implementado na plataforma Microsoft Copilot Studio, foram desenvolvidos e avaliados dois protótipos. Os resultados quantitativos revelaram melhorias significativas entre versões, com a precisão a aumentar de 0,86 para 1,00 e a completude de 0,71 para 0,86, mantendo pontuação perfeita em clareza e tom. Uma avaliação complementar com utilizadores, envolvendo onze estudantes de mestrado e baseada no modelo da Unified Theory of Acceptance and Use of Technology, apresentou médias elevadas em todas as dimensões, confirmando uma forte perceção de utilidade, facilidade de uso e aceitação. Estes resultados validam a robustez metodológica da abordagem Design Science Research e demonstram o potencial da inteligência artificial conversacional para melhorar o acesso à informação e o apoio institucional no ensino superior. O estudo contribui teoricamente, ao integrar as abordagens Design Science Research e Unified Theory of Acceptance and Use of Technology, e praticamente, ao oferecer uma solução replicável e escalável para o ensino superior.