Título
Constructed response or multiple-choice for evaluating Excel questions?: that is the question
Autor
Belo, Yolanda Vidigal
Resumo
pt
A avaliação desempenha um papel fundamental na educação, numa perspetiva de
melhorar o processo ensino-aprendizagem, pois auxilia na identificação de fatores que
possam contribuir na elaboração de métodos pedagógicos e instrumentos de avaliação, e
num processo evolutivo académico do aluno, atingindo os objetivos definidos na unidade
curricular.
Neste projeto de dissertação, propõe-se desenvolver modelos explicativos usando
técnicas de Data Mining para avaliar resultados obtidos pelos alunos na realização de
exames de Excel Avançado, ou seja, verificar se existe diferença na performance do aluno
ao realizar exames compostos por questões abertas e por exames com questões de escolha
múltipla equivalentes às do formato anterior. As amostras foram obtidas em exames
realizadas no ISCTE-IUL com o objetivo de além de se pretender verificar tal diferença
nos exames, identificar quais fatores influenciam para que isto ocorra, e extrair
conhecimento a partir destes, conduzindo-os à tomada de decisão (auxiliar os docentes na
melhoria na elaboração dos exames, seja pelo formato da questão como pelo conteúdo de
cada uma).
Seguindo a metodologia CRISP-DM, organizaram-se as respostas dos alunos dando
origem ao data set que foi usado para a construção de 6 modelos preditivos a partir de
técnicas de regressão, algumas como máquinas de vetores de suporte e redes neuronais
(outras identificadas durante a pesquisa), e para cálculo de erros de treinos e testes.
Os resultados obtidos mostram que o modelo de máquinas de vetores de suporte é o
melhor dos modelos construídos, indicando o formato de exame em múltipla escolha
como aquele em que os alunos têm maior probabilidade de acertar.
en
Evaluation plays a fundamental role in education, with a view to improve the
teaching-learning process, which helps to identify factors that can contribute not only to
the teacher in developing pedagogical methods and evaluation tools, but also to an
academic evolutionary process of the student, and to achieve the objectives defined in the
course or curricular unit.
In this dissertation project, it is proposed to develop explanatory models using Data
Mining techniques and tools to predict the results obtained by students in performing
Excel exams, more specifically, to verify if there is a difference in student performance
when performing exams with Constructed Response questions and for exams containing
Multiple Choice Question equivalent to the questions of the previous format. The samples
were obtained in Advanced Excel exams performed at ISCTE-IUL, to verify the
difference in the exams as stated before, and identify which factors influence this,
extracting knowledge from them, and using them to decision making (to assist teachers
improving the exams’ preparation, either by the format of the question or by the content
of each one).
Using CRISP-DM methodology, the students' responses were organized in the data
set, where it was used to construct 6 predictive models from regression techniques, such
as support vector machines and neural networks (other identified during the research),
and for training and tests errors calculations.
The results show that the SVM model is the one with better performance, indicating
the MCQ format as the one in which the students are most likely to succeed.