Analysis of pragmatic competence in speaking assessment at the c1 levelface-to-face and computer-based speaking test

Abstract

Esta tesis doctoral aborda los desafíos de la evaluación de la competencia pragmática en exámenes de dominio del inglés. Utilizando las definiciones de conciencia pragmática y metapragmática propuestas por Ifantidou (2014) e Ifantidou y Tzanne (2012), este estudio desarrolla un constructo de competencia pragmática según los descriptores del nivel C1 del Marco Común Europeo de Referencia de Lenguas (MCERL). Además, se investigan las percepciones de examinadores de dos exámenes alineados con el MCERL: una entrevista oral de Cambridge Advanced English (CAE) y una prueba por ordenador (CB) de Aptis Advanced (AA). La metodología consiste en un estudio de métodos mixtos, recopilando datos cuantitativos y cualitativos de examinadores de CAE y AA. A través de un cuestionario de tipo Likert, 60 examinadores evalúan la importancia de diversas destrezas pragmáticas. El análisis Rasch permite establecer una jerarquía de elementos pragmáticos y detectar discrepancias significativas entre los diferentes grupos de examinadores. Posteriormente, se realizan entrevistas a 10 examinadores para obtener una explicación de los datos cuantitativos. Se observó que las rúbricas, tanto en CAE como en AA, hacían hincapié en las destrezas discursivas, aunque las imprecisiones y ambigüedades en las rúbricas dejaban la evaluación de la competencia pragmática abierta a la interpretación de los examinadores. Los resultados empíricos subrayaron la importancia de los indicadores de conciencia pragmática en la producción oral al nivel C1 como, por ejemplo, la capacidad de producir y organizar lógicamente ideas claras y relevantes. La conciencia metapragmática, como el uso flexible de las formas gramaticales, también resultó significativa para la competencia oral de un candidato al nivel C1. Así, la investigación mostró una correlación positiva entre la conciencia pragmática y metapragmática, por tanto, son complementarias en la evaluación oral de los candidatos, lo cual apoya la investigación previa de Ifantidou (2014) sobre la relación entre ambas conciencias en el plano escrito. Los resultados también destacaron las diferencias significativas entre los examinadores de CAE y AA y sirvieron para analizar los hallazgos inesperados. Este estudio ofrece valiosas consideraciones para profesores, candidatos, programas de formación de examinadores y desarrolladores de pruebas involucrados en exámenes de inglés de nivel C1.