Revista Electrónica Educare (Educare Electronic Journal) EISSN: 1409-4258 Vol. 28(1) ENERO-ABRIL, 2024
doi: https://doi.org/10.15359/ree.28-1.18426
https://www.revistas.una.ac.cr/index.php/educare
educare@una.ac.cr
[Cierre de edición el 30 de abril del 2024]
La evaluación en línea en el punto de mira: Un estudio de caso en la universidad española
Online Assessment in the Spotlight: A Case Study in a Spanish University
A avaliação em linha em foco: Um estudo de caso numa universidade espanhola
Victoria Marín
Universitat de Lleida
Lleida, España
victoria.marin@udl.cat
https://orcid.org/0000-0002-4673-6190
Jordi Coiduras
Universitat de Lleida
Lleida, España
jordi.coiduras@udl.cat
https://orcid.org/0000-0003-2460-2754
Enric Brescó
Universitat de Lleida
Lleida, España
enric.brescobaiges@udl.cat
https://orcid.org/0000-0001-8477-6970
Xavier Carrera
Universitat de Lleida
Lleida, España
xavier.carrera@udl.cat
https://orcid.org/0000-0003-3420-4215
Recibido • Received • Recebido: 02 / 06 / 2023
Corregido • Revised • Revisado: 09 / 04 / 2024
Aceptado • Accepted • Aprovado: 30 / 04 / 2024
Resumen:
Objetivo. Este estudio de caso exploratorio tiene como propósito analizar las actitudes, prácticas y preferencias del profesorado y alumnado de educación superior en relación con la evaluación en línea. Metodología. Se aplicó una metodología cuantitativa basada en el cuestionario, y se realizó un análisis descriptivo y correlacional. Las personas participantes incluyeron alumnado y profesorado de una universidad española presencial. Resultados. Se presentan ciertas similitudes y diferencias en cuanto a actitudes, prácticas y preferencias entre alumnado y profesorado. También se identificaron ciertas relaciones, si bien débiles, entre las prácticas de evaluación en línea utilizadas y algunas características del perfil del profesorado o su docencia (experiencia docente, carga docente y tamaño de las clases). Conclusiones. Los hallazgos ponen de manifiesto que gran parte del profesorado muestra ciertas reticencias en el diseño y realización de estrategias de evaluación en línea más allá de los exámenes tradicionales, así como una gran preocupación en cuanto al control del alumnado y el peligro de fraude. Por su parte, el alumnado presenta actitudes generalmente más positivas que el personal docente respecto a la evaluación en línea. Las recomendaciones apuntan a la consideración del papel de las unidades institucionales de apoyo y de formación al profesorado para la mejora de la competencia digital docente en relación con la evaluación en línea, la importancia de la actualización de los sistemas de seguridad en las infraestructuras técnicas, y el ajuste de los efectos de la carga docente y el tamaño de las clases cuando se aplica la evaluación en línea.
Palabras claves: Evaluación en línea; evaluación formativa; evaluación sumativa; educación superior; tecnologías digitales en educación; ODS4 educación de calidad; aprendizaje digital.
Abstract:
Objective. This exploratory case study aims to analyze the attitudes, practices and preferences of higher education faculty and students in relation to online assessment. Methodology. A quantitative methodology based on a questionnaire was used, and a descriptive and correlational analysis was conducted. Participants included students and faculty members from a Spanish on-site university. Results. Certain similarities and differences in attitudes, practices and preferences between students and teachers are presented. Some relationships, albeit weak, were also identified between the online assessment practices used and some characteristics of the teachers’ profile or teaching (teaching experience, teaching load and class size). Conclusions. The findings show that a large part of the teaching staff shows some reluctance in the design and implementation of online assessment strategies beyond traditional exams, as well as a great concern about student control and the danger of fraud. On the other hand, students show generally more positive attitudes towards online assessment than the teaching staff. The recommendations point to the consideration of the role of institutional support and teacher training units for the improvement of teachers’ digital competence in relation to online assessment, the importance of updating security systems in technical infrastructures, and adjusting the effects of teaching load and class size when online assessment is applied.
Keywords: Online assessment; formative assessment; summative assessment; higher education; digital technologies in education; SDG4 quality education; digital learning.
Resumo:
Objetivo. Este estudo de caso exploratório procura analisar as atitudes, práticas e preferências dos docentes e estudantes do ensino superior em relação à avaliação em linha. Metodologia. Foi utilizada uma metodologia quantitativa baseada num questionário, tendo sido efetuada uma análise descritiva e correlacional. Os participantes incluíam estudantes e professores de uma universidade espanhola presencial. Resultados. São apresentadas algumas semelhanças e diferenças de atitudes, práticas e preferências entre alunos e professores. Foram também identificadas algumas relações, embora tênues, entre as práticas de avaliação em linha utilizadas e algumas características do perfil dos professores ou do seu ensino (experiência de ensino, carga lectiva e dimensão da turma). Conclusões. Os resultados mostram que uma grande parte do pessoal docente mostra alguma relutância na concepção e aplicação de estratégias de avaliação em linha para além dos exames tradicionais, bem como uma grande preocupação com o controlo dos alunos e o perigo de fraude. Por outro lado, os estudantes mostram atitudes geralmente mais positivas em relação à avaliação em linha do que o pessoal docente. As recomendações apontam para a consideração do papel do apoio institucional e das unidades de formação de professores para a melhoria da competência digital dos professores em relação à avaliação em linha, para a importância da atualização dos sistemas de segurança nas infraestruturas técnicas e para o ajustamento dos efeitos da carga lectiva e da dimensão das turmas quando a avaliação em linha é aplicada.
Palavras-chave: Avaliação em linha; avaliação formativa; avaliação sumativa; ensino superior; tecnologias digitais na educação; ODS4 educação de qualidade; aprendizagem digital.
Introducción
La evaluación en línea no es un tema nuevo, sino que ya a principios de la década de 1960 se hicieron los primeros intentos; sin embargo, es en la década de 1990, cuando se introdujeron programas de evaluación en línea basados en la web (Jordan, 2013; Por otro lado, el término no está exento de dificultades conceptuales que derivan de la existencia de diferentes vocablos que se refieren a la evaluación, así como diversas oportunidades a nivel de formatos, modos y tipos de evaluación en línea
En un sentido amplio e inclusivo, entendemos que la evaluación en línea o evaluación electrónica o digital en el contexto formativo es una modalidad de evaluación que –en la formación virtual, presencial o híbrida– recurre a la tecnología para: a) constatar el logro de los objetivos y resultados de aprendizaje, la adquisición de conocimientos y el desarrollo de competencias y; b) regular, orientar y reorientar las estrategias de enseñanza y aprendizaje durante todo el proceso formativo. Compartimos con otros estudios, la concepción de la evaluación como un proceso orientado esencialmente al aprendizaje (Fernández March, 2010; y no únicamente centrado en la evaluación final de resultados, y que debe estar alineada con objetivos y actividades de aprendizaje.
A pesar de estar ya presente en las dos décadas anteriores en muchas universidades (Or & Chapman, 2022), la evaluación en línea tuvo un marcado auge e interés con la situación pandémica de la educación remota, ya que supuso un reto por igual para universidades presenciales y a distancia a nivel institucional (García-Peñalvo et al., 2020), especialmente en el caso de la evaluación sumativa (Brady et al., 2019), además de suponer la generalización de su uso a gran escala. En este último caso, junto a esta emergencia forzada, hubo gran discusión y polémica por la utilización de sistemas de identificación biométrica para la supervisión de exámenes en línea en todo el mundo, lo cual suscitó también preocupaciones de carácter ético (Aznarte et al., 2022; Coghlan et al., 2021). A pesar de este renovado interés en la evaluación en línea, la revisión sistemática por Bond et al. (2021) sobre la literatura científica relacionada con la educación remota durante la situación pandémica mostró que, a pesar de ser un foco de estudio, todavía las investigaciones sobre ella eran relativamente pocas respecto a otros aspectos de los procesos educativos, así como un uso específico reducido de herramientas de evaluación en línea.
Como respuesta al reto de la evaluación en línea surgió, durante el estado de emergencia sanitaria por la Covid-19, el proyecto europeo Remote.EDU. Empower teachers for remote assessment in higher education (https://remote-edu.ili.eu). El proyecto se planteó como objetivo apoyar al profesorado de educación superior en el diseño e implementación de prácticas de evaluación en línea coherentes con sus materias, y también pensando en la sostenibilidad de la evaluación en línea más allá del contexto de la pandemia, a nivel institucional y global. Este estudio deriva de la segunda fase del proyecto que se centró en identificar las percepciones de la evaluación en línea por parte de los agentes educativos en educación superior (profesorado, alumnado y personal administrativo) (Marín, Brescó et al., 2022). Trabajos previos apuntan a la necesidad de mayor investigación sobre las actitudes de estudiantado y profesorado, estas últimas menos exploradas que las primeras, así como de desarrollar un enfoque más sistemático al estudio de la adopción de la evaluación en línea (Or & Chapman, 2022). Así, este trabajo pone el foco en el profesorado y alumnado, las similitudes y diferencias entre sus percepciones, así como en otras variables influyentes en el personal docente, en el contexto de un caso específico de universidad española presencial, partiendo de un marco de referencia elaborado y validado en el marco del proyecto.
Un breve contexto histórico
La historia de la evaluación en línea se puede sintetizar en tres fases principales (Or & Chapman, 2022): 1) entre 1960 y 1990, en que se comenzaron a utilizar ordenadores para apoyar los procesos de evaluación; 2) entre 1990 y 2000, en que aparecieron los exámenes adaptativos y tuvieron su auge los campus virtuales o LMS; y 3) desde el 2000 hasta la actualidad, con el uso de herramientas Web 2.0, de las analíticas de aprendizaje y de la inteligencia artificial.
Las formas de evaluación en línea iniciales más comunes, especialmente en universidades a distancia o en línea, hacían referencia a los centros autorizados de evaluación, donde el alumnado iba para hacer el examen y podía ser vigilado, las pruebas online sin vigilancia y formas alternativas de evaluación, como la participación en foros de discusión, los portafolios electrónicos, etc. (Natal, 1998). La progresiva incorporación desde la década de los 90 de las tecnologías en las universidades presenciales ha ido propiciando la adopción de estrategias, prácticas y herramientas tecnológicas para avanzar en evaluaciones más eficientes, casi siempre desde una perspectiva de optimización de recursos y económica, y de mayor calidad, en función de los aprendizajes que son objetos de evaluación (Or & Chapman, 2022).
Respecto a herramientas tecnológicas, se han desarrollado múltiples plataformas diseñadas específicamente para la evaluación en línea o integradas en plataformas de enseñanza-aprendizaje más generales. Las más habituales han sido las incorporadas en los campus virtuales o LMS cuya presencia se fue generalizando en las universidades (Jordan, 2013; Marín & Pérez Garcias, 2016). Asimismo, también están presentes sistemas de evaluación basados en inteligencia artificial, p.ej., de calificación automática (Zawacki-Richter et al., 2019). Por otro lado, se pone de manifiesto que las estrategias de evaluación presencial y en línea no difieren actualmente en gran medida y son los exámenes escritos la herramienta más habitual, mientras que otras estrategias alternativas (p.ej., portafolios electrónicos, proyectos, evaluación entre pares) son poco empleadas (Kondakci et al., 2022).
La migración masiva a una enseñanza en línea, a raíz de la pandemia Covid-19, ha reforzado las prácticas de evaluación en línea (Dominguez-Figaredo et al., 2022; García-Peñalvo et al., 2020; impregnando de experiencias al profesorado de todos los niveles educativos; ha ampliado los conocimientos sobre la evaluación en línea y ha dado paso a nuevos retos y perspectivas en cuanto a la utilización de las tecnologías digitales en la evaluación. Sin embargo, también ha puesto de manifiesto más claramente algunos desafíos. Las críticas y dificultades más persistentes en la evaluación en línea se focalizaron en garantizar la identidad del estudiantado que se examina en línea fuera de los espacios universitarios, en asegurar la autoría de las producciones compartidas telemáticamente y en desincentivar las conductas fraudulentas, deshonestas o ilícitas que desvirtúen la evaluación y calificación. De hecho, no son problemas exclusivos de la evaluación en línea, sino comunes en la evaluación universitaria y en otras etapas educativas Reconducir y resolver estas problemáticas pasa, por una parte, por un cambio de actitudes y por conductas honestas, lícitas y éticas y, por otra, en la utilización de la propia tecnología para detectar, disminuir y desincentivar estas prácticas fraudulentas
Posibilidades de la evaluación en línea
La sincronía temporal es uno de los factores que determinan las posibilidades de la evaluación en línea y de los más recurrentemente considerados (Abella García et al., 2020; Marín, Bedenlier et al., 2022). Las evaluaciones síncronas (online) están condicionadas por la duración de las pruebas o tareas planteadas y por el número de estudiantes. La realización de pruebas objetivas, test, exámenes orales individuales o exposiciones y presentaciones de equipos son las actividades más habituales en este caso. En cambio, la evaluación asíncrona (offline) amplía el repertorio de actividades a través de portafolios, trabajos en grupo, proyectos o diarios (Conrad & Openo, 2018).
En comparación con la evaluación presencial sin medios electrónicos, las ventajas habitualmente atribuidas a la evaluación en línea, en especial relacionadas con pruebas objetivas y test, incluyen (Or & Chapman, 2022): la provisión de feedback inmediato y automático de tareas al estudiantado, la eficiencia en el caso de gran número de participantes, la reducción de costes en papel, el aumento de la fiabilidad en la evaluación, la flexibilidad en los tiempos, distancias y espacios de realización de la evaluación.
Por otro lado, la evaluación en línea facilita y agiliza la participación de otros agentes, además del profesorado, en los procesos y estrategias evaluativas. La coevaluación, entre estudiantes o con participantes externos, y la autoevaluación, pueden desplegarse a través de funciones o herramientas específicas integradas dentro de campus virtuales o LMS (foros, tareas, consultas, etc.) o con el apoyo de aplicaciones en red (edición colaborativa, portafolios electrónicos, rúbricas, podcasts, etc.) (Marín & Pérez Garcias, 2016). Estas herramientas y funcionalidades son un recurso valioso en el avance de la evaluación formativa, pero sobre todo en corresponsabilizar al estudiantado de su aprendizaje, en favorecer los aprendizajes profundos, en anticipar errores y en fomentar el propio aprendizaje a partir del éxito de los demás. La aplicación de estrategias de feedback, de evaluación entre iguales (pares, grupos, triangulación, etc.) y la evaluación 360º con apoyo de las tecnologías incrementa la participación y la flexibilizan (Iglesias Pérez et al., 2022).
El panorama actual de la evaluación en línea viene a confirmar buena parte de las tendencias que la European Commission, Joint Research Centre, Institute for Prospective Technological Studies (Redecker, 2013) perfilaba en su informe sobre las potenciales contribuciones de las TIC en la evaluación de competencias. Los avances en el tratamiento masivo de datos, las analíticas de aprendizaje y la inteligencia artificial (esta última no contemplada en el informe) se perciben como determinantes para avanzar en la personalización del feedback y de la tutorización, en la automatización del feedback y en el desarrollo de tutores inteligentes.
Marco de referencia de la evaluación en línea
Como base de este estudio se utiliza el marco de referencia de la evaluación en línea generado en la primera fase del proyecto Remote.EDU a partir de una revisión de bibliografía sobre la evaluación y la evaluación en línea, así como de una validación por parte de actores clave (profesorado y personal administrativo) (Kondakci et al., 2022; Marín, Bedenlier et al., 2022).
El marco final creado se puede observar en la Figura 1. Contempla dos necesidades centrales, normalmente vinculadas a la institución (recursos tecnológicos disponibles y mecanismos de apoyo, formales e informales), así como tres grupos de factores que influyen en las actitudes, prácticas y preferencias de la evaluación en línea: los de nivel macro, que refieren al contexto nacional y regional, los del nivel meso, referentes a las características y situaciones institucionales, y los del nivel micro, que se relacionan con aspectos o características del profesorado y del alumnado (Kondakci et al., 2022).
Figura 1: Marco de referencia de la evaluación en línea
Nota: En Kondakci et al. (2022) se comparte la imagen con licencia CC BY-SA.
A nivel nacional y regional se sitúan elementos que actúan como reguladores de las prácticas de evaluación, como son los factores situacionales, los códigos legales, las políticas institucionalizadas y la cultura de evaluación dominante. En cuanto al nivel institucional, existen aspectos más explícitos y de carácter formal, como las políticas institucionales o el tipo de universidad, y otros más implícitos o de carácter informal, como la cultura institucional y la naturaleza de la disciplina.
Finalmente, los factores del nivel de enseñanza-aprendizaje se refieren a factores vinculados al profesorado, como sus competencias digitales, culturales, pedagógicas y de evaluación, y la experiencia docente, y al alumnado, en concreto sus competencias digitales y las necesidades de infraestructura. A caballo entre el nivel institucional y el nivel de enseñanza-aprendizaje vinculado al profesorado está la carga docente y el número de estudiantes en sus clases.
Por tanto, este marco de referencia enfatiza la importancia de considerar los diferentes niveles a la hora de analizar las actitudes, prácticas y preferencias de la evaluación en línea. Para mayor detalle del marco de referencia en lengua española, se recomienda revisar Marín, Bedenlier et al. (2022).
Metodología
El objetivo del estudio es analizar las actitudes, prácticas y preferencias del profesorado y alumnado universitario en relación con la evaluación en línea. Se parte de un paradigma positivista, pues se centra en reflejar las percepciones de estudiantado y personal docente respecto a la evaluación en línea y buscar las relaciones entre diferentes factores a través de métodos cuantitativos. Además, se trata un estudio de caso porque se centra en una única universidad española que sigue un modelo de enseñanza-aprendizaje presencial pero que, como otras instituciones nacionales e internacionales, experimentó el cambio total a la evaluación en línea durante la emergencia sanitaria de la Covid-19. Los datos obtenidos son de carácter descriptivo y exploratorios, y no permiten la generalización a toda la población.
Recogida de datos
Los instrumentos de recogida de datos son un cuestionario diferenciado para alumnado y otro para el profesorado diseñados a partir del marco de referencia descrito anteriormente y a partir de varias fases de revisión con los socios del proyecto (Marín, Brescó et al., 2022). El cuestionario del personal docente consta de 25 preguntas en 4 partes: A) factores asociados con el uso de la evaluación en línea, B) actitudes, prácticas y preferencias de estrategias de evaluación en línea, C) factores contextuales e institucionales, y D) perfil como docente. El cuestionario del alumnado consta de 18 preguntas con la misma estructura, donde D) es el perfil como estudiante. Ver Declaración de material complementario.
En este trabajo se presentan los resultados vinculados a las partes B y D de ambos grupos de participantes. La parte B utiliza escalas Likert con valores que van del 1 al 5. La participación en los cuestionarios era voluntaria, anónima y en línea, y se difundieron a través de canales de comunicación internos institucionales durante el mes de marzo de 2022. El estudio obtuvo la evaluación favorable del Comité de Ética de la Universidad de Lleida (España).
Análisis de datos
El diseño de investigación es descriptivo, pues se centra en la descripción de actitudes, prácticas y preferencias respecto a la evaluación en línea de las personas participantes, y además, se buscan relaciones entre las variables implicadas. El análisis de los datos se ha realizado con el software SPSS 28 y Microsoft Excel.
Se realizaron correlaciones entre diferentes variables del perfil docente y las prácticas de evaluación en línea formativa y sumativa para investigar si existían relaciones entre ellas. Las tres variables que se analizaron fueron: la experiencia docente (en años), la carga docente por curso académico (número de ECTS) y el tamaño de las clases (número de estudiantes). Tras la exploración de las tres variables a través de la prueba de normalidad Kolmogorov-Smirnov, se observó que la primera contaba con una distribución normal, mientras que las otras dos no, por lo que se aplicó la prueba de correlación Pearson para la primera y la de Spearman para las otras dos. Además, se compararon gráficamente las medias de las respuestas del profesorado y alumnado respecto a las prácticas, herramientas y preferencias de evaluación en línea. Se reconoce la limitación que puede suponer el uso de la media en escalas Likert; sin embargo, se consideró la aceptación de este estadístico en Ciencias Sociales, además del hecho de que la mediana no reflejaba de la misma manera las diferencias entre ambos colectivos.
Resultados, análisis y discusión
El número de participantes en el estudio fue de 62 docentes y 49 estudiantes, y no se trata de una muestra representativa de la población de la universidad de este caso.
Si bien hay participantes de todos los centros, la mayor parte del profesorado está vinculado a la Escuela Técnica Superior de Ingeniería (33,9%) y a la Facultad de Educación, Psicología y Trabajo Social (22,6%). Un 14,5% trabaja en los Centros Adscritos y un 8,1% en la Facultad de Enfermería y Fisioterapia. La docencia que imparten se distribuye principalmente en grado y posgrado (54,8%) y solo en grado (41,9%), en las áreas de Agricultura, Forestales, Pesca y Veterinaria (24,2%), Salud y Bienestar, y Educación (17,7% respectivamente). Respecto a la experiencia docente, de media el profesorado tiene 17,74 años e imparte 25,69 créditos docentes ECTS cada año académico. El 56,5% de las personas participantes no había tenido ninguna experiencia con la evaluación en línea con anterioridad a la Covid-19; de los que sí, el 59,3% la había tenido en estudios de posgrado o grado en línea.
En el caso del alumnado, también hay participantes en todos los centros, pero la mayoría estudia en la Facultad de Educación, Psicología y Trabajo Social (34,7%), seguida de lejos por la Escuela Técnica Superior de Ingeniería (14,3%) y los Centros Adscritos (14,3%). Las disciplinas que estudian son mayoritariamente del área de Salud y Bienestar (26,5%), Educación (18,4%) y otras (16,3%). Prácticamente todo el alumnado está en estudios de Grado (98%) y, si bien hay estudiantes en todos los años de estudio, destacan los de cuarto año (30,4%), seguido del segundo (28,3%). El 51% del estudiantado combina los estudios con trabajo. La gran mayoría del alumnado no había tenido experiencia con prácticas de evaluación en línea antes de la Covid-19 (79,6%) y la han experimentado en algunos cursos (51%), destaca primero (57,1%) y segundo (57,1%). En este sentido, a nivel de áreas disciplinarias, se aporta la representación de áreas menos presentes en la investigación sobre actitudes de estudiantado respecto a la evaluación en línea en educación superior (Or & Chapman, 2022).
Actitudes
En general, el profesorado se muestra en desacuerdo respecto a la facilidad, el ahorro de tiempo en el diseño y la facilidad de implementación de la evaluación en línea, y considera que es más exigente para la corrección que la evaluación sin medios digitales. En cambio, su actitud es positiva respecto a la posibilidad de implementación en sus asignaturas, la facilitación de la gestión de la evaluación, la facilitación de la provisión de retroalimentación al estudiando, la apertura de nuevas oportunidades al seguimiento de procesos de aprendizaje del alumnado o la facilitación de la situación de movilidad del estudiantado (ver Figura 2).
Figura 2: Actitudes del profesorado respecto a la evaluación en línea
Nota: Elaboración propia.
La indecisión se evidencia amplia en cuanto a si la evaluación en línea es bien recibida por el estudiantado, si permite llevar un mejor seguimiento y control del proceso de aprendizaje en comparación con la evaluación sin medios digitales o si facilita la provisión de retroalimentación al alumnado. Además, está ampliamente de acuerdo con la necesidad de la mejora de sistemas de seguridad para asegurar la autoría y detectar el plagio, así como la necesidad de mayor investigación para mejorar la práctica y asegurar la coherencia con un enfoque de evaluación basado en la competencia.
A pesar de que la investigación sobre las actitudes del personal docente universitario respecto a la evaluación en línea es todavía escasa, aspectos como la carga adicional de trabajo y de esfuerzos para el aprendizaje del uso efectivo de la evaluación en línea, así como la confianza en ella (p.ej., a nivel técnico), son elementos que aparecen también en otros estudios (Or & Chapman, 2022).
El alumnado se muestra claramente de acuerdo respecto a si le gusta recibir retroalimentación en línea de sus trabajos durante el proceso de aprendizaje (ver Figura 3). A pesar de la indecisión del profesorado al respecto, la valoración positiva del alumnado respecto al feedback online en nuestro estudio enfatiza el potencial de la tecnología para el apoyo a este, que podría ir más allá de un uso básico para potenciar los procesos de autorregulación en el aprendizaje (Espasa et al., 2022; Gros Salvat & Cano García, 2021). Otros estudios también enfatizan la importancia de la evaluación formativa y el feedback en contextos a distancia (García Aretio, 2021; Şenel & Şenel, 2021), así como el trabajo de la autorregulación del estudiantado (Panadero et al., 2022).
Figura 3: Actitudes del alumnado respecto a la evaluación en línea
Nota: Elaboración propia.
No obstante, el estudiantado se encuentra entre indeciso y en desacuerdo cuando se hace referencia a que la evaluación en línea sea más fácil que la evaluación sin medios digitales o que facilite la originalidad y la creatividad. Sobre esta última afirmación, el profesorado es ligeramente más positivo que el estudiantado. Así pues, las prácticas de evaluación en línea despiertan algunos retos ante situaciones poco honestas del alumnado, como el plagio en trabajos escritos o la suplantación de identidad en exámenes, que se observan en las actitudes del personal docente (y del estudiantado) en relación con la creatividad que pueden suponer dichas prácticas o la necesidad de mejores sistemas de seguridad. Estas preocupaciones conectan bien con propuestas como las tecnologías de supervisión de exámenes en línea y de reconocimiento facial, que generan a su vez cuestiones éticas (Aznarte et al., 2022; Coghlan et al., 2021). Además, estas actitudes de preocupación respecto a la honestidad académica se repiten en otros estudios en diferentes contextos (Guangul et al., 2020; Mâță et al., 2022).
Por otro lado, el alumnado está más bien en desacuerdo con que la evaluación en línea contribuya más a su aprendizaje que la evaluación sin medios digitales, o que la prefiera. Estos resultados han sido también planteados en otros estudios, como el de Şenel & Şenel (2021) durante la pandemia, donde se muestra la preferencia del estudiantado por la evaluación presencial en vez de la evaluación en línea. Otros estudios evidencian en general actitudes positivas del estudiantado respecto a la evaluación en línea, que varían según la estrategia de evaluación en línea aplicada y el momento del estudio (antes o después de haber aplicado la estrategia) (Or & Chapman, 2022).
Prácticas, herramientas y preferencias de evaluación en línea
En relación con las prácticas o estrategias de evaluación en línea, profesorado y alumnado coinciden en gran medida, tanto en la evaluación formativa como en la sumativa (ver Figura 4 y Figura 5). Las prácticas de evaluación en línea más habituales incluyen los trabajos escritos, las presentaciones y los cuestionarios o test.
Figura 4: Comparación de medias entre profesorado y alumnado en cuanto a las prácticas de evaluación formativa en línea
Figura 5: Comparación de medias entre profesorado y alumnado en cuanto a las prácticas de evaluación sumativa en línea
Nota: Elaboración propia.
Se constata una tendencia general en la que el estudiantado indica tener más experiencias de evaluación en línea que el personal docente, a excepción de prácticas concretas en el caso de la evaluación formativa (ver Figura 4), como el cuestionario o test y la autoevaluación.
A excepción de ciertas prácticas de evaluación en línea en evaluación formativa –el examen escrito con material de apoyo, el examen oral, las simulaciones, los análisis de casos y la autoevaluación–, se presentan diferencias de igual o superior a 0,5 puntos entre el alumnado y el profesorado, siendo más altas las puntuaciones en el caso del primero. Para el caso de la evaluación sumativa se repite la misma tendencia, a excepción de las mismas prácticas anteriores menos las simulaciones, donde la diferencia es inferior a los 0,5 puntos.
Diferentes estudios muestran los beneficios de utilizar prácticas de evaluación formativa en línea que potencien la resolución de problemas, el uso de contextos reales y auténticos, etc., así como alineadas de forma constructiva (Gikandi et al., 2011; Senadheera & Kulasekara, 2022). Sin embargo, esas prácticas parecen no estar muy presentes en nuestra muestra (p.ej., ver uso de simulaciones y portafolios), a pesar de sí estarlo en la bibliografía (Heil & Ifenthaler, 2023; Vega-Angulo et al., 2021). Asimismo, nuestros resultados están en oposición con otros durante el periodo pandémico, donde entre las prácticas de evaluación más comunes se encontraron los portafolios y los proyectos (Şenel & Şenel, 2021). Más similar en el mismo estudio es la poca frecuencia de prácticas de autoevaluación y evaluación entre pares, a pesar de su función de compromiso con el propio aprendizaje y en la mejora de otros respectivamente (García Aretio, 2021; Iglesias Pérez et al., 2022; Marín & Pérez Garcias, 2016).
Si revisamos las modas de las preferencias en relación con estas prácticas de evaluación en línea, encontramos únicamente el cuestionario o test como la práctica preferida del profesorado, mientras que en el caso del alumnado se observan algunas prácticas más, aparte del cuestionario o test: el examen escrito con material de apoyo y los trabajos escritos. Las prácticas o estrategias de evaluación tradicionales, que buscan habitualmente la evaluación de la apropiación de conceptos o teoría, se reflejan también en la modalidad en línea y apuntan hacia una reflexión sobre la evaluación, como también indicaban Vega-Angulo et al. (2021) en sus conclusiones.
Respecto de las herramientas de evaluación en línea utilizadas, los resultados parecen consistentes con las prácticas, donde las herramientas más utilizadas eran la tarea/trabajo del LMS, el cuestionario del LMS y el sistema de videoconferencia, tanto para profesorado como para alumnado (ver Figura 6). En el caso del alumnado, se observa una mayor utilización de herramientas relacionadas con la presentación de trabajos para ser evaluados, destacando los paquetes de trabajo en línea, pero con diferencias importantes con el profesorado también en otras herramientas. El único caso en que la media es notablemente superior para el profesorado en contraste con la media del alumnado es el de las herramientas de plagio (0,8 puntos de diferencia), aspecto que es consistente con los permisos habituales de dichas herramientas. Considerando la disposición de herramientas gratuitas online, podemos suponer que un grupo pequeño de estudiantes las utilizan, aunque la baja puntuación en el cuestionario puede indicar un conocimiento limitado sobre este aspecto.
Es destacable que hay notables diferencias entre profesorado y alumnado en muchas de las herramientas. Si consideramos diferencias de igual o superior a 0,5 puntos, vemos que el estudiantado utiliza mucho más que el personal docente los paquetes de trabajo en línea (diferencia de 1,05), las infografías (diferencia de 0,89), las wikis (diferencia de 0,73), los sitios web (diferencia de 0,69) y los cuestionarios externos al LMS (diferencia de 0,61).
Figura 6: Comparación de medias entre profesorado y alumnado en cuanto a las herramientas de evaluación en línea utilizadas
Nota: Elaboración propia.
Recientemente se denotaba la poca cobertura que se ha dado desde la investigación al rol de profesorado para lograr el equilibrio entre la orientación y la autorregulación del alumnado en contextos de aprendizaje con tecnología (Marín & Salinas, 2022), esto también se produce en la evaluación y puede quedar reflejado en las diferencias de prácticas y tecnologías entre ambos colectivos. En este sentido también parece relevante plantear el rol del estudiantado en la evaluación, no solamente como receptor sino también como actor. La evaluación formativa puede entenderse como un diálogo y no solamente como una comunicación emisor-receptor (o docente > estudiante). Poner el acento en la retroalimentación como evaluación para el aprendizaje para mejorar y cambiar (Hattie, 2009; Winstone & Carless, 2019) supone un cambio de perspectiva que debería incorporarse en la evaluación en línea. La retroalimentación debe formar parte de la planificación y en su ejecución ir más allá de la explicación y el diagnóstico para proponer y acordar estrategias de mejora. Avanzar en la evaluación supone revisar la participación del estudiantado en el proceso, como un compromiso personal con su aprendizaje. Panadero & Lipnevich (2022) apuntan la necesidad de considerar la retroalimentación en el conjunto de aspectos pedagógicos, entre ellos la agenda docente y su planificación.
Relaciones entre prácticas de evaluación en línea y características del perfil docente
El uso del cuestionario y del trabajo escrito en la evaluación formativa se mostraron relacionados con la experiencia docente (p < .05) (ver Tabla 1). En ambos casos la correlación es negativa, aunque débil (r= -.288 y r= -.306, respectivamente), por lo que implicaría que menor experiencia docente estaría algo relacionada con el mayor uso de dichas prácticas en la evaluación formativa. En la correlación con las prácticas de evaluación sumativa (ver Tabla 2), el cuestionario es la única relacionada con la experiencia docente (p < .05), si bien pasa como en el caso anterior, que la correlación es negativa y débil (r= -.251).
Tabla 1: Correlaciones entre prácticas de evaluación formativa y en línea y las tres variables
* La correlación es significativa al nivel 0,05 (bilateral).
Nota: Elaboración propia.
Tabla 2: Correlaciones entre prácticas de evaluación sumativa y en línea y las tres variables
* La correlación es significativa al nivel 0,05 (bilateral).
Nota: Elaboración propia.
Cuando se relacionan la carga docente y las prácticas de evaluación en línea, solo se observa relación con el examen escrito sin material de apoyo en la evaluación sumativa (p < .05) (Ver Tabla 2). Se puede interpretar que a mayor carga ECTS más habitual es implementar esta práctica de evaluación en línea como evaluación sumativa, si bien la relación es débil (ρ= .263).
Finalmente, en el caso del tamaño de la clase, dos prácticas de evaluación en línea tienen relación con el número de estudiantes en la clase (p < .05): la evaluación entre pares como evaluación formativa y sumativa (ρ= .270 y ρ= .280, respectivamente), y el examen oral en la evaluación sumativa (ρ= .291) (ver Tabla 1 y Tabla 2). Para todas las prácticas se trata de relaciones positivas y débiles, y se entendería que a mayor número de alumnos y alumnas en la clase, habría un cierto mayor uso de esas prácticas. Este hallazgo estaría vinculado a la ventaja de la eficiencia de la evaluación en línea en grupos numerosos (Or & Chapman, 2022).
Conclusiones
Este estudio ha contribuido a la bibliografía sobre evaluación en línea en educación superior en un modelo de enseñanza-aprendizaje presencial. En concreto, hace aportaciones importantes al tema todavía insuficientemente explorado de las actitudes de estudiantado y profesorado universitarios desde un enfoque sistemático que contempla diferentes factores implicados en la adopción de la evaluación en línea a partir de un marco de referencia validado (Or & Chapman, 2022). Sin olvidar que se trata de un estudio de caso y que no se pueden generalizar los resultados a todas las universidades con este modelo, se observa que la evaluación en línea es todavía poco habitual en este contexto, tanto en la evaluación formativa como sumativa, aunque más frecuente en esta última.
Las posibilidades de las tecnologías digitales para la evaluación, especialmente para el contexto de evaluación formativa y feedback, son sobradamente conocidas en educación superior (Conrad & Openo, 2018; Gikandi et al., 2011; Vega-Angulo et al., 2021). Sin embargo, todavía es necesario un esfuerzo para hacerlas patentes en modelos educativos presenciales y considerando diferentes disciplinas.
A pesar de los cambios y avances que se han producido con la incorporación de nuevas funcionalidades en los sistemas de aprendizaje en línea, una gran parte del profesorado sigue mostrando ciertas reticencias en el diseño y realización de una evaluación en línea que contemple acciones más allá de los exámenes tradicionales. Además, existe una gran preocupación tanto a nivel institucional como por parte del personal docente, en cuanto al control del alumnado y el peligro de fraude durante la ejecución de las pruebas en línea. Teniendo en cuenta esta inquietud, es cada vez más importante la actualización de los sistemas de seguridad en las infraestructuras técnicas de las universidades, pero también la mejora de la competencia digital docente con el fin de posibilitar al profesorado de nuevos conocimientos y estrategias que le permitan incorporar una mayor diversidad y tipología de acciones evaluativas en línea en el diseño de sus materias. En conexión con factores meso y micro de la evaluación en línea, y si bien las correlaciones significativas eran débiles en este estudio, es conveniente considerar el papel de las unidades institucionales de apoyo y de formación al profesorado en su desarrollo profesional, así como ajustar los efectos de la carga docente y el tamaño de las clases en la aplicación de la evaluación en línea. Algunas de estas recomendaciones también se reflejan en otros estudios (Or & Chapman, 2022).
En el contexto del proyecto Remote.EDU se han hecho esfuerzos hacia la creación de diversos materiales formativos para el apoyo del profesorado en el diseño e implementación de las prácticas de evaluación en línea (una herramienta de apoyo a la toma de decisiones y un curso abierto en línea: https://competecs.udl.cat/materiales-didacticos-remoteedu/). Con estas actuaciones se ha pretendido establecer unas bases de conocimiento que permitan empoderar al profesorado en el diseño y ejecución de una evaluación en línea de calidad. Es sumamente importante que las instituciones acompañen a sus docentes en el proceso de cambio y favorezcan las buenas prácticas permitiendo establecer un conocimiento práctico colaborativo. Sin embargo, a nivel de investigación, todavía es necesario analizar más en profundidad el contexto institucional y la evaluación sumativa y formativa en línea.
Se apuntan como limitaciones del estudio el uso de una muestra pequeña de profesorado y alumnado de una universidad específica, que no tiene por qué ser representativa de toda la población en dicha universidad, ni se podría generalizar a otras universidades. Además, el cuestionario se desarrolló con base al marco de referencia indicado, experimentándolo con una muestra reducida.
Como líneas de futuro, se plantea el trabajo de las actitudes del profesorado respecto a la evaluación en línea (nivel micro), pero también realizar estudios más profundos del contexto institucional que puedan servir de soporte para un mejor desarrollo pedagógico de la evaluación en línea en la educación superior (nivel meso). Asimismo, la exploración sistemática de las posibilidades del uso de la inteligencia artificial para la evaluación en línea (Zawacki-Richter et al., 2019), considerando diversas cuestiones éticas relacionadas, representa un espacio de investigación en auge que requiere de más investigación.
Declaración de contribuciones
Las personas autoras declaran que han contribuido en los siguientes roles: V. M. contribuyó con la escritura del artículo; la gestión del proceso investigativo; la obtención de fondos; recursos y apoyo tecnológico y el desarrollo de la investigación. J. C. contribuyó con la escritura del artículo; la gestión del proceso investigativo y el desarrollo de la investigación. E. B. contribuyó con la escritura del artículo; la gestión del proceso investigativo y el desarrollo de la investigación. X. C. contribuyó con la escritura del artículo; la gestión del proceso investigativo y el desarrollo de la investigación.
Declaración de financiamiento
Programa Erasmus+ de la Unión Europea (Erasmus+ KA2 Strategic Partnership in Higher Education), número de subvención 2020-1-DE01-KA226-HE-005782. Victoria I. Marín también agradece el apoyo del contrato Ramón y Cajal (Ayuda RYC2019-028398-I financiada por MCIN/AEI/ 10.13039/501100011033 y FSE “El FSE invierte en tu futuro”).
Declaración de procedencia
Proyecto Remote.EDU. Empower teachers for remote online assessments in higher education (Erasmus+ KA2 Strategic Partnership in Higher Education), número de subvención 2020-1-DE01-KA226-HE-005782.
Declaración de material complementario
Este artículo tiene material complementario:
• Instrumentos: Cuestionarios (inglés) en: https://doi.org/10.5281/ZENODO.7010021
El presente estudio utilizó las versiones traducidas al castellano y catalán del cuestionario, que están disponibles bajo petición.
• Preprint en: https://doi.org/10.5281/zenodo.10492262
Referencias
Abella García, V., Grande de Prado, M., García-Peñalvo, F. J., & Corell Almuzara, A. (2020). Guía de recomendaciones para la evaluación online en las universidades públicas de Castilla y León (versión 1.1). Zenodo. https://doi.org/10.5281/ZENODO.3780661
Aznarte, J. L., Melendos Pardo, M., & Lacruz López, J. M. (2022). Sobre el uso de tecnologías de reconocimiento facial en la universidad: El caso de la UNED. RIED. Revista Iberoamericana de Educación a Distancia, 25(1), 261-277. https://doi.org/10.5944/ried.25.1.31533
Bond, M., Bedenlier, S., Marín, V. I, & Händel, M. (2021). Emergency remote teaching in higher education: Mapping the first global online semester. International Journal of Educational Technology in Higher Education (18), 1-24. https://doi.org/10.1186/s41239-021-00282-x
Brady, M., Devitt, A., & Kiersey, R. A. (2019). Perspectivas del personal académico sobre la tecnología para la evaluación (TfA) en la educación superior: Una revisión sistemática de la literatura, 50(6), 3080-3098. https://doi.org/10.1111/bjet.12742
Coghlan, S., Miller, T., & Paterson, J. (2021). Good proctor or “Big Brother”? Ethics of online exam supervision technologies. Philosophy and Technology, 34(4), 1581-1606. https://doi.org/10.1007/s13347-021-00476-1
Conrad, D. & Openo, J. (2018). Assessment strategies for online learning: Engagement and authenticity. AU Press. https://doi.org/10.15215/aupress/9781771992329.01
Dominguez-Figaredo, D., Gil-Jaurena, I., & Morentin-Encina, J. (2022). The impact of rapid adoption of online assessment on students’ performance and perceptions: evidence from a distance learning university. Electronic Journal of e-Learning, 20(3), 224-241. https://doi.org/10.34190/ejel.20.3.2399
Espasa, A., Mayordomo, R. M., Guasch, T., & Martinez-Melo, M. (2022). Does the type of feedback channel used in online learning environments matter? Students’ perceptions and impact on learning. Active Learning in Higher Education, 23(1), 49-63. https://doi.org/10.1177/1469787419891307
Fernández March, A. (2010). La evaluación orientada al aprendizaje en un modelo de formación por competencias en la educación universitaria. REDU. Revista de Docencia Universitaria, 8(1), 11-34. https://doi.org/10.4995/redu.2010.6216
García Aretio, L. (2021). ¿Podemos fiarnos de la evaluación en los sistemas de educación a distancia y digitales? RIED. Revista Iberoamericana de Educación a Distancia, 24(2), 9-29. https://doi.org/10.5944/ried.24.2.30223
García-Peñalvo, F. J., Corell, A., Abella-García, V., & Grande, M. (2020). La evaluación online en la educación superior en tiempos de la COVID-19. Education in the Knowledge Society (EKS), 21, 1-26. https://doi.org/10.14201/eks.23013
Gikandi, J. W., Morrow, D., & Davis, N. E. (2011). Online formative assessment in higher education: A review of the literature. Computers & Education, 57(4), 2333-2351. https://doi.org/10.1016/j.compedu.2011.06.004
Gros Salvat, B. G., & Cano García, E. (2021). Procesos de feedback para fomentar la autorregulación con soporte tecnológico en la educación superior: Revisión sistemática. RIED. Revista Iberoamericana de Educación a Distancia, 24(2), 107. https://doi.org/10.5944/ried.24.2.28886
Guangul, F. M., Suhail, A. H., Khalit, M. I., & Khidhir, B. A. (2020). Challenges of remote assessment in higher education in the context of COVID-19: A case study of Middle East College. Educational Assessment, Evaluation and Accountability, 32(4), 519-535. https://doi.org/10.1007/s11092-020-09340-w
Hattie, J. (2009). The black box of tertiary assessment: An impending revolution. En L. H. Meyer, S. Davidson, H. Anderson, P. M. Fletcher, P. M. Johnston, & M. Rees (Eds.), Tertiary assessment & higher education student outcomes: Policy, practice & research (pp. 259-275). Ako Aotearoa.
Heil, J. & Ifenthaler, D. (2023). Online assessment in higher education: A systematic review. Online Learning, 27(1), 187-218. https://doi.org/10.24059/olj.v27i1.3398
Hilliger, I., Ruipérez‐Valiente, J. A., Alexandron, G., & Gašević, D. (2022). Trustworthy remote assessments: A typology of pedagogical and technological strategies. Journal of Computer Assisted Learning, 38(6), 1507-1520. https://doi.org/10.1111/jcal.12755
Ibarra Sáiz, M. S. & Rodríguez Gómez, G. (2010). Los procedimientos de evaluación como elementos de desarrollo de la función orientadora en la universidad. REOP - Revista Española de Orientación y Psicopedagogía, 21(2), 443-461. https://doi.org/10.5944/reop.vol.21.num.2.2010.11558
Iglesias Pérez, M. C., Vidal-Puga, J., & Pino Juste, M. R. (2022). El papel de la autoevaluación y la evaluación entre pares en la educación superior. Studies in Higher Education, 47(3), 683-692. https://doi.org/10.1080/03075079.2020.1783526
Jordan, S. (2013). E-assessment: Past, present and future. New Directions in the Teaching of Natural Sciences, 9(1), 87-106. https://doi.org/10.29311/ndtps.v0i9.504
Kondakci, Y., Capa-Aydin, Y., Zayim-Kurtay, M., & Kaya-Kasikci, S. (2022). Framework and taxonomy development of online assessment [Report on IO1]. Zenodo. https://doi.org/10.5281/zenodo.7009967
Mâță, L., Poenaru, A.-G., & Boghian, I. (2022). Current issues of ethical use of information technology from the perspective of university teachers. En L. Mâță (Ed.), Ethical use of information technology in higher education (pp. 163-179). Springer Singapore. https://doi.org/10.1007/978-981-16-1951-9_1
Marín, V. I., & Pérez Garcias, A. (2016). Collaborative e-assessment as a strategy for scaffolding self-regulated learning in higher education. En S. Caballé & R. Clarisó (Eds), Formative assessment, learning data analytics and gamification (pp. 3-24). Elsevier. https://doi.org/10.1016/B978-0-12-803637-2.00001-4
Marín, V. I., & Salinas, J. (2022). Balance between guidance and self-regulated learning: Teaching and learning strategies in online, Hybrid and blended learning in higher education. Journal of Interactive Media in Education (1), 1-4. https://doi.org/10.5334/jime.770
Marín, V. I., Bedenlier, S., Capa-Aydin, Y., Kaya-Kasikci, S., Kondakci, Y., Schieber, J., & Zayim-Kurtay, M. (2022). Apoyo al profesorado para la implementación de la evaluación en línea en educación superior: El proyecto europeo Remote.EDU. En S. Olmos-Migueláñez, M. J. Rodríguez-Conde, A. Bartolomé, J. Salinas, F. J. Frutos-Esteban, & F. J. García-Peñalvo (Eds.), La influencia de la tecnología en la investigación educativa pospandemia (pp. 183-198). Octaedro.
Marín, V. I., Brescó, E., Carrera, X., Coiduras, J., & Alfonso, G. (2022). Evaluation study of stakeholder perspectives on online assessment [Report on IO2]. Zenodo. https://doi.org/10.5281/ZENODO.7010090
Natal, D. (1998). On-line assessment: What, Why, How. Technology Education Conference. https://files.eric.ed.gov/fulltext/ED419552.pdf
Or, C. & Chapman, E. (2022). Development and acceptance of online assessment in higher education: Recommendations for further research. Journal of Applied Learning & Teaching, 5(1), 10-26. https://doi.org/10.37074/jalt.2022.5.1.6
Panadero, E. & Lipnevich, A. A. (2022). A review of feedback models and typologies: Towards an integrative model of feedback elements. Educational Research Review, 35, 100416. https://doi.org/10.1016/j.edurev.2021.100416
Panadero, E., Fraile, J., & García-Pérez, D. (2022). Transition to higher education and assessment: A one year longitudinal study. Educación XX1, 25(2), 15-37. https://doi.org/10.5944/educxx1.29870
Redecker, C. (2013). The use of ICT for the assessment of key competences. Publications Office of The European Union. https://data.europa.eu/doi/10.2791/87007
Senadheera, P. & Kulasekara, G. U. (2022). A formative assessment design suitable for online learning environments and its impact on students’ learning. Open Praxis, 13(4), 385-396. https://doi.org/10.55982/openpraxis.13.4.261
Şenel, S. & Şenel, H. C. (2021). Remote assessment in higher education during COVID-19 pandemic. International Journal of Assessment Tools in Education, 8(2), 181-199. https://doi.org/10.21449/ijate.820140
Surahman, E. & Wang, T.-H. (2022). Academic dishonesty and trustworthy assessment in online learning: A systematic literature review. Journal of Computer Assisted Learning, 38(6), 1535-1553. https://doi.org/10.1111/jcal.12708
Vega-Angulo, H. E., Rozo-García, H., & Dávila-Gilede, J. (2021). Estrategias de evaluación mediadas por las tecnologías de la información y comunicación (TIC): Una revisión de bibliografía. Revista Electrónica Educare, 25(2), 1-22. http://doi.org/10.15359/ree.25-2.16
Winstone, N. & Carless, D. (2019). Designing effective feedback processes in higher education: A learning-focused approach. Routledge. https://doi.org/10.4324/9781351115940
Zawacki-Richter, O., Marín, V. I., Bond, M., & Gouverneur, F. (2019). Systematic review of research on artificial intelligence applications in higher education – where are the educators? International Journal of Technology in Higher Education, 16(1), 1-27. https://doi.org/10.1186/s41239-019-0171-0
Regresar al inicio
Artículo de la Revista Electrónica Educare de la Universidad Nacional, Costa Rica by Universidad Nacional is licensed under a Creative Commons Attribution-NonCommercial-NoDerivs 3.0 Costa Rica License.
Based on a work at https://www.revistas.una.ac.cr/index.php/EDUCARE
Permissions beyond the scope of this license may be available at educare@una.ac.cr