Revista Electrónica Educare (Educare Electronic Journal) EISSN: 1409-4258 Vol. 27(3) SETIEMBRE-DICIEMBRE, 2023
doi: https://doi.org/10.15359/ree.27-3.17251
https://www.revistas.una.ac.cr/index.php/educare
educare@una.ac.cr
[Cierre de edición el 31 de diciembre del 2023]
Adaptación y validación de una escala para evaluar el desarrollo de habilidades del siglo XXI en estudiantes de enseñanza secundaria
Scale Adaptation and Validation to Assess the Development of 21st Century Skills in Secondary School Students
Adaptação e validação de escala para avaliar o desenvolvimento de habilidades do século XXI em alunos do ensino médio
Felipe Sepúlveda
Universidad Católica de la Santísima Concepción
Núcleo Milenio para la Ciencia del Aprendizaje, MiNSoL
Concepción, Chile
https://orcid.org/0000-0001-5703-383X
Paz Céspedes
Universidad Católica de la Santísima Concepción
Concepción, Chile
paz.cespedes@ucsc.cl
https://orcid.org/0000-0001-8469-5505
Jordán Ovalle
Universidad Católica de la Santísima Concepción
Concepción, Chile
j.ovalle@ucsc.cl
https://orcid.org/0000-0001-6069-5877
Daniela García
Universidad Católica de la Santísima Concepción
Concepción, Chile
danielagarcia@ucsc.cl
https://orcid.org/0000-0002-7621-6049
Recibido • Received • Recebido: 05 / 07 / 2022
Corregido • Revised • Revisado: 04 / 09 / 2023
Aceptado • Accepted • Aprovado: 12 / 10 / 2023
Resumen:
Objetivo. El propósito de esta investigación consiste en la adaptación y validación de una escala que permite evaluar la percepción del estudiantado con respecto a las prácticas pedagógicas utilizadas en el aula para fomentar las habilidades del siglo XXI. Metodología. Para esto se adaptó la escala WVDE-CIS-28 diseñada originalmente para docentes y se aplicó mediante una encuesta a una muestra de 3 432 estudiantes de secundaria de 26 colegios de la región del Biobío, Chile. Se realizó un análisis factorial exploratorio (AFE) y un análisis factorial confirmatorio (AFC) para establecer el número de dimensiones subyacentes y verificar si el modelo teórico propuesto de 8 dimensiones presentaba un ajuste estadístico significativo. Resultados. Los análisis de validación de la escala ratificaron la estructura factorial del instrumento original que consideraba las dimensiones de pensamiento crítico, colaboración, comunicación, creatividad e innovación, autodirección, relaciones globales, relaciones locales y uso de tecnologías para el aprendizaje. Se reportan las tablas e índices de ajuste para los AFE, AFC y los resultados descriptivos por ítem y dimensión. Conclusiones. La adaptación del instrumento demuestra un ajuste psicométrico adecuado que explica cómo las 8 dimensiones consideradas contribuyen al constructo habilidades del siglo XXI. Esta herramienta puede ser de utilidad para investigar la manera en que las prácticas pedagógicas en el aula promueven el desarrollo de estas habilidades esenciales.
Palabras claves: Habilidades del siglo XXI; competencias cross-curriculares; prácticas pedagógicas; validación de escala; enseñanza secundaria.
Abstract:
Objective. This research aims to modify and validate a scale for assessing students’ perceptions of pedagogical practices employed in classrooms to foster 21st-century skills. Methods. The WVDE-CIS-28 scale, originally designed for teachers, was adapted and administered through a survey to a sample of 3432 high school students from 26 schools in the Biobío region, Chile. An exploratory factor analysis (EFA) and a confirmatory factor analysis (CFA) were conducted to determine the number of underlying dimensions and verify whether the proposed theoretical model with 8 dimensions showed a significant statistical adjustment. Results. The validation analyzes of the scale confirmed the factorial structure of the original instrument, which comprised the dimensions of critical thinking, collaboration, communication, creativity and innovation, self-direction, global relations, local relations, and the use of learning technologies. The study presents the factor loading tables and model fit indices for EFA and CFA, as well as descriptive results categorized by item and dimension. Conclusions. The adaptation of the instrument demonstrates an adequate psychometric adjustment, explaining how the 8 dimensions considered contribute to the 21st-century skills construct. This tool can be useful to investigate how classroom pedagogical practices promote the development of these essential skills.
Keywords: 21st-century skills; cross-curricular skills; teaching practices; scale validation; secondary education.
Resumo:
Objetivo. O objetivo desta pesquisa é modificar e validar uma escala que permita avaliar a percepção dos estudantes sobre as práticas pedagógicas utilizadas em sala de aula que fomentam as habilidades do século XXI. Método. Para isso, a escala WVDE-CIS-28, originalmente concebida para profesores, foi adaptada e aplicada em uma amostra de 3432 estudantes do ensino médio, provenientes de 26 escolas da região de Biobío, Chile. Foram realizadas análises fatoriais exploratórias (AFE) e análises fatoriais confirmatórias (AFC) para estabelecer o número de dimensões subjacentes e verificar se o modelo teórico proposto de 8 dimensões apresentava um ajuste estatístico significativo. Resultados. As análises de validação da escala ratificaram a estrutura fatorial do instrumento original que considerou as dimensões de pensamento crítico, colaboração, comunicação, criatividade e inovação, autodireção, relações globais, relações locais e uso de tecnologias de aprendizagem. Tabelas de carga fatorial e índices de ajuste de modelo para AFE, AFC e resultados descritivos são relatados por item e dimensão.Conclusões. A adaptação do instrumento demonstra um ajuste psicométrico adequado que explica como as 8 dimensões consideradas contribuem para a construção de competências do século XXI. Esta ferramenta pode ser útil para investigar como as práticas pedagógicas em sala de aula promovem o desenvolvimento destas competências essenciais.
Palavras-chave: Habilidades do século XXI; competências transversais; práticas de ensino; validação da escala; educação secundaria.
Introducción
El paradigma educativo en Latinoamérica y el mundo ha transitado hacia el desarrollo de competencias para el siglo XXI, buscando superar el modelo centrado en la transferencia de conocimientos, lo cual ha sido analizado por distintos estudios (Chalkiadaki, 2018). Este cambio comienza a producirse desde finales del siglo pasado y se encuentra ligado a, entre otros factores, los desafíos socioculturales y económicos que presenta la globalización y la posmodernidad, caracterizadas por: innovación tecnológica y científica, desconfianza frente a los metarrelatos, flujo acelerado de fuentes y tipos de información, así como también heterogeneidad de grupos sociales (Mendoza Gamiño, 2018). Todo ello, sumado a los constantes cambios demográficos y políticos, motivó la generación de distintos informes y obras intelectuales a nivel internacional, que propusieron el cambio de paradigma con base en la necesidad de educar niños, niñas y jóvenes con capacidades para manejar los nuevos códigos culturales y las habilidades requeridas para la era de la información (Chalkiadaki, 2018). Si antes las bases del sistema educativo fueron las necesidades de la sociedad industrial, ahora lo son las de la sociedad globalizada, impulsada por las tecnologías de la información y la comunicación (Delors, 1996). Es así como se ha propuesto que la educación debe transitar desde una enseñanza basada en la instrucción directa que fomenta el aprendizaje repetitivo o memorístico hacia la enseñanza compleja e interdisciplinar que contribuya al desarrollo académico, pero también a la vida del estudiantado (Care et al., 2017). En la actualidad, no es pertinente educar a jóvenes únicamente basándose en contenidos producto de un mundo globalizado donde estos rápidamente se vuelven obsoletos; sino que es preciso prepararles en competencias que sean transversales tanto a nivel disciplinar como temporal, que les sirvan para enfrentar las distintas etapas y desafíos de vida, con foco en las necesidades de la sociedad postindustrial.
Habilidades para el siglo XXI
En 1996, el Informe Delors creado para la Organización de las Naciones Unidas para la Educación, la Ciencia y la Cultura (UNESCO, por sus siglas en inglés), por la Comisión internacional sobre la educación para el siglo XXI (Delors, 1996), enuncia los cuatro aprendizajes fundamentales que debe considerar la educación ante los nuevos desafíos: aprender a conocer, aprender a hacer, aprender a vivir con los demás seres, y aprender a ser. Siendo la segunda de estas dimensiones, el aprender a hacer, la que impulsa la idea de desarrollo de nuevas competencias personales y profesionales, que van más allá de los sistemas de producción industrial, acercándose más bien al polo de producción intelectual y creativa. Posteriormente, en el 2000, el Proyecto Tuning (González & Wagenaar, 2009) –dispositivo que emana como respuesta al Acuerdo de Bolonia, donde varios países europeos asumen el compromiso de que la Universidad del siglo XXI responda a las necesidades de la sociedad postindustrial– define el concepto de competencia como “una combinación dinámica de las capacidades cognitivas y metacognitivas, de conocimiento y entendimiento, interpersonales, intelectuales y prácticas, así como de los valores éticos” (González & Wagenaar, 2009, p. 9), que se expresa en términos de resultados de aprendizaje.
Distintos estudios e informes han buscado clasificar las habilidades para el siglo XXI, entre los más destacados se pueden citar: el mismo Proyecto Tuning, que las divide en tres categorías: instrumentales, interpersonales y sistémicas. Más tarde, Committee on Defining Deeper Learning and 21st Century Skills et al. (2012) las clasifican en dimensiones de habilidades: cognitivas, interpersonales e intrapersonales; las que a su vez enmarcan una serie de competencias tales como pensamiento crítico, creatividad e innovación, flexibilidad, autorregulación, entre otras. Recientemente, van Laar et al. (2017) han realizado una revisión sistemática entre el grupo de habilidades reconocidas como competencias del siglo XXI e incluyen el desarrollo de competencias asociadas a las tecnologías de la comunicación e información (TIC), acuñando el concepto de habilidades digitales del siglo XXI, las que son reconocidas como un tema emergente en el ámbito de la investigación educativa, razón por la que también han sido llamadas “habilidades digitales emergentes” (León-Perez et al., 2020, p. 92).
Al realizar una revisión bibliográfica en torno al desarrollo de habilidades del siglo XXI, específicamente en estudiantes de nivel medio o secundario, se encuentra que los análisis se enfocan en el uso de las tecnologías y los aprendizajes comunicativos e interactivos, que permiten construir en “forma conjunta interactuando con otros y [da] la opción de compartir recursos” (Gutiérrez-Porlán et al., 2018, p. 98). Ahora bien, como plantean Pérez-Escoda et al. (2016), el manejo que tienen las nuevas generaciones con respecto al uso de las TIC se da principalmente por lo aprendido en contextos informales, no es la escuela el principal educador al respecto. Sin embargo, recalcan que el convivir con los medios tecnológicos de esta manera no genera necesariamente un desarrollo de las competencias digitales, pues existen brechas en materia de desarrollo de competencias lectoras, se considera a este estudiantado como analfabeto del siglo XXI “ya que aún en contacto permanente con fuentes de información, no desarrollan su máximo potencial cognitivo” (Amiama-Espaillat & Mayor-Ruiz, 2017, p. 107). Para superar esto se requiere que el personal docente esté preparado para formar a estudiantes en el uso de tecnologías digitales de forma crítica y responsable, con base en estrategias para el desarrollo de las TIC en su trabajo diario (Colás-Bravo et al., 2019).
Propuestas para evaluar el nivel dominio de las habilidades para el siglo XXI
El cambio de paradigma se ha materializado progresivamente en distintos países a través de reformas de política educativa y currículo, no obstante, un desafío latente en los diversos contextos ha sido cómo medir estas habilidades, pues debido a su naturaleza no es posible evaluarlas a través de pruebas de contenidos. En este sentido, se han elaborado distintas propuestas para evaluar el desarrollo de habilidades del siglo XXI, entre las que destacan las pruebas de juicio situacional, usadas principalmente para medir habilidades de trabajo en equipo y de comunicación a través de la evaluación del comportamiento de las personas participantes frente a distintos escenarios, para posteriormente ofrecerles escoger entre un conjunto de respuestas predefinidas (Herde et al., 2019). Asimismo, existen las autoevaluaciones y evaluaciones por otras instancias, que han inducido a la búsqueda de innovación en las escalas de medición como la elección forzada y viñetas de anclaje, así como también la necesidad de incrementar el nivel de validez de estos instrumentos debido a los sesgos en las propias respuestas de los sujetos evaluados (Boyaci & Atalay, 2016). Otra alternativa es la utilización de biodatos del estudiantado, entendidos como la recopilación de actividades (por ejemplo, a través de un currículum vitae) que entregan evidencia de que se ha adquirido alguna habilidad o competencia al desempeñarse en algún área o servicio; un ejemplo de esto es la medida de Stricker (Bennett & von Davier, 2017).
Es posible encontrar también instrumentos que utilizan medidas de desempeño para evaluar habilidades tales como la resolución de problemas de forma colaborativa. Por ejemplo, el problema de Jasper Woodbury de la Universidad de Vanderbilt que incluye problemas en varias áreas diseñados para ser resueltos por grupos de estudiantes quienes deben poner a prueba distintas habilidades tales como la colaboración, pensamiento crítico, comunicación efectiva, creatividad, entre otras (Cognition and Technology Group en Vanderbilt, 1992). Sumándose en este esfuerzo, un destacado trabajo se ha desarrollado en el Centro de Investigación en Evaluación de la Universidad de Melbourne, donde se han diseñado instrumentos que permitan establecer el nivel de dominio de las destrezas de resolución de problemas de forma colaborativa que incorpora indicadores de progresión en el área cognitiva y social de este constructo (Care et al., 2016). Si bien estos instrumentos varían en la forma de acceder al resultado de aprendizaje, en las distintas propuestas de evaluación se observa un foco fuerte en el manejo de TIC como dimensión de las habilidades para el siglo XXI, atendiendo también otras dimensiones tales como: adaptación al cambio, resolución de problemas, trabajo en equipo, creatividad e innovación.
Por otra parte, también se han desarrollado esfuerzos para lograr establecer cómo el personal docente integra, dentro de su práctica educativa, estrategias dirigidas para el desarrollo de las habilidades del siglo XXI. En general, la tendencia metodológica para estudiar las prácticas pedagógicas asociadas al fomento de las habilidades del siglo XXI es a través de cuestionarios de percepción docente con respecto a su accionar en el aula. Algunos ejemplos de investigaciones de este tipo son los estudios desarrollados con estudiantes de pedagogía y docentes ya en práctica profesional (Anagün, 2018). Al respecto, el Departamento de Educación de Virginia del Oeste (EE.UU), encargó el diseño de un instrumento orientado a medir las percepciones del personal docente en cuanto a la frecuencia con que se realizan distintas prácticas de aula. La aplicación de este instrumento mostró evidencias de cómo la implementación efectiva de estrategias pedagógicas relacionadas con la metodología de aprendizaje basado en proyectos puede tener un impacto positivo en el desarrollo de competencias del siglo XXI en estudiantes (Hixson et al., 2012).
El presente estudio propone una novedosa aproximación al objeto de estudio, puesto que se busca conocer la percepción desde el estudiantado con respecto a las prácticas docentes que ocurren en sus aulas que permitirían la formación de las llamadas habilidades del siglo XXI. De esta manera el principal objetivo de la investigación es adaptar y validar un instrumento que permita medir las percepciones del estudiantado de enseñanza secundaria con respecto a prácticas pedagógicas que ocurren en sus establecimientos educativos, que fomentan el desarrollo de las habilidades del siglo XXI.
Material y métodos
Método
Este estudio se plantea a partir de un paradigma investigativo cuantitativo no experimental, con un diseño de toma de datos ex post facto y transversal. La estrategia de recogida de datos se basa en la utilización de una encuesta. Así, en este estudio se registran las percepciones de estudiantes de nivel secundario con respecto a las estrategias de enseñanza que utilizan sus profesores para promover el desarrollo de habilidades para el siglo XXI.
Muestra
Se encuestó a un total de 3 432 estudiantes de secundaria pertenecientes a 26 liceos públicos de las regiones del Biobío y Ñuble, Chile. Del estudiantado encuestado el 53,4% asistían al curso de tercero medio y 46,6% asistía a cuarto medio (3º y 4º de enseñanza secundaria obligatoria). Del total de estudiantes participantes un 51,3 % eran hombres y un 48,7% eran mujeres X2 (3, 3432) = 3,83, p = .280. La muestra representa un 8,9 % del estudiantado de los niveles encuestados que asisten a escuelas secundarias públicas en las regiones incluidas en el estudio.
Instrumento
Para abordar el objetivo planteado se utilizó la encuesta diseñada para medir la enseñanza y aprendizaje del siglo XXI del Estado de Virginia del Oeste (WVDE-CIS-28), West Virginia 21st Century Teaching and Learning Survey, (Hixson et al., 2012), por su rigurosidad en términos de validez de contenido, validez de constructo y validez concurrente del instrumento. La encuesta original fue traducida y adaptada para ser aplicada al estudiantado y se compone de 47 ítems distribuidos en 8 dimensiones que representan los constructos propuestos originalmente asociados al desarrollo de habilidades del siglo XXI: pensamiento crítico, colaboración, comunicación, creatividad e innovación, autodirección, relaciones globales, relaciones locales y uso de tecnologías para el aprendizaje. Cada dimensión contiene un set de 4 a 8 preguntas las que registran información con respecto a la frecuencia de ocurrencia de acciones realizadas dentro y fuera del aula de clases, se utilizó una escala tipo Likert de 5 puntos donde: 1 = Nunca 2 = Casi nunca, 3 = A veces, 4 = Casi siempre y 5 = Siempre.
Análisis de datos
El tratamiento de datos se desarrolla utilizando técnicas estadísticas de tipo descriptivo para revisar las tendencias generales que muestran datos y un análisis factorial exploratorio (AFE) y confirmatorio (AFC) para lograr una adecuada validación del instrumento adaptado al español y su utilización con estudiantes. Se emplea el paquete estadístico JASP Versión 0.10.2 (JASP Team, 2021). En el AFE se utiliza el test de Bartlett de esfericidad para asegurar que la matriz de correlación no se conforme de manera aleatoria. Las comunalidades iniciales estimadas con correlaciones múltiples cuadradas fueron utilizadas debido a su tolerancia relativa a distribuciones no normales y su demostrada habilidad de registrar factores débiles. Para determinar el número de factores subyacentes en el instrumento se utilizó como criterio el análisis paralelo y la inspección visual de la gráfica de decantación (Scree plot). Así, el criterio de parsimonia y convergencia teórica utilizando como base los factores incluidos en el instrumento original fueron considerados como referencia. Por último, el análisis incluyó una rotación Oblimin. Las cargas complejas con salidas en más de un factor fueron descartadas para favorecer una estructura más simple. Factores con un mínimo de tres ítems y con una consistencia interna de al menos .70 fueron considerados como teóricamente significativos y considerados adecuados de mantener en el modelo propuesto. Finalmente, un análisis factorial confirmatorio (AFC) fue computado para verificar el grado de ajuste estadístico del modelo propuesto en el AFE.
Resultados
Análisis factorial exploratorio
Un análisis factorial exploratorio fue utilizado para analizar los factores subyacentes en el cuestionario de estrategias de aula para el aprendizaje de habilidades del siglo XXI. Los datos fueron revisados para asegurar que cumplían con los requisitos para este tipo de procedimiento (normalidad, linealidad, homogeneidad y homocedásticidad), cumpliendo adecuadamente con los estándares adecuados para este análisis. 21 casos fueron excluidos de la muestra debido a que fueron identificados como datos fuera de rango cuando se encontraban por sobre o bajo tres desviaciones con respecto a valores de la media estandarizada. La muestra presentaba un pequeño número de datos perdidos (<3%) los que fueron remplazados por el valor de la media para el correspondiente ítem conforme a lo sugerido en Schumacker (2015). Los resultados del test de esfericidad (Bartlett, 1954), indicaron una matriz de correlación no aleatoria, X2 (457) = 2243.62, p < . 001.
El AFE fue desarrollado conforme a las recomendaciones indicadas en Watkins (2018). Un análisis paralelo y la gráfica de decantación sugirieron una estructura de 9 factores. Al ingresar todos los ítems originales se detectó que dos de ellos presentaban una carga doble (V2d, V3a y V6f), tres presentaban una carga insuficiente (menor a .300) en los factores inicialmente propuestos (V2f, V5a y V5b) y dos cargaban en un solo factor (V8a y V8b). Todos estos ítems fueron excluidos del análisis, alcanzado la estructura simple del modelo donde los ítems presentaban una carga a solo uno de los factores identificados. De esta manera el instrumento se conformó con una estructura de 8 factores que eran consistentes con el instrumento original (WVDE-CIS-28, West Virginia 21st Century Teaching and Learning Survey, Tabla 1).
Las cargas de cada ítem a los factores identificados se presentan en la Tabla 2. Se calcularon los índices de ajustes de modelo propuesto donde: RMSEA fue de .034 (90%IC = .032-.035) y el índice de ajuste de TLI fue de .951. Ambos índices sugieren un adecuado ajuste al modelo propuesto. Se examinó la fiabilidad de las 8 dimensiones consideradas en el análisis donde los valores de los indicadores de consistencia interna de alpha y omega fueron adecuados para todas las dimensiones consideradas en el instrumento, variando desde alpha .780 - .854 y omega .784 - .855 (Tabla 3). Finalmente, en la Figura 1 se presenta la distribución de las respuestas registradas para cada ítem ordenadas considerando las dimensiones del instrumento. Al realizar un análisis general de los valores promedios informados en la Tabla 3 y la distribución de las respuestas presentadas en la Figura 1 se aprecia que el personal docente del estudiantado encuestado tiende a promover actividades relacionadas con el fomento de algunas habilidades por sobre otras. Así las actividades de autodirección, colaboración y uso de tecnologías son mayormente promovidas (al registrar una gran cantidad de respuestas en el rango de siempre y casi siempre). Por otro parte, las habilidades que tienden a ser menos promovidas en el salón de clases se relacionan con el establecer relaciones globales, la comunicación y la creatividad (mayor cantidad de respuestas en los rangos de nunca y casi nunca).
Tabla 1: Descripción de los ítems de cada factor identificado en base al WVDE-CIS-28
Nota: Elaboración propia.
Tabla 2: Matriz de cargas de cada ítem al factor identificado
Nota: Elaboración propia. El método de rotación aplicado fue oblimin.
Tabla 3: Estadísticos descriptivos y fiabilidad para cada factor del instrumento de estrategias de aula para el aprendizaje de habilidades del siglo XXI
Nota: Elaboración propia.
Figura 1: Percepción del estudiantado con respecto a actividades en el aula asociadas al fomento de las habilidades
Nota: Elaboración propia.
Análisis factorial confirmatorio
Considerando los resultados encontrados en el análisis factorial exploratorio que ratificó la estructura de 8 factores descritos como habilidades de estudio, colaboración, comunicación, creatividad e innovación, autodirección, relaciones globales, relaciones locales y uso de tecnologías para el aprendizaje, considerados en la versión original del instrumento; se procedió a realizar un análisis factorial confirmatorio (AFC) para evaluar el grado de ajuste del modelo teórico propuesto utilizando el método de estimación de máxima verosimilitud (Maximun likelihood). La bondad de ajuste del modelo propuesto se evaluó mediante diversos indicadores que consideran los índices del promedio del error de estimación estandarizado (RMSEA, Root mean square error of approximation), considerando un 90% de intervalos de confianza (90% IC), promedio de residuales estandarizados (SRMR, Root mean squared residual), el índice de ajuste comparativo (CFI, Comparative fit index) y por último el índice de Tucker-Lewis (TLI). Basándose en las sugerencias entregadas en Hu & Bentler (1999), un adecuado grado de ajuste fue definido según los siguientes criterios: RMSEA (≤ 0.06, 90% CI ≤ 0.06), SRMR (≤ 0.08), CFI (≥ 0,95), and TLI (≥ 0,95). En este caso, diferentes índices de ajuste son considerados debido a que al examinarlos todos en su conjunto entregan información con respecto al ajuste del modelo (i.e., ajuste absoluto, ajuste con la parsimonia del modelo, ajuste relativo a un modelo nulo) y al ser utilizados en conjunto, estos índices entregan una evaluación más conservadora y confiable del resultado.
Cada uno de los índices de bondad de ajuste utilizados sugiere que el modelo de 8 factores logra un adecuado ajuste de los datos: RMSEA = .037 (90% CI = .036-.038), SRMR = .031, CFI= .946 y TLI= .941. La inspección de los valores residuales estandarizados y los índices de modificación no sugieren la necesidad de realizar ajustes a la solución del modelo propuesto. Todos los valores de estimación en parámetros no estandarizados presentan significancia estadística. Las cargas determinadas en cada factor revelan que sus indicadores se encuentran fuertemente relacionados con cada factor correspondiente (rango de R2 .486 - .808, Tabla 4). La escala para medir el fomento de estrategias de aula para el aprendizaje de habilidades del siglo XXI, evidencia que el modelo compuesto por 8 factores, cada uno representando habilidades asociadas al fortalecimiento de habilidades del siglo XXI, presenta un elevada relación entre ellos (Tabla 5), todos registran relaciones por sobre R2 = .485, a excepción de la relación entre colaboración y relaciones globales la que presentó un R2 de .267, el que igualmente representa una relación significativa (p>.001).
Tabla 4: Cargas factoriales de cada ítem conforme al modelo factorial propuesto
Nota: Elaboración propia.
Tabla 5: Cargas de covarianza entre los factores identificados en el modelo
Nota: Elaboración propia.
Discusión y conclusiones
El objetivo central planteado en este estudio fue conocer las percepciones de estudiantes de nivel secundario con respecto a las prácticas pedagógicas empleadas por el personal docente y que son atribuidas al desarrollo de las habilidades del siglo XXI. En este sentido, se adaptó y validó una herramienta diseñada originalmente para docentes. El resultado de AFE conservó la estructura de 8 dimensiones propuestas en el instrumento original. Es importante destacar que, en este proceso de adaptación y validación del instrumento, el AFC reafirmó una estructura consistente con el constructo teórico propuesto conducente al fomento de las habilidades del siglo XXI. Adicionalmente, los resultados aportan nueva evidencia con respecto a la escala utilizada, puesto que en su informe original no se reportan resultados de un AFC (Hixson et al., 2012). En este sentido, la escala adaptada en esta investigación muestra adecuados índices en términos de la estructura factorial y fiabilidad, lo que representa un aporte para que pueda ser empleada en futuros estudios relativos a comprender las prácticas pedagógicas utilizadas para el fomento de las distintas habilidades asociadas a las habilidades del siglo XXI.
Con respecto a las 8 dimensiones que son incluidas en la escala, es posible indicar que son consistentes con lo que la bibliografía identifica como habilidades cross-curriculares (Ercikan & Oliveri, 2016; United Nations Educational, Scietific and Cultural Organización (UNESCO) Office Bangkok & Regional Bureau for Education in Asia and Pacific, 2015) relevantes de ser consideradas en el marco del fomento de las habilidades del siglo XXI. En una revisión de las políticas educativas de 152 países se identificó la importancia en el fomento de habilidades como la comunicación, creatividad, pensamiento crítico y resolución de problemas (Care et al., 2018). En esta misma dirección y considerando los desafíos de la sociedad actual, The Parnership for 21st Century (2010) indica que para lograr un desarrollo exitoso a nivel de estudios superiores y ejercicio profesional se requiere un adecuado dominio de habilidades tales como el pensamiento crítico y resolución de problemas, comunicación, colaboración, creatividad e innovación. A su vez, Committee on Defining Deeper Learning and 21st Century Skills et al. (2012) proponen tres grandes dominios que engloban el concepto de habilidades del siglo XXI que incluyen el desarrollo de destrezas cognitivas (creatividad, pensamiento crítico e innovación), destrezas intrapersonales (autorregulación, apertura intelectual, ética de trabajo) y destrezas interpersonales (trabajo en equipo, colaboración y liderazgo). Es importante precisar que la escala que se utiliza en esta investigación abarca gran parte de las destrezas que son identificadas como relevantes de ser promovidas para el desarrollo de las habilidades del siglo XXI, donde la primera dimensión llamada habilidades de estudio describe estrategias que promueven el pensamiento crítico.
Antecedentes referenciales con respecto a la evaluación en el fomento de habilidades cross-curriculares como las observadas en esta investigación son limitados para la población chilena. Se destacan estudios que apuntan a la evaluación de habilidades relacionadas con el uso y manejo de recursos digitales para la tecnología, información y comunicación, como el desarrollado con estudiantes de secundaria por Claro et al. (2012) y la investigación de Silva et al. (2019) que presenta antecedentes con respecto al desarrollo de la competencia digital docente en estudiantes de carreras de pedagogía. Sin embargo, son escasos los reportes sobre el desarrollo del conjunto de habilidades del siglo XXI para la población latinoamericana. Una excepción a esta tendencia es el estudio desarrollado con estudiantes de pedagogía de la Universidad de Valencia, donde se pone a prueba una escala para medir el nivel de dominio en competencias para el siglo XXI muy similares a las consideradas en esta investigación (Almerich et al., 2018). Esta es una temática de creciente interés por lo que es de esperar que, en el corto plazo, se presenten nuevos antecedes desde investigaciones de carácter empírico. Al respecto, dado el impacto ocasionado por la pandemia de COVID-19, que ha forzado a una rápida transformación desde una práctica educativa tradicional en salas de clases hacia el desarrollo de programas remotos y utilizando variadas herramientas digitales (Iivari et al., 2020), se releva la importancia en el fomento de este tipo de habilidades por parte del profesorado.
Respecto a las limitaciones identificadas en esta investigación, es necesario indicar que los resultados podrían ser mucho más valiosos en el caso de poder complementar el autorreporte del estudiantado con observaciones directas en el aula (a través de un sujeto observador no participante o mediante análisis de grabaciones de video). Asimismo, en futuras investigaciones se propone que la escala validada sea respondida por docentes y estudiantes, para poder comparar y contrastar las percepciones de ambos grupos con respecto a las prácticas pedagógicas que son utilizadas en el aula y que promueven el desarrollo de habilidades del siglo XXI.
A nivel de políticas educativas, el Ministerio de Educación de Chile recientemente ha actualizado el Marco para Buena Enseñanza dando relevancia en el ejercicio docente al desarrollo de las competencias del siglo XXI tales como el pensamiento creativo, pensamiento crítico, comunicación, colaboración, aprender a aprender, entre otros (Ministerio de Educación [MINEDUC], 2021). Los resultados de este tipo de estudios representan un aporte para poner a disposición un instrumento de evaluación de estas competencias adaptado y validado en el contexto nacional y local. Con esto se espera contribuir en el campo educativo al fomento de metodologías activas de aprendizaje, con base en instrumentos con validez psicométrica.
Con base en los hallazgos informados, se recomienda que el personal docente avance en la adopción de enfoques pedagógicos diversificados que incorporen tanto destrezas cognitivas como intrapersonales e interpersonales en su currículo. Además, se sugiere la utilización de estrategias multi-metodológicas que permitan un diagnóstico más completo del desarrollo de competencias en estudiantes, incluyendo tanto la observación directa como la autoevaluación. Dado el acelerado cambio hacia entornos digitales impulsado por la pandemia de COVID-19, la integración de tecnologías digitales en el aula para cultivar estas habilidades se presenta como otra estrategia crucial. Finalmente, la formación continua del profesorado en estas áreas, a través de programas de desarrollo profesional, puede facilitar una implementación efectiva de nuevas estrategias pedagógicas promotoras de las habilidades del siglo XXI.
Declaración de contribuciones
Las personas autoras declaran que han contribuido en los siguientes roles: F. S. contribuyó en la escritura del artículo, la gestión del proceso investigativo, la obtención de recursos y software, y la conceptualización, metodología, curación y análisis de la investigación. P. C. contribuyó en el primer borrador del artículo, la validación del proceso investigativo, la obtención de software, y la conceptualización, metodología y análisis de la investigación. J. O. contribuyó en la revisión-edición y primer borrador del artículo, la validación del proceso investigativo, y la conceptualización de la investigación. D. G. contribuyó en la revisión-edición y primer borrador del artículo, la validación del proceso investigativo, y la conceptualización y análisis de la investigación.
Declaración de material complementario
Este artículo tiene disponible material complementario:
Preprint en https://doi.org/10.5281/zenodo.7404836
Agradecimientos y fuente de financiamiento
Esta investigación se ha realizado dentro del Programa de Acceso a la Educación Superior (PACE-UCSC) subvencionado por el Ministerio de Educación de Chile e implementado por el equipo de profesionales de la Universidad Católica de la Santísma Concepción y la publicación fue apoyada por el FAA 01/2020 de la Dirección de Investigación UCSC. El equipo de investigación agradece a los equipos de gestión, docentes y estudiantes quienes accedieron a participar en este trabajo.
Referencias
Almerich, G., Díaz-García, I., Cebrián-Cifuentes, S., & Suárez-Rodríguez, J. (2018). Estructura dimensional de las competencias del siglo XXI en alumnado universitario de educación. Revista Electrónica de Investigación y Evaluación Educativa, 24(1), 1-21. https://doi.org/10.7203/relieve.24.1.12548
Amiama-Espaillat, C. & Mayor-Ruiz, C. (2017). Lectura digital en la competencia lectora: La influencia en la generación Z de la República Dominicana. Comunicar, 25(52), 105-114. https://doi.org/10.3916/C52-2017-10
Anagün, Ş. S. (2018). Teachers ’ perceptions about the relationship between 21st century skills and managing constructivist learning environments. International Journal of Instruction, 11(4), 825-840. https://doi.org/10.12973/iji.2018.11452a
Bartlett, M. S. (1954). A notte note on the multiplying factors for various X2 approximations. Journal of the Royal Statistical Society, Series B, 16(2), 296-298. https://doi.org/10.1111/j.2517-6161.1954.tb00174.x
Bennett, R. E. & von Davier, M. (Editores). (2017). Advancing human assessment. The methodological, psychological and policy contributions of ETS. Springer. https://doi.org/10.1007/978-3-319-58689-2_19
Boyaci, Ş. D. B. & Atalay, N. (2016). A scale development for 21st century skills of primary school students: A validity and reliability study. International Journal of Instruction, 9(1), 133-148. https://doi.org/10.12973/iji.2016.9111a
Care, E., Kim, H., & Scoular, C. (2017). 21st century skills in 20th century classrooms. Educadores, (December), 30-40. https://www.brookings.edu/wp-content/uploads/2018/08/Care-Kim-Scoular_Educadores.pdf
Care, E., Kim, H., Vista, A., & Anderson, K. (2018). Education system alignment for 21st century skills: Focus on assessment. Center for Universal Education, Brookins Institution. https://www.brookings.edu/wp-content/uploads/2018/11/Education-system-alignment-for-21st-century-skills-012819.pdf
Care, E., Scoular, C., & Griffin, P. (2016). Assessment of cProblem solving in education environments. Applied Measurement in Education, 29(4), 250-264. https://doi.org/10.1080/08957347.2016.1209204
Chalkiadaki, A. (2018). A sistematic literatura review of 21st century skills and competencias in primary education. International Journal of Instruction, 11(3), 1-16. https://doi.org/10.12973/iji.2018.1131a
Claro, M., Preiss, D. D., San Martín, E., Jara, I., Hinostroza, J. E., Valenzuela, S., Cortes, F., & Nussbaum, M. (2012). Assessment of 21st century ICT skills in Chile: Test design and results from high school level students. Computers & Education, 59(3), 1042-1053. https://doi.org/10.1016/j.compedu.2012.04.004+
Cognition and Technology Group at Vanderbilt. (1992). The Jasper experiment: An exploration of issues in learning and instructional design. Educational Technology Research and Development, 40(1), 65-80. https://doi.org/10.1007/BF02296707
Colás-Bravo, P., Conde-Jiménez, J., & Reyes-de-Cózar, S. (2019). El desarrollo de la competencia digital docente desde un enfoque sociocultural. Comunicar, 27(61), 21-32. https://doi.org/10.3916/C61-2019-02
Committee on Defining Deeper Learning and 21st Century Skills, Pellegrino, J. W. (Ed.), M. Hilton, M. L. (Eds.), Board on Testing and Assessment, Board on Science Education, Division on Behavioral and Social Sciences and Eduction & National Research Council. (2012). Education for life and work: Developing transferable knowledge and skills in the 21st century. National Academies Press. https://hewlett.org/wp-content/uploads/2016/08/Education_for_Life_and_Work.pdf
Delors, J. (1996). Los cuatro pilares de la educación. En La educación encierra un tesoro. Informe a la UNESCO de la Comisión internacional sobre la educación para el siglo XXI (pp. 91-103). Ediciones UNESCO. https://www.uv.mx/dgdaie/files/2012/11/CPP-DC-Delors-Los-cuatro-pilares.pdf
Ercikan, K. & Oliveri, M. E. (2016). In search of validity evidence in support of the interpretation and use of assessments of complex constructs: Discussion of research on assessing 21st century skills. Applied Measurement in Education, 29(4), 310-318. https://doi.org/10.1080/08957347.2016.1209210
González, J. & Wagenaar, R. (Coords.). (2009). Una introducción a Tuning Educational Structures in Europe. La contribución de las universidades al proceso de Bolonia. Publicaciones de la Universidad de Deusto. https://dialnet.unirioja.es/servlet/libro?codigo=703107
Gutiérrez-Porlán, I., Román-García, M., & Sánchez-Vera, M.-del-Mar. (2018). Estrategias para la comunicación y el trabajo colaborativo en red de los estudiantes universitarios. Comunicar. 26(54), 91-100. https://doi.org/10.3916/C54-2018-09
Herde, C. N., Lievens, F., Solberg, E. G., Harbaugh, J. L., Strong, M. H., & Burkholder, G. J. (2019). Situational judgment tests as measures of 21st century skills: Evidence across Europe and Latin America. Journal of Work and Organizational Psychology, 35(2), 65-74. https://doi.org/10.5093/jwop2019a8
Hixson, N. K., Ravitz, J., & Whisman, A. (2012). Extended profesional development in project-based learning: Impacts on 21st century teaching and student achievement. https://files.eric.ed.gov/fulltext/ED565466.pdf
Hu, L. & Bentler, P. M. (1999). Cutoff criteria for fit indexes in covariance structure analysis: Conventional criteria versus new alternatives. Structural Equation Modeling: A Multidisciplinary Journal, 6(1), 1-55. https://doi.org/10.1080/10705519909540118
Iivari, N., Sharma, S., & Ventä-Olkkonen, L.(2020). Digital transformation of everyday life – How COVID-19 pandemic transformed the basic education of the young generation and why information management research should care? International Journal of Information Management, 55(2), 1-6. https://doi.org/10.1016/j.ijinfomgt.2020.102183
JASP Team. (2021). JASP (Version 0.16.3) [Computer software]. University of Amsterdam. https://jasp-stats.org
León-Perez, F., Bas, M.-C., & Escudero-Nahón, A. (2020). Autopercepción sobre habilidades digitales emergentes en estudiantes de educación superior. Comunicar, 28(62), 91-101. https://doi.org/10.3916/C62-2020-08
Mendoza Gamiño, A. (2018). Globalización y nuevos retos para una educación en la era digital. En P. Aullón de Haro (Coord.), La cuestión universitaria. (Vol 1: Metodologías humanísticas en la era digital, pp. 115-125). Instituto Juan Andrés. https://humanismoeuropa.files.wordpress.com/2018/02/6.pdf
Ministerio de Educación (MINEDUC). (2021) Estándares de la profesión docente. Marco para la buena enseñanza. CPEIP. https://estandaresdocentes.mineduc.cl/wp-content/uploads/2023/06/MBE-2-1.pdf
Pérez-Escoda, A., Castro-Zubizarreta, A., & Fandos-Igado, M. (2016). La competencia digital de la generación Z: Claves para su introducción curricular en la educación primaria. Comunicar. 24(49), 71-79. https://doi.org/10.3916/C49-2016-07
Schumacker, R. E. (2015). Learning statistics using R. Sage Publications.https://doi.org/10.4135/9781506300160
Silva, J., Usart, M., & Lázaro-Cantabrana, J.-L. (2019). Competencia digital docente en estudiantes de último año de pedagogía de Chile y Uruguay. Comunicar, 27(61), 33-43. https://doi.org/10.3916/C61-2019-03
United Nations Educational, Scientific and Cultural Organization (UNESCO) Office Bangkok & Regional Bureau for Education in Asia and Pacific. (2015). Transversal competencies in education policy and practice (Phase I): Regional synthesis report. http://bit.ly/337gUmH
van Laar, E. van, Deursen, A. J. A. M., van, Dijk, J. A. G. M. Van., & de Haan, J.. (2017). The relation between 21st-century skills and digital skills : A systematic literature review. Computers in Human Behavior, 72, 577-588. https://doi.org/10.1016/j.chb.2017.03.010
Watkins, M. W. (2018). Exploratory factor analysis: A guide to best practice. Journal of Black Psychology, 44(3), 219-246. https://doi.org/10.1177/0095798418771807
Regresar al inicio
Artículo de la Revista Electrónica Educare de la Universidad Nacional, Costa Rica by Universidad Nacional is licensed under a Creative Commons Attribution-NonCommercial-NoDerivs 3.0 Costa Rica License.
Based on a work at https://www.revistas.una.ac.cr/index.php/EDUCARE
Permissions beyond the scope of this license may be available at educare@una.ac.cr