in Revista Electrónica Educare
Validez de contenido de una rúbrica analítica del diseño de secuencias didácticas como mejora de la práctica pedagógica del equipo docente desde el enfoque de la socioformación
DOI: 10.15359/ree.25-1.20
Resumen
El contexto educativo determina, de forma tradicional, una práctica administrativa de los procesos de planeación y evaluación; en este sentido, existe una falta de instrumentos para evaluar el diseño de secuencias didácticas con el reto de otorgar saberes que enfrenten problemas de contexto y hacer una intervención docente con bases metodológicas para la resolución de problemas. El propósito de este estudio es describir el diseño de una rúbrica de secuencias didácticas para mejora de la práctica pedagógica. La metodología se realizó mediante un estudio instrumental de validez de contenido con base en el enfoque socioformativo con los siguientes pasos: 1) análisis de instrumentos afines; 2) construcción de una rúbrica con el enfoque de la socioformación; 3) revisión y mejora del instrumento por parte de equipos expertos; 4) aplicación del instrumento a un grupo piloto; y 5) validación de contenido por un grupo de jueces en el área educativa. Los resultados respecto a la V de Aiken con una significación de p<0,05, demuestran un valor arriba de 8.0. Se eliminaron algunos ítems cuyo nivel de significación fue de 0.71. El análisis de confiabilidad, muestra un valor de alfa de Cronbach de 0.891, las metodologías de coeficiente Aiken y Cronbach aplicadas determinaron la validez de contenido de la rúbrica. En conclusión, se presenta un instrumento pertinente para evaluar el diseño de secuencias didácticas, y se plantea la necesidad de ampliar este estudio con un análisis factorial exploratorio que determine su validez de constructo.
Main Text
Introducción
Las prácticas pedagógicas se encuentran inmersas en la concreción del sentido y enfoque de los modelos educativos curriculares, están orientadas hacia la transposición didáctica de los saberes enseñados en la reconstrucción de los aprendizajes mediante la transformación e innovación de su intervención en el aula (Secretaría de Educación Pública [SEP], 2017a; Zabala Vidiella, 2006 citado en Melitón-García y Valencia-Martínez, 2014). Las tres variables de intervención didáctica, fundamentales en el proceso de enseñanza y aprendizaje, como lo señalan Zabala y Arnau (2008), se refieren a los procesos que se asignan al personal docente, la conducción de la enseñanza de los saberes del alumnado y la mediación de los contenidos de aprendizaje. Estas se determinan como la comprensión de educar o enseñar y disponer de los medios adecuados de evaluación que analizan, de forma sistemática, el proceso y el producto de una acción formativa. A diferencia de una evaluación de resultados con base en un rendimiento académico, es trascendental una evaluación basada en evidencias para la resolución de problemas de contexto como un reto de la sociedad del conocimiento desde la perspectiva del enfoque socioformativo.
La SEP (2017a) plantea:
La planeación y la evaluación se emprenden simultáneamente; son dos partes de un mismo proceso. Al planear una actividad o una situación didáctica que busca que el estudiante logre cierto aprendizaje esperado se ha de considerar también cómo se medirá ese logro. Dicho de otra forma, una secuencia didáctica no estará completa si no incluye la forma de medir el logro del alumno. Un reto clave para el profesor es tener control de ambos procesos. Por ello ha de lograr que ni la planeación ni la evaluación sean una carga administrativa, sino verdaderos aliados de su práctica, vehículos para conseguir los fines educativos. (p.121)
En consecuencia, se identifica la planeación didáctica en el modelo educativo 2017 publicado en la SEP, que considera la relación de la planeación y evaluación como un reto integral en un solo proceso; sin embargo, existen términos polisémicos relacionados con su conceptualización y procedimiento en su diseño, los cuales han creado confusión respecto a la metodología. Esta es dirigida hacia la reproducción de contenidos temáticos y la evaluación basada en el rendimiento académico, contrario a la perspectiva de la socioformación que contribuye a la consolidación de la formación integral del alumnado y al desarrollo de competencias a través del diseño de secuencias didácticas, caracterizadas por integrar una serie de recursos de aprendizaje y de evaluación formativa con niveles de desempeño (SEP, 2017b; Tobón et al., 2016).
Hernández Mosqueda (2013) relaciona la necesidad de una evaluación socioformativa con base en evidencias del desarrollo de competencias como propuesta de crecimiento del alumnado, en el contexto educativo y social, a través de la resolución de problemas, con una visión integral y compleja de las acciones, que considere criterios, indicadores y evidencias. Otro aspecto a identificar es el progreso durante el proceso de aprendizaje, a partir de la descripción de rasgos que se evalúan en un nivel de desempeño de sus saberes, los cuales se representan en los siguientes niveles:
- Nivel preformal. Idea o acercamiento al problema.
- Nivel receptivo. Comprensión de la información de forma básica.
- Nivel resolutivo. Comprensión y resolución de problemas sencillos.
- Nivel autónomo. Análisis y argumentación de problemas con autonomía cognitiva.
- Nivel estratégico. Interdisciplinariedad en el abordaje de los problemas con creatividad.
Con el referente anterior, se vislumbran los vacíos y tensiones en el proceso de planeación del aprendizaje y, con la puesta en marcha del modelo educativo 2017, se observan diseños instruccionales con una baja comprensión del sentido, enfoque pedagógico y didáctico; la práctica del docente presenta confusión al interpretar el diseño de situaciones de aprendizaje, situaciones didácticas auténticas, secuencias y unidades didácticas, que son modalidades de la planificación, con la finalidad de promover competencias en un contexto para la resolución de problemas. La falta de claridad en el proceso conlleva a una intervención docente con limitaciones de desarrollo complejo de los aprendizajes clave y esperados del alumnado (Frade Rubio, 2016).
La evaluación se ha trabajado de forma tradicional e independiente al proceso de planeación, con la reproducción de modelos que no se adaptan a las necesidades del alumnado, con carencia de instrumentos con validez de contenido y confiabilidad que impacten en la reflexión de la práctica docente y la resolución de problema de contexto, y determinen una evolución del diseño de estrategias con bases metodológicas, sistemáticas desde la perspectiva de la socioformación, a partir de ejercicios de construcción de instrumentos que determinen la consistencia de un proceso de investigación.
Los constructos de validez de contenido de tipo instrumental requieren de la aplicación de una metodología de medición cuantitativa con la recolección de información en dimensiones de análisis, escalas de medida, agrupación de los ítems y el procesamiento de datos en concordancia con atributos de las variables teóricas para la obtención de evidencias viables y confiables en el diseño de rúbricas analíticas y sintéticas, y proporcionan resultados del desempeño de la práctica pedagógica del personal docente (Juárez-Hernández y Tobón, 2018).
La sistematización de instrumentos, como lo argumentaron Mosqueda et al. (2015, cita en Hernández-Mosqueda et al., 2016), implica hacer una evaluación integral socioformativa y modificar el repertorio de estrategias, al establecer una relación de sus desempeños con la trasformación de su contexto, que logre comprender un cambio de intervención tradicional del proceso de aprendizaje con la prospectiva de mejora de docentes y estudiantes a través de criterios para la resolución de problemas y la reflexión de los niveles de logro alcanzados (Tobón, 2013, citado en Neira Neaves et al., 2017).
De acuerdo con lo antes referido, el objetivo del estudio es describir la validez de contenido del diseño de una rúbrica analítica socioformativa mediante los aportes metodológicos instrumentales de investigación que valoren su consistencia. Considerando el proceso metodológico de investigación instrumental, el presente estudio se enfocó en las siguientes metas: 1. Diseñar una rúbrica analítica de secuencias didácticas 2. Evaluar la validez de contenido del instrumento mediante la aplicación a un grupo piloto. 3. Analizar los estudios de confiabilidad a través de la aplicación del alfa de Cronbach 4. Argumentar un constructo de investigación de una rúbrica analítica socioformativa.
Metodología
Se realizó un estudio de tipo instrumental con el propósito de obtener validez de contenido de una rúbrica analítica socioformativa del proceso de planificación de secuencias didácticas como mejora de la práctica pedagógica del personal docente mediante juicio experto. Este tipo de estudio consiste en un constructo con bases teóricas del enfoque sociofomativo y es evaluado en su operación semántica y sintáctica de los componentes de una variable o dimensiones (Carretero-Dios y Pérez, 2005).
Participantes
En la prueba piloto participaron 4 personas expertas, 15 jueces y 30 agentes, se destaca que la totalidad se desempeña en diversas áreas de la docencia en educación básica y superior. Se utilizó el método de muestreo no probabilístico por conveniencia, el cual está fundamentado en la accesibilidad, flexibilidad y características de los sujetos a la investigación (Otzen y Manterola, 2017), en esta etapa de la investigación, la muestra proporciona el acopio de información pertinente al tipo de estudio.
Procedimiento
El estudio de validez de contenido y confiabilidad del instrumento se llevó a cabo mediante las siguientes fases:
Diseño y revisión por equipo experto
Se diseñó el instrumento mediante una rúbrica analítica desde la perspectiva de la socioformación de acuerdo con lo que argumentó Tobón (2013, citado en Neira Neaves et al., 2017) respecto a la taxonomía de la rúbrica de la socioformación para la elaboración de los descriptores de los niveles de desempeño, indispensables para valorar competencias. La argumentación del análisis documental de las corrientes y aportes de los múltiples instrumentos, sustentan los criterios de validez y confiabilidad, participaron cuatro personas expertas (ver Tabla 1) las cualidades que se tomaron en cuenta en el proceso de selección representativa son: experiencia en la revisión de instrumentos, publicación de artículos y libros, desarrollo profesional en la investigación, docencia y tener el grado de maestría o doctorado.
Para realizar la forma de evaluación se utilizó el juicio experto, con un valor metodológico, que demuestre confiabilidad del instrumento. Escobar y Cuervo (2008, citado en Galicia Alarcon et al., 2017) discuten el proceso riguroso de validez de contenido, se emplea la representación de un grupo de personas experimentadas que hacen valoraciones, juicios y rasgos que se pretende medir con un nivel de profundidad cualitativa y cuantitativa para determinar la calidad del conocimiento y se distinguen por su formación académica y reconocimiento laboral (Juárez-Hernández y Tobón, 2018).
El instrumento se envió por correo electrónico a jueces con experticia para determinar la validez de contenido, se realizó el análisis de los resultados con el enfoque cuantitativo; se destacó en los señalamientos que fueron tendientes a la mejora en la redacción y pertinencia del constructo, las dimensiones se organizaron en cinco niveles de desempeño y se indicaron los niveles de desempeño a) Preformal/insuficiente b) Receptivo/satisfactorio c) Resolutivo/suficiente d) Autónomo/destacado e) Estratégico/sobresaliente; se incluyeron los indicadores y tareas evaluadoras en congruencia con los criterios establecidos en el proceso de investigación instrumental.
El instrumento referido con el formato de Cuestionario de factores sociodemográficos, creado por CIFE (2018), se adaptó a los requerimientos de esta investigación y en el cual se logró obtener información de los sujetos participantes expertos-jueces a través de criterios: edad; sexo; experiencia laboral; revisión, diseño y validación de artículos; grado de estudio; artículos, ponencias y libros publicados, con la finalidad de apreciar la calidad del instrumento; en el grupo piloto los ítems dan cuenta de la edad, sexo, experiencia laboral, grado de estudios, condiciones económicas y zona de residencia.
Aplicación de la prueba con un grupo piloto
Se aplicó la prueba a un grupo piloto compuesto por 30 docentes en servicio, de los niveles educativos de primaria, secundaria, personal directivo, asesor técnico pedagógico y de educación media superior, con estudios de posgrado del grado de maestría del 93% y de licenciatura 7%; con el fin de valorar la consistencia interna del instrumento, se identificó el área a mejorar respecto a la claridad de las instrucciones, las preguntas y la valoración cualitativa (ver Tabla 2).
Estudio de la validez de contenido
La evaluación de 15 jueces (ver Tabla 3) permitió hacer el análisis de confiabilidad mediante el coeficiente V de Aiken, con base en los parámetros que determinaron Charter (2003); Penfield y Giacobbi (2004, citados en García Sedeño y García Tejera, 2013), quienes argumentaron el valor mínimo aceptable de un ítem, “[los] contenidos inferiores a 0.75 obtenidas con un nivel de confianza p = 0.99 [estos índices indican la exigencia de] un valor determinado, por debajo del cual los ítems deben eliminarse [de la prueba]” (p. 50).
El acopio de datos del estudio permitió identificar las medias (promedio), su desviación estándar de las dimensiones y las que demostraron un valor abajo de la media. Para cuantificar su relevancia, se realizó el “índice de validez de contenido”. con un análisis mediante V de Aiken, sus valores son de 0 a 1,0, este indicado como perfecto de la evaluación del juicio experto y determina la mayor puntuación de concordancia del instrumento, para eliminar los ítems de la prueba, además de insumos cualitativos de mejora en las preguntas, opciones de respuesta, pertinencia y redacción de los ítems.
El rango de referencia se establece a partir de la interpretación del coeficiente de la magnitud hallada en su significación estadística de validez de contenido de V de Aiken y la determinación obtenida mediante las tablas de valores críticos que publicó en 1985. La ecuación, algebraicamente modificada por Penfield y Giacobbi (2004, citado en García Sedeño y García Tejera, 2013), donde X es la media de las calificaciones de jueces en la muestra; el valor 1 es la calificación más baja posible y K es el rango de los valores posibles obtenidos de la escala Likert utilizada como se representa en la ecuación 1:
Aspectos éticos
La selección de las personas expertas, jueces y grupo piloto se realizó a través de invitación oral y escrita, para la participación del estudio en la evaluación del instrumento, con los fines correspondientes en cada uno de los procedimientos que se llevaron a cabo, con la aprobación voluntaria. En las etapas de investigación se proporcionó información sobre la naturaleza, propósito, duración, el tipo de instrumento, la necesidad de apoyo en el proceso y la meta de este constructo, además, del cuidado en la información de los datos sociodemográficos que están sujetos a protección y resguardo ético, apropiado en este estudio.
Resultados
Con base en las etapas del estudio instrumental de validez de contenido de la rúbrica analítica, se describe el procedimiento de revisión, diseño y validación que fundamenta el fortalecimiento del instrumento; la interpretación, el análisis estadístico del juicio experto, jueces y grupo piloto determinaron su consistencia interna y confiabilidad acorde con la metodología desarrollada.
Descripción del instrumento
Es una rúbrica analítica para el diseño de secuencias didácticas para valorar la práctica pedagógica. Se consideraron, en el diseño del instrumento, las características de la taxonomía socioformativa (Tobón et al., 2016), con cinco niveles de dominio, que van de lo sencillo a lo complejo, a través de criterios que demuestran el desempeño en un proceso de formación y mejora de los saberes. Se incluyen los siguientes niveles de desempeño: preformal, receptivo, resolutivo, autónomo y estratégico. Se describieron los criterios de construcción de la rúbrica analítica, se sistematizó el proceso de planeación del diseño de secuencias didácticas, a través de un estudio instrumental centrado en determinar su consistencia interna. En la Tabla 4 se presenta el instrumento de forma esquemática, después de aplicar los procedimientos de evaluación de juicio experto, participación del grupo piloto, evaluación de jueces y posterior al análisis estadístico de validez y confiabilidad mediante coeficiente V de Aiken y coeficiente alfa de Cronbach.
Evaluación de jueces
En la Tabla 5 se representan los resultados de la evaluación de jueces, mediante la prueba de coeficiente de V de Aiken. Se identifica que el instrumento posee validez de contenido debido a que los rangos de valor de pertinencia del indicador y de redacción mantienen valores de 0.71 a .086 con p<0,05. en la mayoría de sus indicadores e ítems, existe pertinencia y coherencia, sin embargo, su valoración cualitativa fue determinante para la versión final de la rúbrica analítica en el Figura 1. Apéndice A.
Grupo piloto
Finalmente se presenta el análisis de confiabilidad a partir de la aplicación del instrumento con los sujetos participantes del grupo piloto (ver en la Tabla 6). Puede observarse que el instrumento presenta un grado de consistencia aceptable, dado que el coeficiente de alfa de Cronbach demuestra un valor de 0.891 de los elementos tipificados con p<0,05.
Discusión
Los hallazgos identificados tienen un alcance descriptivo del estudio instrumental de validez de contenido del diseño de una rúbrica analítica socioformativa; el análisis cuantitativo aporta bases metodológicas didácticas que dieron la oportunidad de mejorar la construcción del instrumento. El instrumento resultó pertinente para evaluar y diagnosticar el diseño de secuencias didácticas en docentes que trabajan en los niveles educativos de educación preescolar, primaria, secundaria y educación media superior. Su práctica educativa se transforma, desde la perspectiva del enfoque de la socioformación, tomando como base el juicio experto, el cual fue realizado por personal docente investigador con experiencia en el área y con una formación académica del 13% de maestría y 87% de doctorado.
Diversos estudios señalan la importancia del juicio experto para asegurar la pertinencia de los instrumentos sometidos a la validez de contenido como una técnica de evaluación con rigurosidad metodológica y que emiten un juicio de la prueba con base en el propósito de su diseño (Escobar y Cuervo, 2008, citado en Matheus Marín et al., 2017), ya que con mucha frecuencia se diseñan instrumentos con bajo grado de coherencia con la teoría y el entorno. De esta manera, se plantea que el instrumento adquiere trascendencia para futuras investigaciones, porque se sustentó con estudios documentales y se trianguló con los resultados estadísticos.
El estudio de validez de contenido se realizó mediante el coeficiente V de Aiken (2003, citado en Matheus Marín et al., 2017). Respecto a los métodos estadísticos que estiman la concordancia entre personas expertas, es importante identificar el grado de acuerdo entre ellas, pues sus valoraciones incluyen elementos subjetivos (Matheus Marín et al., 2017). Si la puntuación obtenida es alta, indica que hay aprobación acorde con la naturaleza de medición del instrumento en concordancia con sus dimensiones, niveles de desempeño e ítems. Los resultados proyectaron valoraciones de 0.86 en la dimensión de contenidos didácticos y su relación con los ambientes de aprendizajes, y de 0.71 en la dimensión de diversificación de estrategias didácticas. En relación con este dato, Penfield y Giacobbi (2004) consideraron V>0.75 como valor mínimo propuesto para considerar un ítem válido.
En el análisis cuantitativo de la rúbrica analítica del diseño de secuencias didácticas para la mejora de la práctica docente, desde la perspectiva de la socioformación, en la medición de la dimensión de diversificación de estrategias didácticas, se obtuvieron valores de V de Aiken de 0.71 en los rasgos de evaluación de jueces, respecto a pertinencia de la redacción y al indicador, por lo que fueron sujetos de revisión desde la mirada del enfoque socioformativo. Los argumentos de Candela et al. (2016) establecieron que coeficiente de V de Aiken se observan limitaciones por la dependencia del número de indicadores y del tipo de instrumentos utilizados, estos valores no tienen una precisión de esclarecer los conceptos; por lo tanto, el instrumento posee características específicas de la socioformación que se contraponen a los señalamientos que describieron los equipos de jueces, en la mayoría de los casos hicieron propuestas de cambio en los términos abordados desde la taxonomía, por lo que es necesario brindar especificaciones de este enfoque.
Es trascendental señalar que el instrumento posee una consistencia interna aceptable, el análisis de los resultados del grupo piloto determinó un coeficiente de alfa de Cronbach de 0.891, lo que permite referir que es una propuesta innovadora; el planteamiento de la rúbrica analítica del diseño de secuencias didácticas para mejora de la práctica educativa conserva argumentos teóricos de la socioformación que articulan los procesos de planeación y evaluación, como lo señala Capote y Sosa (2006, citado en Neira, Neaves et al., 2017) “es una herramienta que permite realizar una evaluación de manera objetiva”. (p. 4) Se han comparado investigaciones que valoran, mediante rubricas de forma global, los conocimientos y que carecen de la perspectiva de la socioformación, donde la metodología se reduce a descriptores de desempeño en cuanto a contenidos de aprendizaje y, desde la premisa del enfoque socioformativo, no se encontraron hallazgos de estudios de validez de contenido del diseño de secuencias didácticas.
Por último, se describen las dificultades en los procedimientos implementados durante la investigación, se destaca que los hallazgos arrojan que el enfoque socioformativo presentó limitaciones en su comprensión, y esto se evidenció en la aplicación de los instrumentos de forma escrita y formularios Google que evaluaron jueces, personas expertas y grupo piloto; por otro lado, la rúbrica por esencia es concreta y en la construcción los niveles de desempeño se redactaron los indicadores con base en la taxonomía de las rúbricas analíticas que establece la socioformación; las diversas etapas aplicadas para determinar la validez de contenido del instrumento permitieron determinar un vacío respecto al tamaño de la muestra, porque el 50% de participantes no evaluó el instrumento.
Conclusiones
Como se observó, el presente estudio describió el procedimiento de validez de contenido del diseño de una rúbrica analítica de secuencias didácticas para mejora de la práctica pedagógica desde el enfoque socioformativo (diseño del instrumento, evaluación de personas expertas, evaluación de un grupo piloto y evaluación de jueces). Los resultados evidenciaron que el instrumento es pertinente y presentó consistencia interna; la metodología de juicio experto fue determinante para consolidar y mejorar la rúbrica, porque los sujetos participantes en el proceso de validación demostraron un nivel académico y experiencia en la evaluación de instrumentos.
La valoración cuantitativa mediante los coeficientes de V de Aiken y Alfa de Cronbach se ajustó a los estándares dentro de los rangos mínimos aceptables de acuerdo con los supuestos de Nunnally y Bernstein (1995) y Penfield y Giacobbi (2004). Con estas técnicas de análisis, se observó el desarrollo metodológico en la discusión de este estudio en los aspectos de pertinencia en redacción, determinando su relevancia y aportaciones metodológicas del enfoque de la socioformación, que sustenta la argumentación de un constructo de investigación de una rúbrica analítica con el enfoque cualitativo.
Es importante señalar que existen escasos instrumentos similares al diseño de secuencias didácticas con una metodología señalada con el objeto de estudio; su constitución se fundamenta con el marco teórico del enfoque socioformativo; no obstante, las limitaciones se presentaron en el proceso, porque se encontró un 50% de respuestas que determinaron una muestra menor del grupo piloto y jueces, en proporción a la demanda de invitaciones realizadas en esta investigación.
Resumen
Main Text
Introducción
Metodología
Participantes
Procedimiento
Diseño y revisión por equipo experto
Aplicación de la prueba con un grupo piloto
Estudio de la validez de contenido
Aspectos éticos
Resultados
Descripción del instrumento
Evaluación de jueces
Grupo piloto
Discusión
Conclusiones