Revista Electrónica Educare (Educare Electronic Journal) EISSN: 1409-4258 Vol. 26(3) SETIEMBRE-DICIEMBRE, 2022: 1-15
doi: https://doi.org/10.15359/ree.26-3.13
https://www.revistas.una.ac.cr/index.php/educare
educare@una.ac.cr
[Cierre de edición el 01 de Setiembre del 2022]
Validez de contenido de un instrumento sobre la implementación de proyectos de educación emocional mediante juicio experto
Validity of a Content-Judged Instrument About the Implementation of Emotional Education Projects
Avaliação do conteúdo de um instrumento sobre a implementação de projetos de educação emocional por parte dos juízes
Miguel Ángel Yunta-Ibarrondo
Universidad de Sevilla
Sevilla, España
migyuniba@alum.us.es
https://orcid.org/0000-0002-4894-652X
Clara Romero-Pérez
Universidad de Sevilla
Sevilla, España
https://orcid.org/0000-0002-3159-2008
Recibido • Received • Recebido: 02 / 08 / 2021
Corregido • Revised • Revisado: 15 / 05 / 2022
Aceptado • Accepted • Aprovado: 21 / 08 / 2022
Resumen:
Introducción. El estudio plantea como objetivo diseñar y validar el contenido de un cuestionario dirigido al profesorado participante en proyectos de educación emocional en los niveles de educación infantil, primaria y secundaria. El instrumento pretende recabar la opinión del personal docente sobre cinco factores que condicionan la implementación de los proyectos de educación emocional. Método. Diseño de validación de instrumentos correspondiente a la etapa exploratoria (validez de contenido) del constructo factores que afectan a la implementación en educación emocional. Se determinó la validez de contenido mediante el acuerdo de 11 personas juezas y se adaptaron 4 instrumentos ya existentes para el diseño del cuestionario. La escala presenta cinco dimensiones constituidas por 88 ítems. Resultados. Los hallazgos muestran que el cuestionario facilita la organización de la información en ítems por dimensión y satisface los criterios de suficiencia, claridad, coherencia y relevancia según el criterio de personas juezas. El instrumento alcanza un acuerdo interjueces estadísticamente significativo, aunque el nivel de acuerdo es bajo. Se incorporaron las modificaciones señaladas por el juicio experto. Conclusiones. El instrumento evaluado quedó finalmente compuesto por 86 ítems. Fueron reformulados 31 ítems y desestimados 5. El nivel de medición de los ítems incluyó medidas nominales (8 ítems) y 78 ítems de intervalo. Los hallazgos muestran una adecuada validez del cuestionario que evidenció poseer una estructura y contenido válido para la posterior validación de las propiedades métricas del instrumento.
Palabras claves: Educación emocional; cuestionario; innovación educacional; juicio experto; validez de contenido.
Abstract:
Introduction. This study aims to design and validate the content of a questionnaire for teachers participating in emotional education projects at the levels of kindergarten, primary, and secondary education. The instrument aims to elicit teachers’ opinions on five factors that condition the implementation of emotional education projects. Method. Designing an instrument validation corresponding to the exploratory stage (content validity) of the construct factors, which affect the implementation in emotional education. The agreements of 11 judges determined content validity, and 4 existing instruments were adapted to design the questionnaire. The scale has five dimensions and is made up of 88 items. Results. The findings show that the questionnaire facilitates the organization of information into items by dimension and satisfies the criteria of sufficiency, clarity, coherence, and relevance. The instrument reaches a statistically significant inter-judge agreement, although the level of agreement is low. The modifications the judges indicated were incorporated. Conclusions. The evaluated instrument was finally composed of 86 items, of which 31 items were reformulated and 5 rejected. The level of measurement of the items included nominal measures (8 items) and 78 interval items. The findings show an adequate validity of the questionnaire, which proved to have a valid structure and content for the further validation of the metric properties of the instrument.
Keywords. Emotional education; questionnaire; educational innovations; expert judge; content validity.
Resumo:
Introdução. O estudo tem como objetivo desenhar e validar o conteúdo de um inquérito dirigido aos professores de infantil, primeiro e segundo ciclo, que participam em projetos de educação emocional. Este instrumento pretende recolher a opinião dos docentes sobre cinco fatores que condicionam a implementação de ditos projetos. Método. Desenho para a validação dos instrumentos correspondentes a etapa de exploração (validação de conteúdo) do constructo e dos fatores que afetam a implementação em educação emocional. A validade do conteúdo foi determinada pelo acordo de 11 juízes e 4 instrumentos existentes foram adaptados para a concepção do questionário. A escala apresenta cinco dimensões constituídas por 88 itens. Resultados. Os dados demonstram que o inquérito facilita a organização da informação em itens por dimensão e satisfaz os critérios de suficiência, clareza, coerência e relevância. O inquérito obtém um consenso inter-juízes estatisticamente significativo, ainda que o nível de acordo é baixo. Foram feitas as alterações propostas pelos juízes. Conclusões. O instrumento avaliado finalmente é constituído por 86 itens, dos quais foram reformulados 31 e descartados 5. Os resultados mostram uma validade adequada do questionário, que provou ter uma estrutura e conteúdo válidos para uma maior validação das propriedades métricas do instrumento.
Palavras-chave: Educação emocional; questionário; inovação educacional; juízes especializados; validade de conteúdo.
Introducción
En el ámbito educativo, la innovación constituye uno de los pilares en la mejora de la calidad de los procesos de enseñanza y aprendizaje. Uno de los ámbitos en los que se están incrementando estas innovaciones se hacen en educación emocional. Estas iniciativas pedagógicas, de acuerdo con Durlak et al. (2011), Organización para la Cooperación y Desarrollo Económico (OCDE 2017) y Peterson (2018) evidencian su efectividad, entre otras, en la mejora del rendimiento académico y la convivencia escolar y familiar. Por otra parte, Durlak (2016) señala la importancia de realizar evaluaciones más completas, que integren también la calidad de la implementación de dichas innovaciones en educación emocional. En la misma línea, Dowling y Barry (2020) concluyen que existen pocos estudios que evalúen la calidad de estas propuestas innovadoras tomando como unidad de análisis su implementación, a pesar de la importancia que posee el conocer de qué modo la variabilidad en la puesta en práctica de los programas condiciona los resultados.
Por ello, con el fin de anticipar líneas de actuación que mejoren la calidad educativa, conocer qué elementos afectan la puesta en marcha de proyectos de innovación educativa en los centros escolares supone un reto para las instituciones (OCDE, 2020).
En la bibliografía existente se han encontrado modelos que ilustran los factores más relevantes que condicionan la calidad de la implementación de los proyectos de innovación educativa en los centros escolares (Domitrovich et al., 2008; Durlak y Dupre, 2008) (Tabla 1).
Tabla 1: Factores que pueden afectar a la calidad de la implementación
Nota: Elaboración propia, a partir de Domitrovich et al. (2008), Durlak y Dupre (2008).
Dada la multiplicidad de elementos que pueden condicionar la calidad del desarrollo de las iniciativas de innovación educativa y, más concretamente, en educación emocional, se procedió, en primer lugar, a analizar, de manera crítica, los modelos teóricos existentes y, en segundo lugar, se realizó un diseño inicial del instrumento que se estructuró en cinco dimensiones: motivación, facilitadores, barreras, efectividad percibida y sostenibilidad.
La primera dimensión que conforma el cuestionario está apoyada en la teoría de la autodeterminación (Deci y Ryan, 1985; Ryan y Deci, 2017). El constructo motivación refleja el perfil motivacional del profesorado de acuerdo con la clasificación propuesta por estos estudios. Asimismo, se ha partido del instrumento validado por Ruiz Quiles (2015) para la creación de los ítems de la dimensión motivacional.
Las dimensiones segunda y tercera del cuestionario incorporan factores que pueden actuar como facilitadores o, por el contrario, como barreras a la hora de llevar a cabo los proyectos de innovación educativa en general, y de educación emocional en particular.
Los estudios de Agner et al. (2020), Atkins y Frederico (2017), Long, et al. (2016) señalan que la falta de tiempo personal, una inadecuada planificación en la puesta en marcha de los proyectos, la carga laboral de las personas participantes, la débil implicación del profesorado en las distintas fases del proceso, así como un ambiente escolar y de aula poco cálidos y desorganizados actúan como barreras en la fase de desarrollo de las iniciativas innovadoras.
Estos factores han sido contrastados por Zaltman y Duncan (1977), en cuyo estudio identifican 18 causas que actúan como barreras del cambio, y que agrupan en cuatro categorías: culturales, sociales, organizacionales y psicológicas. En esta misma línea, el modelo de Carbonell (2001) señala que existe gran dificultad en la creación de herramientas que evalúen de modo integral las fases de ejecución de los proyectos. Tomando como referencia los estudios señalados, se han incorporado en el cuestionario dos nuevas dimensiones relacionadas con los elementos contextuales: la dimensión facilitadores con cinco subdimensiones: características organizacionales del proyecto, factores organizativos culturales, liderazgo orientado a la cultura de aprendizaje, apoyo y acompañamiento percibido dentro del centro educativo y apoyo externo recibido. En relación con la dimensión barreras se establecen cinco subdimensiones: curriculares, factores temporales y de cultura de centro, ausencia de liderazgo orientado a la cultura de aprendizaje, actitudes docentes respecto al proyecto y débil apoyo externo percibido.
Nos interesaba, además, que el cuestionario incluyera la dimensión efectividad percibida del proyecto (cuarta dimensión). Partiendo del instrumento elaborado por Berástegui Martínez (2016), Matas Terrón et al. (2004) y, adaptándola al presente estudio, se ha creado la dimensión efectividad percibida de los efectos de los proyectos de educación emocional implementados en el desarrollo emocional de los escolares. De acuerdo con los autores referidos, esta dimensión comprende tres subdimensiones: efectividad percibida curricular, efectividad percibida en la relación educativa y efectividad percibida en el impacto en el alumnado.
Por último, de acuerdo con la revisión bibliográfica, se ha incluido una última dimensión que hace referencia a la sostenibilidad de las iniciativas llevadas a cabo en los centros escolares. Entendiendo por sostenibilidad como sinónimo de perdurabilidad, de acuerdo con el principio de longitud señalado por Hargreaves y Fink (2006).
Con base en lo señalado, el objetivo del estudio es ofrecer evidencias de validez de contenido mediante jueces y juezas de un cuestionario para recabar las percepciones del profesorado no universitario sobre la implementación de proyectos de educación emocional en los que han participado.
Metodología
Participantes
La muestra seleccionada para este estudio fueron 11 personas investigadoras adscritas a diferentes universidades españolas con alto conocimiento en la materia y con experiencia en evaluación de instrumentos de medición y en educación emocional. Los criterios de selección de los jueces y las juezas fueron: i) poseer el grado de Doctorado en Ciencias de la Educación; ii) con experiencia en docencia universitaria; iii) publicaciones vinculadas con metodología aplicada a las ciencias de la educación y educación emocional; iv) adscritos a universidades españolas; v) con experiencia en formación en niveles no universitarios; vi) disposición para evaluar el instrumento; vii) personas externas a la Universidad de Sevilla, por ser esta la afiliación institucional de las personas autoras. Los jueces y las juezas que aceptaron participar en la evaluación del cuestionario fueron: 5 personas investigadoras de la Universidad de Barcelona; 2 de la Universidad de Málaga; 1 de la Universidad de Oviedo; 1 de la Universidad de Cantabria; 1 de la Universidad Jaume I y 1 de la Universidad de Alcalá. Todas estas personas adscritas a universidades españolas satisfacían seis de los siete criterios de inclusión que componen la muestra.
Diseño
El diseño de investigación realizado es un estudio psicométrico descriptivo sobre validez de contenido mediante juicio experto (Sireci y Faulkner-Bond, 2014; Sireci y Padilla, 2014) que se ha aplicado a un instrumento creado ad hoc para evaluar la percepción del profesorado no universitario sobre la implementación de los proyectos de educación emocional en los que han participado. La validez de contenido se realizó mediante triangulación: estadísticos descriptivos (media y desviación estándar), W de Kendall para conocer el acuerdo interjueces y observaciones cualitativas realizadas por los jueces y las juezas.
La validez de equipos expertos (face validity) es una técnica de análisis adecuada para recabar evidencias de contenido de un instrumento (validez de contenido) y determinar el grado en el que un instrumento de medición “refleja un dominio específico de contenido de lo que se mide” (Hernández Sampieri et al., 2014, p. 201). Esta técnica se caracteriza por contar con un número de especialistas en la temática objeto de estudio que pueden proponer los ítems o dimensiones que deben conformar el constructo de interés o evalúan los ítems del instrumento en función de diversos criterios que atañen a la significatividad, relevancia y representatividad de estos (Pedrosa et al., 2013).
Para el diseño del cuestionario se adaptaron 4 instrumentos ya existentes: The Work Tasks Motivation Scale for Teachers (WTMST), validado al español por Ruiz Quiles (2015); la escala Strategies for Planned Change de Zaltman y Duncan (1977) y el Cuestionario de opinión dirigido al profesorado de Berástegui Martínez (2016).
Procedimiento
Definición y operacionalización de los constructos
Definición nominal del constructo: elementos que afectan a la implementación de proyectos de innovación educativa en educación emocional.
Definición conceptual: los elementos son un conjunto de circunstancias (a nivel gubernamental, escolar, de aula y personal) que condicionan la acción docente durante la implementación de los proyectos.
Definición operacional: los elementos que afectan al profesorado se encuentran recogidos en las dimensiones: motivación, facilitadores, barreras, efectividad percibida y sostenibilidad que son expresadas mediante el acuerdo o desacuerdo con las experiencias vividas durante la implementación de los proyectos.
A los jueces y las juezas se les proporcionó un documento, donde se detallaba el objetivo y estructura del cuestionario, así como la metodología de evaluación de las dimensiones definidas, los ítems y la escala de valoración. La plantilla de evaluación está diseñada por Escobar-Pérez y Cuervo-Martínez (2008) y adaptada al presente estudio. Se evalúan 4 aspectos por cada ítem y dimensión: suficiencia, claridad, coherencia y relevancia. Se establecen cuatro niveles (no cumple con el criterio, nivel bajo, nivel moderado y nivel alto) para cada una de las características evaluadas. Se añade una quinta columna denominada observaciones para la realización de la triangulación, incrementando así el nivel de precisión de la corrección.
Recibida la evaluación de los jueces y las juezas, los datos cuantitativos se volcaron en el programa de análisis de datos IBM SPSS Statistics 25 para estimar la confiabilidad de un juicio experto (Aiken, 2003). Si el resultado de la prueba estadística es alto significa que existe consenso en el proceso de calificación entre los jueces y las juezas (Ato et al., 2006). Los datos cualitativos aportados por los jueces y las juezas se tuvieron en cuenta junto con los datos cuantitativos para la reformulación o eliminación de ítems.
Resultados
Como resultado de la triangulación realizada sobre el instrumento, se aprecian tres resultados. El primero de ellos es el grado de acuerdo entre los jueces y las juezas, hallado mediante la media estadística. El instrumento no posee ningún ítem con una media inferior a 3 puntos en ninguna de las áreas evaluadas. Por ello se ha diferenciado entre aquellos ítems que obtuvieron puntuación entre 3,5 y 4 y aquellos que obtuvieron una puntuación entre 3 y 3,49, ya que estos últimos requieren de revisión. Como se puede observar en la Tabla 2, las cuatro dimensiones estudiadas poseen un porcentaje de acuerdo superior al 92%, llegando a ser un acuerdo del 100% en la dimensión coherencia.
Tabla 2: Validez de contenido de las dimensiones y el instrumento
Nota: Elaboración propia.
El segundo estudia el coeficiente de concordancia a través de la W de Kendall, que permite conocer el nivel de concordancia entre los jueces y las juezas. Existe concordancia si la totalidad valora de igual manera aquellos aspectos o ítems evaluados. Si la significatividad es menor que .05, existe consenso interjueces. A continuación, se presentan la Tabla 3 donde se expone la prueba estadística W de Kendall de las 4 dimensiones que se han evaluado.
Tabla 3: Estadísticos de prueba
ª: Coeficiente de concordancia de Kendall.
Nota: Elaboración propia.
El quinto estadístico, la W de Kendall, se ha estudiado para el instrumento de manera global, obteniendo una significatividad de .000. Por ello, se descarta la hipótesis nula. Las puntuaciones obtenidas en el W de Kendal señalan que existe un nivel de acuerdo entre los jueces y las juezas muy débil, ya que es inferior en todos los casos al 0.3 (Schmidt, 1997).
Por último, el tercero es el relacionado con las observaciones cualitativas que realizan del instrumento los jueces y las juezas. Estas valoraciones se pueden subdividir en dos grandes categorías: aquellas que sugieren añadir, eliminar o modificar ítems de la escala y otra en la cual se modifica la estructura del instrumento. Como resumen del proceso de validación por triangulación, la Tabla 4 contiene las correcciones del instrumento.
Tabla 4: Modificaciones realizadas en los ítems
Nota: Elaboración propia.
La primera versión del instrumento constaba de dos secciones: la primera con 11 preguntas sociodemográficas y 77 preguntas que estudiaban las cinco dimensiones propuestas, lo que conforman un total de 88 ítems. Los cambios producidos para mejorar su fiabilidad han hecho que el instrumento final pase de tener 88 ítems a 86.
A continuación, en la Tabla 5 se presenta la estructura interna del instrumento final y, en el Apéndice A (https://doi.org/10.5281/zenodo.5137479), el propio instrumento con las modificaciones señaladas por los jueces y las juezas. El instrumento se divide en dos apartados, el primero que recoge los datos sociodemográficos de las personas participantes y el segundo que abarca las 5 dimensiones estudiadas.
Tabla 5: Tabla de conceptos y dimensiones que conforman el cuestionario a evaluar
Nota: Elaboración propia.
Discusión
La bibliografía científica recoge la necesidad de evaluar los procesos de implementación en educación emocional. Las investigaciones centran sus esfuerzos en el estudio de un factor y sus efectos. Algunos ejemplos son los trabajos de Barry et al. (2017), Dowling y Barry (2020), y en los que se ha estudiado el rol docente y su implementación de intervenciones con el objetivo de dar respuesta a las dificultades que perciben en el entorno. En estos trabajos se han centrado en factores como la práctica diaria y el desarrollo de habilidades sociales y emocionales, tanto en los centros educativos como en sus agentes más cercanos. De igual manera, recogen que los resultados observados son el producto de evaluar, si las intervenciones realizadas han generado cambios en las personas participantes. Sin embargo, son escasos los estudios multidimensionales sobre los procesos de implementación, que es el enfoque que se adopta en este estudio.
Por ello, la presente investigación aborda la tarea de crear y validar un instrumento para recopilar las percepciones del profesorado participante sobre cinco elementos que afectan la implementación de los proyectos de innovación educativa en educación emocional. Por tanto, se ha partido tanto de elementos que afectan la innovación (Domitrovich et al., 2008; Durlak y Dupre, 2008) como de constructos utilizados para crear las dimensiones (Berástegui Martínez, 2016; Carbonell, 2001; Deci y Ryan, 1985; Hargreaves y Fink, 2006; Matas Terrón et al., 2004; Zaltman y Duncan, 1977).
Conocer estos elementos limitantes o potenciadores en la implementación de los proyectos de educación emocional brindará elementos de reflexión a los responsables educativos encargados de modificar la estructura organizacional, con el fin de realizar modificaciones que se traduzcan en mejoras de la calidad educativa. Un ejemplo de ello sería la revisión de planes de estudio, no solo a nivel macro como explica la OCDE (2020) sino también a nivel de centro y aula. En aquellos casos en los que se detectase puntuaciones bajas, sería conveniente realizar un estudio para reorganizar el proyecto de educación emocional puesto en marcha, centrando sus esfuerzos en la resolución y eliminación de barreras, así como el fomento y promoción de aquellos resultados positivos.
Para dar respuesta a estas cuestiones, la finalidad del instrumento es proveer una herramienta diagnóstica para la mejora de la calidad de la implementación de proyectos en educación emocional partiendo del conocimiento situado y la experiencia del personal docente sobre las realidades del centro, así como la voluntad de realizar mejoras sobre esta misma.
Conclusiones
En este artículo se han expuesto las razones que han justificado la creación del instrumento. Como explica la OCDE (2017, 2020), la necesidad de evaluar la calidad de la implementación de los proyectos de educación emocional hace necesario la creación de una herramienta capaz de estudiar el contexto en el que estas se desarrollan. Si bien es cierto que existen instrumentos validados que estudian factores concretos sin tener en cuenta la ecología de los factores que condicionan el éxito de los proyectos de educación emocional que se implementan (Durlak, 2016), el presente instrumento lo enfoca desde una perspectiva multidimensional, ya que aglutina cinco factores. No obstante, en este artículo el estudio de la validez y confiabilidad en la medición del constructo no forma parte de este estudio. La recogida de datos de la muestra necesaria para el estudio de la consistencia interna y fiabilidad será objeto de un segundo estudio en el que estamos trabajando. Por ello, se limita la discusión a la validez mediante juicio experto.
Los jueces y las juezas señalan que la escala diseñada presenta validez de contenido. Esto es debido tanto al número de jueces y juezas que han participado en el estudio de validez –un total de 11, que supera el mínimo de cinco jueces recomendado (Escobar-Pérez y Cuervo-Martínez, 2008), como al proceso metodológico seguido– estimación de la fuerza de magnitud en la fuerza de concordancia entre jueces y juezas, la fuerza de concordancia entre jueces de las características del instrumento y sus apreciaciones cualitativas globales. Sin embargo, una limitación a destacar es la prueba W de Kendall. Los resultados de este estadístico han de ser interpretados con cautela. El instrumento presenta la existencia de acuerdo entre el equipo, aun cuando el grado de acuerdo es muy débil. Esto podría ser debido a que la escala posee 87 ítems, lo cual dificulta el acuerdo. No obstante, se ha decidido continuar con el proceso de validación, ya que las escalas empleadas para la construcción del instrumento han sido validadas por separado.
Para concluir, este instrumento forma parte de un estudio más amplio enmarcado en el trabajo de una tesis doctoral que se está llevando a cabo en la Universidad de Sevilla (España). Como ya se ha mencionado anteriormente, un segundo estudio en el que estamos trabajando difundirá los resultados de la validación del instrumento. El acceso a la muestra se está desarrollando desde el grupo de investigación en educación emocional y dramatización (GRieeD) en colaboración con la Consejería de Educación de la Junta de Andalucía (España). Su utilización por parte de los agentes educativos permitirá a los centros escolares, equipos directivos y profesorado valorar los aspectos de los proyectos de educación emocional que desarrollan, mejorar aquellos factores donde se obtengan puntuaciones bajas y buscar apoyo para poder aumentar la calidad de los proyectos de educación emocional implementados.
Declaración de contribuciones
Las personas autoras declaran que han contribuido en los siguientes roles: M. A. Y. I. contribuyó con la escritura del artículo; la gestión del proceso investigativo; la obtención de fondos, recursos y apoyo tecnológico y el desarrollo de la investigación. C. R. P. contribuyó con la escritura del artículo; la gestión del proceso investigativo; la obtención de fondos, recursos y apoyo tecnológico y el desarrollo de la investigación.
Referencias
Agner, J., Barile, J. P., Chandler, S. M. y Berry, M. (2020). Innovation in child welfare: Factors affecting adoption of empirically supported interventions. Children and Youth Services Review, 119(1), 105580. https://doi.org/10.1016/j.childyouth.2020.105580
Aiken, L. R. (2003). Tests psicológicos y evaluación (11.ª ed.). Pearson Educación.
Atkins, P. y Frederico, M. (2017). Supporting implementation of innovative social work Practice: What factors really matter? The British Journal of Social Work, 47(6), 1723-1744. https://doi.org/10.1093/bjsw/bcx091
Ato, M., Benavente, A. y López, J. J. (2006). Análisis comparativo de tres enfoques para evaluar el acuerdo entre observadores. Psicothema, 18(3), 638-645. https://bit.ly/3pqZYUi
Barry, C. T., Sidoti, C. L., Briggs, S. M., Reiter, S. R. y Lindsey, R. A. (2017). Adolescent social media use and mental health from adolescent and parent perspectives. Journal of Adolescence, 61(1), 1–11. https://doi.org/10.1016/j.adolescence.2017.08.005
Berástegui Martínez, Y. (2016). Evaluación del desarrollo de la educación emocional en un centro educativo [Tesis doctoral]. Universidad del País Vasco. https://bit.ly/3zzZ7Dp
Carbonell, J. (2001). La aventura de innovar. El cambio en la escuela. Morata.
Deci, E. L. y Ryan, R. M. (1985). Conceptualizations of intrinsic motivation and self-determination. En Intrinsic motivation and self-determination in human behavior (pp. 11-40). Plenun Press. https://doi.org/10.1007/978-1-4899-2271-7_2
Domitrovich, C. E., Bradshaw, C. P., Poduska, J. M., Hoagwood, K., Buckley, J. A., Olin, S., Hunter Romanelli, L., Leaf, P. J., Greenber, M. T e Ialongo, N. S. (2008). Maximizing the implementation quality of evidence-based preventive interventions in schools: A conceptual framework. Advances in School Mental Health Promotion, 1(3), 6–28. https://doi.org/10.1080/1754730x.2008.9715730
Dowling, K. y Barry, M. M. (2020). The effects of implementation quality of a school-based social and emotional well-being program on students’ outcomes. European Journal of Investigation in Health, Psychology and Education, 10(2), 595–614. https://doi.org/10.3390/ejihpe10020044
Durlak, J. A. (2016). Programme implementation in social and emotional learning: Basic issues and research findings. Cambridge Journal of Education, 46(3), 333–345. https://doi.org/10.1080/0305764x.2016.1142504
Durlak, J. A., Weissberg, R. P., Dymnicki, A. B., Taylor, R. D., y Schellinger, K. B. (2011). The impact of enhancing students’ social and emotional learning: A meta-analysis of school-based universal interventions. Child Development, 82(1), 405-432. https://doi.org/10.1111/j.1467-8624.2010.01564.x
Durlak, J. A. y Dupre, E. P. (2008). Implementation matters: A review of research on the influence of implementation on program outcomes and the factors affecting implementation. American Journal of Community Psychology, 41(3-4), 327-350. https://doi.org/10.1007/s10464-008-9165-0
Escobar-Pérez, J. y Cuervo-Martínez, Á. (2008). Validez de contenido y juicio de expertos: Una aproximación a su utilización. Avances en Medición, 6(1), 27-36. https://www.researchgate.net/publication/302438451_Validez_de_contenido_y_juicio_de_expertos_Una_aproximacion_a_su_utilizacion
Goldberg, J. M., Sklad, M., Elfrink, T. R., Schreurs, K. M. G., Bohlmeijer, E. T. y Clarke, A. M. (2019). Effectiveness of interventions adopting a whole school approach to enhancing social and emotional development: A meta-analysis. European Journal of Psychology of Education, 34(4), 755-782. https://doi.org/10.1007/s10212-018-0406-9
Hargreaves, A. y Fink, D. (2006). Estrategias de cambio y mejora en educación caracterizadas por su relevancia, difusión y continuidad en el tiempo. Revista de Educación, (339), 43-58. http://bitly.ws/eX8R
Hernández Sampieri, Fernández Collado, C. y Baptista Lucio, M. del P. (2014). Metodología de la investigación (6.ª ed.). McGraw-Hill.
Long, T., Logan, J. y Waugh, M. (2016). Students’ perceptions of the value of using videos as a pre-class learning experience in the flipped classroom. TechTrends, 60(3), 245-252. https://doi.org/10.1007/s11528-016-0045-4
Matas Terrón, A., Tójar Hurtado, J. C. y Serrano Angulo, J. (2004). Innovación educativa: Un estudio de los cambios diferenciales entre el profesorado de la Universidad de Málaga. Revista Electrónica de Investigación Educativa, 6(1), 1-21. http://bitly.ws/eXbM
Oberle, E. y Schonert-Reichl, K. A. (2016). Stress contagion in the classroom? The link between classroom teacher burnout and morning cortisol in elementary school students. Social Science & Medicine, 159, 30-37. https://doi.org/10.1016/j.socscimed.2016.04.031
Organización para la Cooperación y Desarrollo Económico. (2017). Panorama de la educación 2017: Indicadores de la OCDE. Fundación Santillana. https://doi.org/10.1787/eag-2017-es
Organización para la Cooperación y Desarrollo Económico (2020). Panorama de la educación. Indicadores de la OCDE 2020. Informe español. Secretaría General Técnica. http://bitly.ws/eXdE
Pedrosa, I., Suárez-Álvarez, J. y García-Cueto, E. (2013). Evidencias sobre la validez de contenido: Avances teóricos y métodos para su estimación Acción Psicológica, 10(2), 3-18. https://dx.doi.org/10.5944/ap.10.2.11820
Peterson, J. B. (2018). 12 reglas para vivir: Un antídoto para el caos. Editorial Planeta.
Ruiz Quiles, M. (2015) Soporte de autonomía y motivación en educación consecuencias a nivel contextual y global [Tesis doctoral]. Universidad Miguel Hernández de Elche. https://bit.ly/36Y8EIg
Ryan, R. M. y Deci, E. L. (2017). Self-determination theory. Basic psychological needs in motivation, development, and wellness. Guilford Publications.
Schmidt, R. C. (1997). Managing Delphi Surveys Using Nonparametric Statistical Techniques. Decision Sciences, 28(3), 763-774. https://doi.org/10.1111/j.1540-5915.1997.tb01330.x
Sireci, S. y Faulkner-Bond, M. (2014). Validity evidence based on test content. Psicothema, 26(1), 100-107. https://doi.org/10.7334/psicothema2013.256
Sireci, S. y Padilla, J.-L. (2014). Validating assessments: Introduction to the special section. Psicothema, 26(1), 97-99. https://doi.org/10.7334/psicothema2013.255
Zaltman, G. y Duncan, R. (1977) Strategies for planned change. Wiley. https://doi.org/10.2307/2065898
Artículo de la Revista Electrónica Educare de la Universidad Nacional, Costa Rica by Universidad Nacional is licensed under a Creative Commons Attribution-NonCommercial-NoDerivs 3.0 Costa Rica License.
Based on a work at https://www.revistas.una.ac.cr/index.php/EDUCARE
Permissions beyond the scope of this license may be available at educare@una.ac.cr