Revista Electrónica Educare (Educare Electronic Journal) EISSN: 1409-4258 Vol. 20(1) ENERO-ABRIL, 2016: 1-21
doi: http://dx.doi.org/10.15359/ree.20-1.8
URL: http://www.una.ac.cr/educare
CORREO: educare@una.cr
[Número publicado el 01 de enero del 2016]
Medición de habilidades de comprensión lectora y auditiva en estudiantes de Pedagogía en Inglés de una universidad chilena
Measurement of Listening and Reading Comprehension Skills in Students of
English Pedagogy in a Chilean University
Universidad de Concepción en Chile
Chile
Universidad de Concepción en Chile
Chile
Universidad de Concepción en Chile
Chile
Recibido 14 de noviembre de 2014 • Corregido 1 de junio de 2015 • Aceptado 17 de noviembre de 2015
Resumen. El artículo presenta los resultados de una investigación cuyo objetivo fue medir las habilidades de comprensión lectora y auditiva de estudiantes de Pedagogía en Inglés de una universidad chilena. Para ello se aplicaron tres exámenes estandarizados de la Universidad de Cambridge: el examen English Test KET (KET), el Preliminary English Test (PET) y el First Certificate Exam (FCE), a estudiantes de segundo, tercer y quinto año, respectivamente. Los datos recolectados fueron analizados con el programa SPSS mediante estadísticas descriptivas. Adicionalmente, estos resultados se complementaron con información recabada de tres grupos focales que tuvieron como propósito determinar las principales dificultades que se presentaron durante la ejecución de los exámenes. Los resultados revelaron que el estudiantado presenta problemas en la habilidad de comprensión auditiva y en la comprensión lectora en los exámenes KET y FCE, donde este último examen es el que obtuvo el más bajo nivel de logro. En cambio, en el examen PET, los puntajes de aprobación alcanzaron un mejor nivel. En los grupos focales, el estudiantado manifestó que sus principales dificultades fueron entender adecuadamente las instrucciones de cada tarea, el alto nivel de concentración requerido para rendir estos exámenes y la poca exposición a ensayos de este tipo de instrumentos de medición. El artículo plantea una posible explicación de los bajos resultados obtenidos en dos de los exámenes, utilizando el concepto de efecto meseta en el proceso de aprendizaje de una lengua. Se concluye con una reflexión sobre la formación inicial del profesorado de inglés en Chile, la importancia del conocimiento del contenido y los desafíos que enfrenta el sistema educativo y las instituciones formadoras a partir de los nuevos estándares pedagógicos establecidos por el Ministerio de Educación.
Palabras claves. Conocimiento disciplinar, exámenes estandarizados, comprensión lectora, comprensión auditiva, marco común europeo de referencia.
Abstract. The article presents the results of an investigation aimed at measuring the skills of reading comprehension and listening comprehension of English pedagogy students in a Chilean university. Three standardized tests from ESOL Cambridge University were applied to students in second, third and fifth years, respectively: Key English Test (KET), Preliminary English Test (PET) and First Certificate Exam (FCE). The collected data were analyzed by using SPSS program through descriptive statistics. In addition, these results were supplemented with information gathered from three focus groups which aimed at determining the main difficulties arousing during the execution of the tests. The results revealed that students showed problems in their listening comprehension and reading comprehension abilities in KET and FCE tests, where the latter obtained the lowest level of achievement. On the other hand, in the PET exam, approval scores reached the best level. In the focus groups, students expressed that their main difficulties were: adequate understanding of instructions for each task, high level of concentration required for these exams, and little exposure to trials of this type of measuring instruments. The article raises a possible explanation for the low results in two of the tests, using the concept of plateau effect in the process of learning a language. It concludes with a reflection on the English teacher initial training in Chile, the importance of knowing the content and the challenges facing the educational system, as well as the training institutions based on the new pedagogical standards established by the Ministry of Education.
Keywords. Disciplinary knowledge, standardized tests, reading comprehension, listening comprehension, Common European Framework of Reference.
La formación inicial del personal docente de inglés constituye un proceso que involucra el desarrollo de diversas competencias, tanto pedagógicas como disciplinares. A nivel internacional, la medición de estas competencias se ha consolidado a través de la aplicación de evaluaciones estandarizadas.
Sin embargo, en Chile la medición del nivel de dominio de inglés en futuros profesores se ha implementado de manera incipiente en algunas instituciones formadoras. A pesar de la preocupación que existe por determinar la competencia lingüística y comunicativa que alcanza el estudiantado de pedagogía, los resultados obtenidos no se socializan a nivel de instituciones y, por lo tanto, no se generan acuerdos respecto a introducir planes de mejoramiento durante el proceso formativo.
En este escenario, la investigación que se presenta busca aportar evidencia respecto del nivel de logro del estudiantado en el desarrollo de las habilidades de comprensión lectora y auditiva del idioma. Para ello, se utilizaron tres exámenes internacionales: ESOL (English for Speakers of Other Languages) de la Universidad de Cambridge, el examen Knowledge of English Test (KET), el examen Preliminary English Test (PET) y el First Certificate of English (FCE). Estos exámenes se aplicaron a estudiantes de Pedagogía en Inglés de 2º, 3º y 5º año, respectivamente, en una universidad chilena.
El presente artículo se estructura de la siguiente manera. Primero, se presenta el marco teórico que describe el conocimiento base para la enseñanza, la formación de profesores de Inglés en Chile y el Marco Común de Referencia Europeo como un estándar utilizado para medir el nivel de comprensión oral y escrita del idioma. Luego, se describe la metodología usada, objetivos, participantes, instrumentos de medición y grupos focales. A continuación, se presenta un análisis e interpretación de los principales resultados, y las conclusiones finales.
Breve marco referencial
La bibliografía existente sobre el “conocimiento base para la enseñanza” identifica un conjunto de conocimientos que conforman aquello que el profesorado debe saber sobre cómo enseñar y qué enseñar (Roberts, 1998; Shulman, 1987). Este conjunto incluye: a) conocimiento acerca de los estudiantes, que se refiere al contexto social en el cual se desenvuelven, cómo se comportan en el ambiente escolar, cómo aprenden, y cuáles son sus intereses y preocupaciones (Rahman, Scaife, Yahya y Jalil, 2010); b) conocimiento del currículo, que corresponde a la selección y organización de los contenidos diseñados para la asignatura, las estrategias metodológicas y las formas de evaluación; c) conocimiento pedagógico general, que representa el conocimiento de los principios pedagógicos relacionados con la filosofía y la psicología que apoyan el proceso de enseñanza aprendizaje, por ejemplo, estrategias de manejo de curso y motivación; d) conocimiento pedagógico del contenido, implica la unión del contenido y la pedagogía en función de organizar, representar y adaptar el contenido a los diversos intereses y habilidades de sus estudiantes para que su aprendizaje sea significativo; y e) conocimiento del contenido, que representa el conocimiento que el personal docente posee sobre la disciplina que enseña (Banegas, 2009).
Para Roberts (1998), el conocimiento del contenido abarca dos dimensiones: la competencia lingüística, que se refiere a cómo opera la estructura del lenguaje, y la competencia comunicativa, que aborda el manejo del discurso oral y escrito. Para desarrollar este conocimiento se requiere que el profesorado de Inglés en formación demuestre dominio de gramática y fonética (Borg, 2003), de las habilidades receptivas y productivas de la lengua (Bailey, 1990; Borg, 2003) y conocimiento de la cultura de los países de habla inglesa, lo que enriquece su bagaje cultural (Banegas, 2009).
Banegas (2009) y Barnes (2002) sugieren que el conocimiento del contenido es fundamental en un contexto donde el inglés se aprende como lengua extranjera, puesto que el profesorado se convierte en la única fuente significativa de input a la cual están expuestos los grupos de estudiantes.
Pruebas estandarizadas para medir el nivel de inglés
La pruebas que se utilizan mayormente en las instituciones formadoras de profesorado de inglés para evaluar el conocimiento y manejo del idioma son los exámenes ESOL de la Universidad de Cambridge del Reino Unido (KET, PET, FCE, CAE y CPE), también los exámenes de la Universidad de Oxford como el Oxford Placement Test (OPT) y el TOEFL, entre otras. Estos exámenes han alcanzado un prestigio y reconocimiento de las instituciones educativas y empresariales a nivel mundial, lo que es una garantía en la evaluación y valoración de las competencias lingüísticas en lengua inglesa. A través de las diferentes etapas en el proceso de aprendizaje de una segunda lengua, estos exámenes establecen criterios de logro preciso, lo que los convierte en instrumentos confiables, rigurosos y sistemáticos (Benavides, 2011).
Muchas universidades chilenas formadoras de docentes de inglés procuran que sus estudiantes finalicen sus programas con las competencias necesarias que acrediten el dominio en la lengua de acuerdo con lineamientos contemplados en referentes internacionales y, a su vez, buscan evaluar la calidad del proceso formativo que se ha desarrollado. Para ello, han incorporado la aplicación de pruebas estandarizadas en asignaturas específicas de sus planes de estudios o al término del proceso de formación para alcanzar la competencia lingüística de acuerdo con los estándares.
En el caso de los exámenes de la Universidad de Cambridge, que se utilizaron en este estudio, es importante mencionar que estas pruebas tienen correspondencia con los seis niveles (A1, A2, B1, B2, C1, C2), que se establecen en el Marco Común Europeo de Referencia para las Lenguas.
Estándares de formación de docentes de inglés en Chile
Debido a la relevancia que posee el conocimiento del contenido en el proceso formativo del estudiantado de Pedagogía en Inglés, el Ministerio de Educación de Chile (en adelante, MINEDUC) estableció que el personal docente sea evaluado en su competencia lingüística y comunicativa de acuerdo con los estándares del Marco Común Europeo de Referencia para las Lenguas (MCER) y con los lineamientos definidos por la Asociación de Evaluadores de Lenguas en Europa (por sus siglas en inglés, ALTE) fundada por la Universidad de Cambridge.
Hasta el año 2013, el MINEDUC sugería como meta ideal que el profesorado de Inglés alcanzara un nivel B2 (según el MCER) equivalente al nivel 3 (según ALTE). El nivel B2 en MCER se describe como:
• Entender las ideas principales de textos complejos que aborden temas tanto concretos como abstractos, incluyendo discusiones técnicas en su campo de especialización.
• Interactuar con cierta fluidez y espontaneidad, lo que posibilita la comunicación normal con hablantes nativos sin tensión alguna.
• Producir textos claros y detallados sobre una amplia gama de temas y explicar un punto de vista sobre un tema exponiendo las ventajas y los inconvenientes de varias opciones. (Council of Europe, 2001)
Durante el año 2013, el MINEDUC encargó a una comisión de personas expertas la elaboración de estándares para la preparación del futuro profesorado de Inglés en lo que se refiere a estándares pedagógicos y disciplinares (MINEDUC, 2014), con el fin de orientar a las instituciones formadoras de docentes respecto a aquellos conocimientos y habilidades consideradas como fundamentales para realizar un efectivo proceso de enseñanza-aprendizaje. Estos conocimientos han sido concebidos como mínimos, puesto que establecen el límite entre un profesor o profesora competente y uno o una que aún no lo es (MINEDUC, 2012).
Para ello se elaboraron diez estándares relacionados con:
Conocimientos y manejo de las habilidades de la comunicación en inglés; conocimientos y habilidades para implementar los procesos de enseñanza y aprendizaje del inglés como idioma extranjero; incorporación de componentes culturales que contextualicen; uso de recursos físicos y/o virtuales para la enseñanza del idioma; conocimientos sobre evaluación y su importancia; y desarrollo profesional y participación en comunidades de aprendizaje. (MINEDUC, 2014, p. 21)
En el estándar Nº 6 se establece que:
El futuro profesor o profesora domina la estructura lingüística del inglés y demuestra fluidez en el manejo de las cuatro habilidades integradas al nivel establecido en el [nivel] (C1), lo que le permite [mantener una comunicación fluida y constante con] sus estudiantes.
Lo que se manifiesta cuando el docente:
1. Comprende textos orales (grabados y en vivo) en inglés a nivel C1, relacionados con una variedad de temas cotidianos, de conocimiento general y profesional.
2. Comprende textos escritos en inglés a nivel C1, relacionados con una variedad de temas cotidianos, de conocimiento general y profesional.
3. Se expresa oralmente en inglés a nivel C1 sobre una variedad de temas cotidianos, de conocimiento general y profesional.
4. Escribe textos en inglés a nivel C1 sobre una variedad de temas cotidianos, de conocimiento general y profesional.
5. Usa correctamente los mecanismos de organización, articulación, cohesión y coherencia.
6. Comprende los mensajes explícitos e implícitos, considerando forma y función, registro formal e informal, y contexto en el que ocurren los actos comunicativos.
7. Demuestra estar preparado para actuar como modelo lingüístico, maximizando las oportunidades de comunicación en inglés dentro del aula e interactuando en forma espontánea y fluida con los estudiantes”. (MINEDUC, 2014, p. 29)
Finalmente, los estándares comunican una perspectiva de las competencias que el personal docente de Inglés debe poseer para desempeñarse en forma exitosa en la enseñanza de su asignatura, tanto en educación primaria como secundaria.
Metodología
Objetivo
Esta investigación se enmarca en el proyecto FONDECYT 1120247 “Investigación del conocimiento profesional, las creencias implícitas y el desempeño en aula de estudiantes de Pedagogía en Inglés como estrategia de generación de indicadores de monitoreo de su proceso formativo”. El diseño de la investigación es cuantitativo, descriptivo y transversal (Vieytes, 2004). Su objetivo principal fue medir el nivel de logro en las habilidades de comprensión lectora y auditiva alcanzado por estudiantes de 2º, 3º y 5º año de Pedagogía en Inglés de una universidad chilena.
Participantes
En este estudio participó un grupo de estudiantes de Pedagogía de Inglés de una universidad chilena: 13 estudiantes de segundo año, 15 estudiantes de tercer año y 20 estudiantes de quinto año de la carrera.
Exámenes
Para medir la habilidad de comprensión lectora y auditiva, se utilizaron tres exámenes estandarizados de inglés de la Universidad de Cambridge que están diseñados para medir las cuatro habilidades lingüísticas del idioma: comprensión auditiva, comprensión lectora, producción oral y escrita, con diferentes niveles de complejidad y distintos propósitos.
En el caso del estudiantado de segundo año se utilizó el examen Key English Test (KET), en tercer año se aplicó el examen Preliminary English Test (PET) y el examen First Certificate Exam (FCE) se empleó en quinto año. La aplicación de los exámenes se desarrolló durante el año 2012, fecha en la cual el nivel exigido por el MINEDUC para docentes correspondía a un nivel B2. Por este motivo, la investigación utilizó el test FCE para medir este nivel.
La corrección de estos exámenes fue realizada por el investigador y las investigadoras siguiendo las pautas de corrección que se utilizan oficialmente. Luego, los datos fueron procesados con el programa SPSS mediante estadísticos descriptivos.
Con el propósito de entregar mayor información respecto a los exámenes estandarizados utilizados en este estudio, se presenta un resumen en la tabla 1:
Grupos focales
Los resultados obtenidos a partir de la aplicación de los test se complementaron con la realización de tres grupos focales, uno por cada test. Esta técnica de recolección de datos “consiste en la selección y reunión de un grupo de personas, generalmente entre 8 y 12, que conducidas por un moderador, son estimuladas a interactuar (a intercambiar ideas y puntos de vista) con el fin de… [captar] percepciones y reacciones públicas” (Vieytes, 2004, p. 633). El objetivo de esta actividad fue establecer las percepciones de estudiantes participantes en los exámenes KET, PET y FCE respecto a las principales dificultades que experimentaron durante la realización del test.
Respecto al procedimiento, existió un pauteo flexible de temas a tratar durante la sesión (Vieytes, 2004). La persona moderadora de los grupos focales cauteló que la totalidad de estudiantes pudiera intervenir en la discusión. Posteriormente, los datos recabados fueron analizados con el programa ATLAS.ti.
Principales resultados
Examen KET: Habilidad de comprensión lectora
El examen KET comprende ocho partes que abordan distintos tipos de tareas. En la tabla 2, se observa el desempeño estudiantil en cada parte del examen:
En la primera parte del examen se mide la habilidad del estudiantado para comprender la idea principal en textos breves, tales como anuncios, avisos y señaléticas extraídos del mundo real4. Para ello, se le solicita asociar cinco oraciones con ocho avisos publicitarios, en un ejercicio de términos pareados. El análisis global del desempeño de estudiantes en esta parte reveló una marcada tendencia hacia las respuestas correctas, obteniéndose un 90% promedio de logro. Solo una de las respuestas obtuvo un 73%, producto de la dificultad en el reconocimiento del vocabulario para seleccionar la respuesta correcta.
En la segunda parte del examen se mide el manejo de vocabulario en un contexto específico. En esta tarea se presenta una serie de oraciones incompletas que describen una secuencia cronológica de eventos acerca de un tema. Corresponde a un ejercicio de selección múltiple de cinco ítems con tres alternativas de respuesta cada uno. Esta tarea es más específica que la anterior, puesto que exige una comprensión adecuada del léxico para poder completar las oraciones. En el análisis de los resultados se observó una tendencia a las respuestas correctas. Tres de las cinco aseveraciones alcanzaron un porcentaje de logro superior al 70%. No obstante, una de ellas presentó mayor dificultad, obteniendo solo un 20% de respuestas correctas.
La tercera parte del examen mide la capacidad para comprender y utilizar la lengua en situaciones de la vida cotidiana. La tarea se divide en dos actividades. La primera presenta cinco mini diálogos de dos intercambios cada uno, que incluyen preguntas o afirmaciones con tres opciones de respuesta. Esta parte requiere el dominio de distintas funciones del lenguaje (solicitar, consultar, confirmar, comentar, etc.) para responder en forma efectiva el mensaje. La capacidad de comprender el contexto en el cual se sitúan los diálogos es fundamental para escoger la respuesta correcta. En esta parte, cuatro de las cinco preguntas alcanzaron un logro superior al 70%. Solo una pregunta obtuvo un 7% de respuestas correctas, acompañado de un alto nivel de omisión. En este caso, los estudiantes no conocían las preposiciones utilizadas para describir períodos de tiempo.
En la segunda actividad de esta parte del examen se solicita al estudiante leer y completar la conversación organizando ocho parlamentos de acuerdo con el contexto. Esta actividad, tal como la anterior, exige la capacidad de utilizar diversas funciones del lenguaje, lo que implica un mayor dominio de la competencia comunicativa. Tres preguntas de cinco alcanzaron 100% de respuestas correctas, mientras dos de ellas obtuvieron en promedio un 90% de logro.
La cuarta parte del examen requiere la comprensión de ideas principales en un texto más extenso. El estudiantado debe leer el artículo y responder siete afirmaciones seleccionando una de las tres alternativas: correcto, incorrecto y no se menciona. El nivel de complejidad de esta tarea es mayor que las anteriores, puesto que mide la capacidad estudiantil para inferir ideas de un texto. Para ello, debe demostrar comprensión completa del documento, más que conocimiento de palabras aisladas fuera de contexto. Los resultados revelan un predominio de respuestas incorrectas. En efecto, tres ítems alcanzaron un bajo nivel de logro, en promedio un 38%, mientras que solo una respuesta obtuvo un 100% de logro.
La parte número cinco de la prueba mide la comprensión y manejo de estructuras gramaticales. La tarea consiste en la lectura de un artículo que tiene espacios en blanco que el estudiantado debe completar en forma coherente seleccionando las palabras correctas entre tres opciones. Las alternativas incluyen verbos, preposiciones, adjetivos, pronombres y determinantes. Los resultados obtenidos demuestran una significativa tendencia a respuestas correctas: cinco ítems obtuvieron un nivel de logro de un 100%, una pregunta alcanzó un 80%, mientras que las dos restantes lograron un 67%.
La parte número seis evalúa comprensión lectora de cinco descripciones y la identificación de los conceptos correspondientes. Cada término a completar por el estudiante tiene una letra inicial que sirve de referencia, además de un número de espacios establecidos que determinan la extensión de cada palabra. Esta tarea presenta un alto nivel de logro. En efecto, todas las respuestas alcanzaron sobre un 80% de logro.
La parte siete mide la capacidad de comprender el contenido de una carta que tiene oraciones con espacios en blanco que deben ser completados con palabras apropiadas, sea léxico o elementos gramaticales. El principal énfasis de esta actividad es la capacidad de otorgar sentido al contenido de la carta, puesto que no se entregan opciones de respuesta. En esta actividad el estudiantado demostró haber desarrollado la competencia requerida, ya que logró un alto porcentaje de respuestas correctas: seis de diez preguntas alcanzaron sobre 70% de logro.
La última parte del examen evalúa la capacidad para comprender y transferir información de dos fuentes distintas a un nuevo formato. Una dificultad extra para la realización de esta actividad fue la presencia de información adicional no relevante para desarrollar la tarea. El análisis global de esta sección arrojó un 63% de logro promedio y fue el resultado más insatisfactorio obtenido por los estudiantes en esta parte del KET.
Examen KET: habilidad de comprensión auditiva
El examen KET comprende cinco partes que incluyen tareas de distinta complejidad. El nivel de logro alcanzado por el estudiantado en cada ítem se presenta en la tabla 3:
En la primera parte se le solicita escuchar cinco audios breves, cada uno con una pregunta y tres opciones de respuesta presentadas a través de imágenes. Los intercambios se escuchan dos veces. El objetivo de esta actividad consiste en identificar información específica, como horas, fechas, días, clima, transporte, entre otras. El desempeño del estudiantado demostró una fuerte tendencia hacia las respuestas correctas: cuatro preguntas obtuvieron sobre un 80% de nivel de logro y solo una pregunta alcanzó un 53% de respuestas correctas.
En la segunda parte del examen se mide la capacidad para identificar información específica en un intercambio más extenso que el anterior. La tarea consiste en escuchar un diálogo, que se reproduce dos veces, y realizar un ejercicio de términos pareados con información específica. Dos de cinco preguntas alcanzaron sobre un 80% de logro. Otras tres preguntas lograron un porcentaje inferior al 60%. El desempeño global en esta sección fue de un 60% de respuestas correctas.
La tercera parte consiste en identificar información específica para responder preguntas en un contexto informal. Se presentan cinco enunciados con tres opciones de selección múltiple. Los resultados revelaron una fuerte tendencia hacia las respuestas correctas. Cuatro de los cinco ítems obtuvieron sobre un 80% de logro y solo uno alcanzó un 13%, el promedio global fue un 71%.
En la parte cuatro del examen se le solicita escuchar un diálogo y transferir información. A partir del audio se presenta al estudiantado un ejercicio donde debe completar un formulario con información extraída del diálogo. A pesar de que esta parte es más compleja que las anteriores, tres de las cinco preguntas alcanzaron más de un 80% de respuestas correctas, mientras que dos no lograron el nivel de aprobación (bajo 60%).
Finalmente, en la parte cinco del examen, se le solicita identificar información específica en un monólogo más extenso para completar un formulario. Los resultados obtenidos muestran que solo dos respuestas de cinco alcanzaron un porcentaje mayor al 70%. El rendimiento fue insatisfactorio y el más bajo en la habilidad de comprensión auditiva, con un 49% de logro promedio.
Análisis de los resultados del grupo focal del examen KET
Los grupos de estudiantes manifestaron que las dificultades para responder el examen KET se encuentran fundamentalmente en la habilidad de comprensión auditiva. La primera dificultad se refiere al número de reproducciones de los audios, que consideran insuficiente para desarrollar adecuadamente las tareas solicitadas. Esto queda de manifiesto en el nivel de logro alcanzado en las distintas partes del examen. Una segunda limitación se relaciona con la complejidad de los audios, por lo que el estudiantado sugiere tener mayor ejercitación y exposición a la lengua. Una tercera observación se relaciona con la ejecución de la prueba. Los estudiantes sostienen que el ruido ambiental interfirió con su concentración para llevar a cabo las distintas actividades. También expresa que el acento de algunos hablantes en los diálogos fue un obstáculo para comprender los mensajes. Finalmente, plantea que el uso de imágenes facilita el desarrollo de las tareas y el no contar con ellas en cada actividad, limitó sus posibilidades de poder comprender el contexto de las situaciones y obtener mejores resultados. Un ejemplo de ello fue el porcentaje de logro obtenido en el primer ítem (81%).
Examen PET: habilidad de comprensión lectora
El examen PET comprende cinco partes que incluyen distintos tipos de actividades. El nivel de logro alcanzado por los estudiantes en cada parte se presenta en la tabla 4.
En la primera parte del examen se evalúa la capacidad de comprender textos breves que se presentan en distintos tipos de mensajes. La actividad consiste en leer un enunciado y seleccionar la alternativa que represente de mejor forma cada mensaje. El estudiantado presenta un desempeño muy positivo, alcanzando un promedio de 85% de respuestas correctas.
En la parte dos de la prueba se mide la comprensión de ideas principales de un texto mediante un ejercicio de términos pareados donde se le solicita extraer información específica para completar la tarea. Los resultados demostraron una significativa tendencia hacia las respuestas correctas: un promedio sobre un 80% de logro.
En la tercera parte se requiere que el estudiantado sea capaz de seleccionar información específica en textos de mayor extensión. La actividad consiste en la lectura de un documento seguido de oraciones referidas al texto, donde debe identificar si estas son correctas o incorrectas. Estas oraciones siguen el orden secuencial de los eventos que presenta el texto. En los resultados obtenidos se observa una clara tendencia hacia las respuestas correctas, con un promedio de logro de un 81%.
La parte cuatro del examen mide la capacidad de síntesis e inferencia a partir de la lectura. Se le presenta un texto más extenso, a partir del cual debe responder preguntas, escogiendo una de las opciones. Las alternativas no presentan información literal del texto, por lo tanto debe ser capaz de entender detalles que son claves para inferir las respuestas. Los resultados revelaron una fuerte tendencia a las repuestas correctas, alcanzando un promedio de 80% de logro.
Finalmente, en la última parte de la prueba se mide la capacidad de manejo de vocabulario y estructuras gramaticales apropiadas al contexto. La tarea consiste en la lectura de un artículo que tiene espacios en blanco y requiere que el estudiantado seleccione la palabra adecuada (pronombres, verbos, sustantivos, etc.) entre cuatro alternativas. En el análisis de los resultados se observó un marcado predominio de respuestas correctas y se alcanzó un 94% de logro, el mejor promedio de esta parte de la prueba.
Examen PET: Habilidad de comprensión auditiva
Esta parte del examen comprende cuatro tareas que miden la capacidad de seguir instrucciones y comprender una amplia variedad de audios que incluyen anuncios e interacciones de la vida diaria. El desempeño del estudiantado en esta sección del examen se presenta en la tabla 5.
En la primera parte se requiere que el estudiantado sea capaz de escuchar e identificar información específica en intercambios breves. Se le presentan siete preguntas de selección múltiple, con tres opciones de respuesta, que consisten en estímulos visuales. Los resultados obtenidos revelaron un 80% de logro en las respuestas, demostrando que el apoyo de imágenes facilita la comprensión oral.
La parte dos de esta prueba evalúa la capacidad de comprender información específica en intercambios extensos. En esta sección el estudiantado escucha una situación y debe leer una serie de diez enunciados, identificando la respuesta correcta entre tres alternativas. El análisis de los resultados demostró que dos preguntas obtuvieron un bajo nivel de logro (menos del 60%), mientras que otras tres alcanzaron sobre el 60% y solo una obtuvo un 100%. Esta parte alcanzó el desempeño más bajo en la habilidad de comprensión lectora.
En la parte tres se mide la habilidad de interpretar información específica en una situación informal. El tipo de audio corresponde a un monólogo y la actividad consiste en completar un formulario con información extraída del audio. En cuanto a la progresión en la habilidad de comprensión lectora, este ejercicio es de mayor complejidad que los anteriores, porque el estudiantado debe escuchar atentamente para identificar, comprender e interpretar información específica. Los resultados obtenidos en esta tarea alcanzaron un promedio de un 93%.
La última parte de la prueba busca comprobar la capacidad del estudiantado para comprender información y registrar observaciones acerca de opiniones y actitudes de los hablantes. En esta parte se presenta un diálogo y se le solicita leer seis enunciados sobre la conversación y luego determinar si son correctos o incorrectos según lo escuchado. Los resultados indicaron una fuerte tendencia hacia las respuestas correctas. El total de preguntas de esta sección alcanzó un promedio de 96%, el mejor desempeño observado en la habilidad de comprensión auditiva.
Análisis de los resultados del grupo focal del examen PET
El estudiantado que rindió el examen PET señaló durante el grupo focal que la principal dificultad fue el alto nivel de concentración que demandaba la realización del test. En relación con la habilidad de comprensión auditiva la mayor limitación fue comprender las instrucciones para desarrollar las tareas. Otra observación mencionada se refería a las pocas oportunidades que tenían de escuchar el idioma en situaciones auténticas. Sin embargo, estos obstáculos no perjudicaron el nivel de logro alcanzado en esta parte.
Test FCE: Habilidad de comprensión lectora
Esta sección del examen comprende tres tareas de distinto nivel de complejidad. El desempeño alcanzado por el estudiantado en esta parte del examen se presenta en la tabla 6.
En la primera parte se busca comprobar la capacidad de comprender información específica contenida en el texto, además de manejo de vocabulario y desarrollo de la capacidad de inferencia del estudiantado. El formato contempla la lectura de un artículo seguido de ocho preguntas con cuatro opciones de selección múltiple. El análisis de los resultados reveló que el estudiantado tuvo dificultad para responder esta parte del examen. El nivel de logro fue solo de un 50%, dejando en evidencia la falta de estrategias de comprensión lectora, además de un escaso desarrollo en la habilidad de inferencia.
En la segunda parte, el examen mide la capacidad para comprender la organización, coherencia y cohesión del texto; aspectos que transforman a esta sección en una de las más complejas de la comprensión lectora del test FCE. Esta sección consiste en la lectura de un artículo acompañado de ocho oraciones que sirven de título a los párrafos del texto. Se le solicita escoger las oraciones más pertinentes al contenido del artículo. Los resultados dejan en evidencia el bajo desempeño en esta actividad. En efecto, solo dos de siete preguntas alcanzaron un alto nivel de logro, sobre un 80%; mientras que las preguntas restantes obtuvieron menos de un 40% de respuestas correctas. Los resultados de esta parte fueron los más bajos en la habilidad comprensión lectora, con un 44% de logro promedio.
La tercera parte de la prueba apunta a medir la comprensión de información específica en un texto. Esta parte consiste en la lectura de un artículo con varias descripciones, acompañado de un listado de quince oraciones referidas al texto. El estudiantado debe encontrar la información adecuada para responder cada pregunta. El desempeño en esta sección fue bajo: solo cinco de los quince ítems alcanzaron un porcentaje de logro sobre el 70%, mientras que otras tres respuestas obtuvieron un 60% y las seis restantes presentaron un desempeño bajo el 60%.
Examen FCE: Habilidad de comprensión auditiva
El examen FCE en la habilidad de comprensión auditiva comprende cuatro partes con distinto tipo de tareas. La tabla 7 presenta los resultados obtenidos por los estudiantes en esta parte del examen.
En la primera parte se mide la habilidad para extraer información específica acerca de detalles, opiniones, tópicos, lugares, actitudes, funciones, entre otras. Esta sección consiste en la presentación de ocho situaciones diferentes donde participan distintos hablantes. El estudiantado debe escuchar cuidadosamente los diálogos y responder ocho preguntas de selección múltiple. El desempeño global fue de un 76%, una de las tareas con mejor desempeño en esta parte del examen.
La parte dos evalúa la capacidad para identificar información específica en un monólogo más extenso. En esta tarea se le solicita completar diez oraciones con información extraída del audio. Los resultados obtenidos demostraron el más bajo desempeño del examen: un promedio global un 44% de respuestas correctas.
La sección tres del examen consiste en verificar la capacidad del estudiantado para identificar opiniones y actitudes de hablantes que participan en los diálogos. Se solicita al estudiantado escuchar detenidamente las descripciones de cada hablante e identificar en un listado de seis opiniones, la que corresponde a cada uno de ellos. Esta fue la actividad que obtuvo el mejor desempeño en el examen, con un 77% de logro.
En la última parte de la prueba, se busca determinar la capacidad para comprender actitudes e identificar argumentos en una interacción de mayor extensión. La tarea exige que el estudiantado se focalice en comprender la actitud y punto de vista del hablante, para responder siete preguntas de selección múltiple. Los resultados obtenidos revelaron que cuatro preguntas obtuvieron sobre el 60% de respuestas correctas y tres estuvieron bajo este puntaje. El desempeño global fue de un 60%.
Análisis de los resultados del grupo focal del examen FCE
El estudiantado manifestó que las principales dificultades en torno a la realización del examen FCE se encuentran en la habilidad de comprensión lectora. Entre ellas señaló el poco manejo del vocabulario incluido en el examen, la falta de dominio de estrategias de comprensión, así como problemas para organizar las ideas en un texto y seleccionar la información solicitada. En las tareas de comprensión auditiva, mencionó que los principales problemas se produjeron en los audios más extensos, ya que exigían una mayor concentración para poder desarrollar las tareas.
Discusión y conclusiones
Los datos analizados revelan que el estudiantado de segundo año de Pedagogía en Inglés que rindió el examen KET obtuvo un promedio global de 74% en la habilidad de comprensión lectora, que lo sitúa en el nivel de pase (Pass A2) que corresponde a un puntaje en un rango de 70 a 84 puntos, según los lineamientos del MCER. La descripción de este rango según el MCER indica que el estudiantado puede leer textos muy breves y simples, reconocer ideas principales en textos sencillos y manejar vocabulario de uso cotidiano. Sin embargo, presenta dificultad para inferir ideas en textos más extensos, así como para transferir información a otras fuentes. La parte de comprensión auditiva alcanzó un 66% de logro promedio, por debajo del puntaje de aprobación requerido (puntaje 70-84) en este examen, por tanto, se sitúan en un nivel A1, es decir, “usuario básico”. Este nivel indica que el estudiantado es capaz de reconocer palabras muy básicas, habitualmente utilizadas en un entorno familiar e inmediato. Cabe destacar que las respuestas con mejor desempeño fueron aquellas que presentaban acompañamiento de estímulo visual, lo que facilitaba la selección de la respuesta correcta. Los peores resultados se encontraron en las tareas donde debían seleccionar y transferir información específica a formatos como formularios simples.
Respecto al examen PET, rendido por el estudiantado de tercer año de la carrera, el nivel de logro promedio alcanzado en la parte de comprensión lectora fue de un 86%, situándose en la categoría de “pass with merit” (puntaje 85-100), lo que indica un alto desempeño, que corresponde al nivel B1, según el MCER. Este resultado significa que es capaz de comprender textos relacionados con la vida diaria así como realizar síntesis e inferencia en textos más extensos. En la parte de comprensión auditiva alcanzó un 83% de logro, ubicándose en la categoría “Pass” (puntaje 70-84), lo que indica un desempeño satisfactorio en este nivel. Las principales dificultades se presentaron en la comprensión de información específica en una conversación de cuatro minutos aproximadamente.
En cuanto al examen FCE, el estudiantado de quinto año de la carrera obtuvo resultados bajos. En la parte de comprensión lectora, alcanzó un 49% de logro promedio, lo que lo ubica en el nivel B1, nivel intermedio (puntaje 45-59), por lo que no logró ubicarse en el nivel establecido en este examen, intermedio alto (B2). Los principales obstáculos se relacionan con la comprensión de información específica contenida en el texto, además de poco manejo de vocabulario y escaso desarrollo de la capacidad de inferencia. En relación con la sección de comprensión auditiva, obtuvo un nivel de logro promedio de 64%, por lo tanto, se encuentra levemente por sobre el puntaje requerido para aprobar el examen, ubicándose en la banda “Pass at Grade C” (puntaje 60-74) del nivel B2, del MCER. Las principales debilidades se encuentran en la capacidad para identificar información específica en audios más extensos (4 minutos), donde debe reconocer actitudes y argumentos en una interacción de mayor complejidad.
La figura 1 representa el desempeño del estudiantado en los tres exámenes aplicados.
El nivel de logro alcanzado en las habilidades de comprensión lectora, particularmente en los exámenes KET y FCE, se encuentra en el límite del puntaje de corte establecido en las bandas del MCER. El estudiantado de segundo año que rindió el test de comprensión lectora y auditiva del examen PET, fue el que obtuvo los mejores niveles de logro de los tres test aplicados.
Es importante mencionar que las habilidades de comprensión lectora y auditiva del idioma se desarrollan gradualmente a lo largo de la formación disciplinar que se entrega al estudiantado; sin embargo, en este estudio no se observa un nivel de logro adecuado del conocimiento del contenido al finalizar el proceso de formación. Una posible explicación a este fenómeno se encuentra en la terminología utilizada en psicología educativa, denominada “efecto meseta”. Este fenómeno se produce durante el proceso de aprendizaje de una nueva lengua, donde, a pesar de los esfuerzos y de la práctica, no se observa un progreso perceptible (Collin et al., 1973, citado en Xu, 2009). Esto ocurre una vez que el estudiantado ha alcanzado un nivel intermedio en el aprendizaje de un idioma; las dificultades que se detectan se relacionan con pronunciación, gramática, uso de vocabulario y comprensión (Xu, 2009). Aunque el “efecto meseta” se refiere a un estado reversible y temporal, el estudiantado participante de la investigación que rindió el FCE, no experimentó este cambio y su nivel de logro se mantuvo en un estado intermedio.
Las habilidades que se requieren para responder apropiadamente el examen FCE contemplan el desarrollo de capacidades como relacionar, inferir, sintetizar e interpretar, lo que exige el desarrollo de procesos cognitivos de orden superior. En este sentido, es preocupante que estos grupos de estudiantes, futuros profesores y profesoras, presenten las dificultades mencionadas justamente cuando se encuentran cercanos a su titulación, más aún, cuando los estándares de Pedagogía en Inglés, vigentes desde el año 2014, implican adecuar las carreras de pedagogía en inglés a las nuevas exigencias, avanzando desde un nivel B2 a un C1 (MINEDUC, 2014).
Los resultados de los test aplicados permiten concluir que existe una falta de familiaridad y entrenamiento en la realización de este tipo de exámenes estandarizados en el estudiantado de Pedagogía en Inglés participante de esta investigación. Este fenómeno se revela particularmente en algunas de las opiniones manifestadas en los grupos focales, como por ejemplo, el número de reproducciones calificado como “insuficiente”, la confusión en torno a la comprensión de instrucciones en las distintas partes de los exámenes, la dificultad para concentrarse en exámenes de esta naturaleza y el nivel de ansiedad frente a una evaluación desconocida.
Los resultados de este estudio ameritan ser analizados en profundidad por las instituciones formadoras de la carrera de Pedagogía en Inglés, puesto que las habilidades de comprensión lectora y auditiva son básicas para el adecuado ejercicio profesional de los docentes en el aula. El dominio de estas competencias es clave en los nuevos estándares orientadores del MINEDUC para garantizar la calidad profesional de los futuros docentes quienes, al no tener el manejo adecuado del idioma, podrían impactar negativamente el nivel de competencia que pueden alcanzar sus estudiantes de secundaria.
Los resultados del estudio también invitan a analizar las fortalezas y debilidades de los actuales modelos de enseñanza utilizados en la universidad, en función de logro de conocimiento del contenido adecuado a los desafíos actuales. Desde el punto de vista de la formación inicial docente, uno de los aspectos que pueden ser analizados son los planes de estudio de las carreras de Pedagogía en Inglés, en particular, revisar aquellas asignaturas destinadas al desarrollo de las habilidades receptivas y productivas del idioma. La definición de resultados de aprendizaje en estos programas debiera reflejar la incorporación de los estándares orientadores recientemente establecidos por el Ministerio de Educación.
Un segundo aspecto que se debe abordar es la evaluación de los aprendizajes que también se revela como eje crítico. La incorporación sistemática de exámenes estandarizados puede convertirse en una herramienta útil que permita establecer objetivos delimitados y progresivos en el proceso formativo, y así orientar el aprendizaje hacia la consecución de las metas previstas.
Un tercer elemento a analizar son las metodologías de enseñanza de una segunda lengua usadas en las distintas asignaturas de las carreras de Pedagogía en Inglés. La utilización de métodos y enfoques innovadores contribuye a desarrollar la proficiencia lingüística en el estudiantado, y asimismo pueden constituirse en referentes para su labor docente en el sistema educativo.
Referencias
Bailey, K. M. (1990). The Use of DiaryStudies in TeacherEducationPrograms [El uso de diarios en programas de formación de profesores]. En J. C. Richards y D. Nunan (Eds.), Second LanguageTeacher Education [Educación de profesores de Segundas Lenguas] (pp. 215-226). Cambridge: Cambridge University Press.
Banegas, D. L. (2009). Content Knowledge in Teacher Education: Where Professionalisation Lies [El conocimiento del contenido en la educación docente: Dónde reside la profesionalización]. ELTED, 12, 44-51. Recuperado de http://www.elted.net/5%20Dario%20Luis%20Banegas.pdf
Barnes, A. (2002). Maintaining Language Skills in Pre-Service Training for oreign Language Teachers [Manteniendo las habilidades lingüísticas en la formación inicial de profesores de Idiomas Extranjeros]. En H. Trappex-Lomax y G. Ferguson (Eds.), Language in Language Teacher Education Education [El idioma en la educación del profesor de Idioma] (pp. 199-217). Amsterdam: John Benjamins. doi: http://dx.doi.org/10.1075/lllt.4.14bar
Benavides, J. E. (2011). Las pruebas estandarizadas como forma de medición del nivel de inglés en la educación colombiana. En J. A. Bastidas y G. Muñoz (Eds.), Fundamentos para el desarrollo profesional de los profesores de Inglés (pp. 19-38). San Juan de Pasto: Graficolor.
Borg, S. (2003). Teacher Cognition in Language Teaching: A Review of Research on What Language Teachers Think, Know, Believe, and Do [La cognición del profesor en la Enseñanza del Idioma: Una revisión acerca de lo que los profesores piensan, conocen, creen y hacen]. Language Teaching, 36(2), 81-109. doi: http://dx.doi.org/10.1017/S0261444803001903
Council of Europe (2001). Common European Framework of Reference for Languages: Learning, teaching, assessment [Marco común europeo de referencia para lenguajes: Aprendizaje, enseñanza y evaluación]. Cambridge: Cambridge University Press. Recuperado de http://www.coe.int/t/dg4/linguistic/source/framework_en.pdf
Instituto Cervantes (2002). Marco común europeo de referencia para las lenguas: Aprendizaje, enseñanza, evaluación. Madrid: Autor. Recuperado de http://cvc.cervantes.es/ensenanza/biblioteca_ele/marco/cvc_mer.pdf
Ministerio de Educación. (2012). Estándares orientadores para carreras de pedagogía en educación media. Recuperada de http://www.mineduc.cl/usuarios/cpeip/File/librosestandaresvale/libromediafinal.pdf
Ministerio de Educación. (2014). Estándares orientadores para carreras de pedagogía en inglés. Estándares disciplinarios. Estándares pedagógicos. Recuperado de http://www.mineduc.cl/usuarios/cpeip/File/nuevos%20estandares/ingles.pdf
Rahman F. A., Scaife, J., Yahya, N. A. y Jalil, H. A. (Julio, 2010). Knowledge of DiverseLearners: Implications for the Practice of Teaching [El conocimiento de distintos aprendices: Implicancias para la práctica de la enseñanza]. International Journal of Instruction, 3(2), 83-96. Recuperado de http://www.e-iji.net/dosyalar/iji_2010_2_5.pdf
Roberts, J. (1998). Language Teacher Education [La educación de profesor de Idiomas]. London: Arnold.
Shulman, L. S. (1987). Knowledge and Teaching: Foundations of the New Reform Education [El conocimiento de la enseñanza: Bases de la Nueva Reforma Educativa]. Harvard Educational Review, 57(1), 1-23. Recuperado de http://dx.doi.org/10.17763/haer.57.1.j463w79r56455411
University of Cambridge. (2013). Cambridge English Language Assessment: Exams [Exámenes de inglés de Cambridge]. Recuperado de http://www.cambridgeesol.org/exams/index.html
Vieytes, R. (2004). Metodología de investigación en organizaciones, mercado y sociedad: Epistemología y técnicas. Buenos Aires: Editorial de las Ciencias.
Xu, Q. (Febreor, 2009). Moving Beyond the Intermediate EFL learning Plateau [Más allá de la meseta de aprendizaje intermedio del inglés como lengua extranjera]. Asian Social Science, 5(2), 66-68. Recuperado de http://www.ccsenet.org/journal/index.php/ass/article/viewFile/434/409
1 Magister en Educación, mención Currículum de la Universidad de Concepción. Licenciada en Educación. Asesora Curricular de Dirección de Docencia de la Universidad de Concepción. Docente del departamento de Idiomas Extranjeros de la facultad de Humanidades y Arte. Se desempeña como docente universitaria en la carrera de Pedagogía en Inglés de la Facultad de Educación en la Universidad de Concepción. Experiencia en asesorías de rediseños curriculares de las carreras de pedagogía. Coordinadora del Diplomado en Estrategias Metodológicas y Evaluativas para la Enseñanza del Inglés.
2 Magister en Sociología, Universidad Católica de Lovaina. Socióloga Universidad de Concepción. Asesora de Estudios de Dirección de Docencia de la Universidad de Concepción. Experiencia en investigaciones del ámbito de la sociología de la educación y educación superior.
3 Doctor en Educación de la Universidad de Concepción. Profesor de Inglés y Magíster en Lingüística. Académico de la Facultad de Educación y de la Dirección de Docencia de la Universidad de Concepción. Experiencia como investigador en enseñanza y aprendizaje del inglés. Posee artículos en esta línea.
