---

La narrativa reflexiva como forma de evaluación programática1

(Reflective Narratives as a Type of Program Evaluation)

Asunción Martínez Arbelaiz2

University Studies Abroad Consortium, San Sebastián, España

Resumen

Mostrar la eficacia de un programa de enseñanza de lenguas ante las partes interesadas y a la vez señalar áreas o aspectos por mejorar son los objetivos de la evaluación de programas. En este artículo se describe el proceso de evaluación de tres programas de español como segunda lengua en situación de inmersión, en el que se difuminan los límites entre el aprendizaje dentro y fuera del aula. La investigación narrativa se presenta como opción metodológica que permite comprender la experiencia de los participantes, de forma completa y matizada.

Abstract

To show the efficiency of a given language program to interested stakeholders and to point to areas or aspects that require improvement are the two main objectives of any program evaluation. In this article, we describe the evaluation process of three Spanish as a second language programs in a study abroad context, where boundaries between learning inside and outside the classroom necessarily blur. Narrative inquiry is our methodological option because it allows us to understand the students experience in a holistic and nuanced manner.

Palabras clave: evaluación de programas, narrativas reflexivas, adquisición de segundas lenguas, español como segunda lengua

Keywords: program evaluation, reflective narratives, second language acquisition, Spanish as a second language

Introducción: la evaluación de programas de lengua

¿En qué consiste la evaluación de programas de lengua? ¿A qué nos referimos cuando hablamos de la necesidad de evaluar un programa de lengua dado? En inglés, los expertos en investigación educativa distinguen entre assessment y evaluation. El primer concepto hace referencia a la recogida sistemática de información sobre el aprendizaje, conocimiento y habilidades individuales, mientras que el segundo término se define como esa recogida de datos sistemática, que, además desempeña una variedad de funciones. Entre estas funciones Norris3 destaca las siguientes: «para identificar necesidades, aclarar valores, distribuir recursos, diseñar currículos, desarrollar materiales, mejorar la docencia, demostrar resultados de aprendizaje, crear conciencia y transformar las vidas de los que están involucrados en los programas». Entre los primeros ejemplos de evaluación de programas con los que contamos, se encuentra la evaluación del proyecto de enseñanza comunicativa en Bangalore, India, implementado en escuelas de educación primaria. También es conocida la evaluación Stirling, en la que mediante observaciones de clase, entrevistas y cuestionarios para los profesores y exámenes a los alumnos, se evaluaron ocho programas de francés en escuelas de secundaria de esta localidad de Escocia. Ambas evaluaciones se realizaron en años setenta del siglo pasado y se recogen en Rea-Dickins y Germaine4.

En educación superior contamos con pocos ejemplos en los que se describan y analicen casos prácticos y que nos puedan servir de inspiración o modelo5. Las razones por las que existen relativamente pocas publicaciones dedicadas a la evaluación programática, según Norris6, son: 1) las evaluaciones de programas pueden desvelar hallazgos de naturaleza sensible y de gran impacto, inevitablemente asociados a una institución en particular. De ahí que a menudo adopten la forma de informes técnicos y sean de uso interno; 2) las evaluaciones de programas no encajan en el formato usual que se exige para publicar en revistas de investigación con revisión por pares y 3) no existe ninguna revista científica que fomente o publique regularmente evaluaciones de programas, aunque Language Teaching Research es la que más ha publicado sobre ese tema, incluso dedicándole un número especial en 2009.

La evaluación de programas de lengua en el extranjero

Pese a pesar de la aludida escasez de estudios sobre la evaluación de programas de lengua, cuando el contexto de aprendizaje es el llamado «estudio en el extranjero» (inglés, study abroad o residence abroad) podemos encontrar algunos ejemplos, debido a la necesidad de dar credibilidad a los programas diseñados e implementados fuera del control directo de una universidad dada. Entre estos estudios, podemos destacar el realizado por Engle y Engle7, donde se presentan los resultados de la evaluación de un programa de francés en Provence. Se administran diferentes instrumentos de medición de naturaleza «objetiva», como el examen estandarizado (Test d´evaluation de français) para la medición de la comprensión oral y escrita, así como del vocabulario y estructura y la competencia intercultural. Los autores hallan que es en los exámenes relacionados con el vocabulario y estructuras lingüísticas específicas donde los alumnos entran y salen con puntuaciones más bajas. Asimismo, especulan que estas puntuaciones tan bajas pueden deberse a que el objetivo de la competencia funcional es un pilar clave en la educación de lenguas de los Estados Unidos8. El esfuerzo que requiere pasar del simplemente «hacerse comprender» a la precisión lingüística, tanto léxica como gramatical, requiere demasiadas horas de estudio por parte del alumno y, según estos autores, no se valora suficientemente en la enseñanza de lenguas estadounidense.

En un estudio de adquisición de alemán, Arnett9 compara la producción escrita de nueve alumnos que estudian en Potsdam, Alemania con la de alumnos que estudian un curso equivalente en su universidad de origen en California. Dadas las reticencias de algunos profesores ante la falta de preparación de alumnos que habían completado los cursos en el extranjero, la investigadora compara la corrección gramatical y halla que la selección del auxiliar y la marcación de los casos dativos y acusativos es similar en los dos grupos. Sin embargo, lo interesante de este estudio es que los alumnos que pasan doce semanas en Alemania utilizan un número mayor de verbos ditransitivo. En efecto, los alumnos que cuentan con una experiencia de inmersión producen estructuras ditransitivas, aunque la marcación de caso, algo especialmente difícil de adquirir en alemán como segunda lengua, no sea la correcta. Es decir, que los alumnos que estudiaron en el extranjero hacen un uso más complejo de la estructura argumental, aunque esto no redunde en una mayor corrección gramatical que los que estudiaron en su universidad de origen. En otras palabras, los alumnos producen más estructuras ditransitivas, aunque el resultado final de estas producciones no sea gramaticalmente correcto.

En otra investigación sobre alemán en situación de inmersión, Badstübner y Ecke10 indagan en las impresiones de veintitrés alumnos universitarios estadounidenses sobre su propio aprendizaje recogidas mediante un cuestionario antes y después de un mes de estudio en Leipzig, Alemania. Parece que con la excepción del aprendizaje cultural, los alumnos fueron a este país con expectativas exageradas de lo que iban a progresar en un mes de inmersión. Sin embargo, los autores encuentran correlaciones entre el deseo de establecer contacto con alemanes y de enriquecerse culturalmente con la percepción de su progreso en la producción y comprensión orales. Asimismo, encuentran una correlación entre la frecuencia con la que escucharon la segunda lengua y sus ganancias en esta destreza. Así, estos autores enfatizan la importancia de las redes sociales que los alumnos pueden llegar establecer con miembros de la comunidad que les acoge para el desarrollo de la segunda lengua.

Finalmente, Doyle11 emplea análisis cualitativos realizando entrevistas en profundidad a seis alumnos de su universidad en Estados Unidos que realizaron estudios en Viena, Austria. El autor muestra que los alumnos pueden percibir su propio crecimiento y desarrollo en tres dimensiones diferentes: cognitiva, intrapersonal e interpersonal, pero sobre todo destaca la importancia de utilizar una metodología integrada que capte la complejidad de la experiencia de aprendizaje en el extranjero.

Resumiendo esta sección, contamos con algunos ejemplos de cómo se evalúan los resultados de los programas de lenguas en el extranjero, bien sea mediante exámenes externos estandarizados, a través del análisis de producción oral de los aprendices, con cuestionarios o con entrevistas. El objetivo último de estas evaluaciones es demostrar y reflexionar sobre la eficacia de la instrucción recibida. Es decir, que los resultados de estas investigaciones, al menos en el ámbito de la educación superior estadounidense, sirven para informar interna y externamente sobre los resultados obtenidos.

La evaluación de los resultados de español en University Studies Abroad Consortium (USAC)

En los últimos años se ha extendido la idea de que una evaluación sistemática de los resultados de los programas de lengua es necesaria y beneficiosa (Davis12, entre otros) en la educación superior. Sin embargo, como podemos concluir de la sección anterior, el abanico de opciones de qué y cómo evaluar es amplio y puede desorientar al que se enfrenta a esta actividad por primera vez. En USAC13 se llevan años revisando el trabajo que hacemos de forma crítica y para ello hemos desarrollado diferentes instrumentos para evaluar los resultados de nuestros programas de español14. El primer paso que dimos en esta dirección consistió en volver a administrar al final de un semestre el mismo examen tipo test de ubicación que realizan los alumnos al inicio del semestre. Es decir, que el examen de diagnóstico se volvió a administrar al final de la estancia de un semestre, convirtiéndose así en un examen de aprovechamiento. Aunque los resultados fueron muy positivos e importantes para mostrar la eficacia de nuestros cursos ante posibles cuestionamientos externos, decidimos dejar de realizar esta evaluación, puesto que no cumplía una función primordial, la de señalar potenciales áreas de mejora del programa.

En el otoño de 2005, se decidió que, como alternativa al test de opción múltiple, los alumnos escribieran una redacción al comienzo y al final de su estancia con el mismo estímulo y bajo condiciones similares. Detrás de esta tarea estaba la creencia de que la producción, en este caso, escrita desvelaría más sobre la eficacia de nuestras clases que la mera elección entre varias opciones de las preguntas de tipo test. Los resultados que obtuvimos fueron gratamente sorprendentes porque conseguimos dar evidencia de progreso en lo concerniente a la fluidez, la complejidad sintáctica y la corrección gramatical en dos de los tres niveles que se tuvieron en cuenta. El nivel más alto, sin embargo, no dio muestras de cambio con respecto a estos tres constructos. Convencidos de que diferentes estímulos de escritura nos desvelarían diferentes aspectos de las mejoras del español de los alumnos, nos embarcamos en el diseño de diferentes tareas de escritura que pudieran arrojar información sobre los puntos fuertes y débiles de nuestros programas. A continuación explicamos el diseño, el análisis y las conclusiones del proceso de evaluación de nuestros programas mediante lo que llamamos «narrativas reflexivas». Se trata esta de una tarea escrita que nos ha permitido abrir una ventana para poder observar no solo los logros sino también los diferentes y variados procesos de aprendizaje de español en situación de inmersión.

Las narrativas reflexivas como instrumento de evaluación

Para el diseño del instrumento de evaluación de nuestro programa, la narrativa reflexiva15, nos basamos en dos tipos de investigación en el campo de adquisición de segundas lenguas. Por un lado, recurrimos a la investigación de índole narrativa, la cual se ha utilizado principalmente en la formación del profesorado, pero que poco a poco va abriéndose paso en la enseñanza/aprendizaje de segundas lenguas (Barkhuizen)16. Por investigación narrativa, entendemos aquellas aproximaciones en las que los participantes, bien sean aprendices, profesores o investigadores (Mercer)17 reflexionan y tratan de dar sentido a sus experiencias relacionadas con las lenguas que son parte de su vida. Este tipo de investigación arroja luz sobre el complejo proceso de adquirir una o varias lenguas, como bien ilustra el estudio con participantes bilingües de la Universidad de Costa Rica18, en el que se concluye que son capaces de superar las barreras intrínsecas al aprendizaje de una lengua, experimentan emociones diversas y cambios en su identidad.

Asimismo, esta investigación cualitativa encaja con teorías de la adquisición de lenguas alternativas relacionadas con el llamado giro social de Block19, así como con los trabajos de Norton y McKinney20, Duff21 y Duff y Talmy22 sobre socialización lingüística e identidad. Estas teorías de la adquisición están basadas en una visión post-estructural en la que «la lengua no se ve solo como un sistema lingüístico de signos y símbolos, sino como una práctica social compleja por medio de la cual la relaciones se definen, negocian y resisten»23. Tales teorías nos parecen particularmente adecuadas para analizar lo que observamos de la adquisición de lenguas en el extranjero o en un contexto en el que las interacciones con miembros de la comunidad meta cobran gran importancia, donde el aprendizaje dentro y fuera del aula se combinan y complementan y donde la propia identidad de los aprendices se desestabiliza con frecuencia24.

Con estos estudios en mente, diseñamos una tarea para que los alumnos reflexionaran y escribieran en clase sobre qué circunstancias, personas o incidentes han repercutido en su aprendizaje del español como lengua adicional. Les pedimos que contaran un incidente crítico que les llevara a reflexionar sobre qué les ha servido más en su aprendizaje de español (Cf. Anexo 1). Los incidentes críticos se definen como eventos que muestran tendencias, motivos, estructuras, patrones y valores que ocurren en momentos clave de nuestras vidas y trabajos e implican un cambio personal y profesional25.

La primera decisión tomada fue en qué idioma deberían realizar dicha reflexión. Por un lado, si la reflexión se aborda en la lengua dominante de los participantes, en nuestro caso, el inglés, los alumnos podrían matizar y explicar mejor qué les ha servido y qué no ha repercutido en el proceso del aprendizaje en el extranjero. Por otro lado, si pedimos que escriban en español, la lengua meta, podremos ver no solo lo que dicen sino también cómo lo dicen. Es decir, que aunque suponga un mayor esfuerzo, sobre todo para aquellos de niveles más bajos, al completar la tarea en la lengua meta se obtienen dos tipos de datos: por un lado, las percepciones de los alumnos sobre la experiencia y su capacidad lingüística y, por otro lado, al analizar el uso de ciertos exponentes lingüísticos por parte de los alumnos, la forma de las narrativas nos sirve como evidencia del aprendizaje y, por lo tanto, como medida de evaluación.

Después de decidir que los alumnos escribieran en la lengua meta, pensamos en cuáles serían las condiciones de escritura idóneas para que los datos recogidos sirvieran como evidencia de su capacidad performativa. Con este objeto se decidió que los alumnos escribieran en el aula bajo la supervisión de sus profesores, y sin que estos ofrecieran ningún tipo de ayuda. De esta forma, la tarea sería lo más parecido a una actividad de examen, conocida tanto por los profesores como por alumnos.

Por último, se prescindió de la tecnología, para que la escritura se hiciera a mano y sin diccionarios ni aparatos que pudieran corregir o ayudar en la producción de los alumnos. ¿Por qué tomamos esta decisión? Si queríamos tener una muestra fiel de lo que los alumnos son capaces de hacer al final de un semestre en España, era necesario evitar cualquier cambio del texto que viniera del procesador de textos. Como es sabido, los correctores de texto son cada vez más sofisticados y pueden modificar e incluso completar las formas desviadas que escriben los alumnos sin que estos tengan que reflexionar demasiado. Si bien es posible desactivar los correctores de texto, pensamos que la escritura a mano es un reflejo más fiel del conocimiento interno del aprendiz que la escritura mediada por una computadora. Asimismo, algunos alumnos son mejores mecanógrafos que otros y pueden hacer un uso más eficiente del teclado en la misma cantidad de tiempo. Un estudio de la universidad de Stanford que evalúa los textos de los alumnos según los estándares del American Council of the Teaching of Foreign Languages26, compara los textos escritos a mano con aquellos escritos con ayuda de la computadora. Los autores del estudio comprueban que hay una diferencia estadísticamente significativa en cuanto al número de palabras, siendo los textos producidos por medio de la computadora más largos. Esto es algo esperable, puesto que, en general, se escribe más rápido con un teclado. Los alumnos de Stanford sabían cómo utilizar los teclados para escribir los caracteres especiales de las lenguas en cuestión, algo en lo que la instrucción había incidido. Asimismo, los autores de este estudio plantean una cuestión interesante al preguntarse sobre si es este tipo de escritura resulta una evaluación artificial, puesto que los alumnos universitarios del futuro harán uso de correctores y demás programas que les asisten en la producción escrita. Sin pretender zanjar la cuestión de qué tarea es más auténtica, si una escrita a mano o una escrita en la computadora con o sin corrector, nos decantamos por la opción más tradicional. En parte, esta opción se debe a queríamos que las redacciones se escribieran con el profesor delante en el tiempo de clase. Por otro lado, en nuestro contexto de instrucción, los teclados de las computadoras de la universidad a los que tienen acceso son distintos a los de los portátiles que traen los alumnos de Estados Unidos. Debido a esta diferencia de índole cultural, no podemos enseñarles cómo escribir la «ñ» o los acentos en sus computadoras ni tampoco tiene mucho sentido enseñarles a usar un teclado español que seguramente nunca más van a utilizar. Por estas razones de índole práctica y pedagógica, decidimos recurrir a la escritura tradicional en papel. Finalmente, decidimos que el tiempo dedicado a pensar, escribir y corregir el texto final no fuera más de treinta minutos. Consideramos que este tiempo era suficiente para promover la reflexión crítica sobre el proceso de aprendizaje sin quitar demasiado tiempo a la instrucción planeada por el profesorado para ese día.

Metodología: procedimientos y participantes

Se distribuyó la tarea en tres programas de español de USAC y en los cuatro niveles correspondientes a los años de estudio de español en sus universidades de origen: en nivel 1 estarían los alumnos sin nivel previo de español, en el nivel 2 los que habían completado un año de español, en el nivel 3 los que habían completado con éxito dos años de español y finalmente los alumnos de nivel 4 serían aquellos que ya habían estudiado tres años de español en sus universidades.

Los alumnos provenían de diferentes universidades de los Estados Unidos y en el momento de escribir las redacciones se encontraban terminando su estancia en España. El cuadro 1 muestra el número de alumnos que terminó la tarea y que firmó el consentimiento que aparece al final de la tarea (Cf. Anexo 1). Algunos alumnos optaron por no firmar, por lo que esas redacciones tuvieron que ser desechadas.

Cuadro 1. Participantes por niveles y por localización (otoño 2015)

	Nivel 1	Nivel 2	Nivel 3	Nivel 4
San Sebastián	15	14	7	4
Madrid	12	12	9	5
Alicante	10	6	8	9
Total: 111	37	32	24	18

En la siguiente sección, resumimos los resultados del análisis tanto del contenido como de la forma de las 111 redacciones recogidas en los tres programas.

Resultados

Reescribimos las redacciones originalmente escritas a mano en la computadora, manteniendo los errores, tachones o reformulaciones que se pudieran leer en el original. Eliminamos los nombres propios para mantener el anonimato de los participantes y profesores y asignamos a cada narrativa un código que incluyera el programa, el nivel de español y un número asignado a cada participante al azar. Con estas narrativas realizamos dos tipos de análisis. Por un lado, realizamos un análisis temático del contenido siguiendo las indicaciones de Braun y Clarke27. Aunque no hace referencia explícita a este tipo de análisis, Doyle realiza un análisis similar del contenido de la transcripción de entrevistas a alumnos que han estudiado en el extranjero. El contenido de estas entrevistas es objeto de análisis «para desvelar temas emergentes y repetitivos que iluminen las percepciones de progreso de los alumnos»28. Además de dicho análisis de contenido, también analizamos la forma buscando patrones lingüísticos tanto en cada nivel, como en todas las redacciones, que nos pudieran informar tanto sobre los logros como de las carencias lingüísticas de los alumnos. A continuación nos referimos a los hallazgos principales de los dos tipos de análisis.

Análisis del contenido

Resumiremos las temáticas recurrentes, así como las relevantes para la evaluación de los programas. Organizamos la información por niveles para después ofrecer una visión global de las experiencias de aprendizaje del alumnado. En el primer nivel, la temática que más se repite es la importancia de sus clases, proporcionando detalles específicos de sus profesores. Treinta y dos alumnos de un total de 37 mencionan la clase y sus profesores como la fuente más importante de aprendizaje. Como ya se dijo, reprodujimos los errores gramaticales, léxicos o tipográficos e incluso, en caso de que se pudiera leer, las opciones lingüísticas que aparecían tachadas, reflejo de vacilaciones al escribir.

Aunque no supe mucho español, tenía que hablarlo inmediatamente. Mi profesora, XXX, ha sido muy importante para aprendiendo la lengua. Claro, he tenido tres horas cada día en su clase, pero lo mejor cosa es que me encanta29 cuando ella está enseñando. Quiero ir a clase. Quiero aprender. Mis experiencias con clases de español en America me han enseñado que cuando aprendo depende del profesor. (SS-1-15)

La segunda fuente de aprendizaje en este nivel son los intercambios, puesto que once alumnos los mencionan como fuente de aprendizaje, como se puede ver en el siguiente fragmento:

Además, me divertí mucho con mi intercambio. Nosotros hicimos muchas cosas juntos. Por ejemplo, ibamos a pintxo pote cada jueves y practicábamos español mucho. Estoy muy agradecida para este experiencia! (SS-1-4)

Finalmente, para los alumnos que se inician en el aprendizaje del español, paradójicamente poder enseñar su lengua, el inglés, a alumnos locales, es otra fuente importante de aprendizaje del español. En algunos casos, se trata de clases particulares, por lo que los alumnos tienen que interactuar con las familias y acaban estableciendo una relación con estas, como se desprende del fragmento del alumno SS-1-10.

Empezaba hacer tutoría en septiembre y la chica habla un poco inglés. Su madre también asi necesitaba usar español todo el tiempo. La chica ha ayudado con mi español y yo he ayudado la chica con su inglés como intercambios. No tenía ni idea que la familia me ayudaría tanto. (…) Pensaba que necesitaba un trabajo para ganar dinero pero no pensaba que la familia haría una gran diferencia. La familia invitó a mi pasar la navidad con ellos porque no tendré mi familia o mis amigos en España. Yo estoy muy emocionada para Navidad ahora. (SS-1-10)

En otros casos, los alumnos van a las escuelas y ayudan a un profesor local a enseñar inglés, por lo que pueden acceder al sistema educativo y aprender de la organización de las escuelas en las diferentes comunidades autónomas españolas. En total, fueron siete alumnos lo que enfatizaron que enseñar inglés les ayudó con su español. Asimismo observamos que algunos alumnos no destacan ninguna actividad o persona concreta y que la inmersión se representa discursivamente de forma general, como explica el alumno A-1-4:

Cuando estaba aprendiendo español, la cosa que me ayudaba hablar más era hablar con españoles. Creo que he aprendido mucho de los españoles, ambos de la cultura y la lengua de España (A-1-4)

Pasando al segundo nivel, es decir, el de los alumnos que llegaron a España con un año completo de estudio de español en sus universidades, son veinticinco los que mencionan sus clases y la instrucción recibida. En particular, los alumnos destacan la importancia de que sus clases sean pequeñas, de que tengan tarea diaria y el hecho de que sus profesores tuvieron mucha paciencia:

Me puse de buen humor que nuestra profesora siempre quisiera enseñarnos sobre la gramatica y la cultura de España. Me encanto que escribiéramos los composiciónes porque este daba me un oportunidad de escribir y buscar más palabras de español y entonces yo comprendí más Español. Durante mi tiempo aquí yo tuve una clase de conversación y, aunque no me gusto hablar en Español porque fue muy difícil, este fue una ayuda también. Es verdad que ahora yo puedo hablar más mejor en la conversación oral con otras personas. (M-2-5)

Para este grupo es más fácil la socialización y un total de trece mencionan amigos locales, como leemos en el fragmento M-2-2. Resulta curioso el comentario de M-2-9, quien nos recuerda que el discurso de aula rara vez tiene palabras malsonantes o insultos, algo que los alumnos necesitan para desenvolverse en una situación de inmersión.

Creo que la cosa mas importante para aprender una lengua nueva es a encontrar amigos españoles que no saben mucho ingles. Para mi, tener amigos españoles es la razon numero uno que he aprendido mucho (M-2-2)

Pero, también, amigos son la mejor manera para aprender como a hablar palabras normales o insultar. (M-2-9)

En este nivel encontramos nueve alumnos que mencionan a sus familias como el entorno en el que más han aprendido, dos a los intercambios, otros dos a los niños a los que dan clase y un alumno dice que juega a voleibol con estudiantes locales. Un alumno (M-2-7) nos comenta que descubrir la ciudad de Madrid también fue fuente de aprendizaje, puesto que le obligaba a pedir ayuda y así establecer conversaciones con personas desconocidas:

Tambíen cuando descubría la ciudad necesité hablar con muchos españoles y pedir ayudar muchas veces. Fue una experiencia increíble. (M-2-7)

En el nivel 3, al igual que en los otros dos niveles inferiores, es el profesor o la clase la principal fuente de aprendizaje. De un total de veinticuatro alumnos que escribieron la redacción, 18 hablan de la clase o el profesor:

Durante la programa mi profesor XX me enseñó la diferencia entre el español de España y de otros países que tambien hablan español. Antes, no sabía que en España tienen una manera de hablar totalmente diferente de los hispanoamericanos. Aprendí mas del acento de España, las palabras colequiales, y la cultura del país. En la clase de XX, cada día hablabamos de diferentes temas como el amor, la technologia y la música. A veces, fue estaba fue estaba difícil porque los opiniones pueden ser complicados, pero XX nos ayudábamos y nos ensenaba nuevas palabras. (M-3-5)

Aprendí más del español en este cuatro meses que aprendí en mis siete años de estudio de lingua. (M-3-1)

Al igual que veíamos en el nivel 2, nueve alumnos de este nivel mencionan aquellas situaciones diarias, como las cenas, en las que sus familias hablaban con ellos con paciencia y abordando temas de la cultura local:

La ayuda de mi familia española era fantástico. Ellos me hacían estar comódo con hablar. Cada noche para cenar, hablamos para 30-40 minutos. Ellos estaban paciente y me ayudaban con conjugaciones y género. Estos momentos eran importante. Hablabamos sobre comida tradicional, las rutinas, los políticos (mi padre era serio sobre políticos), y bailar porque mi hermana española bailaba cada día en un conservatorio. (A-3-2)

El límite entre amigos e intercambio se difumina, como vemos en el fragmento de M-3-4 más abajo, donde observamos que los alumnos valoran el punto de vista y las opiniones de personas de su edad. Un total de cuatro alumnos hablan de sus intercambios, dos de enseñar inglés y uno considera sus compañeros de casa fueron importantes para el aprendizaje de la lengua y cultura meta:

Además, el intercambio que USAC me ayudó conocer ha tenido un gran impacto en mi experiencia. Me gustó que tenía una amiga de Madrid que me enseñó de la ciudad y cosas así. Era una buena manera para practicar mi español y conocí muchas de sus amigos. Porque podría conocer tanto amigos españoles, me sentía que Madrid era mi nueva casa y la ciudad sentía más familiar a mí. Me mostraron los mejores restaurantes en Madrid y los lugares donde iban los madrileños. Además, me enseñaron sobre la cultura de Madrid y qué les gusta de Madrid y qué cosas no les gusta. Hablamos de las diferencias entre los universidades en España y los Estados Unidos. Me gustó que me mostraron la vista de las españoles de mi edad. (M-3-4)

El nivel más alto, el nivel 4, es el único grupo en el que el número de alumnos que habla de sus familias (A-4-3) sobrepasa al número de alumnos que habla de sus clases. Si hay diez menciones a las familias, hay ocho alumnos que ven la clase como lo más importante para el progreso en la lengua adicional. Solo uno menciona las clases particulares de inglés y dos los intercambios:

Mi madre adoptiva X me invitó a ser parte de su familia y me ha enseñado la cultura española. Ella es buena cocinera también y sus platos españoles, como la paella, son ricos. Además de X, mi intercambio Y me ha ayudado mucho. Quedamos una vez cada semana para practicar español y tomar un café. Ella es muy paciente con mi manera lenta de hablar y siempre escucha a mis palabras con interés. (A-4-3)

Resumiendo el análisis temático, en el nivel más bajo la clase y las actividades en las que el inglés tiene más protagonismo, como enseñar o el intercambio, son las primeras que recuerdan los alumnos como desencadenantes del aprendizaje. En niveles intermedios, la clase y el profesorado se perciben como los que más impacto tienen, pero aparecen las familias y los amigos. El nivel más avanzado es el único en el que la familia cobra más protagonismo que la clase o el aprendizaje puramente formal. Recogemos numéricamente los principales temas abordados en cada nivel en el cuadro 2:

Cuadro 2: Resumen de los temas emergentes por niveles

Nivel 1 (n = 37)	Nivel 2 (n = 32)	Nivel 3 (n = 24)	Nivel 4 (n = 18)
Clase y profesores: 32	Clase y profesores: 25	Clase y profesores: 18	Familia: 10
Intercambio: 11	Amigos: 13	Familia: 9	Clase y profesores: 8
Enseñar inglés: 7	Familia: 9	Intercambio: 4	Intercambio: 2
	Intercambio: 2	Enseñar inglés: 2	Enseñar inglés: 1
	Enseñar inglés: 2	Compañero de casa: 1

En general, las experiencias de aprendizaje son muy personales, lo que hace difícil la reducción de las experiencias a unos patrones cerrados dados. De hecho, como leíamos en el fragmento de M-2-7, el vivir en una gran ciudad como Madrid ya es suficiente para aprender, porque el alumno en cuestión siente que tiene que «pedir ayuda». En el caso de que la comunidad autónoma tenga dos lenguas oficiales, como el País Vasco, hace que la diversidad cultural y lingüística aparezca de forma manifiesta a los alumnos. Así, en el siguiente extracto, el alumno SS-1-15 reflexiona sobre la variedad de ritos y costumbres para celebrar la navidad, mencionando el Olentzero, una figura popular vasca, que el 24 de diciembre a la noche trae regalos a los niños. Podemos así percibir que el alumno que se ha acercado a una familia de madre vasca y padre estadounidense, valora y admira el multilingüismo presente en la casa.

También, he aprendido mucho de los niños vascos quienes yo cuido dos veces cada semana. Ellos me enseñaron sobre “Olentzero” y los Tres Reyes. Su padre es americano y su madre es vasca, y su vida en casa es muy interesante. Lo me ha hecho querer aprender tres lenguas como los niños vascos. (SS-1-15)

Análisis formal

El logro más llamativo y generalizado es el uso del pretérito perfecto en las redacciones de los alumnos de todos los niveles. Puesto que es el tiempo que expresa acciones en el pasado dentro del marco temporal en el que se encuentra el hablante o, en nuestro caso el escritor, la mayoría de los alumnos lo usaron para hablar de sus actividades. Su uso es coherente con el contexto comunicativo puesto que estaban hablando de sus experiencias cuando todavía se encontraban en España. Según lo ya observado por Geeslin, Fafulas y Kanwit30, los alumnos que estudian en un lugar donde se habla la lengua meta, muestran mayor sensibilidad a las normas de la comunidad lingüística. Dado que en la variedad lingüística del norte y centro peninsular, salvo el noroeste peninsular y las islas Canarias, se hace un uso más extenso del pretérito perfecto que las variedades americanas (Cartagena)31, este tiempo es el que eligieron los alumnos en sus narrativas, como se puede ver en los siguientes fragmentos:

Antes yo fui a España, yo no sabía nada de español. Ahora yo puedo hablar español. Los estudiantes y mis amigos que he conocido me han ayudado a aprender. Los estudiantes de la USAC en mi edificio me han ayudado a que hable español tanto como pueda. (A-1-3)

Durante mi tiempo aquí en San Sebastián, he aprendido mucho. Mi español es bastante mejor que cuando llegé. He aprendido más en estas clases de español que todos las clases que he tomado en mi universidad y mi escuela secundaria. (SS-2-1)

Hay dos personas que han influido mi proceso de aprender la lingua española durante este semestre. Ellos son, la señora de mi casa o, mi mamá española, XX, y mi profesor de Track III, YY. Los dos han sido muy importante para mi educación de la cultura y la lingua española. (M-3-2)

Mediante esta evaluación se concluye que los alumnos adquirieron correctamente los tiempos del pasado, uno de los objetivos de todos los programas y niveles: el poder contar y describir eventos en el pasado. De hecho, en nuestras instrucciones, pedíamos que contaran los hechos en el pasado (Anexo 1). Sin embargo, la presencia generalizada del pretérito perfecto en las narrativas fue un hallazgo inesperado, que podemos explicar por la mayor presencia de este tiempo en la variedad de español a la que están expuestos los alumnos dentro y fuera del aula.

Sin embargo, otros hallazgos parecen mostrar exponentes lingüísticos resistentes a la instrucción. Sin pretender hacer un repaso exhaustivo de todo el curriculum de español de USAC en los cuatro niveles abordados, sí podemos señalar aquellos exponentes gramaticales que reciben una atención directa en nuestras clases pero que, sin embargo, no se usan correctamente en las narrativas de los alumnos. Una lectura rápida de los extractos reproducidos muestra que hay errores de diferentes tipos. Por ejemplo, son comunes los errores de concordancia, preposiciones, acentuación, etc. No pretendemos hacer aquí una lista de todos los errores frecuentes, sino seleccionar errores sistemáticos de puntos gramaticales que se abordan en la instrucción de clase de forma extensiva.

Uno de esos puntos en los que invertimos horas de instrucción en los cuatro niveles es la diferencia entre ser y estar. A pesar de la insistencia en la instrucción, todavía observamos una hipergeneralización (Alexopoulou)32 del verbo estar. Se trata este de un fenómeno en el que los alumnos aplican el elemento más marcado, en este caso el verbo estar, en contextos en los que la opción correcta hubiera sido ser. Esta hipergeneralización aparece en todos los niveles, salvo en el nivel 4, como se puede observar en los siguientes ejemplos procedentes de las narrativas:

La clase estaba muy beneficial y divertido. Disfruté aprender Español con XX (SS-1-2)

Ha estado muy interesante viviendo en Madrid. (M-2-1)

En Madrid me gusta mucho mis profesoras porque ellos están muy paciente y pueden explicar todos las cosas (M-2-12)

La ayuda de mi familia española era fantástico. Ellos me hacían estar comódo con hablar. Cada noche para cenar, hablamos para 30-40 minutos. Ellos estaban paciente y me ayudaban con conjugaciones y género. (A-3-2)

A veces, fue estaba fue estaba difícil porque los opiniones pueden ser complicados, pero XX nos ayudábamos y nos ensenaba nuevas palabras (M-3-5)

Al parecer, la función de evaluar o de emitir un juicio aparece ligada al verbo estar, aunque en el fragmento A-3-2 vemos que esta es una elección variable, puesto que la primera vez el alumno utiliza el verbo ser: la ayuda era fantástico, pero en el segundo verbo elige incorrectamente el verbo estar en la frase: estaban paciente. Asimismo, el tachado y la vacilación de la escritura en M-3-5 nos indican áreas de duda o de inseguridad, en la que el alumno termina optando por el verbo estar. En un estudio anterior vimos que los alumnos que terminan el primer nivel todavía dudan con respecto a este punto gramatical33. En el presente estudio comprobamos que tras meses de instrucción en los niveles dos y tres, todavía se mantiene esta tendencia a elegir el verbo estar en contextos donde se caracteriza a una persona o situación.

Un segundo fenómeno generalizado que observamos en las narrativas en todos los niveles es la dificultad de usar el infinitivo en español. Si bien nuestros esfuerzos de instrucción están dirigidos a que los alumnos adquieran la morfología de los verbos conjugados, sobre todo los irregulares, estas narrativas muestran que las formas no personales también son un desafío en todos los niveles. En las redacciones observamos que en lugar del infinitivo, los alumnos optan por otras fórmulas alternativas, como por ejemplo, el gerundio, probablemente por influencia de la L1. La alta productividad del inglés –ing para nominalizaciones hace que los alumnos lo trasfieran en su español como segunda lengua:

Algunas cosas que me ayudaron en aprendiendo español eran leyendo libros, buscando extrañas palabras en internet y escuchando otras personas hablando en las calles o en el metro (M-1-4)

Durante este semestre en Alicante, aprendiendo la lengua de español era una experiencia uníca (A-1-10)

El final cosa que me ha ayudado aprender español fue viviendo en España. (M-2-8)

Yo creo que escuchar a español es difícil, posiblemente más difícil que hablando en español porque toda gente tiene acentos diferentes. (A-2-2)

Viviendo en España ha sido la última experiencia para aprender español porque he tenido hablar en español todo del tiempo. (M-3-7)

Viviendo con una familia adoptiva fue la mejor cosa desición que he tomado aqui en Alicante (A-4-6)

Otra construcción que no puede traducirse directamente del inglés al español y que aparece en estas redacciones es la combinación de las conjunciones cuando o mientras más el gerundio. Esta construcción es de gran productividad en inglés pero no puede transferirse al español:

En el clase de 305, 306, y 410 no sólo de lengua pero también de cultura, datos en que me interesa y más cómoda cuando hablando (M-3-2)

Creo que lo que más importante es la gente que conocía mientras estudiando aquí (SS-2-13)

Hubo alumnos en cuyos escritos tratan de dar con un equivalente para la partícula inglesa to. Obviamente todos los alumnos saben que un infinitivo español, como cantar, se traduce por to sing. Pero al tener que pasar del contenido a la forma, los alumnos inconscientemente buscan un equivalente para to. Probablemente, sienten que algo falta y añaden una preposición española como para (SS-2-9; A-4-3) y a ante el infinitivo (M-2-2; A-2-6; M-3-8).

En todos de estes ejemplos, cuando yo tenía amigos de aquí, era más fácil para practicar la lengua castellano (SS-2-9)

Mi sueño más grande en la vida es para dominar la lengua española y usarla cada día (A-4-3)

Creo que la cosa mas importante para aprender una lengua nueva es a encontrar amigos españoles que no saben mucho ingles (M-2-2)

Fue interesante a ver los diferencias dentro de esos amigos españoles y mis amigos en EEUU. (A-2-6)

Tenía mucha suerte a tener una familia como este. (M-3-8)

En cuanto a los verbos conjugados, encontramos algunos ejemplos de uso de subjuntivo con el verbo sentir, posiblemente con el significado de «parecer»:

Yo siento que conozca mucho más español ahora. (SS-2-4)

Eso me ayudó tanto porque despues de dos meses hablando en español cada día, yo siento que ahora hable con más fluidez y más rapido. (M-4-4)

En particular, en el nivel 2, a pesar de que se dedica gran cantidad de tiempo de instrucción al subjuntivo, no podemos decir que la mayoría pueda utilizarlo correctamente y comprobamos la aparición del infinitivo (M-2-9, A-2-2) o el condicional en SS-2-14:

Ellos me suplicaron volver y les prometí lo mismo. (M-2-9)

Cuando vuelvo a Iowa, deciré todas mis amigas a estudiar en un país diferente por seguro. (A-2-2)

Este experiencia era muy bien y espero que otros estudiantes elegiría este ciudad. (SS-2-14)

En resumen, hemos ofrecido una rápida panorámica de algunos de los logros y carencias de los alumnos que han estudiado en un programa en España a lo largo de un semestre. Hemos comprobado que los alumnos son capaces de reflexionar en una segunda lengua y que la forma en la que lo hacen muestra que tienen los recursos léxicos y gramaticales para hacerlo. Este estudio ha desvelado que la instrucción tiene un impacto limitado en la correcta elección de ser y estar. Asimismo, las formas no personales del verbo, una forma gramatical que a menudo los profesores damos por hecho que los alumnos dominan desde los primeros cursos por no revestir de dificultad morfológica, todavía presenta problemas. Por lo tanto, en la instrucción futura debe reforzarse la práctica de las formas no personales de los verbos. El análisis formal de las narrativas también ha dejado patente la vacilación en el uso del modo subjuntivo.

Discusión y conclusiones

Hemos reflexionado sobre el contenido primero y sobre la forma después de las narrativas de alumnos que invierten su tiempo y esfuerzo en aprender una lengua en situación de inmersión. La tarea asignada como herramienta de evaluación fue adecuada para facilitar la reflexión y así poder destacar aquellas experiencias y situaciones que contribuyeron al aprendizaje de la lengua. Esta información es muy útil como forma de evaluación de la eficacia de nuestros programas, a la vez que nos muestra áreas del currículum que podrían ser revisadas.

Los profesores de lengua desempeñan una importante función de mediadores de la cultura meta, al identificarse fuertemente con la comunidad local. Su papel es fundamental en asegurar que las oportunidades de aprendizaje se aprovechan al máximo. El contacto diario de los alumnos con el profesor hace que la clase se convierta en un espacio de negociación de significado relacionado con la lengua y la cultura meta. La relevancia de hablar y discutir dentro del aula las observaciones o interacciones que ocurren fuera del aula, de ahí que la importancia de un «experto» que ayude el proceso de la reflexión es clave, como ya señaló Vande Berg34.

Las narraciones analizadas reflejan la importancia de la figura del profesor, pero a medida que el nivel de español del alumno sube, su importancia disminuye. Creemos que en niveles altos la autonomía del alumno es mayor y por lo tanto, la familia se vuelve la fuente de aprendizaje principal en muchos casos. Sin embargo, no solo las familias sino también los intercambios y amigos son la siguiente fuente de interacciones significativas. Los alumnos destacan aquellos conocidos que surgen de forma inesperada a través de aficiones, como por ejemplo el voleibol. En algunos casos, esos conocidos se convierten en amigos para siempre y son fuente del aprendizaje del lenguaje de los jóvenes o del lenguaje del día a día. Encontramos también ejemplos de interacciones que ocurren de forma no planeada, por el mero hecho de compartir mesa en un restaurante, como muestra el siguiente fragmento:

Fui al Museo del Jamón con amigos de USAC. Había mucha gente. Tuvimos que compartir una mesa con dos hombres que tenían 40 años más o menos. Ellos nos pidieron algunas preguntas y yo contesté. Hablamos unos minutos y entendí todo. (M-1-11)

La sensación de poder entender todo en un ambiente relajado fuera del contexto de clase aparece como un logro en la narrativa de este alumno que acaba de empezar su historia, no solo como alumno sino como usuario de español. Podemos calificar esta pequeña anécdota como un incidente crítico o, en terminología de Oxford y otros35, como una experiencia cumbre (inglés, peak experience)

La enseñanza del inglés a niños aparece como otra oportunidad de aprender no sólo a enseñar sino también de mejorar su conocimiento de la lengua y la cultura meta. En el caso de las clases particulares porque facilita el entrar a las casas, escuchar palabras coloquiales de la boca de los niños y tener que acordar el lugar, la hora del encuentro y el precio de las clases con los padres. En el caso de las clases en las escuelas, se destaca la oportunidad de contacto con un sistema educativo diferente, de poder hablar con los profesores de inglés y aprender de su experiencia, así como de poder aprender de los alumnos también.

En cuanto a lo formal, la mayoría de los alumnos utilizan el pretérito perfecto de forma correcta. Se trata este de un objetivo del currículum de los cuatro niveles, pero llama la atención que ante otras opciones de tiempos del pasado, las narrativas se alinean con la opción de la variedad a la que están expuestos. Puesto que es el pretérito perfecto es el tiempo utilizado en la variedad peninsular, y el que escuchan dentro y fuera del aula para hablar de acciones recientes, es el utilizado por la mayoría. Dado que todavía estaban con sus profesores españoles, es la opción adecuada y hacen buen uso de este tiempo verbal.

Hay diferentes puntos gramaticales que deben revisarse en nuestro futuro currículo de español como segunda lengua: 1. Los alumnos de todos los niveles (salvo el 4) siguen produciendo oraciones en las que hay una hipergeneralización del verbo estar, a pesar de que es un tema que se aborda en la instrucción de los cuatro niveles. 2. Cuestiones aparentemente más sencillas del español como pueden ser las formas no personales, es decir, el infinitivo, presentan problemas en todos los niveles. Dado que -ing en inglés tiene gran productividad, los alumnos incorrectamente utilizan el gerundio. Por otro lado, los alumnos rellenan el hueco de to, con preposiciones como a o para. 3. También observamos en las narrativas de los alumnos de niveles 2, 3 y 4 una vacilación en el uso del subjuntivo36. No aparece en las construcciones sintácticas que lo requieren; sin embargo, aparece en otras en que no es necesario.

Estas tres cuestiones han sido comentadas en diferentes reuniones con los principales implicados, los profesores de nuestros programas. De esta forma, podemos empezar a diseñar intervenciones pedagógicas que hagan a los alumnos conscientes de las generalizaciones o reglas que derivan en producciones como las comentadas y poder así gradualmente cambiarlas. Solo mediante una labor en la que se involucre a los profesores de los diferentes niveles podremos mejorar la calidad de nuestros programas.

En definitiva, hemos mostrado una posible forma de evaluación de los resultados de nuestras clases más compleja y global que la evaluación mediante un simple test de elección múltiple. Si bien los resultados son más difíciles de cuantificar, estas narrativas ofrecen la posibilidad de reflejar las experiencias de los alumnos de forma más completa e interesante para las partes involucradas en la enseñanza. Una de las características definitorias del estudio del español en el seno de una comunidad donde se habla es que las barreras entre la clase y la calle se difuminan. Esto tiene una clara repercusión en las experiencias de aprendizaje de los alumnos, en lo que valoran y en lo que ponen atención. Pensamos que, tal y como hemos mostrado en este estudio, a través del análisis temático y formal de las narrativas de los alumnos es posible aportar una mirada crítica a nuestra práctica y a los resultados obtenidos.

Anexo 1. Instrumento

NAME AND LAST NAME: ________________________________ PROGRAM: ___________________________________________ TRACK: ______________________________________________

NARRATIVE EPISODE Explain what critical facts, incidents or crucial people have had an impact on your learning process of the Spanish language and culture during this semester. Directions: 250 words, in Spanish and narrated in the past (time: 30 minutes).

INFORMED CONSENT FORM I freely and voluntarily to consent the anonymous reproduction of parts of this composition for research purposes. I also understand that my participation in this study will in no way affect my academic standing or my grade in any course. ________________________________ _______________ Participant’s Signature Date

---