Vol 36, N° 56, (1-16), EISSN: 2215-2997, enero-junio, 2018

URL: www.revistas.una.ac.cr/abra

DOI: http://dx.doi.org/10.15359/abra.38-56.2

Teoría del Programa y Teoría del Cambio en la Evaluación para el Desarrollo: Una revisión teórico-práctica

Program Theory and Theory of Change in Development Evaluation: A theoretical–practical review

José Luis Alvarez-Rojas1

María L. Preinfalk-Fernández2

Recibido: 22/10/2017. Corregido: 21/03/2018. Aprobado: 3/04/2018.

Resumen: La Evaluación –entendida como práctica profesional– a diferencia de otros ejercicios analíticos o de investigación posee un claro carácter de aplicación y utilidad práctica que le confieren su rasgo distintivo. Sus funciones principales son el aprendizaje de experiencias, la realimentación o mejora y la rendición de cuentas hacia fuentes financieras y a la opinión pública implicada en los programas de desarrollo. Es en este carácter en el que encuentran asidero y justificación las nociones de Teoría del Programa y Teoría del Cambio, que han tomado fuerza en la medida en que esta nueva disciplina se consolida. No obstante, su comprensión ofrece dificultades, en particular para quienes se inician en el campo de la evaluación debido no solo a los innumerables aportes teóricos y esfuerzos metodológicos de aplicación de estos conceptos, sino también a una marcada polisemia conceptual. El presente artículo constituye una revisión de las principales ideas y argumentos que subyacen a estas dos nociones y postula que ambos conceptos son sinónimos y sirven a los intereses de la evaluación, ubicándose como un elemento de fundamental importancia para el ejercicio práctico.

Palabras clave: teoría del programa; teoría del cambio; evaluación.

Abstract: Unlike other analytical or research exercises, Evaluation –understood as a professional practice– has clear applications and practical uses, which gives it a distinctive feature. Its main functions are the learning of experiences, feedback or improvement, and accountability to financial sources and public opinion involved in development programs. In this sense, the notions of Program Theory and Theory of Change have taken force and have consolidated into this new discipline. Nonetheless, full comprehension of the discipline may present difficulties, particularly for those starting in the field of evaluation, due not only to the myriad theoretical contributions and methodological efforts to apply these concepts, but also to a marked conceptual polysemy. This article reviews the main ideas and arguments related to these two notions and suggests that both concepts are synonymous and serve the interests of evaluation, which makes it a fundamental element in the practical exercise.

Keywords: program theory; theory of change; evaluation.

Introducción

La producción de tipo académico en torno a las nociones Teoría del Programa y Teoría del Cambio es abundante y diversa. La característica fundamental de estos materiales radica en la prevalencia de un lenguaje cargado de múltiples significados con muchos elementos en común, pero también con rasgos particulares, ante los cuales pareciera descollar más la confusión que la claridad, en especial para quienes se inician en el campo profesional de la Evaluación de programas y proyectos de desarrollo.

El presente artículo tiene por objetivo una revisión reflexiva de las principales ideas y argumentos que han caracterizado estas nociones, desde su aparición hasta nuestros días. Se divide en cuatro apartados. En el primero se aborda el origen y contexto de la noción Teoría del Programa en su versión clásica. A manera de flujograma histórico evolutivo, los conceptos iniciales se circunscriben en el contexto de la evaluación basada en la teoría lo cual constituye un marco conceptual analítico que sirve para entender la Evaluación como práctica y como disciplina y que surge en contraposición a otros enfoques como las llamadas evaluaciones de caja negra. En el segundo apartado se trata la naturaleza y concepto propiamente dicho de la Teoría del Programa y se recurre para ello a la noción de cadena de resultados, noción fundamental que ayuda a comprender la práctica evaluativa en función de las intervenciones sociales las cuales asumen el carácter de políticas, programas o proyectos de desarrollo. El tercer apartado se refiere al rasgo predominantemente prescriptivo que comprende la noción de Teoría del Programa, orientación que ayuda y complementa la función evaluativa. Por último, el apartado cuarto se plantea la noción de Teoría del Cambio y el debate de si esta forma parte o no de la primera. Se anotan los rasgos más destacados de la Teoría del Cambio y una interpretación analítica para su uso adecuado en las tareas de evaluación.

Origen y contexto de la noción Teoría del Programa

Como es sabido, es en el campo de la educación en donde por razones propias del ejercicio formativo tiene lugar por vez primera la práctica de la Evaluación. De allí se trasladaría hacia otros ámbitos y disciplinas incursionando en el campo del desarrollo en la década de los sesentas, justo cuando esta nueva formación discursiva aparece en el lenguaje y se abre paso una determinada institucionalidad y tecnología que en adelante sustentará el desarrollo como disciplina3. Así, hoy en día se habla del Desarrollo siempre que se hace referencia a diferentes formas de intervención como son las políticas, planes, programas y proyectos que de una u otra forma apuntan hacia el mejoramiento de condiciones de vida tanto de segmentos de población como de comunidades, pueblos y países en general.

Es en ese ámbito del Desarrollo, y de forma particular en la evaluación de dichas intervenciones, en donde tienen lugar las nociones de Teoría del Programa y Teoría del Cambio, sobre las cuales trata este trabajo.

Según lo afirman Funnel y Rogers (2011), la noción Teoría del Programa tiene por antecedente más antiguo una serie de cuatro artículos de Don Kirkpatrick, aparecidos en el Journal of the American Society for Training and Development, entre 1959 y 1960. En ellos se abordaban los temas de evaluación del proceso formativo de estudiantes a cuatro niveles: el de las reacciones, el del aprendizaje, el de cambio de conductas y el de resultados finales. De allí nació el enfoque de evaluación del aprendizaje conocido como los Cuatro Niveles de la Evaluación de Kirkpatrick, que se orienta a evaluar el impacto de una determinada acción formativa y que en la práctica es un conjunto de resultados en secuencia que se emplean para planificar tareas educativas. Su aplicación arranca con la identificación de los resultados finales buscados, y a partir de entonces se lleva a cabo un recorrido de adelante hacia atrás en esa secuencia, identificando las conductas necesarias para alcanzar esos resultados, seguido de la identificación de los conocimientos, destrezas y actitudes necesarias para lograr aquellos cambios conductuales y finalmente identificando las experiencias de capacitación que sería necesario llevar a cabo para producir una reacción positiva de las personas participantes. Dicha secuencia de resultados constituye un marco de planificación de la evaluación, en donde las evidencias correspondientes a cada nivel serían utilizadas para proponer argumentos respecto a la contribución de la formación.

Durante la década de los sesentas, Suchman (1967) introduce la noción de cadena de objetivos en la evaluación de los programas, centrando la atención en el proceso que media entre una actividad y su objetivo. Para este autor las nociones de programa, objetivos y proceso interviniente constituyen elementos esenciales en la conducción de la investigación con fines evaluativos. Para la misma época, Stufflebeam (1967), en el marco de un debate sobre limitantes de los enfoques experimentales para la evaluación de programas educativos, propuso un nuevo modelo de evaluación4 bajo el esquema de una teoría genérica del programa (sin que fuera denominada de este modo), consistente en cuatro grandes partes: contexto, insumos, procesos y productos; y formuló una serie de preguntas para responder a cada uno de estos aspectos. Este formato colocaba bajo una misma categoría distinto tipo de resultados lo que ponía en evidencia un encadenamiento lógico entre tales elementos, y se constituye en un factor clave que ayuda a explicar más tarde la aparición de las nociones Teoría del Programa y Teoría del Cambio. El modelo fue desarrollado como respuesta a las limitaciones encontradas en el diseño experimental tradicional de evaluación basada en objetivos y pruebas de logro estandarizadas. Poco tiempo más tarde, en una de las publicaciones pioneras sobre la evaluación, Weiss (1972) plantea una representación de la Teoría del Programa y pone énfasis en la noción de cadena de objetivos y en un diagrama que contempla objetivos intermedios ubicados entre las actividades y el objetivo último. A partir de este aporte de Weiss cobra relevancia la noción de Evaluación basada en la Teoría, desarrollada por Fitz-Gibbon y Morris (1975) y que se refiere a aquel tipo de evaluación en la cual “la selección de las características de un programa a ser evaluado es determinada por una conceptualización explícita del programa en términos de una teoría, la cual apunta a explicar cómo un programa produce los efectos deseados” (p.1).

Este tipo de evaluación fundamentada en la teoría, constituye un marco conceptual y analítico general y no un método específico o técnica; es una manera de estructurar y emprender el análisis de una evaluación, el cual surge en contraposición de otros enfoques tales como las denominadas evaluaciones de caja negra5 que ponen el énfasis en la relación insumo–producto y que no son sensibles a los contextos políticos ni organizacionales en que tienen lugar los programas y proyectos (Chen, 1990). La Teoría del Programa apunta a que los tomadores de decisión y demás personas involucradas en una determinada intervención, abran la caja negra y desentrañen cómo es que funciona, en lugar de suponer un criterio de verdad en algo previamente empaquetado.

Desde el punto de vista metodológico, los estudios de caja negra se inscriben en la lógica de los métodos experimentales y cuasi-experimentales. Estos no están dirigidos a entender por qué y cómo ocurren los resultados observados de un determinado programa o proyecto; pueden evaluar si los resultados esperados ocurrieron y si aquel programa o proyecto desempeñó un papel importante, pero no exploran las razones por las que la intervención funcionó o no.

La Teoría del Programa ayuda a comprender cuáles son los mecanismos subyacentes entre los procesos y los efectos esperados de un determinado programa o intervención, de tal suerte que permite conocer cuándo y cómo funciona dicho programa. Algunos investigadores argumentan que la Teoría del Programa es particularmente útil si se la emplea como un mapa para formular las preguntas correctas sobre el programa o intervención que se evalúa (Weiss, 1997; Chen, 1990 y 2005). Las interrogantes no requieren ser especificadas, pero sí deben tener una base teórica.

Estos aportes conceptuales a la denominada Teoría del Programa ocurren en un contexto, cuyas características no pueden obviarse. Son las décadas sesenta y setenta del siglo XX, abundantes en la producción de modelos y herramientas para la gestión, particularmente en los Estados Unidos, centro de poder industrial para la época. El incipiente lenguaje del desarrollo, así como la respectiva institucionalidad que emerge, adopta el concepto de proyecto como la unidad de trabajo por excelencia. Los proyectos son concebidos como conjuntos de actividades que apuntan a la consecución de un mismo objetivo o propósito. Al ser la actividad el centro de la atención principal de los procesos gerenciales, la racionalidad de los proyectos y los programas está guiada por criterios de eficiencia y eficacia, consideraciones estrechamente vinculadas a la lógica industrial prevaleciente, la cual se constituye en el baremo del desarrollo en el mundo entero. En ese marco, herramientas como el PERT/CPM6, diagramas de Gantt, organigramas y otras, son adoptados por los primeros programas de cooperación provenientes de los Estados Unidos y la evaluación – como práctica profesional a lo interno de dichos programas – empieza a tomar fisonomía, apegada a esas premisas de la eficiencia y eficacia de las acciones.

Es así como en América Latina inicialmente y más tarde en otras latitudes, al calor de estrategias de cooperación de postguerra como la Alianza para el Progreso, se puso de moda el Método del Marco Lógico (MML)7 a partir de 1969. Esta herramienta encaminada a apoyar el diseño y evaluación de proyectos de desarrollo, a juicio de Funnel y Rogers (2011), “constituye en sí misma la versión clásica de lo que hoy se entiende por Teoría del Programa” (p.17), dado que su arquitectura lógica corresponde con el enlazamiento de resultados en cadena que el MML plantea. La herramienta fue desarrollada por la firma Practical Concepts Incorporated a petición de la Agencia Estadounidense para el Desarrollo (USAID) y posteriormente fue acogida en Europa y diversas agencias de las Naciones Unidas. La Agencia Alemana para el Desarrollo (GTZ) en ese entonces, complementó el Marco Lógico y con el nombre de Método Zopp8, lo diseminó como la principal herramienta de diseño y gestión de proyectos de desarrollo que haya existido hasta el presente. Su utilización ha sido elemento vinculante para el financiamiento de programas y proyectos de desarrollo tanto en el sector público como en el ámbito de las organizaciones de la sociedad civil, de tal suerte que prácticamente no existe organismo de apoyo técnico y financiero que no lo conozca y utilice. Pese a ello, no deja de llamar la atención el escaso grado de dominio metodológico en torno a esta herramienta en América Latina, tanto en el ámbito académico como en la institucionalidad pública.

El MML se expresa bajo la forma de una matriz de doble entrada y comporta dos tipos de lógica: una vertical estandarizada en cuatro niveles o componentes: actividades, productos, propósito y fin último; y una lógica horizontal en la que se identifican los indicadores objetivamente verificables, los medios de verificación y los supuestos para cada uno de los niveles anotados. Se trata de un encadenamiento de objetivos mediado por una relación causa-efecto: si se desarrollan las actividades, entonces se obtendrán los productos; si se obtienen los productos, entonces se alcanzará el propósito buscado y si dicho propósito se alcanza, entonces se contribuirá a la consecución de un fin último. Este tipo de encadenamiento lógico constituye la base sobre la que cobran fisonomía las nociones Teoría del Programa y Teoría del Cambio, como se expone enseguida.

Naturaleza y concepto de la Teoría del Programa

La Teoría del Programa no debe confundirse con la teoría de la ciencia social ni tampoco se refiere a la naturaleza de los problemas sociales. Como lo mencionan Donaldson y Lipsey (2014) “es mucho más modesta y trata en lo fundamental, de los supuestos que guían las formas particulares o específicas de cómo se llevan a cabo esas intervenciones y de qué manera se espera que produzcan los cambios esperados” (p.20). Es por eso que el énfasis de la Teoría del Programa está dado por aquel tipo de intervención que constituye el objeto de la evaluación en sí mismo; es decir, el programa, el proyecto, la política pública. Además, es claro que quienes pensaron primero la noción de Teoría del Programa, emplearon como referente una noción de encadenamiento de resultados que permite desentrañar la intencionalidad y razón de ser de un programa o proyecto. La noción de cadena de resultados se refiere a los distintos eslabones del proceso de gestión de un programa o proyecto, los cuales van desde las actividades hasta los efectos finales o impactos, pasando por los productos y los efectos directos e intermedios, tal como se muestra en la figura 1.

Para la investigación evaluativa, la cadena de resultados constituye un recurso heurístico de singular valor y utilidad, dado que la Teoría del Programa trata de desentrañar y explicar los supuestos e hipótesis que se ubican en cada uno de los intersticios de la cadena de resultados. Existe un encadenamiento de hipótesis (por ejemplo: si actividades, entonces productos; si productos, entonces efectos…) en el que la obtención de los diferentes niveles de resultados no son una mera consecuencia “lógica” de la condición que les precede, sino que habrán de ser explicados en función de los supuestos o hipótesis de trabajo que vinculan unos aspectos con otros. Así por ejemplo, en un proyecto que busca la igualdad de género en materia de educación, se establece como uno de los productos esperados un currículum educativo sensible al género, lo cual generará entre otros efectos un cambio en las actitudes y trato hacia las niñas en el sistema educativo. Este último resultado no se obtiene a partir de la mera demostración de la existencia de un currículum sensible al género; para ello será necesario satisfacer otras condiciones tales como que el personal docente haya sido capacitado y demuestre actitudes que favorezcan el acceso y permanencia de las niñas en el sistema educativo; también será necesario que las familias revaloricen la importancia de la educación de las niñas como sujetos de derechos y protagonistas del cambio social; será necesario que se incremente la eficiencia y eficacia de los modelos gerenciales de la educación en los centros de enseñanza, etc. Es decir, surgen una serie de supuestos o hipótesis sin cuya satisfacción no es posible imaginar una transformación a nivel de tejido social o institucional, como el cambio de actitudes deseado.

Figura 1. Cadena de resultados. Fuente: elaboración propia.

Las aportaciones teóricas existentes coinciden en que este enlace de resultados (conocido comúnmente como cadena de resultados) con sus respectivos supuestos, constituyen la esencia de la Teoría del Programa y su reconocimiento aumenta día con día tanto en los manuales y guías de aplicación de la evaluación, como en el lenguaje de la comunidad misma de profesionales dedicados al oficio de la Evaluación. Por esta razón, Bickman (1987a) apunta que las denominadas evaluaciones de “caja negra” son insuficientes y se hace necesario un mejor y mayor conocimiento de la teoría subyacente en el objeto de intervención, a fin de producir resultados. No obstante, no existe acuerdo entre autores respecto al concepto o definición de la Teoría del Programa, lo cual ha provocado –en el ámbito práctico– un estancamiento polisémico en el que –como se verá más adelante– pareciera emerger con mayor fuerza el uso y manejo del concepto de Teoría del Cambio como sustituto al de Teoría del Programa.

A partir de la producción teórica desatada desde este enfoque de la Evaluación basada en la Teoría es posible reconocer distintos marcos conceptuales y definiciones de la Teoría del Programa, conforme se la conoce e interpreta en la práctica de la Evaluación. Donaldson y Lipsey (2014) identifican tres fuentes conceptuales o marcos.

En primer lugar, el planteamiento que define la Teoría del Programa como la construcción de un modelo plausible y sensible de cómo se supone que un programa funciona, el cual está basado en los aportes de Bickman (1987b). En segundo lugar, aquella definición que entiende la Teoría del Programa como un conjunto de proposiciones relacionadas con lo que se contiene en la caja negra durante la transformación de insumos a productos, esto es, la explicitación de cómo una mala situación es transformada en una mejora, a lo largo de una serie de impactos; esta noción proviene de los aportes de Lipsey (1993) y en tercer lugar, la propia definición de Donaldson (2007) que entiende la Teoría del Programa como el proceso a través del cual los componentes del programa se presumen que afectan los efectos y las condiciones bajo las cuales estos procesos operan.

Existen además otras aportaciones como las de Wholey (1987) que se refieren al encadenamiento de supuestos que conducen a la producción de los efectos, y en forma más precisa aún, autores como Chen (2005) conciben la Teoría del Programa como aquellos supuestos implícitos y explícitos de un conjunto de tomadores de decisión, sobre el tipo de acciones que son requeridas para solucionar un problema y el por qué el problema responde a esas acciones.

Además de la diversidad de conceptos expresados, existe también una larga lista de términos relacionados con la Teoría del Programa, entre los que se incluyen: conducida por la teoría, orientada a la teoría, anclada en la teoría, Teoría del Cambio, teoría de la intervención, jerarquía de resultados, modelado del programa, y muchos otros más (Donaldson 2007; Rogers, 2007). Cada término se define de forma diferente según su autoría. En síntesis, la noción Teoría del Programa sigue siendo difusa y polisémica; no existe acuerdo entre los diversos autores sobre su significado exacto, pese a múltiples proposiciones y puntos comunes que es posible identificar en el ámbito teórico, pero sobre todo, en el terreno de la aplicación práctica de la evaluación.

Hoy en día no se cuestiona la utilidad de la Teoría del Programa en el ejercicio evaluativo. Es la guía que permite identificar los elementos claves de una intervención determinada (sea esta una política, un programa o proyecto) y que muestra de qué forma se encuentran interconectados dichos elementos. Fitz-Gibbon y Morris (1996) consideran que:

Una evaluación basada en la Teoría del Programa es aquella en la cual la selección de las características de un programa a ser evaluado es determinada por una conceptualización explícita del programa en términos de una teoría, la cual apunta a explicar cómo el programa produce los efectos deseados (p.177).

La importancia de la prescripción en la Teoría del Programa

Cuando se presenta por primera vez el concepto o noción de Teoría del Programa ante estudiantes o personas que se inician en la práctica de la evaluación de manera sistemática y rigurosa, suele surgir la pregunta: ¿en qué consiste esta teoría? Y tras esta primera pregunta, surgen otras como: ¿qué elementos componen esta teoría? ¿De qué forma explica una teoría, a un programa?, etc.

Semejante preocupación no es casual pues desde las Ciencias Sociales, el término teoría usualmente se entiende como un conjunto de proposiciones que explican y predicen cierto fenómeno. A esta forma de comprender la teoría se le conoce como conocimiento descriptivo y, por añadidura, teorías descriptivas.

Una teoría descriptiva se refiere a cómo es el mundo y de qué manera se comporta en ciertas condiciones y lo dice con pretensión de generalidad, es decir, tiende a expresar una ley general que se aplica a todos aquellos casos en que se dan las mismas condiciones. Algunos ejemplos de teorías descriptivas son las leyes del movimiento de Newton, la ley de Coulomb sobre la interacción eléctrica, las leyes de conservación (energía, momento lineal, momento angular), leyes de funcionamiento de un organismo vivo, leyes praxeológicas, leyes económicas de formación de precios en el mercado libre (oferta y demanda), ley de la utilidad marginal decreciente, etc. Las leyes descriptivas pueden ser verdaderas o falsas, dependiendo de si se corresponden o no correctamente con la realidad que pretenden representar.

Por lo antes reseñado, de una teoría descriptiva suele esperarse una capacidad predictiva sobre aquello que se analiza u observa. Así por ejemplo, una teoría descriptiva sobre la transmisión intergeneracional de la violencia, muestra que las personas menores de edad que atestiguan o sufren violencia en la infancia, tienen muchas más probabilidades de sufrir o ejercer violencia en sus relaciones de pareja en la vida adulta que aquellos que no están expuestos a esta condición (Castro y Frías, 2010). En este caso, la teoría explicará los determinantes sociales más próximos, las modalidades y las consecuencias de las formas concretas de violencia a que se hace referencia. La teoría descriptiva predecirá el comportamiento de estos actores. Debe acotarse acá que este enfoque, el referido a la dimensión descriptiva, es el predominante en las ciencias sociales y ha tenido considerable influencia en la evaluación de programas y proyectos.

Sin embargo, este no es el único tipo de teoría que existe. Otra dimensión de la teoría, aplicada especialmente a la evaluación de programas, es la que se conoce como teoría prescriptiva. Esta no se refiere a cómo son las cosas, sino a cómo deben ser; se relaciona con aquello que es necesario hacer; las teorías prescriptivas y los principios prescriptivos se fundamentan en unas determinadas condiciones y metas esperadas y prescriben (señalan) cuáles son los mejores métodos y procedimientos para alcanzar dichas metas (Reigeluth, 1983, p.20). Las teorías prescriptivas pertenecen al ámbito de la moral y el derecho; no son ni falsas ni verdaderas, sino más bien útiles o no para un determinado tipo de objetivos que se busca alcanzar o un orden que se desea implantar. Así, para ejemplificar con el mismo tema de la violencia en la infancia, un programa o proyecto sería exitoso si logra producir formas de convivencia armónicas y saludables en personas intergeneracionalmente sometidas a situaciones de violencia.

Entre los teóricos de la Evaluación Chen (2005) es quizá quien más ha ahondado en el uso de las teorías prescriptivas para derivar de allí modelos y estilos de evaluación. Para este autor, la evaluación conducida por la teoría (Theory Driven Evaluation), se entiende como una especificación de aquello que debe ser hecho para alcanzar las metas deseadas. Por lo tanto, el ejercicio evaluativo propiamente dicho, buscará evaluar de qué modo se llevan a cabo o se obtienen los componentes de un programa o proyecto (Chen, 2005), y para los efectos prácticos se entenderá por componentes los distintos tipos de resultados que se obtienen en una determinada intervención. Siguiendo la lógica de la cadena de resultados, estos pueden ser de distinto tipo: productos, entendidos como las transformaciones inmediatas que se obtienen a partir de la puesta en marcha o ejecución de un conjunto de actividades y que constituyen condiciones necesarias y suficientes para alcanzar el propósito; efectos que son los cambios o transformaciones que por definición busca alcanzar un determinado proyecto o programa; finalmente, en la cadena están los impactos, que se refieren a los cambios en el más largo plazo que operan en el tejido social e institucional. Todos ellos son resultados y están referidos a una determinada situación inicial, frente a la cual se ideó o configuró la intervención (política, programa o proyecto).

En el ambiente académico no han faltado las críticas, objeciones y nuevas conceptualizaciones a lo interno del enfoque de la evaluación basado en la teoría. No obstante, la idea de utilizar un marco conceptual o Teoría del Programa, en la que se combinan tanto lo descriptivo como lo prescriptivo, parece haber echado raíces desde el decenio de 1990 con las aportaciones de Chen y otros autores como Donaldson (2007) y Pawson & Tilley (1997), entre otros.

En los años recientes, la Teoría del Programa se ha convertido en tópico indispensable para la academia, pero particularmente para las múltiples organizaciones que encuentran en la evaluación y el monitoreo de políticas, programas y proyectos un campo de especialización o disciplina propia del mundo del desarrollo.

Así actores claves como la Comisión Europea, la Asociación Americana de Evaluación, el Banco Interamericano de Desarrollo, la Agencia Española para la Cooperación Internacional para el Desarrollo y muchos otros introducen en sus guías y manuales de evaluación de proyectos, capítulos o apartados dedicados exclusivamente a tratar la Teoría del Programa. Junto a ello, múltiples publicaciones técnicas y académicas ponen de manifiesto una cada vez más rica diversidad de experiencias, abordajes y enfoques que confieren reconocido realce a la temática, sin que se alcance aún una teoría articulada sobre cómo opera el cambio, tal y como lo sugiriera Weiss en su revisión de 25 años de la Evaluación basada en la teoría y que fuera publicada a finales de la década de los noventas (Weiss, 1997).

Es posible afirmar que la utilización de la Teoría del Programa en la práctica evaluativa, presenta la ventaja de proporcionar información que debería llevar a explicaciones adicionales relacionadas con el problema, las soluciones y las acciones alternativas para alcanzar los resultados esperados en el marco de una determinada intervención. Es por esta razón que su empleo, juega un rol importante en la toma de decisiones, ya que puede ser usada no solo como un factor explicativo (de qué manera debe funcionar el programa o proyecto) sino también como un factor que permite concentrarse en torno a problemas y soluciones dentro de un abanico de alternativas.

La Teoría del Cambio

Al igual que con la Teoría del Programa, no existe acuerdo ni uniformidad respecto al concepto Teoría del Cambio. En algunos manuales y guías para el trabajo de la evaluación de programas y proyectos, esta noción suele referirse al denominado “ciclo lógico corto” (Centre of Excellence for Evaluation, 2012), dentro de la cadena de los resultados y es entendida como la explicación mediante la cual una intervención espera producir sus resultados. Es decir, se refiere a aquellas interacciones lógicas que se dan a lo interno de los resultados de corto plazo o intermedios. Por analogía, el “ciclo lógico largo” se refiere a las interacciones entre los distintos niveles de resultados de la cadena: actividades, productos, efectos inmediatos, efectos mediatos, impactos finales. Pese a ello, la polisemia que caracteriza a la Teoría del Programa, es igualmente amplia y profusa para la Teoría del Cambio. Como resultado final, se obtiene que ni uno ni otro concepto logra sustentarse teóricamente sobre una base sólida o una argumentación consensuada. La definición de ambos conceptos (Teoría del Programa y Teoría del Cambio) formulada sobre la base de la noción del ciclo largo y corto de la cadena de resultados, carece de rigor. Según este enfoque, la Teoría del Programa contiene a la Teoría del Cambio y en este razonamiento lógico, debería existir también una teoría de la actividad o del proceso, una teoría de los productos y una teoría para los efectos, todas las cuales estarían contenidas en la Teoría del Cambio. Sin embargo, esto no es así. No se trata de un conjunto interminable de teorías, sino más bien de diferencias semánticas que suelen darse cuando los conceptos son aún procesos en construcción y este el caso de las nociones Teoría del Programa y Teoría del Cambio.

Comúnmente, la Teoría del Cambio es referida como la “lógica del programa” o también como “el modelo lógico” lo cual conlleva casi siempre un esfuerzo de diagramación. Sin embargo, para algunas autoras como Funnel & Rogers (2011) y para el Centro de Excelencia para la Evaluación (2012) la Teoría del Cambio va más allá, en tanto que explicita los mecanismos del cambio, así como los supuestos, riesgos y contexto que apoya las relaciones causales existentes entre los productos y los efectos e impactos de la intervención. De esta manera, la Teoría del Cambio puede ser utilizada para probar mediante evidencias lo que ocurre en la cadena de resultados, chequeando cada uno de los vínculos y supuestos. Al respecto, Funnel & Rogers (2011) señalan la importancia de elaborar una Teoría del Cambio lo suficientemente explícita para una evaluación de calidad: es usual por ejemplo, ver un modelo lógico que explique que un programa para cambiar hábitos de salud sea entendido como la entrega de información a la gente sobre las consecuencias que tienen en la salud sus distintas elecciones en materia de dieta, ejercicio y fumado. El conocimiento de estas consecuencias (que puede alcanzarse por ejemplo mejorando las etiquetas en las que se señalan tópicos de grasas y calorías, entre otros) puede ser una parte importante de los cambios buscados, pero raramente son suficientes para obtener cambios de conducta. Un programa que trabaja únicamente a través de este tipo de mecanismos es poco probable que sea exitoso y un sistema de monitoreo que solamente se fije en estos procesos estará ignorando otros procesos muy importantes y resultados intermedios. La inadecuada formulación de una Teoría del Cambio puede conducir a fallos en la colecta de datos para la evaluación del programa.

Por lo explicado anteriormente, tanto la Teoría del Programa como la Teoría del Cambio se refieren a un mismo objeto: las intervenciones en materia de desarrollo, que –como se mencionó– asumen la forma de políticas, programas, planes y proyectos de distinta naturaleza. La literatura en torno a la Teoría del Cambio es variada y abundante. Como se mencionó, se presenta a veces como una parte de la Teoría del Programa, otras veces se la comprende como equivalente a Teoría del Programa y también se la conoce como lógica del programa o teoría de la intervención. Esta última acepción, no obstante –la de la teoría de la intervención– pareciera ser algo más vinculado a la práctica evaluativa desde la administración pública, la cual adopta un enfoque reduccionista, marcado por un análisis que parte de la utilización de los recursos como condición original del cambio y que mecánicamente conduce al desarrollo de actividades y a la consecución de resultados. Al respecto, MIDEPLAN (2017) define la teoría de la intervención como “la articulación lógica sobre la manera esperada en que los recursos asignados a la intervención permiten desarrollar actividades que tendrán determinados productos los cuales, a su vez, generarán cambios (resultados/beneficios) de corto, mediano y largo plazo sobre la sociedad” (p. 6). Según esta acepción, son los recursos – entendiendo por ellos el dinero y mercancías que actúan como insumos– los que producen la acción y el cambio bajo la dirección humana. Esta definición posee implicaciones ontológicas y metodológicas importantes y que, en razón de su especificidad no se tratan acá.

En medio del caos, la polisemia y la falta de acuerdo entre exponentes teóricos, es claro que la noción Teoría del Cambio cobra cada día más importancia. En Europa, las agencias de cooperación han diseminado rápidamente el concepto y desde los organismos multilaterales hasta las ONG sin distingo de su tamaño, emplean la noción asociada estrechamente a la necesidad de explicar de qué modo se producen los resultados de una intervención, sea esta una política, un programa o un proyecto.

En América Latina, la noción de Teoría del Cambio ha cobrado fuerza en los años recientes y en general se asocia con los enfoques participativos de evaluación de programas y proyectos, señalándose como una condición que facilita el aprendizaje y la comprensión colectiva del cambio.

Desde el punto de vista estrictamente técnico, hoy en día no existe distinción entre Teoría del Programa y Teoría del Cambio, lo cual se debe a la ambigüedad con que diversos autores abordan el tema. Ambos conceptos son utilizados como sinónimos y se les asigna también un atributo de capacidad de representación gráfica. Esto significa que una Teoría del Cambio es una explicación detallada de las interrelaciones que existen en el programa y de qué modo estas, junto a un conjunto de supuestos, producen los resultados o cambios esperados. Por lo tanto, esta Teoría del Cambio suele tomar la fisonomía de un diagrama explicativo. Los diferentes supuestos e hipótesis de trabajo se asocian con un diagrama lógico que explica en qué partes de la cadena de los resultados se dan las interacciones entre los diferentes elementos y de qué modo se dan, destacando para ello los diferentes factores que generan las interconexiones. Por ello, se dice que una Teoría del Cambio debe incluir al menos los siguientes aspectos: un modelo lógico que grafique la cadena de los resultados; los supuestos, riesgos y en algunos casos, los mecanismos asociados con cada uno de los elementos vinculados; debe comprender también los factores externos que pueden influenciar los resultados esperados así como cualquier evidencia empírica que apoye las suposiciones que implican esos resultados (Centre of Excellence for Evaluation, 2012).

La Teoría del Cambio permite tanto el diseño como la gestión y la evaluación de las intervenciones de desarrollo. De allí que la cuestión de la validez de la Teoría del Cambio sea un tema que ocupa un lugar privilegiado entre quienes abordan la temática desde el ámbito académico. Al respecto, abundan comprobaciones de carácter experimental y cuasi-experimental, así como otras experiencias metodológicas que utilizan análisis estadístico y enfoques correlacionales, todos ellos con una buena carga de pros y contras.

Considerando estas y otras precisiones es importante acotar que no todas las intervenciones operan de un mismo modo y tampoco lo hacen de la misma manera para todas las personas beneficiarias o receptoras, lo cual tiene implicaciones para la definición de la Teoría del Cambio. Funnel & Rogers (2011) elaboran una taxonomía y pauta metodológica respecto a los programas simples, complicados y complejos, valiéndose de un caso elaborado por los servicios de salud en Canadá, atribuido a Sholom Gouberman y Brenda Zimmerman, quienes desarrollaron una tipología a partir de tres ejemplos: una receta, una nave espacial y la crianza de un niño. El seguir una receta es un ejemplo de problema simple. Las recetas son esenciales y deben ser probadas con anticipación antes de ser replicadas. Su seguimiento no requiere de pericia pero en la medida en que se practica, mejora la habilidad en la cocina; las buenas recetas, dan buenos resultados todo el tiempo. Enviar un cohete al espacio es, a diferencia de lo anterior, un problema complicado: su formulación es un tema crítico y necesario; el envío del cohete aumenta la probabilidad de que más tarde se puedan enviar otros; demanda alto nivel de competencia en una variedad de campos que son necesarios para el éxito y existe un alto grado de certeza de alcanzar los efectos buscados. Contrario a los dos anteriores, la crianza de un niño es un proceso complejo, de una formulación limitada; la crianza proporciona experiencia, pero eso no garantiza certeza con el siguiente hijo; la pericia puede contribuir, pero no es ni necesario ni suficiente para asegurar el éxito. Cada niño es único y debe ser entendido como un individuo; no existe seguridad de los resultados esperados.

Derivando lecciones aprendidas del ejemplo citado, el mensaje consiste en que es necesario caracterizar bien el tipo de intervención que será objeto de la evaluación. Las intervenciones de desarrollo suelen ser asuntos complejos tales como los sistemas de salud, educación y otros y los intentos de tratarlas cual si fueren asuntos complicados o simples, están condenados al fracaso. Para las autoras, lo complicado tiene relación directa con la multiplicidad de componentes: múltiples hilos causales; intervenciones que actúan en diferentes niveles o en las que se involucran diversas agencias implementadoras, así como múltiples factores que contribuyen a los resultados. La complejidad en cambio, es vista en términos de la adaptación y la emergencia; “se trata de enfoques, procesos, actividades y colaboraciones en evolución” (Funnel & Rogers, 2011, p. 72).

Para la construcción de una sólida Teoría del Programa en una intervención, las autoras Funnel & Rogers (2011) recomiendan analizar cinco aspectos claves: el foco, la gobernanza, la consistencia, la necesariedad, la suficiencia y la trayectoria del cambio. El análisis detallado de estos elementos constituye un recurso heurístico que ayuda a una adecuada comprensión del programa o proyecto y en consecuencia, a su evaluación.

Conclusiones

La Teoría del Programa y la Teoría del Cambio, en tanto nociones y categorías empleadas en la aplicación de ejercicios evaluativos de programas y proyectos de desarrollo, son temas de análisis de larga data, aunque su comprensión ofrece aún dificultades frecuentes, incluso en el ámbito mismo de la práctica evaluativa.

Hoy en día, ambos conceptos comportan un carácter polisémico. Nociones como Teoría del Cambio, teoría de la intervención, teoría del anclado, teoría del impacto, teoría de la acción, jerarquía de resultados, lógica del programa, modelización lógica, etc. contribuyen a ensanchar ese carácter. Los significados y alcances de cada concepto varían entre autores y no parece existir –a casi medio siglo de uso– un común acuerdo. Existen casi, tantas nociones como autores en la materia.

En este artículo se ha planteado la discusión sobre los conceptos fundamentales detrás de las nociones citadas. Se concluye que tanto la referencia al ciclo largo como la referencia al ciclo corto de la cadena de resultados, corresponden más a un afán superficial por establecer una diferencia entre Teoría del Programa y Teoría del Cambio, que a una verdadera caracterización de estos conceptos. De hecho, ninguno de los autores citados, explica cuáles son los elementos constitutivos del llamado ciclo corto. Si los hubiera, podría eventualmente suponerse que se requiere de categorías analíticas particulares para entender las diferencias entre la Teoría del Cambio y la Teoría del Programa. No obstante, ello no es así; ya se trate de una u otra noción, los autores y autoras analizados, se refieren a los mismos componentes: suposiciones claves que permiten enlazar los distintos elementos de la cadena de resultados.

Por lo demás, se concluye también que ambas nociones son empleadas con una misma intencionalidad de cara a la práctica de la evaluación. La Teoría del Cambio y la Teoría del Programa son empleadas tanto para el diseño, como para la gestión de las intervenciones y su evaluación. En esencia, se trata de desentrañar las interrelaciones existentes a lo largo de una cadena de resultados y explicar de qué manera unos resultados inmediatos, tales como los productos en un diseño lógico, son generadores de otros resultados mucho más mediatos, como los efectos o los impactos. Este artículo ha hecho un recorrido por los aportes teóricos y el análisis de las aplicaciones prácticas de estos conceptos en el marco de la Evaluación del Desarrollo.

Referencias bibliográficas

Bickman, L. (1987a). Editors’s notes. In Bickman, L. (ed). Using Program Theory in Evaluation. New Directions for Evaluation. Vol 33 (pp 1-3). San Francisco: Jossey-Bass Publishers.

Bickman, L. (1987b). The Function of Program Theory. In L. Bickman (ed.). Using Program Theory in Evaluation. New Directions for Evaluation, no. 33. San Francisco: Jossey-Bass.

Briggs, B. (1998). “Re:Assessing Program Theory.” Post to discussion list EVALTAK.

Castro, R., y Frías, S. M. (2010). Violencia en el noviazgo. Un grave problema social que podemos estudiar, erradicar y prevenir. Jóvenes, Revista de Estudios sobre Juventud, pp. 31–41.

Centre of Excellence for Evaluation (2012). Theory-Based Approaches to Evaluation: Concepts and Practices. Recuperado de: https://www.canada.ca/en/treasury-board-secretariat/services/audit-evaluation/centre-excellence-evaluation/theory-based-approaches-evaluation-concepts-practices.html.

Chen, H.T. (2005). Practical Program Evaluation: Assessing and improving planning implementation and effectiveness. Thousand Oaks, California: Sage.

Chen, H.T. (1990). Theory Driven Evaluation. Thousand Oaks, California: Sage.

Donaldson, S. I., & Lipsey, M. W. (2014). Roles for theory in evaluation practice. Title: The SAGE Handbook of Evaluation, (2001), 56–75. https://doi.org/:http://dx.doi.org/10.4135/9781848608078.n2.

Donaldson, S.I. (2007). Program Theory-Driven Evaluation Science: Strategies and Applications. Mahwah, N.J.: Erlbaum.

Fitz-Gibbon, C. T., & Morris, L. L. (1996). Theory-based evaluation. Evaluation Practice, 17(2), 177–184. https://doi.org/10.1016/S0886-1633(96)90024-0

Fitz-Gibbon, C. and Morris, L.L. (1975). Theory-Based Evaluation. Evaluation Comment, 5(1), pp. 1-4.

Funnel, S.C. and Rogers, P.J. (2011). Purposeful program theory: effective use of theories of change and logic models. Jossey Bass, Estados Unidos.

Lipsey, M.W. (1993). Theory as Method: Small Theories of Treatments. In L. Sechrest and A.Scott (eds.), Understanding Causes and Generalizing About Them. New Directions for Evaluation, no.57. San Francisco: Jossey-Bass.

Ministerio de Planificación Nacional –MIDEPLAN- (2017). Guía de la teoría de la intervención. Orientaciones metodológicas para la evaluación. San José, C.R. Disponible en: www.mideplan.go.cr

Pawson, R. and Tilley, N. (1997). Realistic Evaluation, Thousand Oaks, California: Sag

Reigeluth, C.M. (1983). “Institutional Design: what is it and why is it? (3-36). En: C.M.Reigeluth (Ed.). Instructional-Design. Theories and Models: An overview of their current status. Hillsdale. N.J. Londres: Lawrence Erlbaum Associates Publishers.

Rogers, P.J. (2007). “Theory-Based Evaluation: Reflection Ten Years On.” In S. Mathison (ed.), Enduring Issues in Evaluation: The 20th Anniversary of the Collaboration Between NDE and AEA: New Directions for Evaluation, no. 114. San Francisco: Jossey-Bass. https://doi.org/10.1002/ev.22.

Stufflebeam, D.L. (1967). The Use and Abuse of Evaluation in Title III. Theory into Practice, (1967)6, 126-133.

Suchman, E. A. (1967). Evaluative Research: Principles and Practice in Public Seruzce and Social Action Programs. Nueva York: Russell Sage Foundation.

Weiss, C. H. (1997). Theory-based evaluation: Past, present and future. New Directions for Evaluation, (1997)76, 41-55.

Wholey, J. S. (1987). Evaluability assessment: Developing program theory. New Directions for Program Evaluation, 1987(33), 77–92. https://doi.org/10.1002/ev.1447.

---