Políticas Públicas Basadas en Evidencia: una revisión del concepto y sus características

Evidence Based Public Policies: A review of the concept and its characteristics

Pablo Chaverri Chaves

Instituto de Estudios Interdisciplinarios de la Niñez y la Adolescencia, Universidad Nacional, Costa Rica

pablo.chaverri.chaves@yahoo.es

Ana Arguedas Ramírez

Instituto de Estudios Interdisciplinarios de la Niñez y la Adolescencia, Universidad Nacional, Costa Rica

ana.arguedas.ramirez@una.cr

Recibido: 21/8/2019 - Aceptado: 2/6/2020

Resumen

Este artículo presenta una revisión del enfoque de Políticas Públicas Basadas en Evidencia (PPBE), abordando su significado, así como algunas de sus principales características, para lo cual inicia ofreciendo una introducción que las sitúe en contexto, luego de lo cual ingresa propiamente a tratar de definir las PPBE. Seguidamente, se enfoca en el concepto de evidencia, para aclarar su naturaleza, tipos, formas de obtención, usos, así como su adopción en la toma de decisiones. Posteriormente, se centra en la evaluación de políticas públicas, para seguir con una identificación de ventajas y desventajas de las PPBE y cerrar con unas conclusiones reflexivas sobre este modelo.

Palabras clave: políticas públicas basadas en evidencia, evaluación de políticas públicas, toma de decisiones, investigación.

Abstract

This article presents a review of the Evidence Based Public Policies (PPBE in Spanish) approach, addressing its concept as well as some of its main characteristics; for that purpose, it begins by offering an introduction that puts them in context, after which it properly enters to try to define the concept of PPBE. Consequently, it focuses on the concept of evidence to clarify its nature, types, ways of obtaining, uses, as well as its adoption in decision making. Subsequently, it focuses on the evaluation of public policies, to continue with an identification of advantages and disadvantages of the PPBE and close with some reflexive conclusions about this model.

Key Words: Evidence Based Public Policies, Public Policy Evaluation, Decision Making, Research.

Introducción

Los retos propios del desarrollo social y económico de los países, junto a las restricciones de los recursos para abordarlos, someten a una gran presión a todos los gobiernos del mundo, pues deben elegir muy bien cómo van a gastar sus ingresos, ya que el principio de escasez de recursos los condiciona. Pero: ¿cómo lo hacen?, ¿cómo pueden tomar esta clase de decisiones apropiadamente, estableciendo un equilibrio entre necesidades, recursos, objetivos y tiempo? Este artículo busca abordar esta pregunta caracterizando el enfoque de Políticas Públicas Basadas en Evidencia.

En consecuencia, este trabajo se centra en conceptualizar y caracterizar el enfoque de las Políticas Públicas Basadas en Evidencia (PPBE), el cual trata sobre cómo la evidencia generada por la investigación científica de mayor calidad puede informar el proceso de diseño, toma de decisiones, implementación y evaluación de las políticas públicas, con la aspiración de lograr una mayor eficiencia y efectividad; es decir, para mejorar la relación entre costos y beneficios, y demostrar la presencia, ausencia y grado de los efectos atribuibles a las medidas e intervenciones derivadas de las políticas públicas.

La perspectiva de las PPBE ha tomado auge recientemente, debido al interés de que los gobiernos reemplacen la formulación de las políticas públicas sustentadas de forma exclusivamente ideológica, por políticas públicas basadas en investigaciones rigurosas y sistemáticas. En otras palabras, para que los gobiernos se vuelvan más racionales y estratégicos, y menos prejuiciosos y populistas, sea cual sea su orientación político-ideológica de base, ya que de lo que tratan las PPBE es de integrar la mejor investigación para determinar qué funciona y qué no lo hace para atender, disminuir o resolver una problemática relevante dada. Entonces, el enfoque de las PPBE no se centra en analizar de dónde viene una política, sino en qué puede lograr, para lo cual es necesario emplear investigación.

No obstante, a pesar del apogeo tomado por este enfoque en los países desarrollados, su práctica sigue estando poco implementada, particularmente, porque los gobiernos se siguen mostrando poco interesados en utilizar las investigaciones en la formulación de las políticas públicas y porque la toma de decisiones sigue basándose, en principios ideológicos, creencias a priori e intereses inmediatos, que muchas veces no interesa someter a prueba (Berlinsky, 2015; Merino, 2010)

Por esta razón, surge el interés de analizar y comprender la propuesta de las PPBE, exponiendo en qué consiste y la importancia de considerar el conocimiento científico como elemento esencial en todo el proceso de formulación e implementación de la políticas públicas, para una toma de decisiones sustentada en evidencia científica, que permita darles mejor pronóstico y mayor precisión a las respuestas y las soluciones que se ofrecen para atender y resolver diversos problemas de interés público.

Es común observar en los debates políticos que las preguntas se centren en cómo se van a resolver ciertos problemas salientes, cuyas respuestas suelen dirigirse a hacer un breve diagnóstico y luego a indicar medidas muy generales de política pública. A este esquema típico le hace falta responder algo muy importante: ¿funcionan las propuestas realizadas?

En el pasado era muy difícil saberlo, pero en la actualidad la situación ha cambiado, particularmente en el ámbito del desarrollo humano y social, ya que la investigación científica ha avanzado y ha aumentado grandemente, pues campos como la neurociencia, la psicología cognitiva, la economía del comportamiento o las metodologías de investigación han dado significativos avances.

Así también, ha mejorado mucho el acceso a los resultados de investigación, permitiendo esto un grado y una precisión de información muy difícil de conseguir hace relativamente dos décadas, cuando el actual siglo apenas iniciaba. La emergencia y el desarrollo de metodologías como los ensayos controlados aleatorizados en ámbitos sociales, junto a los avances en análisis de datos, permiten realizar atribuciones de causalidad sobre los efectos de las intervenciones con una precisión y especificidad mucho más difícil de lograr en el pasado cercano.

¿Qué son las Políticas Públicas Basadas en Evidencia?

El concepto de (PPBE) toma fuerza particularmente en Inglaterra, en la década de los años noventa del siglo veinte. Head (como se citó en Flores-Crespo, 2013) menciona:

En 1999 el gobierno británico propuso introducir una visión “ilustrada” para desarrollar políticas públicas. El entonces primer ministro, Tony Blair, sugirió que la formulación de buenas políticas dependía de contar con información de alta calidad, la cual se obtiene de diversas fuentes, tales como el conocimiento especializado, la investigación existente nacional e internacional, datos estadísticos, consulta a los poseedores de interés (stakeholders), ejercicios previos de evaluación de políticas, investigación reciente e incluso fuentes secundarias (p. 267).

La importancia de formular PPBE ha ido en crecimiento en los países desarrollados, tanto por el impulso de gobiernos nacionales, agencias internacionales, organizaciones independientes y por instituciones académicas (Bracho, 2010). Así, en la actualidad, gran cantidad de comunidades políticas consideran este enfoque para la toma de decisiones.

Sutcliffe y Court (2006), definen las PPBE como un conjunto de métodos, cuyo objetivo es aportar información al proceso de elaboración de políticas. El fin es que las personas a quienes les corresponda tomar decisiones de esta índole, lo hagan mejor informadas, a partir de la evidencia disponible, mediante la investigación rigurosa. Para estos autores resulta imperativo la implementación de un análisis racional, ya que “se considera que las políticas y prácticas basadas en la evidencia sistemática han producido mejores resultados” (p. 2).

De esta forma el enfoque de PPBE pretende que las políticas basadas en opiniones se sustituyan por un enfoque que considera una información de más alto rigor, aquella que utiliza evidencia proveniente de investigaciones atinentes y de calidad. Este es un aporte central de este enfoque, por cuanto permite distinguir entre tipos de juicios, sobre las políticas públicas, según el grado y la calidad de respaldo empírico sobre el que se sostienen.

De acuerdo con Sutcliffe y Court (2006), la evidencia proviene de procesos sistemáticos de investigación en los que se pueden incluir indagaciones y evaluaciones críticas, construcción de teorías, recolección de datos, análisis y codificaciones relacionadas con las prácticas y las políticas sobre desarrollo. Además, se considera la investigación de la acción, aquella relacionada con la autoreflexión de los profesionales y que se orienta a la mejora de las prácticas directas.

Las diferentes evidencias investigativas tienen diversas formas de utilidad práctica de importancia y no solamente, es válida la investigación evaluativa, cuantitativa y experimental para informar la toma de decisiones. También, las formas tácitas de conocimiento, la sabiduría basada en la práctica y las voces de los ciudadanos comunes (que suelen experimentar los problemas en carne propia), pueden ser útiles. Por lo tanto, un enfoque de PPBE debe abarcar a una amplia gama de fuentes de investigación, y no solo la evidencia más dura (Sutcliffe y Court, 2006).

Otra conceptualización parecida sobre las PPBE la ofrece Bracho (2010), quien las define como el uso de manera intencional de evidencia producto de la investigación, que emplea procedimientos rigurosos y sistemáticos para la recolección de los datos y los transforma en conocimiento formal y útil, para la toma de decisiones e inclusive, para la elección entre diferentes opciones de política pública.

Davis (citado por Bracho, 2010), considera que las PPBE son un enfoque que asiste a la toma de decisiones bien informadas en políticas, programas y proyectos. Esta contribución consiste en que la investigación sea capaz de ofrecer la mejor evidencia posible, y que esta sea el centro del desarrollo y la implementación de las políticas públicas.

En este sentido, Bracho (2006), señala que, al acceder a la evidencia como práctica política, se puede utilizar información fiable de investigaciones realizadas previamente o también, investigación original aplicada, permitiendo evaluar la efectividad real de las políticas para apoyar la toma de decisiones, generando la evidencia cuando esta no existe, no se encuentra disponible o no es lo suficientemente específica. Agrega que este tipo de estudio aplicado está orientada específicamente, a informar la acción pública.

Por su parte, Flores-Crespo (2013), define las PPBE como un enfoque que busca transformar la evidencia científica en conocimiento utilizable, para promover un mejor desempeño de los gobiernos en la conducción de asuntos públicos, mediante políticas y programas más acertados. Para este autor, además, la evidencia científica debe complementarse con otro tipo de información, por ejemplo, la que se origina en los procesos de operación y en los ámbitos en los que se establece la política.

Los autores antes mencionados concuerdan en definir las PPBE como un enfoque que utiliza el conocimiento especializado de alta calidad, obtenido mediante robustos procesos investigativos para construir evidencia y vincularla al proceso de formulación, implementación y evaluación de las políticas públicas. El desarrollo de las políticas desde un enfoque de PPBE debe considerar la evidencia disponible e incluir un análisis racional de las medidas a implementar, con el fin de elevar su eficiencia (recursos) y eficacia (resultados).

Coinciden en que esta evidencia puede provenir de diferentes momentos del proceso de las políticas públicas, ya sean investigaciones previas a la puesta en marcha de las políticas públicas, así como también, durante su ejecución, o bien como producto de la evaluación de resultados de las ya implementadas.

En este punto, se puede afirmar que las PPBE:

•Favorecen integrar la investigación con la formulación, aplicación y evaluación de políticas públicas.

•Ayudan a tener una mayor interacción y retroalimentación entre las instituciones ejecutivas y las académicas, al tener las primeras amplia experiencia interventiva y las segundas extensa experiencia investigativa.

•Plantean que no se pueden tomar buenas decisiones sin evaluaciones sistemáticas, rigurosas y científicas de las acciones.

•Contribuyen a facilitar y racionalizar la toma de decisiones, al basarla en evidencia de calidad acerca de la eficiencia y la eficacia de las alternativas de política pública.

•Parten de que, entre más y mejor evidencia acumulada se disponga, mayores serán las opciones que se podrán ofrecer a la toma de decisiones y a la inversa sucede de la misma forma.

•Más que un procedimiento o método específico, corresponden a un enfoque o visión, donde la obligación de tomar decisiones de responsabilidad e inversión pública exige poner los recursos allí, donde hay más posibilidades de transformarlos en beneficios sociales, así como evitar hacerlo donde existen menos opciones de conseguirlos, todo lo cual a disponer de información evaluativa de calidad que ayude a ponderar estratégicamente las alternativas de acción, para poder responder a la pregunta: ¿qué funciona mejor para atender un problema relevante?

•Se oponen a los enfoques tradicionales basados en el poder, las preferencias personales de los tomadores de decisión, las modas pasajeras o las opciones con amplio sustento filosófico, pero poco o nulo sustento empírico. Es decir, vienen a buscar una mejor fundamentación práctica a la hora de definir rumbos de acción.

La evidencia

El criterio que diferencia el enfoque de PPBE de otros es, sin duda, la evidencia misma, su aspecto neurálgico, dado que los otros no se orientan hacia este elemento, sino que les dan más importancia a otras cuestiones, tales como el análisis de relaciones de poder, el de recursos, la planificación formal, la factibilidad, la viabilidad, la demanda, o el estudio de procesos y estructuras administrativas.

No se está sugiriendo aquí ninguna clase de superioridad del enfoque de PPBE con respecto a otros, pero sí que, bien empleado, puede venir a solventar importantes vacíos en cuanto a poder predecir cuáles serían los resultados reales de una determinada opción de política o políticas públicas frente a una determinada problemática de relevancia social.

Tipos de investigación y alcance de la evidencia

Una forma de clasificar la evidencia dentro del enfoque de PPBE corresponde a comprender el tipo de investigación dentro de la cual esta fue producida. Este es un criterio pertinente, pues el tipo de investigación define las características y el alcance de la evidencia producida y, en consecuencia, su uso potencial. Seguidamente, se describen varios tipos de investigación y el alcance de la evidencia que pueden producir en el contexto de la forma en que comunican la toma de decisiones de política pública.

Exploratoria. Es el tipo de investigación más básico, donde un fenómeno, caso o problema se conoce poco o muy poco, y se requiere comenzar por una identificación general de sus características principales, sin ahondar mucho en ninguna de ellas para mantener una visión general del asunto que se está tratando. Esta forma deestudio suele responder a la pregunta: ¿qué es esto?, porque se da más cuando se conoce poco o muy poco de su objeto de estudio.

Aquí la evidencia que se produce tiene un nivel de profundidad bajo, sin embargo, suele ser de utilidad para la toma de decisiones iniciales que se deben basar en el estado general de algo. Por ejemplo, una simple contabilización de casos que presentan una determinada condición sin ahondar en sus características más específicas puede ser de utilidad para dimensionar un fenómeno y justificar un abordaje más profundo.

Descriptiva. Se trata de un tipo de investigación más profundo que el exploratorio, que provee más detalles de las características específicas del fenómeno bajo estudio. Una buena investigación de este tipo puede tomar la forma de un diagnóstico, el cual sirve para analizar las manifestaciones de un problema y emitir juicios fundamentados sobre su estado actual.

Esta evidencia, al ser más profunda que la de tipo exploratorio, puede ayudar no solamente a tomar decisiones sobre si intervenir o no, sino también sobre la forma más apropiada de hacerlo, precisamente porque se cuenta con mayor información sobre el problema que se enfrenta. Este tipo de investigación es de mucha utilidad para crear programas o proyectos de atención a diversos problemas sociales.

Un ejemplo de este tipo de investigación puede ser la elaboración de diagnósticos sobre una población con una condición determinada, ya que podrían hacerse observaciones y entrevistas con cierto grado de profundidad que brindarán detalles valiosos sobre las manifestaciones del problema, lo que puede contribuir a posicionarse de forma más estratégica frente a él. Por el contrario, si la evidencia es solo exploratoria, el nivel de las decisiones es mucho más general y no se puede saber con mayor propiedad cómo abordar el problema, más allá de ideas muy generales o incluso estereotipadas.

Correlacional. En este tipo de investigación no solo se pueden reunir importantes detalles del fenómeno bajo estudio, sino que además se pueden correlacionar entre sí, identificándose factores de mayor importancia relativa y estimándose sus grados de asociación, siendo que cuando estas asociaciones son fuertes, entonces se podría justificar la realización de nuevos estudios para valorar posibles relaciones de causalidad.

Un error típico con este tipo de estudios es cuando se confunde correlación con causalidad, y se asume a priori que si dos variables están correlacionadas entonces es porque hay una relación de causalidad entre ellas; es decir, que una produce a la otra, lo cual no es necesariamente cierto y requiere un estudio más profundo que permita hacer una prueba de hipótesis.

Un ejemplo de este tipo de investigación son los estudios de factibilidad, que al analizar asociaciones entre variables pueden llegar a hacer ciertas inferencias con valor predictivo. Una instancia de esto son los estudios para valorar el grado posible de aceptación o rechazo de una determinada acción en un grupo o comunidad, pues gracias a las correlaciones se pueden identificar diferentes actitudes en subgrupos dentro de la población y analizarse factores que podrían estar asociados a un mayor o menor grado relativo de aceptación o rechazo a la acción que se pretende.

Cuasiexperimental y experimental. Esta investigación es aquella que somete a prueba una o varias hipótesis de causalidad; es decir, que permiten probar si existe una relación de causa-efecto entre un conjunto determinado de variables organizadas de acuerdo a un diseño experimental. Aunque es un tipo de investigación muy precisa y rigurosa, su costo suele ser muy elevado y el tamaño y representatividad de sus muestras suele ser bastante limitado.

Pese a esto, se trata de una forma de investigación que contribuye a explicar una relación entre variables, afirmando o descartando una causalidad entre ellas, lo cual convierte a su evidencia en una de bastante utilidad para la toma de decisiones, ya que, por ejemplo, puede servir para ver si una determinada intervención, programa de acción o política tiene o no y en qué medida el efecto o efectos esperados, precisando además si los efectos registrados son atribuibles a la intervención en particular y no a otros factores.

Esto se logra con el uso de grupos de control, que permiten comparar al grupo que recibe la intervención con uno equivalente que no la recibe. La diferencia entre experimental y cuasiexperimental estriba en que en el primer modelo se aleatoriza la asignación de individuos entre el grupo experimental y el control, mientras que en el segundo modelo no ocurre esta aleatorización.

Revisiones sistemáticas. Son investigaciones basadas en la literatura científica y especializada que describen y sistematizan la evidencia existente sustentada rigurosamente y la analizan en forma cuidadosa mediante criterios explícitos y transparentes. Se trata de revisiones de investigaciones ya existentes que, al considerar diversos estudios en su análisis, pueden ofrecer una síntesis que permita valorar el grado de convergencia o divergencia de la evidencia y de esta manera el grado de claridad con el que se puede recomendar un determinado rumbo de acción. Este tipo de análisis puede ayudar a solventar las limitaciones muéstrales que suelen tener los estudios experimentales de caso.

Metaanálisis. Estos son una clase de investigaciones en los que se recupera la información de un conjunto de estudios ya realizados para volverlos a analizar en conjunto, lo cual permite fundamentalmente: 1) someter a prueba los resultados anteriores, y 2) ver si la evidencia de varios estudios sobre un mismo tema tiende o no a ser coincidente.

Estos trabajos son muy importantes, ya que permiten evaluar desde una perspectiva más amplia un conjunto de estudios, preferiblemente independiente entre sí, lo cual puede contribuir a construir juicios más concluyentes sobre una determinada intervención, acción o política bien estudiada, ya sea reafirmándola, descartándola o poniéndola en duda precisando los vacíos o la inconsistencia de evidencia cuando estos ocurrieran.

La diferencia entre un metaanálisis y una revisión sistemática es que el primero se concentra en el análisis de los diseños metodológicos y de los datos empíricos de forma conjunta, mientras que la segunda se enfoca en la revisión de la literatura científica, tomada de manera más global sobre un asunto relativamente específico. Estos dos tipos de investigación se pueden complementar entre sí, pues una revisión sistemática de la literatura puede servir para identificar y justificar un estudio de metaanálisis que se enfocará en el análisis de los datos empíricos de los trabajos antes revisados.

Además, los tipos de investigación pueden ser clasificados según las etapas del proceso de las políticas públicas. De esta manera, los estudios pueden referirse a tres grandes momentos: 1) el diseño o la formulación, 2) la implementación o la ejecución práctica, 3) la evaluación de resultados o el impacto.

En la etapa de diseño es muy importante considerar la información de carácter diagnóstico, que si bien no puede determinar propiamente la eficacia de una intervención, sí puede ayudar a identificar y priorizar problemas, dependiendo de la forma en cómo se relacionan diferentes factores críticos que podrían tener un mayor efecto potencial. Así, a la hora de definir no tanto métodos o estrategias, sino objetivos de política pública, la información de tipo diagnóstico puede ser de gran ayuda para determinar prioridades que responden a necesidades reales en un momento dado.

Durante la implementación, la información proveniente del monitoreo sistemático puede ayudar a valorar el rumbo y el ritmo de avance, así como permitir correcciones tempranas, puesto que precisamente este tipo de análisis colabora en la identificación o previsión de errores. El monitoreo ocurre cuando se van analizando datos de la implementación, conforme estos son recogidos. Por ejemplo, durante la entrada en servicio de centros de cuido de niñas y niños, se pueden ir viendo los avances o las restricciones de la cobertura de la población, lo cual permite identificar problemas tempranamente y hacer correcciones.

El análisis de resultados y su impacto suele ser lo que más se vincula con la evaluación de políticas públicas y dependiendo de su diseño y alcance, puede brindar información muy valiosa para identificar los efectos positivos, negativos, neutros o mixtos de las intervenciones. Por ejemplo, una evaluación experimental con grupo control, asignación aleatoria y diseño longitudinal, puede identificar cambios específicos atribuibles a una acción concreta, aportando información que ayude a decidir si un programa se continua, se amplía (escalabilidad), se reduce o se modifica y en qué aspectos lo debe hacer.

Para Bracho (2010), es importante distinguir el tipo de información con la que se cuenta, derivada del análisis de políticas públicas, ya que no toda la información funciona para todos los propósitos. La razón de esto radica en que, desde el punto de vista metodológico, la información no es ajena a la construcción teórica en que se inserta y contiene no solo el registro de las propiedades del objeto de la medición, sino que además incluye la forma en que se obtuvieron los datos.

Para la autora, este argumento es importante considerarlo cuando se usa la evidencia científica en la formulación de políticas públicas, en el sentido de que los datos no sirven indistintamente en el proceso de desarrollo de la política y sería un error usarlos sin considerar su especificidad y los fines con los que se originaron. Es decir, que una buena identificación y caracterización de los tipos de evidencia contribuye a mejorar su uso y aprovechamiento.

En concordancia con el planteamiento anterior, Majone (1997), diferencia los datos de la evidencia en sentido propio. Los define como la materia prima que sirve de base para la construcción de la información, mientras que la evidencia vendría a ser la información ya procesada rigurosamente, que se elige de su conjunto total, para ser incorporada dentro del argumento, para comunicar a los diferentes públicos sobre la validez de las aseveraciones que se hagan.

Considera que una mala elección de los datos, la introducción en un momento inadecuado del argumento, o el estilo de presentación que se elija, pueden afectar la eficacia de la información mostrada, e inclusive acarrear conclusiones erróneas. Un ejemplo de esto es cuando se presentan datos de correlación o asociación simple entre variables y los medios de comunicación los muestran como si fueran relaciones de causalidad, induciendo así interpretaciones equivocadas.

Para Sutcliffe y Court (2006), es importante tomar en cuenta los siguientes dos conjuntos de elementos, al momento de usar la evidencia en el enfoque de (PPBE): 1) criterios para identificar evidencia útil, 2) incorporación de la evidencia en la formulación de las políticas públicas.

El primer conjunto de elementos se refiere a los aspectos que los gobiernos deben considerar para identificar la evidencia útil. Court, Hovland y Young (2005), proponen los siguientes aspectos.

1.Precisión: claridad de la evidencia con respecto a la política que se va a formular.

2.Objetividad: calidad del enfoque utilizado para generar la evidencia y la independencia de la fuente.

3.Credibilidad: confiabilidad de la evidencia de manera que permita el monitoreo, evaluación o valoración del impacto.

4.Aplicabilidad general: la información permite ser generalizada.

5.Relevancia: pertinencia sobre el tema que desarrolla la política.

6.Disponibilidad: existe evidencia utilizable y se puede acceder a ella directamente.

7.Aplicabilidad en la práctica: se tiene acceso a la evidencia en un formato útil y hay información investigativa sobre las implicancias de la política, así como sobre su factibilidad en términos económicos.

El segundo conjunto de elementos está relacionado con la incorporación de la evidencia en la formulación de las políticas públicas. Debido a que el proceso de elaboración de políticas públicas implica diferentes etapas, en cada una de ellas la evidencia va a influir de manera particular y se va a necesitar de diferentes tipos de evidencia, según la etapa del proceso. Entre las etapas más importantes se encuentran: el establecimiento de la agenda, la formulación, la implementación y la evaluación.

Sutcliffe y Court (2006), proponen requerimientos de evidencia, según la etapa en la que se encuentra la política pública. La Tabla 1 resume el planteamiento de estos autores.

Tabla 1

Requerimientos de evidencia según la etapa de la política

Etapa de la Política	Descripción	Requerimientos de evidencia
Establecimiento de la agenda	Nivel de conciencia y prioridad que se le asigna a un determinado tema o problemática.	La evidencia que se necesita aquí es para identificar nuevos problemas o respecto de la magnitud del problema de manera que los actores relevantes de la política sean conscientes de que el asunto es en sí mismo importante. Un factor clave aquí es la credibilidad de la evidencia, pero también el modo en que se la comunica.
Formulación	Hay dos sub-etapas clave en el proceso de formulación de políticas: determinar las opciones de la política y luego seleccionar aquellas que se van a desarrollar.	Para ambas sub-etapas los tomadores de decisión deben asegurarse idealmente que su comprensión de una situación específica y las diferentes opciones sean tan detalladas como sea posible; sólo así se pueden tomar decisiones informadas acerca de qué política adoptar e implementar. Esto incluye los vínculos instrumentales entre una actividad y su resultado, así como también el costo esperado y el impacto de una intervención. Son particularmente importantes aquí la cantidad y la credibilidad de la evidencia.
Implementación	Actividades prácticas de ejecución de la política definida previamente.	Aquí el foco se ubica sobre la evidencia operativa para mejorar la efectividad de las iniciativas. Esto puede incluir al trabajo analítico, así como también al aprendizaje sistematizado sobre las capacidades técnicas, al conocimiento experto y a la experiencia práctica. La investigación de la acción y los proyectos experimentales también son importantes. La clave es que la evidencia tenga relevancia práctica en los distintos contextos.
Evaluación	Monitoreo y evaluación del proceso y del resultado de una intervención.	El objetivo principal aquí es desarrollar mecanismos de monitoreo que permitan seguir de cerca la implementación y sus resultados. De ahí en adelante, es esencial llevar a cabo un procedimiento de evaluación completo para determinar la efectividad de las políticas implementadas y para proporcionar la base para las futuras tomas de decisiones. En el proceso de monitoreo y evaluación es importante asegurarse no sólo de que la evidencia sea objetiva, completa y relevante, sino también que sea comunicada eficazmente para la facilitar el proceso de retroalimentación y mejoramiento continuo de las políticas públicas.

Fuente: Sutcliffe y Court (2006, p. 3-4).

Articulación de la evidencia científica con las políticas públicas

Un aspecto importante de reflexionar aquí es el expuesto por Bracho (2010), respecto a que muchas veces existen dificultades para articular la evidencia científica con los procesos de formulación de las políticas, en algunos momentos no coinciden las agendas políticas y las de la investigación, se presentan desacuerdos en cómo usar los resultados y sobre el valor del conocimiento en las políticas, entre otras controversias. Las políticas públicas son un proceso altamente complejo, pues tienen que ver con la atención de múltiples y diversas necesidades, y demandas de la población, sobre las que en la mayoría de las ocasiones no existe consenso, ni claridad plena de su definición, características, causas, consecuencias, nivel de prioridad o formas de atención.

Lo anterior, se relaciona con la caracterización hecha por Sutcliffe y Court (2006), de la formulación de las políticas públicas como un proceso básicamente político. Retoman lo expuesto por Nutley (como se citó en Sutcliffe y Court, 2006), en cuanto a que la interacción entre los políticos y los investigadores se ve limitada por las divergencias entre estos dos mundos que: “utilizan distintos idiomas y tienen diferentes prioridades, agendas, tiempos y sistemas de recompensa. Por lo tanto, a menudo se da una brecha en la comunicación” (p. 296).

Para solucionar estos desencuentros, Bracho (2010), propone primero generar el tipo de evidencia que necesitan quienes formulan las políticas y segundo asegurarse de que las investigaciones realizadas y la evidencia obtenida sean utilizadas por los primeros. Añade algunas condiciones necesarias para propiciar una interacción entre el ámbito político y el ámbito de la investigación, las cuales se pueden lograr si existe una comunicación fluida y permanente entre ambas partes:

1.Consenso respecto a la definición de prioridades y necesidades que deben ser atendidas.

2.Acuerdo sobre la naturaleza de la evidencia que se busca.

3.Un marco administrativo básico para la creación de evidencia y desarrollo de una base de datos.

4.Establecer mecanismos para la difusión y el acceso a la información, promover la actualización de la evidencia y disposición para contribuir al proceso de rendición de cuentas.

Estas condiciones se pueden considerar como desafíos que deben atenderse, si se quiere lograr procesos de formulación de políticas públicas fundamentados en la evidencia. No obstante, agrega Bracho (2010) que, a pesar de las dificultades entre la actividad política y la científica, y en particular las complicaciones en el uso de la evidencia científica en el diseño de políticas, en muchos casos los resultados de la investigación: “han servido como mecanismo de presión para que se transformen las políticas públicas existentes, e inclusive para que se discuta la pertinencia de asuntos públicos en la agenda gubernamental” (p. 300).

A manera de ejemplo, un caso en el que esto ha ocurrido es el del consumo de nicotina, donde las políticas públicas (leyes, reglamentos, programas) han ido cambiando en gran medida conforme la evidencia ha ido demostrando de forma convergente y precisa los distintos efectos nocivos de esta sustancia en la salud de la población, así como su costo para el sistema de atención de la salud.

Otro aspecto importante se refiere a la intervención de los investigadores en el proceso de formulación de la política. Como lo señalan Sutcliffe y Court (2006), ellos no solo deben ser parte de la evaluación, lo que sucede con frecuencia, sino que deben estar presentes durante todo el proceso de la política, como observadores en toda la vida de esta, ofreciendo datos confiables y útiles para la toma de decisiones y para el momento de la implementación.

Es decir, que una articulación plena entre el mundo académico/científico y el político/ejecutivo requiere que se comprenda la importancia del rol y la contribución que los investigadores pueden cumplir en todas las etapas de las políticas públicas, desde su concepción primigenia, hasta la evaluación de sus resultados, incluyendo la retroalimentación entre la valoración y la toma de decisiones sobre el futuro de las políticas públicas.

En la experiencia investigativa propia del Instituto de Estudios Interdisciplinarios de la Niñez y la Adolescencia (INEINA) de la Universidad Nacional (UNA) en Costa Rica, se han podido realizar varios proyectos de investigación relacionados directamente con la formulación, implementación y evaluación de políticas públicas de niñez y adolescencia. Seguidamente, se describen cuatro casos.

1.Diagnóstico y propuesta de fortalecimiento del Sistema Nacional de Protección Integral (SNPI) de la Niñez y Adolescencia, que consistió en un análisis del estado de situación de este sistema y la construcción detallada, a partir de este trabajo, de una propuesta de reforma integral. Se presentó en el Consejo Nacional de Niñez y Adolescencia, y en la Comisión de Niñez, Adolescencia y Juventud de la Asamblea Legislativa, y en ambos espacios recibió una valoración muy positiva. Sin embargo, los tomadores de decisión no han implementado las sugerencias de esta investigación, todavía (Chaverri, Arrieta, Calvo, Ramírez, Ramírez, y Vicente, 2015).

2.Diagnóstico para la formulación de políticas cantonales de niñez y adolescencia. El INEINA ha llevado a cabo varios estudios de carácter diagnóstico sobre el estado de situación de los niños y adolescentes para gobiernos locales, elaborando además, una propuesta de política cantonal en este campo que sirviera para organizar, articular y dirigir mejor los esfuerzos de las diferentes instituciones en los municipios. Aunque estos estudios han recibido una buena acogida en los municipios en los que se hicieron, ha sido difícil su implementación, pues Costa Rica es todavía un país bastante centralizado, el sistema municipal es relativamente débil y el ámbito de niñez y adolescencia también, es nuevo en los municipios (Chaverri, Arrieta, y Sandoval, 2014).

3.Evaluación experimental del programa educativo Familias en Acción (FAMA) del Patronato Nacional de la Infancia (PANI), donde se asignó aleatoriamente, a las personas participantes (figuras parentales) a una de las siguientes tres condiciones: 1) programa FAMA, 2) programa alternativo de crianza positiva, 3) grupo control.

Las personas de los primeros dos grupos recibieron un programa educativo durante 12 semanas y fueron medidos sus conocimientos, actitudes y prácticas con respecto a la crianza de sus hijos al inicio de la intervención, al finalizar esta y tres meses después, obteniéndose que quienes recibieron el proceso formativo para la crianza mostraron una tendencia a reducir el uso del castigo físico y mejorar sus habilidades para la crianza.

Mientras que el grupo control no mostró tal mejoría, lo que permite atribuir los cambios a la intervención educativa realizada. Las recomendaciones de este trabajo fueron acogidas por la Municipalidad de Heredia, donde se está ofreciendo educación para la crianza a figuras parentales con base en esta investigación (Chaverri, Conejo, Molina, y León, 2018).

4.Estudio de las Pruebas Nacionales de Bachillerato de la educación secundaria, se realizó un análisis de la historia, los objetivos, el modelo evaluativo y el uso de los resultados, encontrándose que fueron concebidas más como un mecanismo de control memorístico, porque están desactualizadas, pues sus resultados no proveen un diagnóstico del aprendizaje estudiantil, y evidencian amplias brechas asociadas con la condición socioeconómica de origen de los estudiantes, y la información que generan no se utiliza para retroalimentar, ni mejorar el sistema educativo.

Esta investigación sirvió de fundamento al Ministerio de Educación (MEP) para tomar la decisión de derogar las pruebas y crear un nuevo modelo denominado FARO (Fortalecimiento de Aprendizajes para la Renovación de Oportunidades) que recoge las recomendaciones del estudio, cuya primera aplicación se espera que ocurra en el año 2021 (González-Alvarado, et al., 2020).

La evaluación de las políticas públicas

El tema de la evaluación de las políticas públicas ha venido tomando auge progresivamente, en las últimas décadas como respuesta a la demanda ciudadana para que la gestión de los recursos públicos se realice de manera eficaz, eficiente y transparente (Pinilla y Fontcuberta, 2010). Además, el disponer de conocimiento sobre la efectividad y eficiencia de programas públicos implementados, facilita la toma de decisiones.

Al considerar que el objetivo de formular políticas públicas es lograr incidir en la sociedad, atendiendo las necesidades y los problemas detectados, la evaluación ofrece, de acuerdo con Pinilla y García-Altés (2010): “determinar el grado de consecución de los objetivos propuestos, mejorar la implementación de las políticas, rendir cuentas ante la ciudadanía, aumentar el apoyo comunitario y contribuir a la base científica de las políticas” (p.114). Sttuflebeam (2014), define la evaluación como el proceso de determinar el mérito de la intervención para facilitar la toma de decisiones sobre esta.

De acuerdo con Pinilla y Fontcuberta (2010, p. 2) una forma de comprobar si las intervenciones propuestas funcionan en la realidad es poder dar respuesta a las siguientes preguntas: ¿cuáles son los fines que la sociedad desea alcanzar con determinada política o programa?, ¿cuáles son sus logros, tanto en relación con los objetivos específicos de la intervención como en relación con otros fines considerados como socialmente valiosos?

Sugieren Pinilla y Fontcuberta (2010, p. 4), en cuanto a la finalidad de la evaluación de políticas públicas, considerarla como una actividad de innovación social intencional, un proceso de diseño y valoración de reformas institucionales con el fin de mejorar la efectividad en el logro de los fines socialmente deseables. Se cumple con este fin cuando se vincula exitosamente, la información objetiva obtenida por procedimientos científicos y la intuición y la experiencia de políticos y legisladores, alcanzando la legitimidad científica y democrática.

La legitimidad científica exige establecer un sistema objetivo, metodológicamente riguroso, de evaluación de los logros sociales. Por otra parte, la legitimidad político-democrática exige articular un procedimiento reglado de participación social efectiva en el proceso de valoración, tanto para la selección del diseño como para establecer los indicadores de evaluación de los logros y para la interpretación de los resultados. En definitiva, la innovación social no puede desarrollarse de espaldas a la evolución de los sistemas de valores y creencias de las personas (Pinilla y Fontcuberta, 2010, p. 4).

Dicho lo anterior, es importante reconocer que la evaluación no responde a una forma única de hacerse, sino que presenta una diversidad importante de enfoques y abordajes que resulta pertinente considerar, para tener claridad de lo que se está haciendo y lo que se puede esperar obtener, así como lo que no se está haciendo, ni se obtendrá. En este sentido, Nebot, López, Ariza, Villalbí y García-Altés (2011), proponen la clasificación de la evaluación de políticas públicas que se resume en la Tabla 2.

Tabla 2

Clasificación de la evaluación de políticas públicas de acuerdo con los diferentes niveles programáticos

Tipo de evaluación por nivel programático	Objeto de evaluación (qué es lo que se evalúa)	Ejemplo de un posible resultado evaluativo
De estructura	Adecuación de los recursos a las necesidades.	Estudio que compare el gasto ejecutado en relación con las prioridades de inversión.
De proceso	Adecuación de las actividades y de los servicios a los objetivos y al protocolo.	Análisis de la entrega de servicios de acuerdo con los procedimientos oficiales.
De resultados	Consecución de los objetivos del programa.	Valoración del grado de cumplimiento de objetivos según indicadores.
Estratégica	Pertinencia de los objetivos.	Comparación entre objetivos y análisis de prioridades de acción.
Formativa	Se realiza en la fase de desarrollo de un programa (prueba piloto) para explorar su factibilidad y mejorarlo.	Estudio de factibilidad para ver el nivel de aceptación por parte de la población meta.
Sumativa o de impacto	Valoración de la eficacia y efectividad de un programa consolidado.	Análisis comparativo pretest-postest para dimensionar cambios en las personas.
De desarrollo	Análisis de la ejecución de las actividades y de los servicios.	Estudio de control entre lo programado y lo ejecutado de acuerdo con el tiempo.
De gestión	Orientada a conocer y mejorar el manejo de programas.	Valoración del grado de satisfacción de los operadores con el modelo de gestión.
Experimental	Valoración de los resultados del programa en condiciones controladas.	Comparación pretest-postest con población aleatorizada entre grupo de tratamiento y grupo control.
Económica	Estudio de la relación entre los costos y los resultados de la intervención.	Análisis de la relación costo-beneficio comparando el gasto contra el valor de lo producido.

Fuente: Nebot et al. (2011).

Por otra parte, según Pinilla y García-Altés (2010), los diseños evaluativos se pueden clasificar en tres grandes grupos según su metodología.

1.Diseños experimentales: con grupo de intervención, control, y asignación aleatoria de las personas.

2.Diseños cuasiexperimentales: incluyen ensayos comunitarios, diseños pretest-postest con grupo control no equivalente.

3.Diseños no experimentales: incluyen las series temporales y los diseños pretest-postest sin grupo control.

Para Pinilla y García-Altés (2010), la desventaja de la evaluación de políticas públicas recae en que generalmente, no se pueden implementar diseños experimentales, por razones como la falta de un grupo control equivalente, la complejidad de la política y las limitaciones de los indicadores de medida de los efectos, como por ejemplo la dificultad de observar o definir los resultados de forma operativa, ya que son múltiples o visibles solo a largo plazo, lo que afecta la validez interna de los estudios.

Por otra parte, Pinilla y Fontcuberta (2010), hacen referencia a que en las últimas décadas se ha empezado a poner en práctica la evaluación de políticas, sin embargo, aún no se cuenta con un procedimiento de integración de procesos científicos y democráticos aceptado, así como de promoción de procesos reales de innovación social basado en evidencia, en los que los responsables políticos utilicen de manera óptima la evaluación científica de políticas públicas para mejorar su competencia.

Para estos autores, las evaluaciones se utilizan poco, debido a las dificultades para obtener evidencia fiable sobre la efectividad de las políticas públicas y la reticencia por parte de los políticos a que se les evalúen sus propuestas. Proponen como solución que los políticos responsables y administrativos participen en el proceso de evaluación, inclusive que la iniciativa provenga de ellos. El reto es que la utilización de la evaluación sea una práctica habitual en la administración pública.

No obstante, un problema clave radica en que tradicionalmente, el proceso político no funciona de este modo. En este, las decisiones se toman en función de principios y creencias ideológicas, así como de momentos y prioridades políticas, por lo que tomar decisiones considerando la evaluación de los procesos es un cambio significativo que implica dar mayor peso a la evidencia y uno menor a las cuestiones ideológicas. Se necesita entonces modificar esta forma habitual de hacer política para que la evaluación logre su objetivo de informar la toma decisiones.

Valoración general del modelo de Políticas Públicas Basadas en Evidencia

Luego del análisis realizado, se pueden identificar algunas ventajas y desventajas que presenta el modelo de Políticas Públicas Basadas en Evidencia (PPBE).

Ventajas

Permite una mejor sustentación de la toma de decisiones de política pública, ya que emplea información válida y confiable sobre la eficacia de las intervenciones para respaldar la elección de determinadas opciones.

Tradicionalmente, el debate político en América Latina suele enfocarse más en los diagnósticos (información ex-ante) que en la evaluación (información ex-post), lo cual dificulta analizar la viabilidad de las propuestas. Por esta razón, las PPBE representan una gran innovación, ya que permiten la justificación de las acciones por su eficacia para atender o resolver problemas, lo cual no se puede saber cuándo la información es solo de tipo diagnóstico.

La falta de evaluación ex-post de las acciones sigue siendo una carencia importante en el contexto latinoamericano, que implica que la toma de decisiones de política pública sigue siendo, en la mayoría de los casos, un proceso más a ciegas que basado en evidencia.

Podría ayudar a reducir la confrontación política al informar el debate sobre las decisiones de gobierno ya no con base en el poder o las preferencias personales, sino con base en la mejor y más completa evidencia científica disponible.

Pueden contribuir en gran manera a mejorar mucho el nivel del debate público, proveyendo a los diferentes públicos, así como a la ciudadanía en general, de información de alta calidad que permita una mejor valoración de las decisiones y las diversas políticas públicas. Es decir, de cierta forma pueden ayudar a mejorar la calidad de la vida democrática y social, iluminando mejor las opciones para enfrentar los grandes retos colectivos a los que se enfrentan las sociedades.

Desventajas

Es costoso y complejo, ya que la mejor investigación suele requerir mucho tiempo y altos recursos. Por ejemplo, los diseños de ensayos controlados aleatorizados -ECA- (denominados en inglés: randomized controlled trials) necesitan tiempo, son difíciles de hacer y muchas veces es difícil encontrar expertos con suficiente experiencia, y destreza técnica para hacerlos con rigurosidad en países de América Latina. La implementación de PPBE requiere de la implantación de procesos rigurosos que vayan más allá del inmediatismo y el populismo típico del bajo nivel de la política tradicional, donde a veces pareciera que nadie se pregunta por la eficacia de las acciones.

Todavía hay poca costumbre de evaluar y reportar los resultados de las evaluaciones al público. De hecho, muchas evaluaciones suelen ser documentos no publicados, lo cual dificulta su acceso y valoración. La transparencia de las instituciones es en este sentido un factor crítico.

La opinión pública todavía valora poco la información evaluativa y suele enfocarse demasiado en la información personal o puramente política, sin dar la debida atención a los análisis más profundos de las políticas públicas, y juzgándolas más por creencias asumidas a priori que una cuidadosa ponderación de la evidencia científica de mayor calidad.

Lamentablemente, las discusiones sobre políticas públicas suelen tener grandes dificultades para distinguir entre información fáctica y sistemática de alto valor e información puramente anecdótica que no permite concluir sobre el mérito o la eficacia de una determinada intervención. Un caso en el que esto se refleja bastante es el de la vacunación obligatoria, donde muchas opiniones no son capaces de distinguir entre opiniones personales sin sustento adecuado, y estudios científicos altamente rigurosos, llevando a muchas personas a dejar de vacunar a sus hijos, exponiéndolos a enfermedades peligrosas e incluso la muerte.

A manera de conclusión

Las Políticas Públicas Basadas en Evidencia (PPBE) se presentan como una opción para mejorar la calidad de las decisiones políticas. Su incorporación en los procesos políticos democráticos implica un cambio significativo en la forma en que tradicionalmente, se han tomado decisiones, dejando de lado los prejuicios personales y las meras corazonadas, para posicionarse frente a los problemas de una manera mucho más estratégica e inteligente.

No se sugiere aquí que las PPBE deban sustituir el debate democrático, sino que lo pueden enriquecer y guiar profundamente. La investigación evaluativa difícilmente va a tener la respuesta a todas las preguntas, pero lo que sí es seguro es que puede ofrecer mejores respuestas que la simple y desnuda opinión o necesidad personal frente a los más graves problemas sociales.

A pesar de que la PPBE constituyen una práctica poco implementada en la actualidad, resulta claro con lo expuesto que fundamentarse en la mejor evidencia científica, imprime mayor claridad, precisión y confianza en la toma de decisiones con las que se buscan resolver los diversos problemas sociales.

Como decía Einstein: “si quieres resultados diferentes, ¿por qué sigues haciendo lo mismo?”, lo que quiere decir que la innovación, la gestión del cambio y la transformación social requieren necesariamente de la mejor y más completa evaluación posible, para verificar si sus asunciones son correctas o no y en qué medida, con lo cual se podrá mejorar sustantivamente, la calidad de la toma de decisiones en función del bien común de la población.

Existe consenso respecto a que se requiere voluntad por parte de los políticos a utilizar la evidencia y sobre todo aceptar la evaluación como elementos indispensables en la toma de decisiones. Por parte de los investigadores, se precisa que dirijan sus esfuerzos a realizar estudios rigurosos que ofrezcan evidencias oportunas para la toma de decisiones en políticas públicas. Además, la colaboración entre ambos sectores (el científico y el político) es esencial para lograr soluciones efectivas a los problemas sociales que se pretenden atender.

La evaluación sistemática y cuidadosa de las políticas públicas ciertamente, implica un elevado costo en medio de restricciones presupuestarias, pero su valor consisten en ni más ni menos que permitir contar con conocimientos pertinentes, válidos y confiables sobre la eficiencia y la efectividad de las intervenciones implementadas, lo que contribuye a mejorar la toma de decisiones progresivamente, conforme se vayan encontrado modelos de acción cada vez más beneficiosos a costos razonables, mejorando así la capacidad de respuesta y rendición de cuentas de las instituciones públicas a la ciudadanía.

Referencias

Berlinski, S. y Schady, N. (2015). Los primeros años: el bienestar infantil y el papel de las políticas públicas. Washington: BID.

Bracho, T. (2010). Políticas basadas en evidencia: la política pública como acción informada y objeto de investigación. En M. Merino, y G. Cejudo, (comps.) Problemas, decisiones, soluciones. Enfoques de política pública (pp. 291-319). México: CIDE.

Chaverri, P., Arrieta, A., Sandoval, H. (2014). Informe de diagnóstico de la situación de niños, niñas y adolescentes en el cantón central de Heredia para la construcción de una política cantonal hacia esta población. [Informe técnico de consultoría]. Universidad Nacional.

Chaverri, P.; Arrieta, A., Calvo, I.; Ramírez, C., Ramírez, I; Vicente, R. (2015). Propuesta para fortalecer el funcionamiento del Sistema Nacional de Protección Integral de la Niñez y la Adolescencia en Costa Rica (pp. 1-626) [Informe técnico de consultoría]. Consejo Nacional de Niñez y Adolescencia, y UNICEF.

Chaverri, P.; Conejo, D.; Molina, I.; León, A. (2018). Informe de evaluación experimental del programa Familias en Acción (FAMA) de la Academia de Crianza del PANI (pp. 1-196) [Informe de investigación evaluativa]. Universidad Nacional.

Court, J., I. Hovland y J. Young (eds) (2005). Bridging Research and Policy in Development: Evidence and the Change Process, Rugby: ITDG. Recuperado de: https://www.odi.org/publications/170-bridging-research-and-policy-development-evidence-and-change-process

Davis, P. (2004). Is evidence-based government possible? Jerry Lee Lecture, presentada en el 4THAnnual Campbell CollaborationColloquium, Washington, 19 de febrero de 2014. Recuperado de: www.nationschool.gov.uk/policyhub/downloads/JerryLeeLecture1202041.pdf.

Flores-Crespo, P. (2013). El enfoque de la política basada en evidencia: análisis de su utilidad para la educación de México. Revista Mexicana de Investigación Educativa, 265-290. Recuperado de: http://www.scielo.org.mx/pdf/rmie/v18n56/v18n56a12.pdf

González-Alvarado, F., Acosta-Ballestero, I., Artavia-Aguilar, C. V., Calderón-Ramírez, G., Chaverri-Chaves, P., Cruz-Arroyo, E., Ramírez-González, A., Rodríguez-Pineda, M., & Solano-Alpízar, J. (2020). Hallazgos principales de la investigación “13-096-19-Balance crítico de las Pruebas Nacionales de Bachillerato en Educación Media como instrumento de certificación del conocimiento del estudiantado”. Revista Electrónica Educare, 24(1), 1-24. https://doi.org/10.15359/ree.24-1.13

Majone, G. (1997). Evidencia, argumentación y persuasión en la formulación de políticas. Recuperado de: https://campusvirtual.univalle.edu.co/moodle/pluginfile.php/701596/mod_resource/content/1/Majone.pdf.

Merino, M. (2010). Problemas, decisiones y soluciones: Enfoques de política pública. México: CIDE.

Nebot, M., López, M. J., Ariza, C., Villalbí, J., y Gracía-Altéz, A. (2011) Evaluación de la efectividad en salud pública: fundamentos conceptuales y metodológicos. Recuperado de: https://www.gacetasanitaria.org/es-pdf-X0213911113270055

Pinilla, J. y. García-Altés, A. (2010). La evaluación de políticas públicas: informe SESPAS 2010. Gaceta Sanitaria, 114-119. Recuperado de: https://reader.elsevier.com/reader/sd/pii/S021391111000169X?token=639B33368975E5F8FA685A8E8D3246B25564488803750A01494A0C81D2E5A873A2AE98406B89F5AA0BCBC6F886F12D9E

Pinilla, R. y Fontcuberta, X. (2010): Evaluación de políticas públicas e innovación social. Un marco para la política basada en la evidencia. Encuentros multidisciplinares, 12(35), 21-30. Recuperado de: http://www.encuentrosmultidisciplinares.org/Revistan%BA35/Rafael%20Pinilla%20Palleja%20y%20Xavier%20Fontcuberta%20Estrada.pdf

Sutcliffe, S. y Court, J. (2006) Herramientas para diseñadores de políticas públicas en países en desarrollo. Recuperado de: https://www.odi.org/sites/odi.org.uk/files/odi-assets/publications-opinion-files/3520.pdf