Número 68(1) • Enero-junio 2022
ISSN: 1011-484X • e-ISSN 2215-2563
Doi: https://dx.doi.org/10.15359/rgac.68-1.2
Recibido: 18/01/2021 • Aceptado: 07/04/2021
URL: www.revistas.una.ac.cr/index.php/geografica/
Licencia (CC BY-NC-SA 4.0)
Estado del arte de la evaluación de la política pública de planeación territorial ambiental en Colombia
State of the art of the evaluation of public policy on territorial-environmental planning in Colombia1
Andrea Carolina García-Cabana2
Universidad Nacional Abierta y a Distancia y Pontificia
Universidad Javeriana, Colombia
Resumen
La evaluación de política pública ha planteado diferentes desafíos que buscan mejorar el desempeño de la gestión pública, para lograrlo lo hace a través de la medición sistemática de la operación o impacto de los programas o políticas públicas, que al ser comparadas con estándares implícitos o explícitos permite contribuir a su mejoramiento (Weiss, 1998). El presente artículo realiza la revisión del estado de la literatura existente, frente a la evaluación de políticas públicas de planeación territorial ambiental en Colombia. Para ello, se procedió a realizar una revisión metódica de los artículos publicados en revistas indexadas, en las bases de datos SciELO.org y EBSCO Information Services en el período comprendido entre el año 1995 y 2020, período en el cual, se pueden encontrar adelantos de evaluación a las políticas implementadas, a partir de la Constitución Política de Colombia de 1991. Para el análisis de la información, se revisaron los artículos que respondieron principalmente, a las temáticas de evaluación de políticas públicas y planeación territorial ambiental en Colombia. Como resultado de la investigación, se obtuvo el estado de arte de la evaluación de política pública en el tema específico de planeación territorial ambiental en Colombia y se establecieron algunas recomendaciones, para fortalecer la divulgación de los procesos de evaluación de política pública en el país.
Palabras clave: Política pública; Planeación; territorial; implementación; evaluación.
Abstract
The evaluation of public policies has posed different challenges that seek to improve the performance of public management to achieve this it does so through the systematic measurement of the operation or impact of public programs or policies, which when compared with implicit or explicit standards allows to contribute to their improvement (Weiss, 1998). This article reviews the state of the literature, regarding the evaluation of public policies for environmental territorial planning in Colombia. A methodical review was made of the articles published in journals indexed in the databases SciELO.org and EBSCO Information Services in the period between 1995 and 2020. As a result of the research, the state of the art of the evaluation of public policies on the specific issue of territorial environmental planning in Colombia was obtained, and some recommendations were established to strengthen the dissemination of the public policy evaluation processes in the country.
Keywords: Public policies; planning; territorial; implementation; evaluation.
Según Roth (2009a), la evaluación se considera una nueva disciplina en el ámbito, las políticas públicas en la cual se busca recolectar, verificar e interpretar la información sobre la ejecución y eficacia de las políticas o programas implementados (Majone, 1997). Se emplea como un instrumento de control de gestión, que de manera interactiva y participativa puede fortalecer el ideal democrático de la evaluación (Roth, 2009a).
El enfoque tradicional se ha concentrado en la fase de evaluación ex ante, que se caracteriza por evaluar principalmente, la etapa relacionada a la formulación de las políticas públicas como requisito para su aprobación, dejando un poco de lado la evaluación ex post, sin embargo, la evaluación se ha ido aplicando a las fases de implementación y resultados, con el fin de rendir cuentas y emprender las acciones de mejoras que se llegaran a necesitar (Feinstein et al., 2016).
En Colombia, la evaluación de política pública está en marcada en la Constitución Política de 1991, en el título XII (Régimen Económico y de la Hacienda Pública), capítulo II (Planes de Desarrollo), articulo 343, el cual señala que la entidad nacional de planeación, tendrá a su cargo el diseño y la organización de los sistemas de evaluación de gestión y resultados de la administración pública, esto también está incluido en la Ley 152 (1994) en su artículo 29 (DNP, 2014).
Aunque esto, está contenido en las leyes desde los años 90´s, tal y como es señalado por Roth (2009b), al inicio de este proceso, la evaluación de políticas públicas en el país no tuvo mucho auge, ha venido tomado fuerza debido a sus implicaciones y a sus efectos, sobre la efectividad en la gestión pública en los territorios (Roth, 2009b).
La evaluación de políticas públicas en Colombia, según lo establecido por el Departamento Nacional de Planeación DNP, se desarrolla en cuatro fases. La primera, la selección de la política a evaluar; segunda, diseño de la evaluación; tercera, ejecución de la evaluación y cuarta, socialización de los resultados (DNP, 2014, 2012). Es en ese último punto, que este artículo quiere contribuir verificando los procesos de socialización y divulgación de resultados de la evaluación de las políticas públicas, principalmente a las enfocadas en planeación territorial ambiental. Ya que, tal y como señala Roth (2009b) citado por Torres-Melo & Santander (2013), la evaluación de política pública, no solo sirve para conocer los resultados y validar las fases del proceso, sino que permite conocer aspectos claves de las políticas como intermediarias entre el Estado y los ciudadanos.
Si bien existe una serie de herramientas y técnicas para medir objetivamente y llevar a cabo procesos de evaluación, también es necesario saber a quiénes les ha llegado esa información, de manera tal que influya positivamente en la construcción de nuevas políticas públicas que se empleen para gestionar los territorios.
Aunque la responsabilidad del proceso de evaluación de las políticas públicas no recae directamente en la academia, se hace necesario analizar cuál ha sido su aporte frente al tema, puesto que tal como lo menciona Leca (1993), la evaluación consiste en articular las dimensiones científica y política, para lograr avanzar de manera constructiva. Por lo tanto, se busca conocer cuáles han sido los aportes realizados desde la academia, a través de las diferentes publicaciones científicas, que permitan conocer el avance en materia de la evaluación de políticas públicas.
Por medio de este artículo de revisión se pretende reunir el conocimiento en el tema de evaluación de política pública, destacando los avances obtenidos a través de los resultados de diferentes estudios, trabajos o investigaciones, lo cual aporta para tener un estado de arte, en especial, en el área de planeación territorial ambiental en Colombia (Grant & Booth, 2009; Higgins & Green, 2011).
De esta manera, el artículo buscará responder la siguiente pregunta: ¿Cuál es el aporte de conocimiento que ha hecho la academia, en cuanto a la divulgación de procesos de evaluación de política pública de planeación territorial ambiental, que sirvan como elementos estructurantes de nuevas políticas para la gestión de los territorios?
Se realizó el método de revisión bibliográfica; para el proceso de selección del material a consultar, se seleccionaron los artículos de las bases de datos Scielo.org (Scientific Electronic Library Online) y EBSCO Information Services utilizando las siguientes palabras clave en español e inglés: Evaluación, Políticas Públicas, Planeación, Territorial, Ambiental y Colombia. Se escogieron estos descriptores, dada la naturaleza tan amplia frente a las políticas públicas. En este trabajo, se tuvieron en cuenta los siguientes criterios de inclusión: artículos publicados en las bases de datos entre los años 1995-2020, tema principal evaluación de políticas públicas. La ecuación de búsqueda empleada en SciELO en español fue: (evaluación) AND (políticas públicas) AND (planeación) y en inglés (Evaluation) AND (public policies) AND (territorial planning). En cuanto a la ecuación de búsqueda empleada en EBSCO Information Services fue: (evaluation) AND (public policies) AND (territorial planning) AND (Colombia), tanto en español como en inglés.
Para capturar la información, se utilizó un protocolo que permitió organizar la información de cada artículo, tomando los siguientes aspectos: Base de datos fuente, año de publicación, autores, metodología empleada, objetivos y un breve resumen. Para describir y clasificar la metodología de cada estudio, se emplearon las siguientes clases: revisiones, estudios descriptivos e investigaciones experimentales, cualitativas y cuantitativas, según lo recomendado por Goodwin, (1995), Higgins y Green (2011) mencionados en (Rosário et al., 2014).
Todos los artículos referenciados, a través de los descriptores y que respondieran a la pregunta realizada en este artículo, se revisaron completamente y se procedió a sintetizar los aspectos más relevantes, registrándolos en la matriz de análisis (Anexo 1). Para analizar la producción científica consultada, se clasificó en las siguientes categorías: 1. Evaluación de política pública general, 2. Evaluación de política planeación territorial en Colombia y 3. Planeación territorial.
Resultados
En la búsqueda realizada en SciELO en español, se encontraron 11 artículos y en la búsqueda en inglés, el resultado fue de 3 artículos académicos. Los artículos provienen de diferentes países, siete de México, tres de Colombia, tres Brasil y uno de Chile. De los artículos encontrados doce, estaban en el idioma español, uno en inglés y uno en portugués. En la Tabla 1, se muestran los años a los que corresponden los artículos hallados.
Tabla 1. Número de publicaciones por año SciELO
SciELO |
14 |
Brasil |
3 |
2009 |
1 |
2015 |
1 |
2018 |
1 |
Chile |
1 |
2017 |
1 |
Colombia |
3 |
2014 |
1 |
2015 |
1 |
2019 |
1 |
México |
7 |
2004 |
1 |
2007 |
1 |
2008 |
1 |
2010 |
1 |
2015 |
1 |
2016 |
1 |
2020 |
1 |
Fuente: Elaboración propia
En cuanto a la búsqueda realizada en EBSCO Information Services, se encontraron 998 publicaciones académicas. Sin embargo, no todas las publicaciones respondían plenamente al tema objeto de esta investigación, solamente 25, abarcaron el tema de evaluación de política pública desde diferentes campos.
Se encontraron artículos de enseñanza de política pública, la política pública como toma de decisiones, reflexiones frente a la política pública, hasta la evaluación de política pública en áreas de la salud y la educación; en cuanto a evaluación de política pública, enfocada a la planeación territorial, únicamente se encontraron 7 artículos.
Con respecto a los países de los artículos arrojados en la búsqueda, 24 corresponden a Colombia y 1 a España. En la Tabla 2, se muestran los años a los que corresponden los artículos analizados.
Tabla 2. Número de publicaciones por año EBSCO
Ebsco |
25 |
Colombia |
24 |
2013 |
1 |
2014 |
2 |
2015 |
3 |
2017 |
4 |
2018 |
6 |
2019 |
3 |
2020 |
5 |
España |
1 |
2017 |
1 |
Fuente: Elaboración propia.
La información encontrada fue escasa, en cuanto a la temática especifica de evaluación de política pública de planeación territorial ambiental en Colombia, sin embargo, se encontró información relevante en el área de evaluación de política pública en general, que permitió conocer los avances en el tema de evaluación de políticas públicas en diferentes sectores como el de la salud y la educación; experiencias que sirven como antecedentes, para fortalecer el proceso de evaluación en el área de planeación territorial ambiental en el país.
Por esta razón, se realizó el análisis de la información, clasificando los artículos según su contenido en las tres categorías de análisis mencionadas en la metodología. Se analizaron los artículos que encajaron en las categorías de 1. evaluación de política general con 29 artículos; 2. evaluación de política de planeación territorial en Colombia con cuatro (4) artículos, y 3. Una categoría un poco más general de planeación territorial que incluyó experiencias de otros países con seis (6) artículos. A continuación, se analizan los aportes de las publicaciones, en cada una de las categorías.
Evaluación de política pública general
En esta categoría, se incluyeron los artículos que tienen alguna relación con la evaluación de política pública, independientemente del campo al que pertenezca la política y la utilidad de esta, en este caso se hallaron 29 artículos.
En los artículos estudiados, se encontraron trabajos relacionados con el campo de la salud pública, la evaluación de docentes y la enseñanza, entre otros campos. Algunos de los textos, proponen modelos con los cuales se pretende orientar el proceso de evaluación, lo cual es importante como antecedente, para recomendar en el tema de evaluación de planeación territorial ambiental.
Rueda (2004), abordó el proceso de evaluación educativa, considerando esta como el pilar de las políticas actuales en la educación superior, indicando que la evaluación forma parte de los procesos de planeación. El autor señaló que es necesario adelantar estudios que permitan conocer el efecto de las políticas aplicadas en las últimas décadas, mencionó que se debe mejorar la manera de implementar y evaluar estas políticas, pues se ha encontrado que muchas veces, no se hace con la equidad deseada para todos los actores involucrados.
Por otro lado, Morris (2007), en su artículo involucró el tema de evaluación de política pública, con el fin de saber hasta qué punto la política lingüística mexicana hacia los pueblos indígenas era congruente con las teorías multiculturales y de planeación en materia de lenguas, el autor realizó su investigación, a través de estudios comparativos entre dicha teoría multicultural, en torno a las lenguas y la norma nacional vigente en ese momento, encontró que falta una política lingüística nacional robusta y trascendente, que solamente puede darse con la continuidad de los programas y las políticas aplicadas.
En la misma línea de Rueda (2004), se encuentra el artículo de Lora y Chávez (2008), quienes describieron y propusieron los elementos clave para la evaluación del desempeño de los docentes y que así, se lograra dar alcance a las políticas públicas educativas mexicanas.
Para ello, analizaron el contexto de las instituciones y la influencia de las políticas sobre la evaluación, ellos profundizaron en el tema de: ¿qué evaluar?, ¿para qué evaluar? y ¿quiénes son las personas que emiten la valoración? y ¿cuáles son las implicaciones? Si bien este no es un trabajo que aborda la evaluación de la política pública como tal, si aporta al análisis de los elementos que las políticas buscan evaluar y cuáles son sus impactos finales.
Los autores encontraron que una de las dificultades de la evaluación, radica en no reconocer la multidimensionalidad de los fenómenos analizados y no seleccionar los indicadores más acertados para lograr que la valoración se acerque más a la realidad, esto se debe tener en cuenta, puesto que cada actividad a evaluar, responde a unas particularidades.
Esto también se encuentra resaltado en el trabajo de Acosta (2015), quien mencionó que las distintas instancias estatales, creen que las instituciones sólo cambian a partir del uso intensivo o discreto de estímulos, castigos y recompensas, a nivel general; esto se refleja en las políticas públicas implementadas y se convierte en temas fundamentales en la agenda pública y gubernamental.
Siguiendo esta línea del sector de educación, Rivera-Aranzazu (2014), adelantó un estudio sobre la evaluación de los programas de educación ambiental no formal en instituciones educativas rurales de Colombia, estos programas dan respuesta a la Ley 1549 (2012), denominada la Política Nacional de Educación Ambiental. El autor encontró que los beneficios de esta política, se centran en los intereses urbanos, olvidando los problemas ambientales estructurales de los territorios rurales y por ende, a las instituciones educativas que allí se encuentran.
También, evidenció una desarticulación entre los diferentes programas y proyectos municipales, departamentales y nacionales, lo que contribuye a que los programas implementados, no tengan continuidad y presenten una baja intensidad, al igual que lo mencionó Morris (2007), en su artículo.
Otro punto importante en el tema de educación y políticas públicas, encontrados en los artículos arrojados en la búsqueda, es lo que tiene que ver con la enseñanza de la evaluación sobre política pública en diferentes campos. En el trabajo de Pimienta, Acosta y Nuñez (2017), se encuentran algunas explicaciones frente a la importancia de educar en cómo evaluar la política pública, dentro de los procesos académicos de los programas de Derecho.
Así mismo, Centeno (2019) realizó la caracterización de la enseñanza sobre políticas públicas en Colombia, puesto que el autor menciona que aunque se ha avanzado en la institucionalización de las políticas públicas como campo de estudio, poco se ha reflexionado frente a la manera de enseñarla, el autor aporta un análisis frente a cuál es el perfil de los aprendices y señala algunos retos y oportunidades de mejora de la enseñanza en este campo.
Cambiando al tema de evaluación de las políticas públicas del sector de salud, Villalobos et al. (2010), investigaron frente al proceso de mercadotecnia social y de políticas públicas, evaluando un caso particular: la campaña para promover espacios libres de humo de tabaco. Ellos encontraron que este segmento de la evaluación en política pública, también es importante porque permite medir realmente el impacto que tuvo la política, en parte, gracias al proceso de difusión y de conocimiento de la población.
En este mismo campo, encontramos los trabajos de da Cunha et al. (2016), López-López, Del Pilar-Durango, y Arango-Tamayo (2017), Otalvaro C et al. (2018) y Pérez-Flórez, Ruiz-Buitrago, & Achcar (2019), quienes aportaron sobre la importancia de la evaluación de las políticas públicas para población con condiciones y requerimientos especiales de salud.
Siguiendo este mismo campo, el estudio de Gutiérrez-Ossa & Manrique-Hernández, (2015), realizó la revisión y la evaluación del CONPES 155 (2012), encontrando que la construcción de una política pública en el campo de la farmacéutica aún es muy incipiente y no se ha adelantado el proceso de evaluación, lo que no permite el óptimo desarrollo territorial en el tema de salud. Esto es un ejemplo de cómo el avance y evaluación de las políticas públicas sectoriales determinan el desarrollo y progreso de un territorio.
La evaluación de políticas públicas en el sector de la salud es un poco más amplia que en los otros sectores, en este sentido, se encontró el trabajo de Castaño, Isaza, Rueda, Jaramillo y Ochoa, (2015), en cual se realizó una revisión integral de los métodos de evaluación de programas nutricionales de gran escala en América Latina, se identificaron los diseños metodológicos empleados en diferentes países, encontrando que dichos procesos de evaluación se fundamentan en nuevos paradigmas y exploran la combinación de métodos, objetivos e indicadores.
El estudio concluyó que, el método de evaluación más empleado es el cuantitativo para medir el impacto biológico de los programas. Por las particularidades de los países de América Latina, se recomienda incluir nuevas aproximaciones a la evaluación una articulación de metodologías cuantitativas y cualitativas y la inclusión del contexto, es decir, de aspectos sociopolíticos en el proceso evaluativo.
De la misma manera, se encontraron estudios sobre la evaluación de la estructura del componente regular de los programas departamentales de hábitos y estilos de vida saludable en Colombia, arrojando información enriquecedora para los nuevos programas nacientes (Cifuentes-garz, 2020; Guzmán-Barragán, Gonzalez-Rivillas & Guzmán-Barragán, 2020, Torres & Prieto, 2018).
Se encontró el estudio de García y Cardozo (2017), el cual abordó de lleno el tema de evaluación de políticas públicas, en especial en programas y proyectos; el estudio presentó los casos de cuatro países, en los cuales se analizaron los métodos empleados para realizar la evaluación. La investigación aportó sobre actualización del concepto impacto y enriqueció los enfoques empleados.
Los autores concluyeron que, en los países analizados existe poca experimentación en los procesos evaluativos y se carece de programas de formación y bibliografía que difunda enfoques alternativos, la opción más difundida es la medición causa – efecto apoyados en métodos cuantitativos, recomiendan que no existe un solo enfoque teórico, ni un único método.
También, se encontraron algunos artículos que involucran la evaluación de políticas públicas con la toma de decisiones, el primero en el artículo de Ordóñez-Matamoros et al. (2018), quienes señalaron que la evaluación ejecutiva o rápida es una forma eficiente de apoyar el proceso de toma de decisiones, puesto que permite conocer los resultados alcanzados y proveer información útil, para mejorar el desempeño del programa o política en tiempo real.
Asimismo, González (2018) propone el uso de la herramienta de la teoría de juegos empleando la información resultado del seguimiento y evaluación de políticas públicas como insumo para la toma de decisiones, con el fin de promover políticas públicas más efectivas y eficientes. Rozo-Gutiérrez y Vargas-Trujillo (2017), analizaron la política de infancia y adolescencia de Bogotá 2011-2021, empleando la metodología de Ordóñez-Matamoros et al. (2018), concluyendo que las necesidades de esta política, fueron interpretadas a conveniencia y de acuerdo a la estructura de gobierno, por lo tanto, es necesario que los tomadores de decisiones empleen metodologías disponibles para la elaboración de políticas públicas, basadas en la evidencia científica, para que sean medibles y ajustables.
Otros artículos encontrados desarrollaron reflexiones frente a la importancia de la evaluación de política pública, como el trabajo desarrollado por Vergara-Varela (2018), quien señaló que la evaluación de política pública es un objeto relevante de investigación. En su trabajo analizó las finalidades, los tipos y los niveles sobre la evaluación y concluyó que es necesario emplear métodos cualitativos y cuantitativos para que así, el proceso de evaluación de políticas públicas tenga rigor científico.
Mientras que González y Gallego (2018), reconocieron la importancia de la construcción de ciudadanía para incidir sobre la política pública, ya que ésta es considerada como un mecanismo para fortalecer los esfuerzos de grupos, organizaciones civiles y movimientos sociales, para influir en la construcción y establecimiento de una cultura de la legalidad para la generación de mejores políticas públicas, pero señalan que es necesario que existan mejores mecanismos de participación que vayan más allá de la democracia electoral y representativa.
Por último, se hallaron artículos que muestran como las políticas públicas son determinantes para establecer un enfoque territorial que fortalezca la responsabilidad social, la gobernanza y la sostenibilidad (Calvo, Pérez, & Romero ., 2019), también que sirven para dar respuesta a visiones globales desde el territorio con prácticas sustentables y que aporten al cumplimiento de los objetivos de desarrollo sostenible (Cubillos, 2011).
Se encontró, además, el trabajo de Valencia-Tello y Karam de Chueiri (2014), quienes resaltaron que para determinar el impacto de la políticas pública en los territorios es necesario saber en sí, qué ha pasado frente al proceso de descentralización o recentralización en el país, ellos adelantaron un estudio que permitió conocer cuál ha sido el comportamiento del país en materia de descentralización y cómo esto ha impactado en la formulación de políticas públicas y su alcance a nivel territorial y nacional.
Evaluación de política planeación territorial en Colombia
En esta categoría, se encontraron cuatro artículos. Estos trabajos dan respuesta a la categoría de evaluación de política de planeación territorial en Colombia. El primer artículo de Jiménez y González ( 2014), se enfocó hacia la evaluación de la calidad de vida urbana de los habitantes de Bogotá. En este trabajo, los autores propusieron las bases metodológicas para la evaluación, mediante el uso del índice de pobreza multidimensional –IPM.
Este artículo, se incluye en esta categoría porque muestra como Bogotá ha generado en los últimos años políticas públicas que buscan garantizar una mejor calidad de vida para sus pobladores desde la planeación de su territorio y a través de la metodología desarrollada en la investigación, se evaluaron las políticas implementadas en la capital del país, por lo tanto, es una experiencia real de un proceso de evaluación de política pública.
El segundo trabajo encontrado está directamente relacionado con la categoría y trata sobre la evaluación y seguimiento de los planes de ordenamiento territorial en los municipios de Colombia (Camelo, Solerte, & López, 2015). El artículo resaltó la importancia de la Ley 388 (1997), en términos de planeación territorial para el país.
Sin embargo, se destacó que existe un gran desafío y un largo camino por recorrer, en cuanto a su implementación y evaluación, es así que propusieron un modelo de evaluación de los planes de ordenamiento territorial municipal. La peculiaridad del trabajo fue que logró una integración de elementos tradicionales de la gestión urbana, con un enfoque evaluativo de gestión pública y social.
El tercer trabajo, surge en la coyuntura de acuerdo de paz en el país, es la propuesta del modelo espacial para la evaluación y gestión del territorio, para la incorporación de las unidades de planificación y gestión territorial al posconflicto colombiano (Villegas Rodríguez et al., 2017).
El estudio construyó la base de datos con información secundaria y la espacializó en el mapa de Colombia, dentro de los contextos municipales y departamentales dando alcance a la ley 388 de 1997 y la Ley 617 (Congreso de Colombia, 2000). También, desde una nueva visión denominada segunda generación, analizó y verificó el cumplimiento de las políticas públicas, inversiones de capitales nacionales e internacionales y comprobó la articulación con los planes de desarrollo.
Por último, el cuarto artículo, se refiere al trabajo denominado Hábitat en deuda: años de políticas urbanas en América Latina (Sobotová, 2017). Éste hizo una revisión de la agenda del Hábitat II y la formulación de la nueva agenda III, explicó las políticas de veinte años en América Latina y reunió los impactos de políticas urbanas nacionales, que permitieron la construcción de ciudades inclusivas y sostenibles. El estudio, se desarrolló en seis países México, Chile, Colombia, Argentina, Brasil y Ecuador.
Planeación territorial
Esta categoría reúne los trabajos que hablan de planeación territorial en diferentes países y que no necesariamente, realizan un proceso de evaluación. Se hallaron tres artículos en la literatura revisada. Se encontró el trabajo adelantado por Díaz et al. (2019), que buscaba precisar la influencia de la planeación sectorial y de la evaluación sobre el diseño y el presupuesto de los programas vinculados al desarrollo rural en México.
Los autores analizaron el Programa Integral de Desarrollo Rural y su relación con instrumentos normativos, realizaron diferentes encuestas y entrevistas a los actores involucrados. Al fin, encontraron que el proceso de planeación sectorial sexenal es un ejercicio ordenado con diagnósticos precisos, incluyendo objetivos y metas, sin embargo, esta planeación no considera el diseño y la asignación presupuestal en cada programa, lo que obliga a buscar diversas fuentes de financiación a través de amparos del gobierno o gobernantes, sin garantizar su continuidad.
El estudio de Luiz, Silva y Rauli (2009), realizó la evaluación de las políticas públicas de desarrollo sostenible, implementadas en Curitiba en el período 1998- 2002. Este estudio, podría pertenecer a la anterior categoría, sin embargo, como corresponde a la evaluación realizada en otro país, se incluyó en esta categoría de planeación territorial que es más general.
El estudio evaluó las políticas públicas recientes en Curitiba, empleando un enfoque multidisciplinario, o sea, involucrando aspectos de orden económico, educativo, político y social, empleando como insumos los resultados del estudio de los planes plurianuales de Curitiba (1998-2001 y 2002-2005).
Para finalizar, encontramos el artículo de Blanco-Barón (2013), el cual realizó un recorrido del proceso de planificación del desarrollo en Colombia. No realizó un proceso evaluativo, sino más bien reflexivo, resaltando de manera positiva que el tema de desarrollo humano haya permeado el proceso de planificación, sin embargo, no lo considera suficiente, ya que, para la autora, el proceso de planificación del desarrollo en Colombia, no ha avanzado y sigue mostrando los mismos adelantos que hace doscientos años.
Este trabajo, analizó la literatura científica disponible en las bases de datos SciELO.org y EBSCO sobre la evaluación de políticas públicas de planeación territorial ambiental en Colombia, publicada en el período de 1995 - 2020. El objetivo fue realizar un reconocimiento y un análisis del estado de esta temática, en estas bases de datos.
A continuación, se resaltan algunos aspectos a considerar después de la búsqueda y se analizan algunos temas importantes para la investigación, con respecto a la evaluación de políticas públicas, en especial lo concerniente a la planeación territorial ambiental.
Se hallaron 39 artículos que respondían a los criterios de la búsqueda. Se observó que entre los años 1995 y 2003, no se encontraron publicaciones acerca de los contenidos solicitados. Es a partir del año 2004, que se empezaron a publicar y a difundir artículos que abordaban los criterios de búsqueda: Los años que presentaron mayor número de publicaciones, fueron 2018 con siete y 2015 con seis, al igual que en los años 2017 y 2020.
La carencia de información en la primera década de búsqueda, no permite apreciar la importancia que pudiera tener el tema de evaluación de políticas públicas, en dicha época. El comportamiento de este tópico, permite apreciar que el tema se encuentra en construcción, en una etapa inicial y despertando el interés de distintos investigadores en publicar, acerca de la evaluación de la política pública y la planeación territorial en Colombia.
Se encontró que el 80% de los artículos identificados estaban relacionados de alguna manera con el tema general de evaluación de política pública en diferentes campos, a nivel conceptual o teórico o en algunos casos metodológicos, sin encontrar experiencias de ejecución de un proceso científico de evaluación de política pública, como tal.
Sin embargo, se hizo un recorrido y análisis por todos los escritos que se encontraron con respecto al tema, así no tuvieran relación directa con la planeación territorial en Colombia. Se hace necesario mencionarlos y reportarlos, para que sirvan como garantía y soporte del bajo desarrollo y publicación que la academia tiene frente a la evaluación científica de política pública, en particular lo relativo al tema de planeación territorial en Colombia.
Es así, que los resultados encontrados en este estudio, muestran que la evaluación de la política pública, no se ha desarrollado de manera amplia en el país o por lo menos, la literatura publicada no se encuentra reportada en las bases de datos, pues de los 1012 resultados iniciales de aplicar los criterios de búsqueda, solamente 39 resultaron estar directamente relacionados con el tema de interés.
Jiménez (2019), señala que la evaluación de políticas públicas es una acción fundamental en la gestión pública, pero para esto se debe aplicar una metodología sólida, confiable y con profesionales preparados en la materia. Un buen desarrollo de un proceso evaluativo, garantiza que se generen recomendaciones que incrementen la eficacia y la eficiencia de las acciones de un gobierno.
La Comisión Económica para América Latina y el Caribe (CEPAL), define la evaluación de políticas públicas como aquella actividad que permite valorar el desempeño de la acción política, ya sea en la forma de un programa, proyecto, ley, política sectorial, etc. Es una valoración sistemática de la concepción, la puesta en práctica y los resultados de una intervención pública, en curso o ya concluida (CEPAL, 2017), tal como señala Roth (2009a) puede ser una valoración ex ante o pos de la política pública implementada.
Si diferentes autores y organizaciones señalan la importancia de la evaluación de la política pública, se desconoce por qué se encuentra poco material sobre ésta y más aún en el tema de planeación territorial ambiental. No se sabe, sí es porque la actividad se considera meramente técnica y se separa un poco de la actividad académica, que es donde se generan las publicaciones científicas que se encuentran en las bases de datos o sí es porque en realidad, no se adelanta este proceso con la rigurosidad que merece.
En este estudio, encontramos 5 artículos que efectivamente ejecutaban un proceso de evaluación sobre la política pública (Castaño et al., 2015; García & Cardozo , 2017; Jiménez & González, 2014; Luiz et al., 2009; Villegas et al., 2017), el resto hacen recomendaciones metodológicas de cómo hacerlo, que si bien es un desarrollo académico bastante valioso, se requieren de estudios que muestren cuál ha sido el comportamiento de las políticas públicas, implementadas en diferentes sectores a los de salud y educación, que sí muestran mayores resultados.
En Colombia, el Departamento Nacional de Planeación (DNP, 2014), también brinda lineamientos de cómo realizar los procesos de evaluación de las políticas públicas implementadas, estos documentos por ser oficiales no se encuentran en las bases de datos estudiadas, pero sí orientan a los entes municipales, a desarrollar su proceso de evaluación y rendición.
Sin embargo, no se encuentran estudios cualitativos y cuantitativos que evidencien la ejecución de los procesos de seguimiento y evaluación de la mayoría de las políticas públicas, la información que se reporta es la entregada por los gobernantes, en sus informes anuales de ejecución, sin mayor detalle.
En este sentido, se hace necesario avanzar en procesos de evaluación de políticas públicas en todos los sectores del país, pero también se requiere que el tema de evaluación en planeación territorial ambiental, sea más evidente, pues por la falta de información se desconoce si se está o no desarrollando.
Es necesario, conocer los resultados de los procesos evaluativos para que, así como menciona Jiménez (2019), se tomen decisiones adecuadas que puedan corregir acciones que garanticen que las políticas sean eficientes y eficaces para la gestión de los territorios.
Por lo tanto, como resultado del proceso de revisión y en conocimiento de la importancia que debe tener un proceso de evaluación de las políticas públicas, en especial las enfocadas al sector de la planeación territorial ambiental, se proponen los siguientes criterios para ser incluidos en la metodología a emplear en un proceso evaluación, ya que según las experiencias consultadas si se incluyen en conjunto, podrían garantizar el éxito.
Tabla 3. Criterios para la elaboración de la metodología de evaluación
Dimensión |
Criterios |
Planeación territorial ambiental |
Conocimiento de los antecedentes de las políticas implementadas / Revisión de la continuidad de programas y políticas aplicadas |
Equidad con los actores que participan en el proceso de evaluación. |
|
Responder las preguntas ¿Qué evaluar? ¿Para qué evaluar? |
|
Tener claro quiénes son las personas que emiten la valoración y sus intereses. |
|
Reconocer la multidimensionalidad de los fenómenos analizados |
|
Revisión de los estímulos, castigos o recompensas empleados en las políticas implementadas. |
|
Fortalecer la articulación con diferentes entidades en el proceso evaluativo / Fortalecer la articulación con programas y proyectos en el proceso evaluativo |
|
Planeación territorial ambiental |
Educar en cómo evaluar las políticas públicas / Fortalecer la capacitación de la evaluación en diferentes disciplinas. |
Capacitar y fortalecer las capacidades de las poblaciones / Incluir a la ciudadanía en el proceso |
|
Articular metodologías cuantitativas y cualitativas en el proceso de evaluación / Considerar varios enfoques y métodos en el proceso evaluativo |
|
Emplear la metodología de evaluación ejecutiva para conocer de manera preliminar el desempeño de las políticas implementadas |
|
Emplear metodologías basadas en la evidencia científica |
|
Enfoque multidisciplinario en la elaboración de la metodología. |
|
Socializar, divulgar y publicar los resultados de la evaluación. |
Fuente: Elaboración Propia.
El presente estudio se desarrolló analizando la información arrojada por las dos bases de datos seleccionadas, obteniendo un resultado de 39 artículos, que daban respuesta al tema de interés. Se conoce que los resultados de los informes de ejecución de las políticas públicas, no se encuentran publicados solamente en estas bases de datos, por lo tanto, se recomienda adelantar estudios que permitan comparar la información que se encuentran en las plataformas de libre acceso y la información contenida en los diferentes informes de ejecución, según sea el sector a investigar.
Esto es un trabajo dispendioso, pero necesario para conocer al detalle cuál es el comportamiento de las políticas públicas que se implementan. En este sentido, se puede concluir que el aporte, que ha hecho la academia frente a los procesos de evaluación de política pública ha estado más enfocado a dar lineamientos metodológicos y procesales que de divulgación de resultados, que, si bien no está mal, se hace necesario conocer en sí qué ha pasado con las políticas que se han implementado, para así conocer que acciones de mejora se deben tomar o si efectivamente, las políticas implementadas son eficientes para los territorios.
Acosta, A. (2015). Políticas universitarias para el siglo XXI en México. Del ajuste institucional a la planeación conservadora. Propuesta Educativa 43 (1), 65.
Blanco-Barón, C. (2013). La Planificación Del Desarrollo: ¿Problema Económico, Político O Jurídico? Opinión Jurídica, 12(24), 169–188.
Calvo, G., Pérez, O. I., & Romero, M. C. (2019). Miradas cruzadas sobre el enfoque territorial de la responsabilidad social, la gobernanza y la sostenibilidad. Opera, 26, 3–14. doi: http://doi.org/10.18601/16578651.n26.02
Camelo, N., Solarte, L., & López, O. (2015). Evaluación y seguimiento de planes de ordenamiento territorial en los municipios de Colombia. Sociedad y Economía, 28, 180.
Castaño, L. S. Á., Isaza, E. J. P., Rueda, J. D. G., Jaramillo, A. R., & Ochoa, C. P. (2015). Métodos de evaluación de programas nutricionales de gran escala en América Latina: Una revisión integrativa. Nutrición Hospitalaria, 31(1), 143–154. doi: http://doi.org/10.3305/nh.2015.31.1.7498
Centeno, J. P. (2019). Textos tipo manual para la enseñanza de las políticas públicas en Colombia: un caso de estudio. Opera, 25, 159–183. doi: http://doi.org/10.18601/16578651.n25.09
CEPAL. (2017). Acerca de Evaluación de políticas y programas públicos | Static Page | Comisión Económica para América Latina y el Caribe. Recuperado de: https://www.cepal.org/es/temas/evaluacion-de-politicas-y-programas/acerca-evaluacion-politicas-programas-publicos
Cifuentes-garz, E. (2020). Concepciones de corrupción en niños y jóvenes de una Institución Educativa Rural de Villagómez, Cundinamarca (Colombia ) Anfora, 27 (48) 93–114. doi: http://doi.org/10.30854/anf.v27.n48.2020.670
Congreso de Colombia. (2000). Ley 617 de 2000. EVA. Recuperado de: https://www.funcionpublica.gov.co/eva/gestornormativo/norma.php?i=3771
Consejo Nacional de Política Económica y Social, Departamento Nacional de Planeación, & Republica de Colombia. (2012). Politica Farmaceutica Nacional Documento Conpes Social 155. Conpes Social. Consejo Nacional de Política Económica y Social. Recuperado de: https://www.minsalud.gov.co/Documentos y Publicaciones/Politica Farmac?utica Nacional.pdf
Cubillos, A. (2011). El proceso de transformación del páramo de guerrero por sistemas de ganadería bovina (1960-2010), con énfasis en políticas públicas. (Tesis de Maestría). Universidad Nacional de Colombia. Recuperado de: https://repositorio.unal.edu.co/handle/unal/55054
Da Cunha, D. M. M., dos Anjos, T. S., Gois, C. F. L., de Mattos, M. C. T., Carvalho, L. V., de Carvalho, J., Silva, F. A., Sobral, D. A. S., Fialho, K. de M. & Rodriguez, E. O. L. (2016). Depressive symptoms in patients with coronary artery disease. Investigacion y Educacion En Enfermeria, 34(2), 323–328. https://doi.org/10.17533/udea.iee.v34n2a12
Díaz, A. G., Aguilar, N., Santoyo, V. H., Muñoz, M. & Altamirano, J. R. (2019). Restricciones para orientar a resultados los programas de desarrollo rural en México. Agricultura Sociedad y Desarrollo, 16(2), 199–2018. https://doi.org/10.22231/asyd.v16i2.1007
DNP. (2014). Guía metodológica para el Seguimiento y la Evaluación a Políticas Públicas. Sinergia. Recuperado de: https://colaboracion.dnp.gov.co/CDT/Sinergia/Documentos/Cartilla Guia para Seguimiento y Evaluación Ago 13.pdf
DNP & ESAP. (2012). Planeación para el desarrollo integral en las entidades territoriales. El plan de desarrollo 2012-2015. Recuperado de: https://colaboracion.dnp.gov.co/CDT/Desarrollo Territorial/Guía Elaboración Planes de Desarrollo 2012-2015.pdf
Feinstein, O., Ligero Lasa, J. A., Rein, M., Schon, D., Giandomenico, M., Weiss, C., Carden, F., Alkin, M., Ballart, X., Vendung, E., Mayne, J. & Picciotto, R. (2016). Módelos teóricos para la práctica de evaluación de programas. En La evaluación de políticas. Fundamentos conceptuales y analíticos. Recuperado de: http://scioteca.caf.com/handle/123456789/1008
García, E. & Cardozo, M. (2017). Evaluación de impacto: más allá de la experimentación. Política y Cultura, 47, 65–91.
González, D. (2018). Uso de la información de seguimiento y evaluación (sye) de políticas públicas para la toma de decisiones. Gestión y Politica Pública, 27(57), 39–77.
González, M. & Gallego, J. (2018). Aproximación cualitativa para abordar la Construcción de ciudadanía y su incidencia en políticas públicas. Los ejemplos de Pereira, en Colombia, y de la Ciudad. Espacio Abierto Cuaderno Venezolano de Sociología, 27(2), 47–70.
Goodwin, C. (1995). Co-Constructing Meaning in Conversations With an Aphasie Man. Research on Language and Social Interaction, 28(3), 233–260. doi: http://doi.org/10.1207/s15327973rlsi2803_4
Grant, M. J. & Booth, A. (2009). A typology of reviews: An analysis of 14 review types and associated methodologies. Health Information and Libraries Journal, 26(2), 91–108. doi: http://doi.org/10.1111/j.1471-1842.2009.00848.x
Gutiérrez-Ossa, J. A. & Manrique-Hernández, R. D. (2015). Estructuración y formulación de la política pública farmacéutica regional y territorial en Colombia. Revista Gerencia y Politicas de Salud, 14(29), 41–59. doi: http://doi.org/10.11144/Javeriana.rgyps14-29.efpp
Guzmán-Barragán, B. L., Gonzalez-Rivillas, M. A. & Guzmán-Barragán, P. A. (2020). Evaluación De La Implementación De La Estrategia Escuela Saludable En Zona Rural De Ibagué: Estudio De Casos. Hacia La Promoción de La Salud, 25(1), 76–89. doi: http://doi.org/10.17151/hpsal.2020.25.1.6
Higgins, J., & Green, S. (2011). Cochrane Handbook for Systematic Reviews of Interventions. Cochrane Handbook for Systematic Reviews of Interventions, Version 5. Recuperado de: https://es.cochrane.org/sites/es.cochrane.org/files/public/uploads/Manual_Cochrane_510_reduit.pdf
Jiménez, W. G. & González, J. I. (2014). Calidad de vida urbana: Una propuesta para su evaluación. Revista de Estudios Sociales, 49,159–175. doi: http://doi.org/org/10.7440/res49.2014.12
Jiménez, J. C. (2019). ¿Qué es la Evaluación de Políticas Públicas? IEXE. Recuperado de: https://www.iexe.edu.mx/pagblog/que-es-la-evaluacion-de-politicas-publicas.html
Leca, J. (1993). El papel del conocimiento en la modernización del Estado y el estado de la evaluación. Revue Francaise DÁdministration Publique, 66. Lavoursier.
Ley 152. (1994). Ley Orgánica del Plan de Desarrollo. Recuperado de: http://www.alcaldiabogota.gov.co/sisjur/normas/Norma1.jsp?i=327
Ley 1549. (5 de julio 2012). Ley 1549 de 2012 - Institucionalización de la Política Nacional de Educación Ambiental. Diario Oficial No 48.482 p.4. Recuperado de: http://wsp.presidencia.gov.co/Normativa/Leyes/Documents/ley154905072012.pdf
Ley 388. (18 de julio 1997). Congreso de Colombia. Diario Oficial No. 43.091, 1997 1–99. Recuperado de: http://www.alcaldiabogota.gov.co/sisjur/m/m_norma.jsp?i=339
López-López, M. V., Del Pilar-Durango, M. & Arango-Tamayo, G. A. (2017). Sinergias y continuidades en las políticas públicas relacionadas con enfermedades cardio-cerebro-vasculares. Medellín, Colombia, 2000-2013. Revista Gerencia y Politicas de Salud, 16(32), 138–149. doi: http://doi.org/10.11144/Javeriana.rgps16-32.scpp
Lora, L. E. & Chávez, R. R. (2008). Elementos clave para la evaluación del desempeño de los docentes. Revista Electronica de Investigacion Educativa, 10(SUPPL.), 1–13.
Luiz, C., Silva, D. & Rauli, F. D. C. (2009). Avaliação De Políticas Públicas Para O Desenvolvimento Sustentável : Um Estudo De Caso Dos Programas De Educação De Curitiba De 1998 a 2005. Semestre Económico, 12, (23), 77-96.
Majone, G. (1997). Evidencia , argumentación y persuasión en la formulación de políticas. Fondo de Cultura Económica.
Morris, R. (2007). Al borde del multiculturalismo: evaluación de la política lingüística del Estado mexicano en torno a las comunidades indígenas. CONfines de Relaciones Internacionales y Ciencia Política, 5, 4.
Ordóñez-Matamoros, G., Centeno, J. P., Santander Ramírez, D., Llanos Congote, O., Sierra Daza, M. C. & Remolina Pulido, J. P. (2018). La evaluación ejecutiva y la toma de decisiones de política pública: el caso de la E2+SGR en Colombia. Opera, 22, 53–79. doi: http://doi.org/10.18601/16578651.n22.04
Otalvaro C, G. J., Milena, S., Salazar, Z., Delgado, G. J., Hern, J., & Pulido, T. (2018). Políticas de Salud Bucal en Colombia en el marco del sistema general de seguridad social en salud . Observatorio Iberoamericano de Políticas Públicas En Salud Bucal. Construyendo Un Bloque Por Más Salud Bucal. Recuperado de: http://udea.edu.co/wps/wcm/connect/udea/6ec032af-6b35-409a-96a7-e68483ab477c/PPSB+en+Colombia-una+revision+panoramica+-+ebook+2a+edición+2018.pdf?MOD=AJPERES&CVID=mgjY0rC&CVID=mgjY0rC
Pérez-Flórez, M., Ruiz-Buitrago, I. C. & Achcar, J. A. (2019). Tendencias de la mortalidad en los departamentos de la región del Pacífico de Colombia (2002-2014). Revista Facultad Nacional de Salud Pública, 38(1), 1–17. Recuperado de: http://www.scielo.org.co/scielo.php?script=sci_arttext&pid=S0120-386X2020000100103&lng=es&tlng=es
Pimienta, J. L. R., Acosta, L. V. R. & Nuñes, H. N. (2017). Política pública en los procesos de internacionalización para programas de derecho en Colombia. Revista Lasallista de Investigacion, 14(1), 66–71. https://doi.org/10.22507/rli.v14n1a5
Rivera-Aranzazu, J. (2014). Evaluación de los programas de Educación Ambiental no formal en Instituciones Educativas Rurales de Santa Rosa de Cabal y Santuario. Scientia et Technica, 19(1), 111–120. doi: http://doi.org/10.22517/23447214.8641
Rosário, P., Pereira, A., Högemann, J., Nunes, A. R., Figueiredo, M., Núñez, J. C., Fuentes, S. & Gaeta, M. L. (2014). Autorregulación del aprendizaje: Una revisión sistemática en revistas de la base SciELO. Universitas Psychologica, 13(2), 781–798. doi: http://doi.org/10.11144/Javeriana.UPSY13-2.aars
Roth, A.N. (2009a). La evaluación de políticas públicas en Colombia: Una mirada crítica a partir de las prácticas evaluativas oficiales de los programas de la Red de Apoyo Social. Reforma y Democracia, 45(45), 7–9.
Roth, A.N. (2009b). Política públicas: Formulación, Implementación y evaluación. Bogotá: Aurora. Recuperado de: http://www2.uca.edu.sv/mcp/media/archivo/f5abaa_evaluacionpoliticaspublicasroth.pdf
Rozo-Gutiérrez, N. & Vargas-Trujillo, Z. (2017). Análisis de Política Pública de Infancia y Adolescencia , 2011-2021 , en Bogotá , D . C . Colombia. Desafíos, 30(2), 279–314. doi: http://doi.org/10.12804/revistas.urosario.edu.co/desafios/a.5325
Rueda, M. (2004). La evaluación de la relación educativa en la universidad. REDIE: Revista Electrónica de Investigación Educativa, 6(2), 6.
Sobotová, L. (2017). Reseña del libro: Hábitat en deuda: veinte años de políticas urbanas en América Latina (2016). Opera, 21, 211–214.
Torres-Melo, J. & Santander, J. (2013). Introducción a las políticas públicas: Conceptos y herramientas desde la relación entre estado y ciudadanía. IEMP Ediciones. Recuperado de: https://issuu.com/cpcseaags/docs/introduccion_a_las_politicas_public
Torres Moya, O. R. & Prieto Alvarado, F. E. (2018). Evaluación de la estructura del componente regular de los programas departamentales de hábitos y estilos de vida saludable, Colombia, 2014-2015. Gerencia y Políticas de Salud, 17(34), 2014–2015. doi: http://doi.org/10.11144/javeriana.rgps17-34.esrc
Valencia-Tello, D. C. & Karam de Chueiri, V. (2014). Descentralización y re-centralización del poder en Colombia. La búsqueda de equilibrios entre la nación y las entidades territoriales. Díkaion, 23(1), 171–194. doi: http://doi.org/10.5294/dika.2014.23.1.7
Vergara-Varela, R. (2018). Reflexiones en torno a la relevancia temática de la evaluación de políticas públicas. Opinión Jurídica, 17(34), 191–209. doi: http://doi.org/10.22395/ojum.v17n34a9
Villalobos, V., Ortiz-Ramirez, O., Thrasher, J. F., Arillo-Santillán, E., Pérez-Hernández, R., Cedillo, C. & González, W. (2010). Mercadotecnia social y políticas públicas de salud: Campaña para promover espacios libres de humo de tabaco en México. Salud Pública de México, 52(4), 129-137. Recuperado de: https://saludpublica.mx/index.php/spm/article/view/4965
Villegas, E., Díaz, A. Y. & Nieto, L. (2017). Propuesta del modelo espacial para la evaluación y gestión del territorio, para la incorporación de las Unidades de Planificación y Gestión Territorial (UPGT) al pos-conflicto colombiano. Agora U.S.B., 17(2), 472. doi: http://doi.org/10.21500/16578031.3286
Weiss, C. (1998). Evaluation: Methods for Studying Programs and Policies. Prentice Hall. Recuperado de: https//wiki.sugarlabs.org/images/3/3d/Weiss_Analyzing.pdf
1 Este artículo hace parte de la investigación doctoral Análisis del régimen sociotécnico de planeación territorial: una mirada a través del marco de SSE’s. financiada por la Gobernación de Boyacá y el Ministerio de Ciencia, Tecnología e Innovación MINCIENCIAS, a través de la convocatoria de becas condonables 733/2015.
2 MSc. Desarrollo rural. Investigadora Grupo GIGAS. Universidad Nacional Abierta y a Distancia (UNAD) y Pontificia Universidad Javeriana (PUJ), Colombia. Correo electrónico: andrea.garcia@unad.edu.co, garciaa.n@javeriana.edu.co https://orcid.org/0000-0002-4011-0154
Escuela de Ciencias Geográficas
Universidad Nacional, Campus Omar Dengo
Apartado postal: 86-3000. Heredia, Costa Rica
Teléfono: (506) 2562-3283
Correo electrónico revgeo@una.ac.cr