Una propuesta para la evaluación integral de los proyectos de desarrollo local. El caso de estudio TROPISUR

A Proposal for the Comprehensive Evaluation of Local Development Projects. TROPISUR Case Study

Raúl Gerardo Ruíz Domínguez ^I y Francisco Ángel Becerra Lois ^II

II Departamento de Estudios Económicos, Facultad de Ciencias Económicas y Empresariales, Universidad de Cienfuegos Carlos Rafael Rodríguez, Cuba.

El artículo propone un sistema de indicadores para generalizar el análisis, la evaluación y el impacto de los proyectos de desarrollo local. El modelo es aplicable tanto a proyectos de la Iniciativa Municipal de Desarrollo Local (IMDL) como a los que reciben el financiamiento por la vía de la colaboración extranjera. Además permite evaluar la eficacia, la eficiencia, la pertinencia, el impacto -económico, social y ambiental- y la sostenibilidad. Como caso de estudio se muestran los resultados del proyecto TROPISUR, en el municipio Cienfuegos. Además de la evaluación, fue posible "compartir el conocimiento" acerca de los resultados de esta iniciativa con algunos decisores y actores del desarrollo local en la provincia, los que consideraron su pertinente aplicación para la totalidad de los proyectos del territorio.

PALABRAS CLAVE: análisis de proyectos, eficiencia, evaluación de proyectos, sostenibilidad.

The article suggests an indicators system to generalize the analysis, the evaluation, and the impact of projects on local development. The model is applicable to the local development municipal innitiative, as well as to those receiving funding through foreing cooperation. Besides, it makes possible to assess the efficacy, the efficiency, the pertinence, the economic, social and environmental impact, and the sustainability. TROPISUR project's results, in Cienfuegos municipality, are presented as a study case. Aside from the assessment, it was possible to "share knowledge" with some local development decision makers and actors in terms of this innitiative's results, who consider its application for all of the territory's projects.

KEYWORDS: project's analysis, eficiency, project's evaluation, sustainability.

Introducción

Esta investigación se realiza en un contexto de inaplazable necesidad para el país de crear herramientas que contribuyan, en primera instancia, al éxito de los proyectos orientados al desarrollo socioeconómico local, para lograr la aspiración de avanzar hacia una sociedad socialista, próspera y sostenible; sin ignorar, por supuesto, que este deseo se expresa en un escenario donde predomina la escasez de recursos materiales y financieros, lo cual obliga al mejoramiento continuo de la gestión cada vez más precisa y efectiva de los decisores y actores del desarrollo local en los territorios. Se parte, por lo tanto, de un axioma referido por varios autores consistente en que "no se puede mejorar lo que no se puede medir", y de ahí, surge la propuesta de un sistema de indicadores que permita evaluar, integralmente, estos proyectos de desarrollo y que incluya, además, su impacto económico, social y ambiental.

Criterios para evaluar los resultados y el impacto de los proyectos
de desarrollo socio económico local

Todo proyecto se realiza con algún objetivo y la evaluación de su impacto permite determinar en qué grado se ha logrado el objetivo o el cambio deseado. Generalmente, se busca una transformación en las condiciones de vida de la población, en términos de ingresos, acceso a servicios o ejercicio de sus derechos políticos. Este tipo de evaluación busca determinar la medida del éxito en la ejecución de un proyecto (Medianero, 2008), al valorar sus resultados, con el fin de determinar si su diseño y su gerencia fueron adecuados. Varios autores coinciden en que, para hacerlo, se debe realizar un énfasis particular en cinco aspectos relevantes: la eficacia, la pertinencia, la eficiencia, el impacto y la sostenibilidad (González, 2000; Medianero, 2008; JICA, 2012; Zapata, 2012). Estos elementos constituyen las dimensiones en las que se agrupan los indicadores propuestos y se definen a continuación:

1. La eficacia depende del grado en el cual se logren las metas físicas y financieras de un proyecto. En general, no es más que la verificación de la medida en que se consiguieron o se esperan conseguir sus objetivos, y se encuentra asociada al propósito y los fines directos.
2. La pertinencia es la medida en que los objetivos de un proyecto son coherentes con las necesidades de sus beneficiarios, con los contextos regionales y locales, y con las políticas del país. Se trata del grado en el que un objetivo del proyecto es consistente con las prioridades de desarrollo de la población. Tal y como se concibe en esta investigación, se refiere a la evaluación de la consistencia en el cumplimiento de los propósitos del proyecto, al verificar que estos estén a tono con las necesidades de la comunidad.
3. La eficiencia debe partir del análisis de los resultados en relación con el costo, es decir, es el estudio de la transformación de los insumos en productos mediante la realización de determinadas actividades y se asocia con los componentes del proyecto. En el modelo proyectado se propone una combinación de indicadores de eficacia que expresan la relación entre la ejecución del presupuesto, el cumplimiento temporal acorde al cronograma del proyecto y el avance de los trabajos previstos en este último.
4. El impacto se refiere a los cambios a largo plazo -estos pueden ser positivos y negativos, primarios y secundarios, deseados y previstos, así como los no deseados ni previstos- producidos directa o indirectamente en un proyecto, y se asocia con sus fines. Es conveniente evaluar el impacto en lo económico, en lo social y en lo ambiental.
5. La sostenibilidad es la apreciación de la capacidad para mantener los impactos positivos del proyecto por un largo periodo de tiempo, se refiere a la continuidad de la generación de los beneficios. Uno de sus atributos principales es la autonomía, que no es más que la capacidad de mantener los beneficios en el tiempo aun cuando haya cesado el financiamiento externo. Se asocia con el mantenimiento de la capacidad de provisión de los bienes o servicios y el uso de estos por parte de los beneficiarios (Medianero, 2008; Zapata, 2012).

¿Para qué evaluar los resultados y el impacto de los proyectos ]]> de desarrollo socio-económico local?

La evaluación desde el punto de vista semántico significa estimar, apreciar, calcular el valor de una cosa. Como mecanismo institucional es el proceso integral y continuo de investigación y análisis de los cambios, más o menos permanentes, que se materializan en el mediano y el largo plazos, como consecuencia directa o indirecta del quehacer institucional o de un proyecto de desarrollo socio-económico, en un contexto, una población y con el apoyo de las organizaciones participantes. Según Rodríguez et al. (1999):

La evaluación es de carácter integral y transformador, nos refiere a cómo mujeres y hombres de las comunidades en que trabajamos han modificado sus actitudes y comportamientos [...] compara los avances del proceso con los objetivos, identifica los aspectos que han dificultado o favorecido el desempeño y avance, con el propósito de generar aprendizajes [...] facilita el análisis crítico de los efectos e impactos del plan, programa o proyecto, con el propósito de determinar la pertinencia de los métodos utilizados, la validez de los objetivos, la eficiencia en el uso de los recursos y el impacto en relación con los grupos participantes (pp. 10-11).

En un intento por resumir la anterior idea cabe destacar que una evaluación de impacto sirve tanto a los objetivos de la evaluación en sí, como a la rendición de cuentas a la comunidad. Una evaluación de este tipo puede responder numerosas preguntas acerca de si el proyecto en general marcha o no, qué funciona y que no lo hace, cómo pudiera mejorar; y todo ello constituye una información pertinente para el rediseño del proyecto actual y el de futuros proyectos, e incluso puede tributar a la transparencia de la gestión, un aspecto clave para alcanzar el éxito.

Propuesta de sistema de indicadores generales para evaluar el impacto
de los proyectos de desarrollo socio-económico local

Es importante destacar que la propuesta parte, ante todo, de concebir indicadores sencillos de obtener para una persona con un nivel de calificación promedio en cuestiones de evaluación de proyectos. Estos se pueden generalizar para cualquier tipo de proyecto de desarrollo local, puesto que se ha considerado, principalmente, la disponibilidad de los datos para su cálculo y que, a la vez, permitan evaluar el desempeño en las cinco dimensiones esenciales que se han considerado en el enfoque particular de esta propuesta: eficacia, pertinencia, eficiencia, impacto y sostenibilidad. Por esta razón, en ella no se han estimado los criterios tradicionalmente utilizados para evaluar un proyecto, tales como el valor actual neto, la tasa interna de rendimiento y el periodo de recuperación, entre otros. Estos últimos, si bien son criterios importantes a tener en cuenta en la formulación de una iniciativa de este tipo, carecen de relevancia u objetividad en algunas circunstancias. Por ejemplo, en el caso de proyectos de colaboración que poseen un enfoque puramente sociocultural y que se conciben a fondos perdidos. Este tipo de proyectos se encuentran en una cantidad considerable en la provincia de Cienfuegos, por lo que forzar la aplicación de los criterios antes mencionados sería contraproducente con el propósito de que la propuesta permita homogenizar o generalizar la evaluación de la población ante cualquier tipo de proyecto orientado al desarrollo local.

Los indicadores se han agrupado según los intereses de la investigación, con la intención de separar la eficacia, durante la ejecución del proyecto, de la eficiencia, que se logra con su puesta en funcionamiento. Esta última se ha medido a partir de los indicadores de impacto, que devienen de ambas, pero solo se estiman los resultados de la etapa de funcionamiento del proyecto. Con esto se establece una subdivisión de indicadores, según su impacto, ya sea económico, social o ambiental. Del mismo modo, el indicador de pertinencia se trata por separado, a pesar de ser un indicador de eficacia, referido al logro de los objetivos del proyecto. En todos los casos, los indicadores se traducen a valores cuantitativos, con excepción de la sostenibilidad, que está determinada por una valoración cualitativa a partir de los restantes resultados obtenidos. A continuación se muestra el sistema de indicadores propuesto.

La eficacia de un proyecto se mide a partir de los siguientes indicadores:

1. La ejecución del presupuesto (ICPre), que muestra el grado de cumplimiento del presupuesto según el proyecto.
2. El completamiento del proyecto (ICProy), que establece el grado de finalización de los trabajos previstos en el cronograma del proyecto.
3. El cumplimiento temporal (ICT), que determina el grado de terminación, en el tiempo previsto para su ejecución, de los objetivos trazados en el cronograma de trabajo.

Indicador de pertinencia

La pertinencia de un proyecto solo se mide a partir de un indicador, el cumplimiento del propósito del proyecto (ICPP). Este muestra el grado de consecución de las metas (objetivos) del proyecto. Es un indicador de gran importancia para poder determinar la eficacia en el cumplimiento de las metas y puede facilitarse si el proyecto dispone de una matriz de marco lógico. También es un indicador de eficacia.

Indicadores de eficiencia

Por su parte, la eficiencia se mide a partir de los siguientes indicadores:

1. El avance del proyecto respecto al cumplimiento temporal (APCT). Este indicador muestra en qué medida se corresponde el grado de completamiento de los trabajos previstos en el cronograma del proyecto (ICProy) con el grado de cumplimiento temporal según el cronograma (ICT).
2. El avance del proyecto respecto a la ejecución del presupuesto (APEP). A partir de este indicador puede determinarse en qué medida se corresponde el grado de completamiento de los trabajos previstos en el cronograma del proyecto (ICProy) con el grado de cumplimiento del presupuesto según proyecto (ICPre). Es decir, expresa la correspondencia entre el avance real del proyecto y los desembolsos realizados.

Indicadores de impacto

Como se ha venido explicando, el impacto se ha divido en tres aproximaciones fundamentales, el económico, el social y el ambiental. A continuación se desglosan.

Indicadores de impacto económico

1. El aporte por trabajador (IAT). Muestra la relación de las utilidades promedio mensuales (beneficios) que se obtienen con la aplicación del proyecto con los trabajadores vinculados a este. Se debe comparar con la situación antes de la realización del proyecto, o de lo contrario, con los valores alcanzados en otros proyectos similares, y hacerlo, tras considerar las utilidades del aprovechamiento de las capacidades instaladas con el proyecto, o aplicar el criterio de los expertos; de manera que se pueda determinar una magnitud de medida que permita analizar la dinámica de su comportamiento.
2. El aporte por peso de salario pagado (IASP). Revela la relación de las utilidades promedio mensuales (beneficios) que se obtienen con la aplicación del proyecto con el salario promedio mensual pagado a los trabajadores vinculados a aquel. Para comparar los resultados alcanzados con la aplicación de este indicador se debe proceder de forma similar a como se explica en el caso del IAT.
3. El aporte por peso de insumos (IAI). Expone la relación de las utilidades promedio mensuales (beneficios) que se obtienen con la aplicación del proyecto con el valor de los insumos (materias primas y materiales). Para comparar los resultados alcanzados con la aplicación de este indicador se debe proceder de forma similar a como se define para el caso del IAT.
4. El costo efectividad (IE). Ofrece la relación de las utilidades promedio mensuales (beneficios) que se obtienen con la aplicación del proyecto respecto con el costo promedio mensual. Se puede considerar también como un indicador de eficiencia.

Indicadores de impacto social

1. La cobertura del proyecto (ICBP). Muestra la relación entre la cantidad de personas beneficiadas directa o indirectamente con la aplicación del proyecto y la población de la localidad cliente potencial (demanda total). La cobertura de los beneficiados con el proyecto permite medir de forma numérica el grado en que las actividades, la producción o los servicios (salidas del proyecto) cubren o satisfacen la demanda total.
2. La cobertura relativa del proyecto (ICRP). Expresa la relación de los beneficiados con el proyecto, después de que este ha finalizado, con
   los que se previeron en el año base (antes de su aplicación).
3. La cobertura de empleo (ICE). Ofrece la relación de la cantidad de personas empleadas, o los nuevos empleos generados, con la aplicación del proyecto en la población de la localidad en edad laboral. Esta cobertura permite medir de forma numérica el grado en que el proyecto ha cubierto la necesidad de empleos de la población. La población de la localidad en edad laboral se ajusta a las características del territorio, por lo que se pudiera considerar en determinadas situaciones la población del consejo popular y tal vez en otros casos la del municipio, en aras de procurar la mayor objetividad posible en el indicador.
4. La cobertura de género respecto al empleo (ICGE). Muestra la relación entre la cantidad de puestos que pueden ser ocupados por mujeres y el total de nuevos puestos que se crean con el proyecto.
5. La cobertura de género respecto a los beneficiados (ICGB). Expone la relación entre la cantidad de mujeres beneficiadas directa o indirectamente con la aplicación del proyecto y el potencial de mujeres a considerar según el criterio de referencia.
]]>

 

Indicador de impacto ambiental

El indicador de impacto ambiental se mide a partir del método basado en índices cualitativos. Estos últimos se utilizan para valorar los impactos ambientales sufridos. Cada factor ambiental se calcula a partir de varios criterios de valoración. Generalmente, el método se aplica luego de la identificación y la evaluación preliminar de los impactos, en general.

El indicador de magnitud del impacto k (IMk) se define matemáticamente como una función lineal de la intensidad, la extensión territorial y la duración del impacto (Zaror, 2000):



Donde:

IMk: índice de la magnitud del impacto sobre el factor ambiental k.
Ik: intensidad del impacto sobre k.
aI: coeficiente de ponderación del criterio intensidad. ]]> Ek: extensión del impacto sobre k.
aE: coeficiente de ponderación del criterio extensión.
Dk: duración del impacto ambiental sobre el factor k.
aD: coeficiente de ponderación del criterio duración.

El impacto ambiental se valora en términos de un índice denominado valor integral de impacto ambiental (VIA), definido como:



Donde:

VIAk: valor integral de impacto para k.
Rk: reversibilidad del impacto sobre k.
aR: ponderación (exponencial) del criterio de reversibilidad. ]]> IMk: índice de magnitud del impacto sobre k.
aIM: ponderación (exponencial) del criterio de importancia.
Pk: probabilidad de ocurrencia del impacto sobre k.
aP: ponderación (exponencial) del criterio de probabilidad.

Los coeficientes de ponderación deben cumplir con las siguientes condiciones:

aI + aE + aD = 1
aR + aIM + aP = 1

Los coeficientes de ponderación a asignar a cada uno de los criterios deben ser especificados por el evaluador. Según lo explicado por Zaror (2000) se proponen, en principio, los siguientes valores, aunque se recomienda aplicar el criterio de los expertos para determinarlos a partir de las características del proyecto y el escenario en el que se desarrolla: aI = 0,40; aE = 0,40; aD = 0,20; aIM = 0,61; aR = 0,22; aP = 0,17.
De acuerdo con el método propuesto, el valor integral de impacto ambiental (VIA) se clasifica según su importancia relativa (tabla 1).



]]> A partir del valor del VIA se determina el criterio umbral para decidir la aplicación y el tipo de medidas de mitigación. En la tabla 2 se ofrece un ejemplo de los criterios de valoración cualitativa de impactos más comunes. Estos consideran el signo, la intensidad, la extensión, la duración, la probabilidad, la reversibilidad y la importancia de los daños ambientales (Zaror, 2000) y han constituido el punto de partida para la evaluación del impacto en los municipios de Aguada y Cienfuegos. Sin embargo, cabe aclarar que los expertos pudieran determinar otros para los diversos territorios del país.



 

Resultados alcanzados y metas propuestas

En la actualidad se aplica el sistema de indicadores propuestos y validados por el criterio de los especialistas en todos los proyectos de desarrollo socio-económico local en fase de ejecución o ya terminados en los municipios de Aguada de Pasajeros y Cienfuegos, con el fin de validar su efectividad. Sus resultados constituyen una útil herramienta para el control y el monitoreo de la gestión de estos proyectos, por parte de los decisores y actores del desarrollo local en el territorio de Cienfuegos.

A continuación se ofrece el resultado de su aplicación en el proyecto IMDL TROPISUR, concebido para reanimar el servicio gastronómico-cultural de la ciudad, con el fin de incrementar los ingresos de la Empresa Provincial Especializada en Gastronomía y Mercaditos. En la tabla 3 se muestran los resultados obtenidos, ya estandarizados, para homogenizar la magnitud de la expresión de todos los indicadores en un intervalo entre 0 y 1, lo que permitió también elaborar un gráfico radial (figura1), para ilustrar claramente cuánto distan los resultados actuales del estado ideal al que se aspira.



 



Una valoración integral y cualitativa coloca, por razones obvias en este caso, en estado de alerta la sostenibilidad del proyecto, lo que sumado a la pertinencia, que tampoco se alcanza, constituyen dos aspectos clave que debe cumplimentar un proyecto para que verdaderamente aporte al desarrollo local. Los valores expresados en códigos estandarizados y el gráfico radial facilitan la comprensión de los resultados en la evaluación de impacto del proyecto, en lo económico, lo social y lo ambiental, y la pertinencia del sistema de indicadores.

]]> Las observaciones y el análisis que se originan en los resultados de las evaluaciones de este tipo, deben orientar a los decisores y actores del desarrollo local en las metas a lograr, lo que repercutirá en una mejora continua de los objetivos del proyecto y tributará incluso en su sostenibilidad, expresada fundamentalmente en un mayor impacto social y económico que garantice una mejor autonomía financiera, para lo cual se necesitan, entre otros aspectos, garantías con los proveedores, calidad del servicio y la máxima ampliación posible del segmento de mercado al cual se oriente el proyecto.

 

Consideraciones finales

El sistema de indicadores propuesto para evaluar el impacto económico, social y ambiental de los proyectos de desarrollo local, hace énfasis en cinco aspectos fundamentales: eficiencia, eficacia, pertinencia, impacto y sostenibilidad y se aplicó al proyecto TROPISUR.

La evaluación de impacto, tal y como se ha propuesto, sirve tanto a los objetivos de evaluación como a la rendición de cuentas a la comunidad, lo cual tributa a la transparencia de la gestión integrada, elemento de vital importancia para alcanzar el éxito de los proyectos, expresado, sobre todo, en su pertinencia y sostenibilidad, por lo que resulta viable y conveniente implementar estos indicadores como herramienta de seguimiento y control de la gestión de estos proyectos en cada territorio.

Las observaciones y el análisis de estos resultados se conformaron en un informe más detallado que fue estudiado con los decisores y los actores relacionados directamente con el proyecto, lo que contribuyó a una mejor comprensión de las acciones y las estrategias a seguir para lograr su pertinencia y sostenibilidad.

 

 

 

]]>

REFERENCIAS BIBLIOGRÁFICAS

 

 

GONZÁLEZ, L. (2000): La evaluación ex-post o de impacto un reto para la gestión de proyectos de cooperación internacional al desarrollo, Facultad de Ciencias Económicas, Bilbao.

]]>

GONZÁLEZ, L. (2005): La evaluación en la gestión de proyectos y programas de desarrollo, Administración de la Comunidad Autónoma del País Vasco, Departamento de vivienda y asuntos sociales.

GONZÁLEZ, R. (2007): La gestión del desarrollo local con un enfoque integrador, Centro de Estudios de Dirección Empresarial y Territorial, Facultad de Ciencias Económicas y Empresariales, Universidad de Camagüey.

JICA (2012): Pautas generales para la evaluación ex-post de proyectos de inversión pública, Agencia de Cooperación Internacional de Japón, Lima.

MARTÍNEZ, R. (2005): Evaluación de programas y proyectos sociales, División de Desarrollo Social, CEPAL.

MEDIANERO, D. (2008): Metodología de evaluación ex-post, II Programa de Inversiones Sociales y de Infraestructura contra la Pobreza, Lima.

]]>

MIDEPLAN (2007): Manual proceso evaluación ex-post simplificada 2007, Ministerio de Planificación, Chile.

NAVARRO, H. (2005): Manual para la evaluación de impacto de proyectos y programas de lucha contra la pobreza, ILPES-CEPAL-Chile.

PINO, J. R. (2013): "El desarrollo: Complejidad del enfoque territorial", Taller Territorial de Desarrollo Local, Cienfuegos.
RODRÍGUEZ, G. et al. (1999): Tomándole el pulso al género. Sistemas de monitoreo y evaluación sensibles a género, Master Litho, San José, Costa Rica.

ZAPATA, N. (2012): Marco conceptual y metodología general de la evaluación ex-post de proyectos de inversión pública, Ministerio de Economía y Finanzas, Lima.

ZAROR, C. A. (2000): Introducción a la ingeniería ambiental para la industria de procesos, Universidad de Concepción, Santiago de Chile.

 

 

 


RECIBIDO: 2/5/2014

ACEPTADO: 20/10/2014

 

 

]]>
Raúl Gerardo Ruíz Domínguez. Departamento de Estudios Económicos, Facultad de Ciencias Económicas y Empresariales, Universidad de Cienfuegos Carlos Rafael Rodríguez, Cuba. Correo electrónico: rruiz@ucf.edu.cu

Francisco Ángel Becerra Lois. Departamento de Estudios Económicos, Facultad de Ciencias Económicas y Empresariales, Universidad de Cienfuegos Carlos Rafael Rodríguez, Cuba. Correo electrónico: fbecerra@ucf.edu.cu

]]> 2000 2005 2007 JICA 2012 2005 2008 MIDEPLAN 2007 2005 2013 1999 2012 2000