ARTÍCULO ORIGINAL

 

¿Cómo evaluar la cultura? Algunas experiencias en evaluación cultural

 

How to Appraise Culture? Some Experiences in Culture Appraisal

 

 

Belén Fiallos Quinteros

Universidad de las Artes (ISA), La Habana, Cuba.

 

 

---

RESUMEN
Partiendo de la definición de indicador cultural se identifican algunas experiencias relevantes en la evaluación de la cultura, con el objetivo de compartir la metodología empleada en diferentes investigaciones aplicadas. La selección de los modelos se ha efectuado a partir de cinco experiencias distintas desarrolladas en varios contextos. La aproximación de la construcción de indicadores en los diferentes casos está estructurada a partir de varios enfoques y abordada con distintos fines evaluativos.

PALABRAS CLAVE: indicador cultural, metodologías, requisitos de los indicadores, dimensiones de los indicadores culturales.

---

ABSTRACT
Starting from the definition of cultural indicator, some relevant experiences in culture appraisal are presented, with the aim of sharing the methodology used in different applied pieces of research. The selection of models was made, based on five distinct experiences gained in several contexts. Various approaches to the construction of indicators were taken in the different cases, with there being different appraisal-related goals.

KEYWORDS: Cultural Indicator, Methodologies, Requirements for Indicators, Dimensions of Cultural Indicators.

---

 

 

Introducción

Los indicadores culturales constituyen importantes herramientas metodológicas para el sector de la cultura, debido a que proporcionan información valiosa a tener en cuenta durante el diseño de políticas culturales, seguimiento y evaluación de las intervenciones de ese ámbito.
El sector cultural sufre de una carencia de herramientas metodológicas para la evaluación de los resultados y el impacto de las políticas culturales; sin embargo, con el reconocimiento del papel de la cultura como factor para el desarrollo se ha comenzado a impulsar varias acciones para conocer el aporte y el impacto de las políticas, planes o programas de este sector.
El artículo ofrece una aproximación conceptual de los indicadores culturales. Asimismo, se presentan algunas experiencias sobre diferentes modelos de evaluación, las que evidencian el aporte de la cultura para el desarrollo y constituyen una guía para la evaluación de la política cultural.

¿Qué es un indicador cultural?

Cuando se habla de indicadores se entienden como una: "manifestación generalmente numérica del análisis de un proceso de identificación y medición de una información (Agencia Española de Cooperación Internacional para el Desarrollo -AECID-, 2009, p. 45); el caso específico de los indicadores culturales funcionan como "nexo, bisagra o vínculo entre la producción de datos sobre los fenómenos culturales y el análisis y la evaluación de dichos fenómenos" (Castellanos, 2005, p. 10); para ofrecer "una información sintética que oriente sobre dónde se está respecto a cierta política y que ayude a los responsables políticos en la toma de decisiones" (López y Poblete, 2004, p. 4).

Los indicadores culturales permiten orientar, reflexionar y mejorar en la toma de decisiones en asuntos culturales. Para la generación de indicadores culturales es recomendable las aproximaciones cuanti-cualitativas. Los indicadores cuantitativos aportan mayor objetividad, por su método de obtención de datos es más fácil de calcular, los resultados son exactos. Los cualitativos son subjetivos, pero precisamente esa subjetividad es la que le proporciona mayor riqueza interpretativa a la investigación. Ergo, este doble enfoque brinda la posibilidad de reforzar la información de los datos cuantitativos con los obtenidos a través del enfoque cualitativo.
El indicador es un instrumento conceptual y metodológico que ofrece información rigurosa y pertinente para la toma de decisiones en el sector cultural. A diferencia de las estadísticas, que son datos con propósitos múltiples, el indicador es el resultado de una información procesada con un fin determinado, sin embargo:

La calidad de los indicadores depende de la calidad, e incluso de la existencia y disponibilidad, de la información de base. Es por ello que las estadísticas culturales constituyen uno de los principales insumos de cualquier esfuerzo en materia de indicadores culturales, sobre todo si se busca crear sistemas nacionales de indicadores que sean sustentables, (es decir, que trasciendan esfuerzos de una sola vez) y que permitan hacer comparaciones internacionales (Castellanos, 2005, p. 11).

En este sentido es importante reforzar los sistemas de información, ya que, en buena medida, la escasez de estudios e investigaciones del sector cultural se debe a la falta de datos y estadísticas.

Para transmitir de una forma la correcta la información, los indicadores tienen que cumplir una serie de requisitos:

• ser fiables
• claros y precisos
• permitir la comparación en el tiempo y el espacio
• ser eficientes para la política
• ser pertinentes
• deben identificar las causas del desarrollo

Los indicadores culturales en específico, poseen, según Carrasco (1999) características particulares:

deben ser capaces de ofrecer las características globales del desarrollo cultural de la sociedad en su conjunto e identificar sus disparidades; deben ayudar en la clasificación de los sectores culturales y deben indicar rasgos comparables; deben identificar las causas del desarrollo cultural, así será más fácil decidir que variables influyen en el desarrollo para lograr los objetivos propuestos; nos servirán para medir tensiones que puedan levantarse como resultado de las decisiones tomadas y para mejorar las consecuencias en que pueda derivar la cultura por los cambios sociales, económicos y tecnológicos (p. 7).

Así, los objetivos de un indicador son: generar información para la toma de decisiones; monitorear el cumplimiento y efectuar la evaluación y seguimiento de políticas, planes y programas.

Es importante que al momento de construir indicadores culturales se generen en un proceso riguroso de consulta e investigación. Se recomienda la participación de actores estatales, diferentes representantes del sector cultural y de la sociedad civil. La incorporación de diferentes agentes en la participación del diseño de indicadores, además de fomentar el diálogo cultural interinstitucional, brinda diferentes puntos de vista y enfoques interpretativos del sector, es decir, a través de este ejercicio de participación se puede obtener una visión más abarcadora de la realidad cultural.
Existen varios tipos de indicadores culturales que son utilizados de acuerdo a la finalidad de la evaluación:

" Indicadores de contexto: contienen a los indicadores socioeconómicos y a los indicadores sectoriales, permiten recoger la información relativa a la planeación cultural, del sector y las organizaciones.

• Indicadores de resultado: comprenden a los indicadores de producto, de efecto y a los de impacto. Cuantifican la información a corto, mediano o largo plazo.
• Indicadores de gestión: engloban a los indicadores de procesos y recursos, realizan la recogida de información y el seguimiento del proyecto.
• Indicadores de evaluación: emiten un juicio sobre los logros alcanzados.
• Indicadores de recursos, costos y tiempos: se encargan de identificar y valorar los recursos utilizados, los costos y el tiempo necesario para el desarrollo del proyecto.

Para la construcción de indicadores, en primer lugar, se debe definir el problema, es decir; definir qué es lo que se va a medir. El segundo paso estará centrado en plantear las interrogantes sobre el problema, o sea, determinar qué aspecto específico del objeto va a ser medido. En un tercer momento se definen los indicadores y las variables, aquellos serán el resultado medible de esas variables. Por último, se deberán identificar los medios de verificación por los que se realizará la comprobación empírica.

La construcción de indicadores es una tarea compleja, más aún en el campo cultural, Salvador Carrasco (1999) explica uno de los motivos:

aún no existe un modelo teórico en el que apoyar el desarrollo de un sistema de indicadores y no es posible expresar formalmente las relaciones entre las diferentes variables de interés cultural, el primer paso hacia la profundización en dicho modelo consiste en avanzar en el conocimiento de estas relaciones, aportando nuevos aspectos u orientaciones y detectando la validez e incluso la existencia de fuentes estadísticas a utilizar (p. 4).

Lluís Bonet (2005) recomienda para la construcción de indicadores culturales preservar la pluralidad de las fuentes, proponer sistemas mixtos de verificación de las fuentes, desarrollar aproximaciones horizontales en la construcción de datos e indicadores, disponer de recursos estadísticos y analíticos que ayuden a interpretar un realidad plural, ya que ningún análisis permite por sí solo una evaluación exacta de la realidad y de los impactos de las políticas culturales en un territorio. Los indicadores se tienen que construir de acuerdo a las necesidades concretas de evaluación. La misma se puede desarrollar a través de varios modelos metodológicos, para el análisis es necesario tener claros los propósitos, la información necesaria y las variables más representativas.

Según el informe realizado por la AECID (2009), los modelos de evaluación más utilizados son tres:

• Marco lógico: permite evaluar el proceso de desempeño en todas sus etapas;
• modelo de Presión-Estado-Respuesta: tiene que ver con la sostenibilidad medioambiental y el desarrollo;
• modelo que viene de áreas relacionadas la educación, conformado por cuatro tipos de análisis referidos a:
  ? contexto: identificación de problemas, oportunidades y necesidades;
  ? insumos: determina la cantidad y uso de recursos para lograr los objetivos planteados;
  ? procesos: es la comprobación de la realización de una línea estratégica para la obtención de una meta;
  ? productos: mide el logro de los objetivos programados.

Evaluar y realizar el seguimiento de las políticas públicas, planes y proyectos en materia cultural es una tarea fundamental, la evaluación permite la medición y ofrece resultados concretos de las acciones culturales, a través de esa información se pueden corregir errores y establecer medidas de mejora.

Los indicadores culturales constituyen un instrumento valioso para la medición de la cultura debido a su capacidad para orientar la política pública y sus posibilidades para contribuir a la evaluación en materia cultural.

A continuación, se exponen cinco experiencias en evaluación cultural de distintas procedencias y con distintos fines evaluativos. Esta selección está realizada con el objetivo de ofrecer una visión orientativa de distintas prácticas existentes en lo que tiene que ver con la construcción de indicadores culturales.

Indicadores culturales UNESCO

Tomando en cuenta la ausencia de herramientas para la medición de la cultura y las carencias que provoca en el sector cultural, la UNESCO, con el auspicio de la AECID, presentó la Batería de Indicadores en Cultura para el Desarrollo (BICD).

La BICD es una propuesta de investigación aplicada que está construida sobre un marco conceptual basado en el Informe de la Comisión Mundial de Cultura y Desarrollo, constituye una herramienta normativa y de promoción desarrollada en el marco de la Convención sobre la Protección y Promoción de la Diversidad de las Expresiones Culturales, celebrada en 2005.

El objetivo de la BICD es orientar la toma de decisiones y la asignación de recursos para el desarrollo del sector cultural, así como afianzar el papel de la cultura en las estrategias estatales a través de indicadores que explican de qué manera la cultura aporta al desarrollo. La batería busca ofrecer una herramienta metodológica que ayude a determinar por un lado, el impacto que tiene la cultura en los procesos de desarrollo y por otro, proporcionar información relevante para la formulación de políticas cuturales.

La herramienta se construyó a partir de datos existentes y permitió medir, a partir de informaciones cuantitativas e interpretaciones cualitativas, el alcance de la cultura para el desarrollo. La misma está conformada por veintidós indicadores y siete dimensiones: economía, participación y cohesión social, educación, patrimonio cultural, comunicación, institucionalidad, igualdad de género.

En el 2009 la UNESCO publicó el Manual metodológico de indicadores e impulsó en dos fases experimentales para la aplicación de la BICD en países de diferentes partes del mundo, comprobando de esta manera, la pertinencia y factibilidad del sistema en diferentes contextos.
La metodología para la construcción de indicadores fue aplicada en once países, los resultados se pueden encontrar en las publicaciones de los resúmenes analíticos por países.
LA BICD busca, a través de la cadena de ADN, mostrar las relaciones entre cultura y desarrollo, si bien se ha aplicado a todos los países la misma estructura y componentes los patrones del ADN son únicos en cada país.

Es importante mencionar que la metodología está basada en un enfoque participativo y es fruto de la colaboración de expertos y organismos internacionales, ministerios, actores civiles, el sector académico, entre otros. Todos contribuyeron de una manera valiosa para estructurar esta batería, que proporciona una base sólida para el análisis y la comparación.

Algunos de los resultados obtenidos en países donde se aplicó la batería son los siguientes: en Ecuador, la medición del sector cultural fue el 4,76 % del PIB total, la participación de las actividades culturales resultó ser un 8,4 %, esto indicó que se debe poner atención para mejorar el consumo de bienes y servicios culturales (UNESCO, s. f., b). En Colombia, el resultado de los indicadores del marco normativo y político, institucionalidad de la cultura y patrimonio fue: 0,96/1; 0,95/1; 0,86/1, respectivamente, indicando que existen las bases para desarrollar una buena gobernabilidad. De la misma manera, se comprobó la existencia de una distribución desigual de las infraestructuras culturales, 0,48/1, por lo que se sugirió promover un acceso más equitativo a las actividades e instalaciones culturales (UNESCO, s. f., a).

Evaluación de las políticas culturales locales

En el año 2009 se publicó en España la Guía para la evaluación de las políticas culturales locales. Sistema de indicadores para la evaluación de las políticas culturales locales en el marco de la Agenda 21 de la cultura, realizada por la Federación Española de Municipios y Provincias (FEMP) en colaboración con el Ministerio de Cultura español.

El proyecto nació por la necesidad de orientación de las políticas culturales y la implantación de sistemas de información cultural para la toma de decisiones al respecto. La guía constituye una herramienta de autoevaluación y para mejorar los sistemas de información cultural del desarrollo de las políticas culturales locales en la Península. La propuesta tuvo como objetivos orientar las políticas culturales locales, invitar a reflexionar sobre los sistemas de evaluaciones locales y mejorar este sistema en base a comparaciones en el tiempo y las distintas realidades.
El sistema de indicadores se formuló a partir de una doble aproximación, la cualitativa y la cuantitativa:

La elección del doble enfoque no es casual, ni se trata meramente de un intento de suplir de forma cualitativa una más que probable ausencia de datos cuantitativos. En línea con los objetivos generales enunciados, se considera que en ocasiones es tanto o más interesante contar con los datos implícitos en el indicador como hacer reflexionar, mediante un ejercicio autoevaluativo, a los gestores culturales locales (FEMP, 2009, p. 33).

La primera aproximación fue dirigida a responsables de cultura con el objetivo de obtener con las respuestas evidencias documentales y la segunda consistió en elaborar los indicadores a partir de estadísticas, archivos administrativos, estudios demoscópicos, etc.
La metodología propuesta para la elaboración de este sistema de indicadores se realizó a partir de cuatro fases.

1. definición de un lenguaje común sobre los indicadores y los objetivos del proyecto,
2. desarrollo del marco conceptual de la investigación,
3. generación de indicadores,
4. clasificación consensuada de los indicadores y la revisión del Sistema...

El marco teórico para la elaboración de los indicadores se realizó asumiendo la cultura como factor de desarrollo. En este sentido, el sistema de indicadores muestra resultados sobre la situación y evolución de las contribuciones de aquella en contextos locales.
Para la elaboración del Sistema de indicadores... se tuvieron en cuenta las recomendaciones de la Agenda 21 de la cultura. La selección se basó en los siguientes parámetros:

a. cultura y desarrollo: social, económico y urbano,
b. transversalidad de las políticas culturales,
c. cultura y participación ciudadana,
d. accesibilidad a la oferta cultural,
e. papel de las iniciativas relacionadas con la memoria y la innovación en la construcción de la identidad local.

Como resultado de la investigación se creó un sistema de indicadores basados en tales principios, los que son tenidos en cuenta para la orientación de políticas culturales locales.

Indicadores de cultura para el desarrollo

También en el 2009 la AECID, publicó el manual: Cómo evaluar proyectos de cultura para el desarrollo: una aproximación metodológica a la construcción de indicadores. Un texto que permite evaluar la implementación de la estrategia de la cooperación cultural española a través de una serie de indicadores básicos para obtener información y medir sus intervenciones en materia cultural en el marco de las estrategias de cultura y desarrollo.

El objetivo de la publicación consistía, demás, en detectar los indicadores y variables que representaban y medían los componentes que intervenían en las estrategias de desarrollo cultural de la cooperación española, así como la evaluación de la eficiencia y eficacia de las metas propuestas.

La metodología se orientó al análisis del contexto, insumo, proceso y producto, debido a que este método genera información viable para la toma de decisiones en el marco de los objetivos.
El sistema de indicadores fue extraído de una matriz con cruces que dio origen a los indicadores básicos de recurso, proceso y resultado. La matriz que permitió la medición fue estructurada por variables creadas a partir de cada una de las siete líneas estratégicas del Documento de estrategia de cultura y desarrollo de la AECID, el marco de referencia, estructurado por el objetivo principal y específico de la línea y los objetivos operacionales que miden cada una de sus actuaciones. Todas las matrices tienen una sección de observaciones con aclaraciones realizadas por los expertos acerca de las distintas variables con el fin de evitar cualquier tipo de confusión.

El resultado de esta investigación fue la propuesta de una serie de matrices para la obtención de variables y de indicadores básicos con sus objetivos y fuentes de verificación de cada una de las líneas prioritarias del Documento de estrategia de cultura y desarrollo.

Indicadores culturales en Colombia

En el año 2013, el Ministerio de la República de Colombia presentó el informe Diagnóstico Cultural de Colombia. Hacia la construcción del índice de desarrollo cultural, un instrumento que cualifica la información del sector cultural colombiano.

La construcción del diagnóstico se realizó bajo la visión de la inevitable interrelación de cultura y desarrollo, en base a dos perspectivas: el enfoque de derechos y el enfoque de libertades.
Uno de los objetivos consistió en construir un sistema de indicadores que permitiera el análisis, planificación, seguimiento y evaluación del desarrollo cultural colombiano.

Para la construcción de los indicadores se eligieron seis dimensiones: diversidad cultural, acceso cultural, dimensión económica, prácticas artísticas, gobernanza cultural y capital social

Las técnicas para la recolección de datos fueron tanto cuantitativas como cualitativas. La indagación cuantitativa se realizó con fuentes primarias, a través de la encuesta aplicada a responsables culturales municipales, y con fuentes secundarias, estadísticas y títulos relacionados con la cultura. Esta información fue completada con el análisis de expertos internacionales de la cultura y los consejos nacionales del Sistema Nacional de Cultura. Además se realizaron entrevistas en profundidad a ex Ministros de Cultura y grupos focales como empresarios y profesionales del sector.

Los resultados del estudio mostraron que en Colombia existe un alto reconocimiento de la diversidad y del patrimonio cultural, así como la existencia de políticas culturales que garantizan el acceso y la participación a la vida cultural; además, se apuntó que en el país se cuenta con diversos planes para la práctica y el disfrute de las experiencias artísticas. Los resultados expresaron que la cultura se ha integrado en varias instituciones, lo que ha generado experiencias positivas de construcción de capital social.

Indicadores culturales en Centroamérica

El informe final del proyecto "Asistencia técnica para la elaboración de un diagnóstico y una metodología para diseñar indicadores culturales en los países centroamericanos", se presentó en junio de 2005, fue un proyecto dirigido por Alfonso Castellanos, especialista en elaboración de indicadores de la UNESCO.

La investigación consistió en una propuesta sobre el Marco de referencia para las estadísticas e indicadores culturales, el que tiene por objeto recopilar y clasificar la información, así como la identificación de las fuentes de información existentes en Centroamérica.

El proyecto inició con la elaboración de un mapa de las estadísticas e indicadores ya existentes en diferentes países, asimismo con el diagnóstico del estado actual de indicadores en seis países centroamericanos. Para el diseño de los indicadores se propuso la determinación conjunta de prioridades con todos los países participantes.

El marco lógico se estructuró a partir de tres ejes: los dominios en los cuales se determinó el quehacer cultural; las funciones que describen las etapas de un fenómeno cultural y, por último, los campos que abarcan la definición de políticas y gestión cultural gubernamental.
Los dominios propuestos fueron: el patrimonio tangible e intangible, las artes plásticas, las artes escénicas, el libro y la literatura y las industrias culturales audiovisuales. Se identificaron como funciones: preservación y registro, creación, producción, distribución y difusión, ventas y consumo, educación y formación profesional, participación y práctica social.

Para el marco de referencia de la gestión cultural se propusieron las siguientes áreas: infraestructura y equipamiento cultural, empleo, financiamiento, protección de derechos de autor, participación y acceso, diversidad cultural, comercio exterior, legislación.

Como resultado del proyecto se procedió a la elaboración de una matriz-guía con el objetivo de sugerir cruces significativas para la construcción de indicadores pertinentes.

Conclusiones

Los indicadores culturales son herramientas fundamentales para los responsables de la cultura. Constituyen un instrumento fundamental para la toma de decisiones y la elaboración de políticas culturales, además contribuyen a una mejora de las políticas y la acción cultural.
Los indicadores deben cumplir, al menos, los requisitos básicos: ser fiables, claros y precisos, permitir la comparación en el tiempo y el espacio, ser eficientes para la política, ser pertinentes, identificar las causas del desarrollo.

Para la elaboración de indicadores de carácter cultural se prefiere, además, la aplicación de una metodología participativa y la aproximación con doble enfoque: cuantitativo y cualitativo, por cuanto ofrece más posibilidades de éxito en los resultados.

Es recomendable proponer un marco básico de referencia internacional para la construcción de indicadores culturales, orientado al mayor número de países y que cada uno adapte esta metodología a su realidad local, este hecho facilitaría el proceso de las evaluaciones culturales.

 

 

Referencias Bibliográficas

Agencia Española de Cooperación Internacional para el Desarrollo (AECID) (2009): Cómo evaluar proyectos de cultura para el desarrollo: Una aproximación metodológica a la construcción de indicadores, Madrid.

Bonet, Ll. (2005): "¿Cómo construir indicadores de desarrollo cultural?", III Encuentro internacional de promotores y gestores culturales, abril, México D. F. Ponencia.

Carrasco Arroyo, S. (1999): "Indicadores culturales una reflexión", Universidad de Valencia, <http://www.uv.es/~carrascs/PDF/indicadoresCult.pdf> [22/10/2015].

Carrasco Arroyo, S. (2006): "Medir la cultura. Una tarea inacabada", Periférica, n.º 17, Universidad de Valencia, <http://www.uv.es/carrascs/PDF/medir%20la%20cultura.pdf> [16/10/2016].

Carrasco Arroyo, S. (2011): Cómo evaluar proyectos de cultura para el desarrollo II, Agencia Española de Cooperación Internacional para el Desarrollo, Dirección de Relaciones Culturales y Científicas, Madrid.

Castellanos, A. (2005): "Asistencia técnica para la elaboración de un diagnóstico y una metodología para diseñar indicadores culturales en los países centroamericanos", <http://sic.cultura.gob.mx/documentos/818.pdf> [3/10/2016].

Consejo Nacional de la Cultura y las Artes (2007): Encuesta de Consumo Cultural (2004-2005), Valparaíso.

Federación Española de Municipios y Provincias (FEMP) (2009): Guía para la evaluación de las políticas locales. Sistema de indicadores para la evaluación de las políticas culturales locales en el marco de la Agenda 21 de la cultura, Madrid.

Fundació INTERARTS (2006): Experiencias internacionales de evaluación de políticas culturales locales, Barcelona.

López, L. y Poblete, P. (2004): "Indicadores para el sector cultural en Chile", <http://www.gestioncultural.org/ficheros/1_1316771895_LLopezPPoblete.pdf> [17/12/2016].

Ministerio de Cultura de Colombia (2013): Diagnóstico cultural de Colombia. Hacia la construcción de un índice de desarrollo cultural, Bogotá .

UNESCO (2009): "¿Cómo medir la participación cultural?", <http://unesdoc.unesco.org/images/0022/002263/226337s.pdf> [3/10/2016].

UNESCO (2011): "Batería de indicadores UNESCO en cultura para el desarrollo. Manual preliminar de metodología. Primera fase de prueba", <http://es.unesco.org/creativity/sites/creativity/files/iucd_manual_metodologico_1.pdf> [03/10/2016].

UNESCO (2014): Indicadores de cultura para el desarrollo. Manual Metodológico, París.

UNESCO (s. f., a): "Indicadores UNESCO de cultura para el desarrollo. Resumen analítico de Colombia", <http://en.unesco.org/creativity/sites/creativity/files/digital-library/cdis/Resumen%20Analitico%20IUCD%20-%20Colombia_0.pdf> [03/10/2016].

UNESCO (s. f., b): "Indicadores UNESCO de cultura para el desarrollo. Resumen analítico de Ecuador", <http://es.unesco.org/.../files/cdis/resumen_analitico_ecuador_0_1.pdf> [03/10/2016].

 

 

RECIBIDO: 12/3/2017
ACEPTADO: 28/5/2017

 

 

Belén Fiallos Quinteros. Universidad de las Artes (ISA), La Habana, Cuba. Correo electrónico: [e-mail]