Indicadores para apoyar la toma de decisiones^*

Sandra Negraes Brisolla¹

RESUMEN

Se aborda los indicadores de ciencia y tecnología, una actividad que recibe un apoyo decisivo de las instituciones encargadas del planeamiento y ejecución de la política sectorial, debido a dos tendencias: el constante crecimiento del conocimiento en la composición del valor de la producción de bienes y servicios con un alto costo de la investigación; y la reducción de los recursos públicos para financiarla, lo cual induce a la introducción de mecanismos de evaluación del trabajo en todos los órganos públicos. A partir de un conjunto de indicadores en ciencia y tecnología, desarrollados por la Fapesp, se discute la gran dificultad teórica para establecer indicadores adecuados y cómo se podría realizar su levantamiento, así como las dificultades prácticas para crear un conjunto confiable de variables capaz de orientar los rumbos de la política científica y tecnológica.

Descriptores: TOMA DE DECISIONES; INDICADORES; CIENCIA Y TECNOLOGÍA; POLITICA DE CIENCIA Y TECNOLOGIA; BRASIL.

La globalización de los mercados y la creciente importancia del conocimiento en la composición del valor de la producción de bienes y servicios, son fenómenos recientes que han ido convirtiendo a la evaluación en una prioridad dentro de la política científica y tecnológica. Por otro lado, la elevación del costo de la investigación y la reducción de los recursos públicos para financiarlo en muchos países dada la crisis económica que a partir de los años 70 interrumpió el crecimiento sustentable de la posguerra, crearon también la necesidad de introducir criterios más rigurosos en la evaluación de la investigación pública y de su legitimidad junto a la sociedad que la mantiene. La toma de conciencia sobre la importancia de la actividad científica para impulsar la producción de bienes y servicios, ha sido responsable del considerable crecimiento de las cantidades que las sociedades industriales han destinado a las investigaciones, tanto en las universidades como en las empresas industriales, principalmente en el período de la posguerra.

La crisis del capitalismo que se manifestó a partir de los años 70 generó la sensación de que las inversiones en la ciencia obtenían un bajo rendimiento. Cf. Ziman en conferencia impartida en el Departamento de Política Científica y Tecnológica. Instituto de Geociencia, UNICAMP. De esta manera, la ola de evaluaciones institucionales que se propagó por todos los órganos públicos en los países centrales, llegó al sector científico y tecnológico. Se trataba de disfrutar de la eficiencia del sistema con la clara finalidad de aumentar su productividad y principalmente, de lograr un impacto sobre el sector económico. Los indicadores de la ciencia y la tecnología nacieron, por consiguiente, para subsidiar la evaluación institucional y permitir estudios sobre la actividad científica y tecnológica. Se va convirtiendo así en algo imprescindible la creación de indicadores relevantes y confiables para lograr este objetivo.

Indicadores como herramienta política

Inicialmente se planteó un problema teórico en la creación de indicadores científicos y tecnológicos en relación con la naturaleza especial de estas actividades. Incluso en la actividad económica, en la que se supone sea posible ajustar con claridad la inversión al resultado económico esperado por medio de una matriz de insumo versus producto; existe lo imponderable, que permite que este producto final no sea muchas veces sancionado por el mercado, ni se realice, y por consiguiente, hace que el resultado sea menor que el previsto. A su vez, el riesgo asociado a la inversión en investigaciones es inherente a las actividades de la ciencia y la tecnología (CT) y es mucho mayor.

La creación de indicadores de CT enfrenta, por lo tanto, un problema filosófico: ¿será posible crear indicadores que reflejen con algún nivel de seguridad la realidad que se supone que ellos representan? ¿Es teóricamente concebible la creación de fórmulas capaces de reflejar una realidad multifacética donde innumerables variables correlacionadas condicionan una trama compleja de interrelaciones con un resultado imprevisible? Este problema es similar al que plantea Keynes en relación con el cálculo económico: más que considerar la complejidad del cálculo empresarial en que el empresario debe tener en cuenta las respuestas de cada competidor y de cada cliente a sus decisiones. Keynes señala la imposibilidad de que un agente económico pueda prever todas las probabilidades de evolución del mercado. En este sentido, la incertidumbre keynesiana es entendida como estructural e integrante de la lógica del sistema.

De igual manera, se puede discutir si existe viabilidad en la construcción de indicadores de las actividades científicas y tecnológicas y, principalmente, si es posible imaginar variables suficientemente fuertes que determinen y representen el fenómeno social más amplio del desarrollo científico, del progreso tecnológico y de la introducción de innovaciones. El problema central es el siguiente: ¿cómo se podría establecer relación de causa y efecto entre la actividad científica y tecnológica y el impacto socioeconómico que ella provoca? ¿Existen indicadores que puedan explicar este proceso?

El segundo problema es más práctico y no totalmente diferente del anterior. Se trata de saber si vale la pena crear indicadores. Si en el período actual de desarrollo de las herramientas estadísticas y de selección de la información, es posible esperar obtener un conjunto de determinaciones capaces de responder a los sueños de los proyectistas y ejecutores de políticas, y además de aquéllas que se dedican a hacer la crítica y a reflexionar sobre la política científica y tecnológica. En otras palabras, ?los posibles indicadores desempeñan hoy realmente su papel de "indicar" el sentido del desarrollo científico y tecnológico? Estos son los problemas que nos preocupan en este trabajo.

Relación entre ciencia y tecnología

El camino no lineal, recorrido por el proceso de transformación de una innovación, un nuevo principio y una nueva idea científica, es decir, es un producto o proceso innovador, dificulta y/o impide directamente mensurar todos los factores y el impacto de cada uno de ellos para que se logre este resultado. Si las líneas de actuación de una agencia de fomento y los resultados concretos de cada una de ellas pueden enumerarse, se podría notar ese impacto diferenciado. El financiamiento de las tesis de doctorado y de las discusiones de maestrías, traen como resultado la formación de investigadores para el país. ¿Cómo se podría medir el impacto de esta actividad sobre un proyecto específico? El apoyo a los investigadores para que participen en eventos científicos, trae como consecuencia la difusión de los resultados de las investigaciones, el debate con la comunidad académica y la información sobre lo que está ocurriendo en las fronteras del conocimiento en cada área.

¿Cuál sería el impacto de este tipo de actividad común a los investigadores activos, en la formulación y ejecución de sus proyectos de investigación? ¿Cómo individualizar este impacto para determinado evento o proyecto? La producción científica de determinado investigador o grupo de investigadores ejerce su influencia en la producción de bienes y servicios (en el mejor de los casos) y provoca una innovación. Incluso en este caso, ¿cómo calcular los créditos debidos al financiamiento de cada agencia, al soporte institucional de origen del investigador, a los agentes económicos favorables a la innovación y a la propia decisión del empresario que asumió el riesgo de la innovación, además de los créditos debidos a la formación de investigadores vinculados y al enriquecimiento de sus conocimientos -su curriculum- con apoyos a eventos y otros?

El problema se comprende mejor cuando se examina la propuesta de Susan Cozzens cuya idea básica es la de que se debe estimar el impacto de la investigación por medio del producto que ella ofrece; pues trae como resultado productos inmediatos que son medibles.

Estos productos no constituyen beneficios directos para el país, pero ponen en acción procesos que producen beneficios para el país, beneficios que son reconocidos por personalidades como los miembros del Congreso y por el público en general. El modelo presupone la existencia de tres curvas: "una de ellas es la base del conocimiento; la segunda es la práctica (industrial, médica, etc.) y la tercera la educación."

Existen tres flujos en este modelo. El primero es el flujo del conocimiento. El objetivo primario del programa de investigación es el de contribuir con conocimientos a la frontera de conocimiento de la investigación. El conocimiento de frontera va hacia un reservorio amplio que alimenta a las personas en la práctica y en la educación. Sólo en casos especiales, la frontera del conocimiento se utiliza directamente, pero la calidad de la información obtenida del reservorio de conocimiento depende de que éste sea renovado regularmente por el responsable de la investigación. En realidad, ésta no es una contribución lineal de los resultados de una investigación hacia la práctica: de ahí su complejidad.

La segunda serie de flujos vincula a las personas. Como profesores de programas de posgrados, los investigadores entrenan a los profesionales que actuarán en la práctica. Como profesores de los programas de grado entrenan a estudiantes que se convertirán en ciudadanos, trabajadores, padres y profesores de la sociedad en su conjunto; es un entrenamiento que estas personas reciben de los investigadores, que determina la frecuencia con la cual ellos recorrerán el reservorio de conocimientos y la eficiencia con la que retirarán de ahí los insumos para futuras actividades. Aquí también los beneficios de la investigación son indirectos y muy difíciles de determinar de modo específico.

El tercer flujo es el de los bienes y servicios, que circula del pilar de la práctica al sector educacional y cuenta con nuevos medios de comunicación y aprendizaje para las personas, en forma de bienes útiles para el consumo y para la dirección de la investigación en forma de nuevos instrumentos e insumos científicos, así como para la propia actividad práctica como nuevos medios de producción.

Cozzens concluye diciendo que, dada la imposibilidad de medir directamente el impacto de la investigación, este se puede medir de modo indirecto por medio del análisis de sus productos.

Uno de los puntos claves del modelo es que la investigación es medible sólo por los resultados inmediatos, los productos que entrega a través del medio educacional y de la dirección de la investigación. No obstante, el modelo ayuda a los administradores a pensar en otros procesos, a través de los cuales los productos de aquel ambiente inmediato producen beneficios para la nación. Es notable que estos otros ambientes son responsables por los beneficios últimos que el público desea, tales como una ciudadanía competente y justificada, así como mejor calidad de vida [...] Pensar a través de estas cadenas de conexiones, ayuda al evaluador a identificar a los participantes que se deben vincular a las evaluaciones específicas. Por ejemplo, la práctica médica es directamente responsable de la salud y debe evaluarse directamente por el público. Pero la investigación biomédica necesita ser evaluada por los que practican la medicina para que resulte plausible que la investigación esté contribuyendo realmente con la salud. (Cozzens S. Strategie evaluation and the keystone model of basic research. En: AAAS Colloquium on Science and Technology Policy, 1994. Washington DC 19th Annual... Washington DC:[SN], [199-]).

Este modelo supone una evaluación relevante de cada uno de los pilares (las curvas) para el sustento del edificio que integra la investigación científica al sistema educacional y a la práctica económica. El diagrama de Cozzens muestra la complejidad de las relaciones internas entre los sistemas de investigación, de educación y económico. Existe un flujo de personas en el área educacional (formación de padres y profesores egresados y formación de profesionales e investigadores en posgrados). Existe un flujo de conocimientos en la dirección de la investigación, por medio del cual los investigadores crean la base de conocimientos, en la que los profesionales encontrarán los elementos necesarios para reformar sus prácticas, por un lado, y los profesores recibirán un reciclaje por otro. Las reflexiones de la autora nos llevan a comprender que para poder evaluar la efectividad económica del sistema de investigación no se puede medir directamente el resultado socioeconómico al que él conduce a largo plazo, pero sí se debe tratar de apreciar en qué medida se alcanza el resultado directamente buscado por la investigación en términos de formación del personal y de productos científicos, como son las publicaciones y patentes, pues en muy raras ocasiones será posible medir directamente el resultado socioeconómico.

Por otra parte, es por alcanzar los resultados específicamente buscados por el sistema de investigación que este logra crear la base de conocimientos a partir de la cual se producirá el impacto necesario que conducirá a resultados socioeconómicos.

Fig.   Diagrama de Susan Cozzens Existen algunos peligros que deben ser evitados en la realización de estudios analíticos. El primero de ellos se refiere al intento de administrar la política de fomento a la investigación en función de objetivos socioeconómicos preestablecidos, cuando la administración de los recursos para el fomento de las investigaciones debe ser evaluada como tal, por sus propios objetivos. (Cozzens S. Assessing fundamental research: ten ways to get it wrong. En: Simposio Farmacéutico de Smithkling Beecham, 1995. Cambridge: [Proceeding...]. Cambridge: [sn], 1995). La apreciación de la insuficiencia de los análisis basada en modelos lineales lleva a los analistas a proponer la intensificación de las relaciones internas al sistema como una meta de la política científica tecnológica. El error ampliamente reconocido del modelo lineal, colocó en el orden del día la necesidad de una mayor interacción entre las diferentes partes del sistema. Esta situación se traduce políticamente en dos prioridades mayores: mayor número de investigadores entrenados y mayor número de conexiones.¹

La ciencia como actividad horizontal

Una de las dificultades que existen en la formulación de la política en ciencia y tecnología, es su característica de actividad horizontal, que sigue todas las funciones gubernamentales. Esto se observa, por ejemplo, en la estructura de los institutos públicos de investigación del país como el Ministerio de Ciencia y Tecnología (MCT), creado en 1985 y transformado en Secretaría de Ciencia y Tecnología (SCT) en 1990 y en MCT en noviembre de 1992, y los demás institutos de investigación vinculados a otros ministerios y a la Secretaría de Asuntos Estratégicos de la Presidencia de la República. Para que exista un programa o plan de ciencia y tecnología, será necesario que las actividades relacionadas con el sector sean reguladas por una instancia ajena a cada ministerio. Esta instancia es el Consejo de Ciencia y Tecnología (CCT), creado oficialmente hace ya un buen tiempo, pero que en realidad comenzó a dar sus primeros pasos recientemente.

Para que las actividades en ciencia y tecnología se organicen con una política global y coherente de alcance nacional, se hace necesario que la misma forme parte de un Proyecto Nacional de Desarrollo. En estas circunstancias, cada centro de investigación tendría su parte asignada en el proyecto, como resultado de un acuerdo previo entre los ministerios, de forma tal que se puedan articular las diferentes instituciones vinculadas a la investigación y al desarrollo.

En estas condiciones, la utilidad de los indicadores de ciencia y tecnología sería enorme y permitiría la distribución de los recursos para la investigación entre los diferentes objetivos socioeconómicos y las disciplinas científicas. También serían útiles para la distribución de los recursos entre las especialidades, dentro de cada disciplina y entre los diferentes centros e institutos de investigación. Estas decisiones, a su vez, corresponden a diferentes niveles jerárquicos dentro del sistema de ciencia y tecnología.² Para que los indicadores sean herramientas útiles, se deben producir con regularidad para la formación de series temporales que permitan visualizar tendencias en el tiempo; se debe tener la posibilidad de enfocar cualquier área o especialidad; y los datos deben permitir comparaciones internacionales. Se deben poder separar las estadísticas para estudiar mejor las referentes a cualquier centro o instituto de investigación. Finalmente, los datos deben tener estar disponibles y accesibles a un público amplio. Las estadísticas relativas a la producción científica podrían permitir identificar áreas, donde el resultado en términos de publicaciones sea mayor que en otros. Este tipo de información, acompañado de otras herramientas analíticas, podría alimentar el proceso de arbitraje. La disponibilidad de las estadísticas ejerce también cierto control sobre el propio sistema de revisión por pares.

Se pueden esclarecer además ciertas dudas sobre la división de recursos entre las áreas basadas en indicadores sobre el cambio en la dirección del impacto de disciplinas específicas.²

Indicadores regionales e indicadores integrados

Una tendencia más reciente dentro de la actividad de compilación de indicadores, es la creación de indicadores regionales, que alcanzan una región de un país o, incluso, una región que abarque varios países, como es el caso de la Comunidad Económica Europea (CEE). Los estudios que se realizan en el Observatoire de Sciences et Techniques de Francia, han tenido como objetivo la actuación de la CEE junto a los países miembros, y han producido resultados muy interesantes sobre la estrategia de los científicos y empresarios que intercambian las fuentes locales de recursos para la investigación con las fuentes regionales.³

Teniendo en cuenta la existencia de un subsistema de ciencia y tecnología en el ámbito brasileño con cierta autonomía y con notable representación en el país, la Fundación de Amparo a la Investigación del Estado de São Paulo (Fapesp), como parte integrante y al mismo tiempo observadora de este sistema, decidió producir un primer grupo de informaciones relacionadas con la ciencia y a la tecnología en São Paulo, como uno de los productos destinados a celebrar sus 35 años de existencia.

Estos indicadores se elaboraron por un equipo de investigadores de la Universidad de São Paulo (USP) y de la Universidad Estadual de Campinas (Unicamps), en el que me incluyo, con el ambicioso objetivo de dar un primer paso en el sentido de la producción permanente de indicadores mucho más detallados y abiertos para el Estado de São Paulo, con vistas a subsidiar las políticas públicas del sector. Los indicadores producidos en esta primera fase son globales, pero permiten tener una idea del financiamiento y de la ejecución de las actividades científicas en el estado y lugar que ocupan en el contexto nacional. Se trata de una primera aproximación, que posibilitará proyectar el sistema de información necesario para la formulación de políticas sectoriales en el estado, además del subsidio del gobierno federal en su interacción con la política estadual.

Para finalizar, valdría la pena mencionar un ejercicio realizado por Tomizawa y Niwa,⁴ dos especialistas japoneses en política científica, quienes intentan crear un pequeño grupo de indicadores generales de la ciencia y la tecnología, a fin de que sirvan de orientadores de la política científica global de los países. Ellos trabajan con un pequeño grupo de los países centrales: Japón, Estados Unidos, Alemania, Francia e Inglaterra. Primero se seleccionan las variables que serán objeto de análisis. Se procede entonces al análisis factorial para la selección de los indicadores que representarán a los países basados en una correlación existente entre las variables preseleccionadas. En segundo lugar, se usa el análisis del componente principal para construir nuevas variables integradas a las actividades de ciencia y tecnología de cada país, y se expresa por el indicador integrado así obtenido. El resultado del análisis estadístico muestra la posición de los países de acuerdo con los factores analizados: el primero diferencia ciencia de tecnología, o investigación básica de ciencia aplicada, mientras el segundo diferencia factores de insumo o de producto.⁴

Japón aparece dirigiendo la tecnología y la investigación aplicada con tendencia hacia los insumos de ciencia y tecnología en los años más recientes. Los EE.UU. aparecen priorizando los insumos en las ciencias básicas. Alemania tiende hacia la tecnología, y Francia e Inglaterra aparecen con mayor peso en las ciencias básicas. Los tres se inclinan hacia el lado del producto. Japón aparece al lado del insumo porque sus actividades de ciencia y tecnología son principalmente aplicadas (por consiguiente, el gasto en este sentido es muy alto), y los EE.UU. también se ubican del lado del insumo, debido principalmente a los gastos militares que no tienen contrapartida en publicaciones ni en las patentes. Las posiciones de los países están en correspondencia con lo que se conoce de su sistema en ciencia y tecnología, lo que denota el potencial de esta herramienta en el análisis de una política sectorial y, por tanto, la utilidad incluso de los indicadores tan generales como los utilizados en el ejemplo.⁴

Lista de indicadores utilizados en este ejercicio

Variables de insumo de ciencia y tecnología:

X₁ = números de formados en ciencia;
X₂ = números de formados en ingeniería;
X₃ = número de científicos e ingenieros trabajando en P&D;
X₄ = presupuesto del Gobierno para la P&D;
X₅ = producto interno bruto en P&D;
X₆ = importación de tecnología (valor);

Variables de producto ciencia y tecnología:

X₇ = número de artículos científicos;
X₈ = citas de artículos científicos;
X₉ = número de patentes internas;
X₁₀ = número de patentes externos;
X₁₁ = número de citas de patentes;
X₁₂ = exportación de tecnologías;
X₁₃ = valor de la producción industrial;
X₁₄ = valor de la producción high tech.

De ese conjunto, los indicadores para el Estado de São Paulo contienen 10 variables. Los demás son relativamente fáciles de alcanzar para que se practique un ejercicio similar en la América Latina. Podríamos así averiguar la importancia del modelo de análisis en el caso de la realidad latinoamericana. Este es nuestro próximo reto.

REFERENCIAS BIBLIOGRÁFICAS

1. Laredo P. Mustar P, France. The guarantor models and the institutionalization of evaluation. Res Evaluat 1995;5(1):
2. Martín BR, Irvine J, Crouch D. Science indicators for research policy: a bibliometric analysis of ocean currents and protein. Sussex:University of Sussex, 1995;105. (SPRU Occasional Paper Series; 23)
3. Gusmao RL, engagement francais dans "Europe de la recherche. Paris: Editora Económica, 1997.
4. Tomizawa H, Nwa F. Evaluating overall national science and technology activity: General Indicator of Science and Techonology (GIST) and its implications for S&T policy. Res Evaluat 1996;6(2):83-92.

Sandra Negraes Brisolla

[e-mail]

Abstract

The author analyses indicators for science and technology, whic are receiving a decisive support from institutions in charge of planning and implementing sector policies, due to new economic trends: the growth of knowiedge contents in the value composition of goods and services, and the increase of research costs and the reduction of public resources to finance it, which introduce the need of performance evaluation in public institutions. Making use of S & T indicators developed by Fapesp, this paper discusses the great theoretical dificulty in establishing suitable indicators and how to collect them, as well as the practical problems in gathering a reliable set of variables that makes possible the definition and implementation of scientific and technological policy.

Subject headings: DECISION MAKING; INDICATORS; SCIENCE AND TECHNOLOGY: SCIENCE AND TECHNOLOGY POLICY; BRAZIL.

^* Trabajo presentado en el Seminario sobre Evaluación de la Producción Científica, realizado en São Paulo por el Proyecto SciELO, del 4 al 6 de marzo de 1998.
¹ Coordinadora del Laboratorio de Ciencia, Tecnología e Innovación del Departamento de Política Científica y Tecnológica del Instituto de Geociencias de la UNICAMP.