Evaluación de la producción científica como instrumento para el desarrollo de la ciencia y la tecnología^*

Anna Maria Prat¹

RESUMEN

Se describen las actividades de la Comisión Nacional de Investigación Científica y Tecnológica (CONICYT) de Chile, en relación con la evaluación de la literatura científica, dentro de cuyo contexto se abordan aspectos como la difusión y el acceso a esta. Se discuten además los criterios para la evaluación de revistas científicas.

Descriptores : EVALUACION DE PUBLICACIONES; DIFUSION DE LA INFORMACION; ACCESO A LA INFORMACION; CHILE.

La Comisión Nacional de Investigación Científica y Tecnológica de Chile (CONICYT), además de contar con un programa de información en ciencia y tecnología, está preocupada hace muchos años con el problema de la evaluación de la literatura científica.

El primer aspecto es la gran cantidad de recursos que hemos puesto a disposición de un país tan pequeño como Chile -son muchos los recursos que se han invertido para financiar proyectos de investigación- a pesar de que no siempre los resultados de estos proyectos han tenido libre acceso o suficiente difusión. Por lo tanto, uno de nuestros mayores intereses es asegurar la difusión de los resultados de las investigaciones financieras en el país, sobre todo en el caso de investigaciones de alto nivel, que han pasado por toda una serie de evaluaciones por pares. El segundo aspecto es que tenemos que asegurar el acceso a esa información, problema que ha sido también una de nuestras mayores preocupaciones.

La CONICYT es un organismo gubernamental que depende directamente de la Presidencia de la República y recibe los recursos de forma indirecta a través del Ministerio de Educación. Sin embargo, hemos tenido que convencer a muchos ministros, a lo largo de este año, de que los fondos aplicados a la ciencia constituyen una inversión bien aplicada.

Es por ello, que hemos tenido que crear gran cantidad de indicadores que nos permitan demostrar a las autoridades que sí vale la pena invertir en las ciencias.

Entre los muchos indicadores con los que debemos trabajar, son muy importantes los que permiten medir el output (los resultados) de la ciencia, producto de toda la investigación.

Uno de los modos disponibles para medir esta producción, es por medio de la literatura y, por ello, iniciamos también este tipo de evaluación. Sobre la base de estos indicadores, hemos tenido que realizar estudios especiales de manera permanente, para suplir las solicitudes de las autoridades de la CONICYT o del gobierno. Tales estudios abordan el desarrollo de algunas áreas del conocimiento, áreas deficitarias, capacidad científica ante determinados problemas, etc.

De esta manera, también en estos casos, hemos tenido que trabajar con diferentes indicadores bibliométricos.

Por ello cuando conocí la existencia de la Scientific Electronic Library Online (SciELO), me pareció que se trataba de un programa que solucionaría el 89 % de los problemas que confrontamos normalmente en la CONICYT. Como ya he mencionado, el primer problema a resolver es la difusión de la información.

En el campo de las ciencias, se supone que todo investigador deba terminar su proyecto de investigación con la publicación de un artículo en una revista de circulación internacional. Por ejemplo, la Física es una de nuestras áreas más fuertes y una de las que ofrece mayor impacto en la investigación, pues existen siete observatorios internacionales en Chile. Todos los resultados de las investigaciones del país en Física, se han publicado en revistas internacionales. Es por ello que en esta área es relativamente fácil realizar consultas en la base de datos del Institute for Scientific Information (ISI) y comprobar todo lo que se desee conocer sobre física en el país.

Esto ocurre también en gran medida con la Química. La única revista de esta área existente en Chile está incluida en el ISI, por lo que podemos realizar gran parte de nuestros estudios por medio de esta base. En general se afirma que si una investigación se incluye en publicaciones como Current Contents, está garantizada su difusión y con ella la posibilidad de que los interesados en el tema de todo el mundo la localicen.

En matemáticas tenemos la misma situación. Hemos comenzado a presentar problemas en Biología y en los aspectos clínicos del área biomédica.

A partir de ahí nos diluimos totalmente, sobre todo en lo referente a la producción del área tecnológica y de las ingenierías, que en contadas ocasiones se publican en revistas internacionales.

En el área de las ciencias sociales, lo difundido en las revistas indizadas en el ISI, es prácticamente nulo, con unos 30 artículos al año. En humanidades y en artes el número aumenta considerablemente, pero de cualquier manera no es expresivo. En agricultura y en otras áreas agropecuarias nuestra presencia en el ISI también es muy escasa.

En realidad, hay una gran cantidad de literatura no incluida en el ISI, que se publica al nivel nacional, en otros países hispanohablantes y también en Europa. Nos encontramos aquí con serios problemas, tanto para lograr la difusión de estas publicaciones, como para hacer estudios sobre la productividad en estas áreas.

Cuando los resultados de las investigaciones son publicados en las revistas de circulación internacional, no hay problemas, pero desde el momento en que son publicadas sobre todo en revistas chilenas, existen grandes dificultades.

La gran mayoría de las revistas chilenas son leídas por un reducido grupo de personas. Esto sucede no porque las revistas sean malas, -podrían ser muy buenas, sino porque no tenemos en general los recursos necesarios para su distribución y difusión. Por tanto, gran parte de los resultados de las investigaciones no se difunden, por lo que no pueden ser citados. El ciclo completo acaba en la publicación del artículo ¿con lo que se cumple lo que exige la CONICYT para mantener el financiamiento-, no así la difusión. Esto sucede también con las pocas revistas chilenas registradas en el ISI. La única diferencia consiste en que sabemos que existen y que podemos solicitar copias.

Para darle solución a este problema se creó hace algunos años un fondo nacional de apoyo a las revistas chilenas, para asegurar su periodicidad y mejorar su distribución.

Este fondo se mantiene estable en la CONICYT mientras que los otros fondos ha ido aumentando constantemente desde su creación.

Por ello, los objetivos de aumentar las tiradas y la distribución de las revistas realmente no se han logrado, aunque han servido para algo tan importante como es generar una cultura de evaluación de las revistas, pues la comunidad alimenta la esperanza de obtener recursos para sus publicaciones que serán evaluadas de forma objetiva a partir de diferentes criterios. Así la calidad de las revistas mejoró inmediatamente. De hecho hemos dado un salto en los últimos años: las revistas son poco leídas, pero son mucho mejores que antes. Por consiguiente, no se trata de un problema de calidad, sino de un problema real de financiamiento para la distribución. Nuestro problema está en cómo lograr la difusión.

En 1997 iniciamos un proyecto piloto con el objetivo de crear un programa de revistas electrónicas. Como el problema no está en la calidad de las revistas ni en su contenido, sino en la distribución, nos dimos cuenta que una posible solución sería desarrollar versiones electrónicas de estas publicaciones. De este modo, podíamos disminuir los costos de distribución y los gastos de edición podrían ser razonablemente asimilados por la edición electrónica.

Comenzamos el programa en dos variantes: la primera, convertir revistas editadas en papel al formato electrónico; la segunda, investigar qué ocurriría si creábamos una revista 100 % electrónica desde su nacimiento, es decir, que nunca haya sido editada en papel. La primera variante se suspendió en México en septiembre de 1997, cuando asistí a una presentación de Abel Packer sobre la SciELO, pues no íbamos a reinventar la pólvora, si ya estaba inventada. Por lo tanto espero utilizar la pólvora inventada en el Centro Latinoamericano y del Caribe de Información en Ciencias de la Salud (Bireme). El programa de la CONICYT ya ha seleccionado las revistas, ha definido los mecanismos, etc., aunque lo más probable es que lo retomemos en un proyecto conjunto.

Por otra parte, iniciamos un trabajo con la Universidad Católica de Valparaíso que aceptó un reto en esta aventura: el proyecto de crear una revista exclusivamente electrónica. Este proyecto que creíamos sería breve, resultó muy largo porque, primero, tuvimos que inventar cómo realizar físicamente la revista pues, en primer lugar tuvimos que encontrar un mecanismo para asegurar que las revistas tuviesen los mismos patrones de una revista en papel (como un comité editorial nacional e internacional), además de contar con un mecanismo de evaluación que resultase eficiente y viable con un sistema de almacenamiento capaz de asegurar que no hubiese alteraciones en los textos. Esto se debe al hecho de que no existiría una versión en papel que demostrase la verdadera versión original -al no contar con una "verdadera" versión original en papel, quedaría la duda de que alguien pudiese entrar en el sistema y modificar los resultados, y no se dispondría de los medios para comprobar la versión verdadera.

También resultó muy extenso el trabajo para seleccionar el área del conocimiento, porque no queríamos duplicar lo que ya existía en papel.

Queríamos realmente que la revista fuese un proyecto piloto que permitiese evaluar la aceptación de este tipo de publicación por parte de diferentes autores y usuarios. Finalmente, se creó la Revista Internacional en Biotecnología, editada en inglés y castellano, que ya tiene un número en Internet.

La metodología permitió iniciar un estudio para evaluar esta nueva forma de comunicación. En especial hemos estado interesados en analizar cómo los autores acogen a este nuevo tipo de publicación, ya que por su medio no hay manera de que los autores puedan ser evaluados hoy día. Si publicamos un artículo en Physical Review (en papel), no hay problemas; pero si lo hacemos en una revista electrónica de algún lugar desconocido, ¿cómo las universidades podrán evaluarnos académicamente? Por consiguiente, necesitamos conocer cómo será la acogida de autores y lectores.

Sucede entonces algo curioso que nunca había ocurrido en Chile: cuando esta revista virtual fue creada, se invitó a un comité internacional compuesto por investigadores de alta categoría del área de la biotecnología con varios premios Nobel y por profesores de diferentes universidades importantes de todo el mundo. De Chile contactamos con 50 investigadores con la suposición de que sólo dos de ellos aceptarían, pero 40 respondieron y mostraron sus intereses en el experimento. Esto indicó la existencia de otro modo de comunicación en la publicación virtual y demostró que lo importante no era el lugar donde se publica la revista, sino su contenido y su cuerpo editorial, etc. Esta es nuestra experiencia al intentar mejorar la difusión.

El acceso es otro asunto que preocupa a todos los que trabajan con la información, pues es necesario obtener el documento y el texto completo. En la CONICYT se organizaron bases integradas disponibles en Internet, que incluyen proyectos de investigación e investigadores. Actualmente se implementa el modelo de publicaciones generadas en estos proyectos. De esta manera es posible conocer quién publicó el resultado de un proyecto en Chile, aunque el acceso a ese documento resulte más complejo.

La idea que tenemos con el programa de publicaciones electrónicas, es justamente lograr que se encuentre disponible la mayor cantidad posible de materiales a texto completo, como forma de garantizar que no sólo la referencia de ese documento se difunda, sino que exista acceso al documento completo.

Un paréntisis. En este seminario se produjo la siguiente discusión sobre la publicación electrónica, ¿colocaremos sólo las revistas como un todo en un programa como SciELO o podremos eventualmente también almacenar artículos, con independencia de la identidad de las revistas?

Para crear nuestros indicadores y hablar de productividad científica, utilizamos únicamente el ISI, porque si queremos comparar datos y medir nuestra ciencia con la ciencia internacional, debemos usar a una medida común a todos.

Por ello, considero que uno de los subproductos más interesantes de la SciELO son los informes de uso y de impacto, pues si logramos organizar una hemeroteca con las revistas más importantes de la región y si tuviéramos medidas comunes a todos, alcanzaríamos indicadores de calidad y de cantidad válidos para toda América Latina, situación que no tenemos hoy.

En los estudios especiales que se realizan en la CONICYT se utilizan, además de los indicadores del ISI, algunas bases de datos locales que nos permiten tener una visión más completa de ciertas áreas del conocimiento. El problema está en que en Chile todos aprecian mucho el poder disponer de una base de datos a través de la cual evaluar la productividad al punto que hemos comenzado a recibir tantas peticiones que han llegado a alarmarnos. ¿Para qué estamos utilizando la evaluación formal de la literatura científica? A nivel del Ministerio de Educación, la dotación fiscal indirecta para las universidades se calcula por ley sobre la base del número de proyectos de investigación realizadas y, principalmente, del número de artículos que aparecen en las principales publicaciones periódicas corrientes. Esto significa ISI.

Las grandes universidades se preocupan poco por el asunto, pues tienen una producción de 600 a 700 artículos al año y uno más o uno menos, no significa nada. Pero, para muchas universidades que sólo publican uno o dos artículos al año en una revista indizada por el ISI, un artículo significa mucho.

En una ocasión, un rector me contaba que el ministerio le había informado que a su universidad le faltaba un artículo y ese artículo, publicado aunque no contabilizado, significaba un profesor a tiempo completo por año.

Este es el tipo de problema peligroso a la hora de utilizar indicadores bibliométricos. Aquella universidad, localizada al norte del país, cuyo fuerte es la antropología y que es reconocida internacionalmente por contar con los mejores investigadores del área, se juzga por el artículo publicado por un físico en una revista corriente principal y no por la cantidad de otros artículos en revistas que por diferentes razones no están incluidas en el ISI. Yo personalmente, presento problemas éticos al informar todos los años situaciones como estas. A nivel de la CONOCYT somos menos drásticos, pues utilizamos los indicadores para datos comparativos, con vistas a conocer cómo es el desarrollo en Chile por áreas, comparándolos con el mundo.

Otro aspecto es la evaluación de la labor institucional sobre la que se nos han solicitado estudios. Para ello, hemos utilizado tanto los indicadores del ISI como los de nuestras propias bases de datos. De cualquier manera, tenemos aquí un problema que nos preocupa, pero lo peor es cuando llegamos a la evaluación de grupos por disciplinas. Primero, porque uno de los problemas es que los estudios no pueden alcanzar una gran precisión, en cada una, pues siempre hacen referencia a grandes conjuntos de disciplinas. Conocemos lo que sucede en Física, pero no en física de altas temperaturas, pues no llegamos a tal nivel de especificidad. Sin lugar a dudas, hemos realizado estudios más complejos sobre el desempeño y las tendencias de ciertos grupos para poder evaluar cómo las especialidades han evolucionado, cómo fue que comenzaron los grupos, qué trayectorias han seguido, en qué son realmente fuertes y en qué no. Este tipo de estudio, que es de vital importancia para el destino de los recursos dentro de ciertas áreas prioritarias, se han realizado con muchas dificultades.

En un país pequeño como Chile, no podemos contar con especialistas en todas las áreas del conocimiento, pero sí queremos conocer en qué áreas somos excelentes y en qué áreas esa excelencia se mantiene, pues con el tiempo seríamos capaces de reforzar esas áreas y al menos crear en su radio de acción capacidades competitivas de investigación. Mientras tanto, nos ha sido extremadamente difícil realizar estas evaluaciones, justamente porque las herramientas con las que contamos son deficientes para disciplinas específicas.

Siento miedo a pensar, de utilizar los indicadores biblio-métricos para evaluar personas. Lamentablemente, las universidades han comenzado a utilizar estudios de impacto, número de citas, número de artículos en revistas corrientes principales, etc., para promover la carrera académica.

Esto me parece muy peligroso, porque la información que contabilizamos es cierta y nadie lo duda, pero no es toda la verdad. Por lo tanto, evaluar personas con sólo una parte de la verdad es muy peligroso, pues se podrían cometer injusticias muy grandes.

La literatura nacional, aquella que circula sólo en el país, ¿yo la diferencio de las publicaciones de circulación internacional? está razonablemente cubierta. La evaluación de la literatura científica a nivel nacional, se está usando, primero, para el fondo de financiamiento de revistas científicas, sobre todo, para la evaluación complementaria de las áreas mal cubiertas por el ISI y, además para la evaluación complementaria en las áreas de interés local. Existen problemas locales de importancia, pues probablemente jamás puedan publicarse en revistas internacionales los resultados de esos proyectos, porque el interés está dirigido a que se publiquen y se conozcan a nivel nacional. El resultado de estas investigaciones podría ser igualmente de alto nivel; el rigor de la información podría ser el mismo, pero el interés es local y no internacional. Es bajo esta perspectiva que debemos hacer la evaluación.

En un país como Chile, donde hay más de 7 mil investigadores activos, existen cerca de mil revistas científicas. De ellas deben ser buenas unas 50; otras nacen y mueren como las flores. Todos quieren tener una revista porque ello da prestigio y todas se clausuran porque no hay con que financiarla. Deberíamos inaugurar con esto un seguimiento del tipo "psicología institucional científica", para estudiar el nacimiento y la muerte de las publicaciones científicas en nuestros países. Eso nos demuestra algo; un indicador más.

Los criterios generales que estamos usando para evaluar las revistas son los que todo el mundo utiliza, porque por más que inventemos nuevos criterios, siempre llegaremos a los mismos; resulta muy difícil evaluar algo más. Sólo financiamos revistas que incluyan el 80 % de resultados de investigaciones. El segundo criterio es la calidad del cuerpo editorial y el método de evaluación de los artículos que la revista adopta, es decir, el mecanismo de análisis de conjunto y se comprueba si las personas que están en el cuerpo editorial, efectivamente evalúan los artículos y no ceden sólo sus nombres a las revistas.

Lo que más nos interesa demás es el corporativismo endógeno, es decir, no financiamos revistas que solamente publique artículos de su propia institución. Si una institución desea tener una revista para su propio prestigio debe financiarla. Si no tienen dinero, se hace necesario suspender estas revistas para generar otras mejores. Resumiendo, sólo financiamos revistas cuyos artículos provengan de diferentes instituciones.

También nos preocupa la difusión y el impacto de las revistas: en cuáles bibliotecas están; cómo se difunden; qué porcentaje de las tiradas se distribuye realmente; qué tipo de uso se le da a una revista en las principales bibliotecas del área (normalmente son solicitadas a las bibliotecas una vez al año, estadísticas de uso); y finalmente la periodicidad y duración de la revista (no apoyamos revista alguna antes de publicada, que lleve al menos dos años y queremos saber si existe, en efecto voluntad institucional para mantenerla).

Si se cumplen todos los requisitos mencionados, incluyendo el cumplimiento de normas, se le da preferencia a las revistas que dentro de una especialidad cubren mayor número de subáreas, justificando contar con menos publicaciones y mejor calidad. El último criterio a valorar es la presentación, incluyendo la ortografía. En general esto permitió efectivamente que las revistas científicas alcanzaran una calidad mucho mayor.

Considero que para un proyecto como SciELO, en todo caso, podríamos comenzar a trabajar de forma experimental con cinco revistas hasta que incorporemos nuevos títulos el máximo sería de 40 ó 50 revistas para tratar de mantener la calidad en un nivel elevado. Para SciELO creo que sería de mucha utilidad definir criterios comunes de evaluación de las revistas antes de ser incorporadas al sistema. Si todos mantenemos criterios comunes en relación con la selección de las revistas que ingresan en el sistema, podremos contar en el futuro para la región con otro instrumento de evaluación además del ISI.

Anna Maria Prat

[e-mail]

Abstract

The evaluation of the scientific literature as a tool for the development of science and technology

It describes the activities of the CONICYT (Comisión Nacional de Investigación Científica y Tecnológica), Chile in relation to scientific literature evaluation, specially aspects such as diffusion and access. Criteria for evaluation of scientific periodicals are also discussed.

Subject headings: PUBLISHING EVALUATION; INFORMATION DISSEMINATION; ACCESS TO INFORMATION; CHILE.

* Trabajo presentado en el Seminario sobre Evaluación de la Producción Científica, celebrado en São Paulo por el Proyecto SciELO del 4 al 6 de marzo de 1998.
¹ Jefa del Departamento de Información. Comisión Nacional de Investigación Científica y Tecnológica (CONICYT), Chile.