Ernesto Spinak¹

RESUMEN

Descriptores DeCS: INDICADORES/utilización; BIBLIOMETRIA; CIENCIOMETRIA; LEY DE BRADFORD; LEY DE ZIPF; LEY DE SENGUPTA; LEY DE LOTKA; ANALISIS DE CITAS; FACTOR DE IMPACTO.

Podemos considerar a la ciencia como un sistema de producción de información, en particular información en forma de publicaciones, considerando publicación a cualquier "información registrada en formatos permanentes y disponibles para el uso común". Desde este punto de vista la ciencia puede verse como una empresa con insumos y resultados. La medición de esas dos categorías -insumos y resultados- son la base de los indicadores científicos.

Gran parte de los esfuerzos de la ciencia se concentra en la elaboración de metodologías apropiadas para la formulación de estos indicadores. La medición de los insumos es una tarea más cercana a las ciencias de la economía, la estadística y la administración que, si bien trabajosa, dispone desde hace tiempo de metodologías de una razonable aceptación y de manuales con definiciones y procedimientos usados internacionalmente.

En cambio, los conceptos de la ciencia que tienen como propósito la formulación de indicadores de resultados -la segunda mitad de la tarea-, se considera generalmente la tarea más sofisticada y difícil.

A pesar de los considerables esfuerzos realizados para llegar a tener un conjunto de definiciones y clasificaciones general, apropiado, abarcador y sin ambigüedades, la situación permanece lejos de estar completamente resuelta.¹ Las técnicas de medición de los resultados de la investigación tienen sólo unas décadas de existencia y todavía no se han consolidado por completo.

En los últimos 30 años la comunidad internacional, en particular la Organización para la Cooperación y Desarrollo Económico (OCDE) y la Unesco, desarrollaron metodologías para esta tarea compleja de elaborar indicadores, que pueden resumirse en 3 manuales de referencia obligada conocidos como el Manual de Frascati,² el Manual de Oslo³ y el Manual de Camberra.⁴ Estos manuales ofrecen procedimientos de encuestas para medir las actividades de investigación y desarrollo experimental (I+D), determinar los recursos humanos dedicados a la ciencia y la tecnología (C&T) e interpretar la innovación tecnológica.

El Manual de Frascati, el primero de los 3 mencionados, cuya primera edición es de 1963, sigue reconociendo todavía en la reciente versión de 1993 la dificultad de elaborar un sistema de indicadores de C&T, se cita del manual:

"Por definición los indicadores ilustran un aspecto particular de una cuestión compleja y de facetas múltiples. Es necesario disponer de un modelo explícito que describa a la vez el sistema científico en sí mismo y la forma en que se relaciona con el resto de la sociedad y con la economía. En la práctica y en el estado actual de cosas, no existe un modelo explícito único capaz de establecer relaciones causales entre la ciencia, la tecnología, la economía y la sociedad".² ]]> Estos comentarios tienen que ver con la parte de medición de insumos, es decir, con la evaluación económica, estadística, etcétera.

Cuando buscamos en el mismo manual indicaciones para interpretar resultados, en particular desde el punto de vista de la comunicación científica, o sea, las publicaciones, todavía el problema resulta ser más complicado. En el Anexo 2 del referido manual, cuyo título es "Otros indicadores de C&T" se reconoce:

"En el momento presente no existen principios básicos internacionales oficiales aplicables a la recogida de este tipo de datos o a su empleo como indicadores de ciencia y tecnología. En 1989-1990, la OCDE realizó un informe sobre el estado del conocimiento en materia de bibliometría, que podría servir para un futuro manual OCDE sobre utilización e interpretación de indicadores bibliométricos".²

El Manual de Oslo³ ofrece metodologías para la recopilación de datos que permitan interpretar la innovación en C&T. Si analizamos el manual en busca de procedimientos de evaluación basados en las publicaciones científicas, para nuestra sorpresa encontraremos que recién en el Anexo 1, como un procedimiento accesorio, se menciona a la LBIO (literature-based innovation output indicators). La LBIO es una metodología de encuestas basada en los casos de innovación en C&T que se informan en las revistas técnicas y comerciales.

Esto es sorprendente, pues una de las características de la ciencia es la publicación de sus resultados. En particular, toda aquella innovación y descubrimiento se legitima y reconoce por la prioridad de su publicación. En otras palabras, uno de los aspectos más visibles de la innovación en C&T, que es su comunicación impresa, se presenta como procedimiento marginal en el Manual de Oslo.³

Por último, en el Manual de Camberra,⁴ que proporciona diversas metodologías para evaluar a los recursos humanos dedicados a la C&T, ni siquiera se mencionan los métodos cienciométricos basados en la bibliometría.

En toda esta situación no deja de ser sumamente ex-traño que a la hora de medir C&T, innovación tecnológica, recursos humanos de I+D, etc.; la comunicación y la información en ciencia en su forma más característica que es la publicación, no figure en un lugar central en los referidos manuales de uso internacional. Hay razones para ello, y más adelante aventuraré algunas hipótesis.

La comunicación y la información son intrínsecas a la práctica de la ciencia. La investigación es estimulada y se sustenta por un flujo constante de nueva información. Cuando el ciclo de información se completa, otra vez se suministra nueva información en una interacción infinita, generando un ciclo renovado de creación y de descubrimientos.

El ciclo de información-creación-información puede verse como una espiral ascendente y perfectible. Este concepto es central en la idea de progreso de nuestra cultura; es la convicción de que la misma naturaleza del conocimiento -el conocimiento objetivo de la ciencia y la tecnología- es la de avanzar sin pausas, mejorar, y llegar a ser más y más perfecto.⁵ Este conocimiento llega a ser objetivo (el mundo III en la concepción popperiana),⁶ cuando se comunica y se legitima por los pares dentro de la misma comunidad científica.

Para entender el rol que juega la información en la vida de los científicos es necesario apreciar el mundo en el que trabajan, la naturaleza de su trabajo y las influencias a las que están sujetos.⁷ Este tema, propio de la sociología de la ciencia, requiere de instrumentos conceptuales y metodológicos que se han desarrollado bajo nombres de bibliometría y cienciometría, y se han modelizado matemáticamente en la informetría.⁸ ]]> No podemos interpretar los datos sobre las necesidades de información y sus usos sin reconocer que los científicos y técnicos se encuentran en el centro de muchos sistemas que tocan cada aspecto de sus trabajos. Entre los sistemas más importantes en que está inmerso ese científico están: el ambiente cultural, el político, los colegios invisibles, las organizaciones formales, los grupos de trabajo, el sistema legal y económico, las asociaciones profesionales y, finalmente, el sistema de información. La bibliometría es pues, una disciplina con alcance multidisciplinario y la que analiza uno de los aspectos más relevantes y objetivos de esa comunidad, la comunicación impresa.

Para definir con más precisión las ideas y los términos, digamos que la bibliometría comprende:

• La aplicación de análisis estadísticos para estudiar las características del uso y creación de documentos.
• El estudio cuantitativo de la producción de documentos como se refleja en las bibliografías.
• La aplicación de métodos matemáticos y estadísticos al estudio del uso que se hace de los libros y de otros soportes dentro de los sistemas de bibliotecas y entre estos.
• El estudio cuantitativo de las unidades físicas publicadas, o de las unidades bibliográficas, o de sus sustitutos.

Los temas que interesan a la cienciometría incluyen el crecimiento cuantitativo de la ciencia, el desarrollo de las disciplinas y subdisciplinas, la relación entre ciencia y tecnología, la obsolescencia de los paradigmas científicos, la estructura de comunicación entre los científicos, la productividad y creatividad de los investigadores, las relaciones entre el desarrollo científico y el crecimiento económico, etc.

La cienciometría usa técnicas matemáticas y el análisis estadístico para investigar las características de la investigación científica. Puede considerarse como un instrumento de la sociología de la ciencia.

La bibliometría estudia la organización de los sectores científicos y tecnológicos a partir de las fuentes bibliográficas y patentes para identificar a los autores, sus relaciones, y sus tendencias. Por ejemplo, la cienciometría se encarga de la evaluación de la producción científica mediante indicadores numéricos de publicaciones, patentes, etc. La bibliometría trata con las varias mediciones de la literatura, de los documentos y otros medios de comunicación, mientras que la cienciometría tiene que ver con la productividad y utilidad científica. ]]> Tabla 1. Indicadores de publicación

• Identificar las tendencias y el crecimiento del conocimiento en las distintas disciplinas.
• Estimar la cobertura de las revistas secundarias.
• dentificar los usuarios de las distintas disciplinas.
• Identificar autores y tendencias en distintas disciplinas.
• Medir la utilidad de los servicios de diseminación selectiva de información.
• Precedir las tendencias de publicación.
]]> Identificar las revistas núcleo de cada disciplina.
• Formular políticas de adquisición ajustadas al presupuesto.
• Adaptar políticas de descarte de publicaciones.
• Estudiar la dispersión y la obsolescencia de la literatura científica.
• Diseñar normas para estandarización.
• Diseñar procesos automáticos de indización, clasificación y confección de resúmenes.
• Predecir la productividad de editores, autores individuales, organizaciones, países.⁹

Las actividades de investigación científica y tecnológica necesitan ser evaluadas para juzgar que también fueron cumplidos sus objetivos originales, el valor de sus resultados y qué cosas contribuyeron o impidieron el éxito. Estas evaluaciones juegan un rol significativo para construir en los países el potencial científico y tecnológico pues permiten:

• Medir la efectividad de las investigaciones para cumplir con las metas sociales y económicas.
• Desarrollar infraestructuras adecuadas e identificar programas que entrenen a las futuras generaciones de investigadores.

La metodología de evaluación de la actividad científica entraña dos problemas: los criterios de medición y la relación entre indicadores científicos y evaluación.

Es importante reconocer que mucha de la discusión que se da entre los sociólogos de la ciencia radica en la importancia relativa que se den a los criterios intrínsecos o extrínsecos de evaluación. Esto divide a los sociólogos en internalistas y externalistas.

El enfoque internalista enfatiza la importancia que las demandas intrínsecas ejercen en la lógica de los descubrimientos y las necesidades cognoscitivas, mientras que los externalistas prestan atención al rol sociocultural, político, y económico, que determina la dirección de la ciencia.

Debe notarse que esta estructura conceptual surge de las reflexiones sobre la institución científica elaborada en los países desarrollados, la que para trasladarse a los países periféricos debe ser adaptada. Pues la tal llamada ciencia internacional (o mainstream) es, en gran medida, el resultado de las ciencias nacionales de los países centrales y producto de la interrelación entre los factores intrínsecos y extrínsecos de ese emprendimiento.

Estas visiones un tanto diferentes del mundo se perciben por ejemplo en los métodos de evaluación alternativos y, debemos decir en justicia, complementarios, elaborados por la OCDE para evaluar la I+D propiamente dicha, y los conceptos elaborados por la Unesco para el mismo problema. La Unesco amplía la evaluación de la C & T de los países incorporando a la visión mainstream las actividades científicas y tecnológicas (ACT). Las ACT comprenden (a) la enseñanza y la formación científica y técnica, y (b) los servicios científicos, es decir, todas las actividades de enseñanza superior y formación especializada universitaria, y las actividades de C&T de bibliotecas, bases de datos, etc.

Esta medición tiene su razón de ser. Si analizamos la inversión que hacen los países desarrollados y la comparamos con la que se realiza en los nuestros, las cifras de unos y otros son abismalmente distintas. Tanto si comparamos las cifras absolutas en billones de dólares como relativas al PNB, el abismo o brecha que nos separa no es posible superarlo. Toda la inversión conjunta que se dedica a C&T en la totalidad de los países de América Latina y el Caribe, en su totalidad repito, es apenas una fracción de lo que dedican tan solo los Estados Unidos. Incluso, si se deja fuera del análisis a las industrias de defensa y a la industria aeroespacial, estas diferencias siguen teniendo varios órdenes de magnitud. ]]> Por esa razón, ningún esfuerzo económico en el futuro previsible podrá hacer que la I+D de la región pueda competir con la de los países desarrollados. La estrategia posible de desarrollo de C&T de nuestros países pasa por la inversión en las ACT, es decir, la formación de cuadros científicos y los servicios de información que permitan la transferencia tecnológica. Nuestra C&T será más de transferencia que de innovación en cifras absolutas. Nuestras publicaciones serán diferentes pues cumplirán papeles diferentes, y los métodos de evaluación serán diferentes pues los contextos sociales lo son también.

El objetivo de los procedimientos de evaluación es obtener medidas de los resultados con respecto a:

• Cuán exitosos han sido en lograr los objetivos establecidos por la política de ciencia del país y cuál es el valor de estos objetivos en el contexto de esa sociedad.
• Qué factores fueron instrumentales en promover o impedir el logro de dichos objetivos.
• Qué cambios son necesarios para mejorar los logros futuros.

La cuestión fundamental que se evaluaría en el desempeño científico es si el esfuerzo de investigación y publicación científica resulta en una contribución real al progreso científico de esa sociedad, si contribuye a metas prácticas y útiles tanto en lo técnico como en lo social o, si por el contrario, el esfuerzo es redundante y sin utilidad significativa. Repetimos el concepto, la evaluación del sistema de comunicación científica debe tener como referencia las metas de la política científica establecida para el país o región, no necesariamente coincidente con la ciencia internacional.

Para la caracterización y el juicio razonable de la empresa científica es necesario establecer pautas tanto objetivas como cuantificables, así como también pautas de calidad.

• Objetivas y verificables, son las que se logran por los métodos cienciométricos. Estos métodos son: el análisis de citaciones, premios, patentes, contratos, becas, mapas de cocitaciones, etc. Como es sabido, estos métodos tienen limitaciones y reciben críticas debido a que los números reflejan la cantidad o actividad y, de cierta manera, la productividad, pero no la calidad y contenido de las publicaciones.
• Adecuadas para valorar el contenido y nivel de conocimientos, son las que se logran mediante el arbitraje por expertos. El análisis por expertos es el método usado para la selección de premios, el ingreso a círculos académicos, nominación a universidades, etc. Sin embargo, su validez está restringida debido a los problemas de juicios subjetivos y por criterios externos a las metas científicas, como son los prejuicios nacionales, las presiones políticas, los factores de prestigio social, etc.
]]> En lo concreto, entonces surge la pregunta: ¿Cuáles son estos famosos indicadores cienciométricos del que disponemos, cuántos son, qué miden? En un artículo publicado hace algunos años en Scientometrics, Vinkler presenta una tabla comparativa con 46 indicadores simples y compuestos. Los indicadores siguientes son sólo una selección de estos, más algunos que yo he agregrado. Pueden dividirse en 2 grandes grupos:
• Indicadores de publicación: miden la calidad e impacto de las publicaciones científicas.
• Indicadores de citación: miden la cantidad e impacto de las vinculaciones o relaciones entre las publicaciones científicas.
Cada uno de estos índices pueden medirse como índices simples, relativos, o ponderados según distintos criterios. También pueden medirse como series cronológicas, o como medidas de distribución (Bradford, Lotka, etc.).

Los estudios pueden realizarse a nivel micro, medio o macro según midan:

• individuos, instituciones, países.
• revistas individuales, grupos temáticos toda una disciplina.
Ahora bien, si tenemos todos estos indicadores supuestamente objetivos, los que han sido analizados y desarrollados por más de 3 décadas, con publicaciones internacionales serias, con estudios importantes realizados en todas partes del mundo, ¿por qué estas técnicas no integran las herramientas normales de evaluación de la C&T recomendados en los manuales internacionales? Tabla 3. Técnicas de mapeos

Technique-técnica	Measure-medida
Coword analysis	Análisis de concurrencia de palabras
Citation networks	red de citaciones
Scientific collabo-	Análisis de colaboración científica
boration analysis

La razón, a mi manera de ver, es que estas herramientas se han mostrado adecuadas para analizar la producción de C&T de los países centrales, de la ciencia mainstream, pero tienen serios problemas de índole epistemológica e instrumental a la hora de analizar la producción de los países menos desarrollados.¹⁰ ]]> La razón instrumental es una vieja discusión conocida por todos ustedes. Las herramientas principales disponibles para la mayor parte de los estudios bibliométricos proceden de las bases de datos del Institute for Scientific Information (ISI), cuyos procedimientos de selección de revistas son parciales y no son adecuados ni suficientes para evaluar la C&T de los países en vías de desarrollo. El ISI produce instrumentos adecuados para evaluar la ciencia mainstream, pero no así la del resto del mundo, ni en particular las actividades que la Unesco llama de ACT.

Esta es la primera razón por la que este proyecto desarrollado por BIREME (Centro Latinoamericano del Caribe de Información en Ciencias de la Salud) es importante y oportuno y con una metodología confiable. Llena un vacío largamente esperado en toda la región. Tendremos los instrumentos y los métodos para construir la base de datos para nuestros indicadores bibliométricos y cienciométricos, que cubran una muestra suficientemente representativa de nuestra actividad científica y permita obtener resultados válidos y comparables acordes con las necesidades de nuestras políticas científicas y nuestros niveles de desarrollo.

La otra razón, la razón epistemológica, es menos conocida y tiene que ver con la forma en que históricamente fueron construidas las listas de revistas del ISI con sus bases de datos. Este tema fue analizado en un artículo por Spinak y Rousseau¹¹ recientemente, al que podría llamar el problema de las colas de los cometas.
 

  Fig. 2. Distribución de Bradford Fig. 3. Potencial de publicación. Distribución de Waring ]]> Fig. 4. Índice de impacto Fig. 5. Análisis de citaciones y apareo bibliográfico   Fig. 6. Análisis de cocitaciones ]]> Fig. 7. Apareo bibliográfico

Para comprender la discusión del problema de las colas de los cometas debemos referirnos primero a un antiguo y clásico artículo de Eugene Garfield,¹² publicado hace unos 20 años, donde presentó lo que él llamó en su momento la "ley de la concentración de Garfield". De acuerdo con Garfield, su ley bibliométrica señalaba que para cualquier campo de la ciencia los artículos se concentran en las mismas revistas multidisciplinarias de alto impacto o mainstream.

Haciendo referencia a las distribuciones de Bradford, dijo que en gran medida la cola del cometa de una disciplina consistía en gran parte en el conjunto de revistas que conformaba el núcleo de la literatura de otra disciplina. Esto significaba, en su manera de ver, que una buena biblioteca de ciencia que cubriera los números de todas las disciplinas no debería tener más revistas que una buena biblioteca especializada que cubriera toda la literatura de una sola disciplina. Con ello no sería necesario más que unas 1 000 revistas mainstream para cubrir todos los núcleos con sus colas. De aquí que con unas 3 000 revistas el Science Citation Index cubre más que suficiente al 90 % de la literatura que realmente importa.

En otras palabras, con un conjunto de revistas mainstream no sólo se tienen los núcleos de todas las disciplinas, sino también sus colas de distribución principales, pues el conjunto de estas están formadas por las otras revistas mainstream. Hasta aquí la hipótesis de Garfield.

Esta opinión nunca fue demostrada, sin embargo, durante 30 años actuó como impedimento ideológico para que se incorporaran al ISI revistas que no pertenecieran a ese conjunto cerrado de revistas iniciales, que históricamente procedieron de los países desarrollados de habla inglesa.

En el artículo citado de Rousseau y Spinak¹¹ se plantea una hipótesis alternativa, sobre procedimientos de construcción de núcleos y colas de distribución partiendo de conjuntos iniciales de revistas alternativos al que usó el ISI en los años 60. Estos núcleos de partida alternativos podrían producir distribuciones de títulos diferentes a los que se manejan por el ISI y que harían mejor justicia a la producción de C&T de los países en vías de desarrollo, en particular los de América Latina.

Esta es la segunda de las razones por la que este proyecto desarrollado por Bireme es importante, oportuno y con una metodología confiable. Llena un vacío largamente esperado por todos nosotros al proporcionarnos un instrumento con el que se podrá medir más acertadamente la contribución en C&T de la región.

En tercer lugar, y para nosotros muy importante, es que al poner Bireme esta metodología a disposición en la región, y al usar como soporte de software al sistema ISIS desarrollado por la UNESCO, los costos para obtener, distribuir, manejar y analizar la información, serán sustancialmente más bajos que los que se tienen actualmente. Pues hoy, la información disponible, con las restricciones ya mencionadas, debe ser comprada al único o casi único proveedor comercial que existe.

En el futuro cercano tendremos nuestros propios datos bibliométricos para realizar las evaluaciones pertinentes de nuestra producción bibliográfica a la luz de nuestro contexto económico y social; esos resultados se medirán de acuerdo con las prioridades de las políticas de C&T que corresponden a nuestro desarrollo regional. No tendremos que pagar cifras cuantiosas por datos no representativos de nuestra realidad. Podremos mirar a nuestro desarrollo de C&T con nuestros propios ojos, y no a través de la ventana que incidentalmente se encuentra en Filadelfia. ]]> Vayan a Bireme nuestras más sinceras felicitaciones y auguramos el mejor de los resultados posibles a este esfuerzo de innovación tecnológica que es lidereado por Bireme y la Fapesp en nuestra región.

REFERENCIAS BIBLIOGRÁFICAS

1. Moravcsik MJ. The classification of science and the science of classifficatin. Scientometrics 1986; 10(3-4):179-97.
2. OCDE. Manual de Frascati: propuesta de norma práctica para encuestas de investigación y desarrollo experimental. París: OCDE, 1993.
3. . Oslo Manual: proposed guidelines for collecting and interpreting technological innovation data. París: OCDE, 1997.
4. . The measurement of scientific and technological activities: manual on the measurement of human resources devoted to S&T, "Camberra Manual". París: OCDE, 1995.
5. Nisbet R. History of the idea of progress. New York: Basic Books (19-):365.
6. Neill SD. Brookes, Popper and objetive knowledge. J Inform Sci 1982;(4):33-9.
7. Palmer J. Scientists and information: II. Personal factors in information behaviour. J Document 1991;47(3):254-75.
8. Spinak E. Diccionario enciclopédico de bibliometría, cienciometría e informetría. Caracas: Unesco, 1996:244.
9. Sengupta IN. Bibliometrics, Informetrics, Scientometrics and Librametrics: an ovesifying bibliometric indicators for scientometric purposes. Scientometrics 1988;13(5-6):239-59.
10. Spinak E. Quantitative analyses of scientific literature and their validity for judging Latin American Production. Bull Pan Am Health Organ 1995; 29(4):352-9.
11. Rousseau R, Spinak E. Do a field list of internationally visible journals and their journal impact factors depend on the initial set of journals? A research proposal. J Document 1996; 52(4):449-56.
12. Garfield E. Citation indexing: its theory and application in science, technology, and humanities. New York: John Wiley & Sons
1979:274.

Ernesto Spinak

Spinaker@Adinet.com.uy

Abstract

Scientific indicators arise from the measurement of inputs and results of the scientific institution. Scientometrics develops methodologies for set up those indicators based on interdisplinary technics from the economics, statistics, management and documentation. The methodologies that are internationally accepted (Frascati Manual, Oslo Manual and Canberra Manual) constitute the classical references to measure the econocmic inputs and results, as well as the technological results of the research and development. However, there is no international consensus about how to measure and evaluate intellectual and academic production in the ways in which it is expressed in the editorial system, either in the interpretation of its impacts e influences. Defining bibliometrics, scientometrics and infometrics, as well as their scope and application, this paper presents alternative views to interpret current scientometric indicators, which greatly outcome from compilation of the Citation Index, published by the Institute for Scientific Information, and other similar databases. Particularly, an hypothesis is presented aiming at explaining the bias of the Citation Index in favour of the publications that belong to the mainstream of the developed countries, against those publications of similar quality published by Third World countries.

Subject headings: INDICATORS/utilization; BIBLIOMETRICS; SCIENTOMETRICS; BRADFORD?S LAW; ZINPF?S LAW; SENGUPTA?S LAW; LOTKA?S LAW; CITATION ANALYSIS; IMPACT FACTOR.

* Trabajo presentado en el Seminario sobre Evaluación de la Producción Científica, realizado en São Paulo por el Proyecto SciELO del 4 al 6 de marzo de 1998.
¹ Ingeniero S.C. Licenciado en Bibliotecología. Uruguay. ]]>   ]]> 1986 10 3-4 3-4 179-97 OCDE 1993 1997 1995 365 1982 4 4 33-9 1991 47 3 3 254-75 1996 244 1988 13 5-6 5-6 239-59. 1995 29 4 4 352-9 1996 52 4 4 449-56