ARTÍCULOS

 

La evaluación de la investigación científica: una aproximación teórica desde la cienciometría

 

The evaluation of scientific research: a theoretical approach from scientometrics

 

 

Ricardo Arencibia Jorge^I; Félix de Moya Anegón^II

ILicenciado en Bibliotecología y Ciencia de la Información. Red de Estudios Cienciométricos para la Educación Superior. Dirección de Organización y Control de la Actividad Científica. Centro Nacional de Investigaciones Científicas (CNIC).
^IIDoctor en Documentación e Información Científica. Grupo de Investigación SCIMAGO. Facultad de Biblioteconomía y Ciencias de la Información. Universidad de Granada. España.

 

 

---

RESUMEN

La evaluación de la actividad científica es un elemento imprescindible para todos los programas de investigación, tecnología y desarrollo que se implementan en una sociedad. La cienciometría ha contribuido al desarrollo de indicadores que constituyen herramientas clave en la gestión de la política científica y tecnológica, y en los procesos de toma de decisiones estratégicas. Se realiza un análisis de las diferentes aproximaciones a la evaluación de la investigación desde la perspectiva cienciométrica. Se tratan temas relacionados con la determinación de la calidad de una investigación, el valor cualitativo de los análisis de citas, la implementación de indicadores cienciométricos con fines evaluativos, las redes de colaboración como elementos catalizadores del desarrollo científico y el análisis de dominio como soporte teórico de los estudios cienciométricos para la evaluación de la ciencia. En el siglo XXI, las estrategias estaban dirigidas a la búsqueda de alternativas que permitieran la percepción de la dimensión cualitativa inherente a los procesos de comunicación de la ciencia, mediante el empleo de indicadores relativos y técnicas de presentación de la información que partían del reconocimiento tácito de las condiciones socioeconómicas donde se desarrollaba la actividad científica. Es necesaria la revisión de los indicadores cienciométricos utilizados, así como el fortalecimiento de los sistemas de información encargados de registrar y procesar la producción científica, con el objetivo de desarrollar instrumentos evaluativos que aceleren el crecimiento de la producción científica a nivel nacional y mejoren su visibilidad y posicionamiento en el contexto de la actividad científica mundial.

Palabras clave: Evaluación de la investigación, política científica, cienciometría, indicadores cienciometricos, análisis de citas, redes de colaboración, análisis de dominio.

---

 

ABSTRACT

The evaluation of the scientific activity is an essential element for all the programs of research, technology and development implemented in a society. Scientometrics has contributed to the development of indicators that constitute key tools in the management of scientific and technological policies, and in the processes of strategic decision-making. The current paper is an analysis of the different approaches to the research evaluation from the scientometric perspective. Topics related to the determination of the research quality, the qualitative value of citation analysis, the use of scientometrics indicators in evaluative assessments, the collaboration networks as patterns of scientific development, and the domain analysis as theoretical support to scientometric studies for science evaluation are dealt with. In the XXI century, the strategies were directed to the search of alternatives that allowed the perception of the qualitative dimension inherent in science communication processes, through the use of relative indicators and information visualization techniques, and starting from the implicit recognition of the social and economic conditions where the scientific activity was developed. It is necessary the revision of the scientometric indicators used, as well as the creation of strong information systems to register and process the national scientific production, with the aim to develop evaluative tools that accelerate its growth and improve its visibility and position in the context of the world scientific activity.

Key words: Research evaluation, scientific policy, Scientometrics, scientometric indicators, citation analysis, collaboration networks, domain analysis.

---

 

 

El análisis y la evaluación de la información y el conocimiento resultante de la actividad científica es un elemento imprescindible para todos los programas de investigación pública, tecnología y desarrollo que se implementan en una sociedad; y es allí donde la Ciencia de la Información brinda una ayuda inestimable, al desarrollar técnicas e instrumentos para medir la producción de conocimiento y su transformación en bienes.

Las disciplinas métricas de la información (bibliometría, cienciometría e informetría) han permitido el desarrollo de indicadores que, al margen de ventajas y limitaciones ampliamente debatidas,^1-5 y sobre todo cuando son producto de un análisis multifactorial del contexto donde se aplican,^6-8 constituyen herramientas clave en la gestión de la política científica y tecnológica y en los procesos de toma de decisiones estratégicas.

En términos generales, los indicadores representan una medición agregada y compleja que permite describir o evaluar un fenómeno, su naturaleza, estado y evolución.⁹ La ciencia es un proceso social, y las acciones y conductas de los científicos dependen del contexto.¹⁰ Los indicadores de ciencia y técnica, como constructos sociales, miden aquellas acciones sistemáticas relacionadas con la generación, difusión, transmisión y aplicación de conocimientos científicos y tecnológicos. Asimismo, los indicadores bibliométricos constituyen una de las herramientas más utilizadas para la medición del producto de la investigación científica, porque la documentación (independientemente del tipo de soporte) es el vehículo más prolífico y exitoso para la transferencia del conocimiento científico, conjuntamente con su transferencia oral por medio de conferencias y comunicaciones personales.¹¹

Convencidos de que las publicaciones son el principal medio de comunicación y difusión de los resultados de las actividades científicas,¹² la producción científica de un país o institución es el conjunto de sus trabajos publicados, en tanto resultados de un proceso de investigación, y los indicadores bibliométricos las medidas que proveen información sobre esos resultados.¹³

Desde la segunda mitad del pasado siglo XX, los estudios bibliométricos y de evaluación de la actividad científica son parte indisoluble de las publicaciones sobre ciencia y tecnología elaboradas periódicamente en los países desarrollados.^14-17 Entre estas publicaciones se destacan los Science & Engineering Indicators, elaborados por primera vez en 1972 por el National Science Board de Estados Unidos, los Science & Technologie Indicateurs del Observatoire des Sciences et des Techniques de Francia, publicados cada dos años desde 1994, y los European Reports on S&T Indicators, editados por la Comisión Europea, en su tercera versión en el 2003.¹⁸

De igual forma, son conocidos los trabajos del Centre for Science and Technologies Studies (CTWS) de la Universidad de Leiden, Holanda,¹⁹ Science and Technology Policy Research de la Universidad de Sussex en el Reino Unido,²⁰ Computer Horizons Inc. (CHI) en los Estados Unidos,²¹ Information Science and Scientometric Research Unit (ISSRU) en Hungría,^22,23 así como las experiencias de la península ibérica a partir de los estudios realizados por el Centro de Información y Documentación Científica (CINDOC) del Consejo Superior de Investigaciones Científicas (CSIC),²⁴ y más recientemente el sistema de indicadores creado para la Fundación Española para la Ciencia y la Tecnología (FECYT) por investigadores del grupo SciMago,²⁵ y también las acciones realizadas por el Ministerio de Ciencia y Técnica de Brasil, el cual ha desarrollado proyectos de indicadores con amplia aceptación entre la comunidad académica.²⁶

Para la región iberoamericana, la constitución de la Red Iberoamericana de Ciencia y Tecnología (RICYT), que celebra anualmente un Taller de ciencia y tecnología y presenta un informe anual denominado El estado de la ciencia: principales indicadores de ciencia y tecnología iberoamericanos e interamericanos, ha marcado pautas en el reconocimiento e impacto del quehacer científico de los países de la región, aunque en materia de indicadores bibliométricos que demuestren la realidad científica y tecnológica de manera general todavía queda mucho por hacer.²⁷

En Cuba, las actividades científicas y tecnológicas se desarrollan, en lo fundamental, en una amplia red constituida por unas 154 entidades de ciencia e innovación tecnológica (ECIT), entre ellas 97 centros de investigación, así como por 65 universidades adscritas a varios ministerios y enclavadas a lo largo y ancho del país. Estas actividades se concentran en seis áreas principales: la agrícola y pecuaria; la biotecnología y el desarrollo de fármacos y vacunas; la medicina; la actividad industrial (azucarera y no azucarera); la biodiversidad y el medio ambiente, y la problemática nacional de carácter económico y sociocultural. Todas forman parte del sistema de ciencia e innovación tecnológica (SCIT).

El Sistema, cuya misión fundamental es potenciar el papel de la ciencia y la tecnología en función del desarrollo económico y la elevación de la calidad de vida de la población, está integrado por los órganos gubernamentales que ejercen su dirección, planificación y organización (unos 30 ministerios u organismos centrales del estado), las entidades que ejecutan actividades científicas, tecnológicas y de innovación (154 entidades de ciencia e innovación tecnológica, 65 universidades y más de 4 000 empresas productoras de bienes y servicios) y las organizaciones que actúan en la cooperación, integración e interfase entre las diversas instituciones que participan del ciclo científico-productivo. Todo esto bajo la rectoría del Ministerio de Ciencia, Tecnología y Medio Ambiente (CITMA), organismo encargado de dirigir, ejecutar y controlar la política del estado y del gobierno en materia de ciencia, tecnología, medio ambiente y uso de la energía nuclear.

En cuanto a los sistemas de evaluación, uno de los organismos más importantes del SCIT, el Ministerio de Educación Superior de la República de Cuba (MES) ha medido sistemáticamente la siguiente cadena de indicadores:

 

INDICADORES DEL BALANCE DE CIENCIA Y TÉCNICA DEL MINISTERIO DE EDUCACIÓN SUPERIOR PARA CADA UNO DE SUS CENTROS

1. Indicadores de impacto económico social.

1.1 Premios nacionales y provinciales de innovación tecnológica (otorgados por el CITMA).

1.2 Premios provinciales del Forum de ciencia y técnica.

1.3 Sedes universitarias municipales destacadas en el Forum de ciencia y técnica.

1.4 Premios internacionales.

2. Indicadores de impacto científico tecnológico.

2.1 Participación en premios de la Academia de Ciencias de Cuba.

2.2 Participación en premios CITMA provinciales.

2.3Total de publicaciones por profesor equivalente en Cuba y el extranjero.

2.4 De las anteriores, las publicadas en bases de datos internacionales.

2.5 De las anteriores, las que se incluyen en la corriente principal.

2.6 Publicaciones de libros y monografías.

2.7 Patentes de invención obtenidas.

3. Indicadores de pertinencia.

3.1 Porcentaje de proyectos vinculados a proyectos nacionales, ramales, territoriales, empresariales y universitarios de ciencia y tecnología.

3.2 Proyectos en planes de generalización ramales y provinciales.

3.3 Estado de ejecución de los proyectos.

3.4 Financiamiento de los proyectos de investigación en peso cubano convertible (CUC).

A pesar de su abarcador alcance, la implementación y evaluación sistemática de estos indicadores de impacto científico tecnológico aún no logra convertirse en herramienta estratégica para impulsar la producción científica con la misma dinámica para todas las instituciones del Ministerio, por lo que se hace necesario la revisión crítica de algunos de ellos y su reajuste, en aras de crear un instrumento evaluativo que permita impulsar realmente la producción científica de los centros adscritos al MES.

De igual forma, a pesar de las emprendedoras acciones realizadas por la alta dirección del país, los integrantes del SCIT y el MES, resulta aún insuficiente la actividad de la ciencia y la tecnología, y en particular de la innovación, como elementos dinamizadores de la competitividad de la economía nacional y del logro del desarrollo sostenible a que se aspira, fundamentalmente en el sector empresarial.

Dentro de esta gran situación macro que vive el país, se encuentra también, por supuesto, que es insuficiente en el marco de las universidades la evaluación de la producción científica de los investigadores y de su actividad, lo que influye significativamente en el impacto y visibilidad de los resultados científicos y tecnológicos alcanzados por el MES, cuando se comparan con los alcanzados por el sector universitario en los países industrializados y en numerosos países de la región que han desarrollado políticas de evaluación de manera sostenida.^28-32

El sector universitario, productor y diseminador principal del conocimiento dentro de una sociedad, tiene un papel protagónico dentro de la actividad científica de cualquier nación, aspecto que se pone de manifiesto en la mayor parte de los países de América Latina.³³ Por tanto, la construcción de indicadores bibliométricos y cienciométricos con fines evaluativos, que puedan hacer frente al reto de impulsar la producción científica de las instituciones adscritas al MES, así como de todas las instituciones del SCIT, es una tarea ardua y difícil que requiere de atenciones, y fundamentalmente de acciones, por parte de los organismos rectores de la política científica del país.

 

CANTIDAD VERSUS CALIDAD DE LA INVESTIGACIÓN

Detrás de los indicadores bibliométricos y cienciométricos subyace una teoría tradicional de la ciencia que la identifica con el conocimiento que ella produce, asume esta producción como tarea esencial de la ciencia, y atribuye a las revistas de corriente principal y sus árbitros la capacidad de juzgar el valor de esas novedades. Desde esta perspectiva, el papel de la sociedad se limita a la mera observación de este fenómeno, porque no considera otras metas muy importantes que la ciencia, y específicamente la actividad científica desarrollada en las universidades, debe cumplir, como la transmisión de una perspectiva científica a toda la sociedad.³⁴

Muchas veces la aplicación de indicadores bibliométricos y cienciométricos a países en desarrollo persigue la comparación obsesiva con países industrializados, y se obvia la problemática social que el conocimiento y la ciencia deben atender. No obstante, resulta contraproducente soslayar instrumentos evaluativos que han influido revolucionariamente en la práctica científica contemporánea, como los índices de citas del Institute for Scientific Information (ISI) de Filadelfia.

Los índices de citas, creados por Eugene Garfield, ofrecen una dimensión de la calidad de la investigación diferente a la que tradicionalmente brinda el juicio de un experto, al considerar los hábitos de citación de la comunidad científica como principal factor de análisis; esta diferencia, sin embargo, no implica que no exista correlación entre los análisis que resultan de ambos métodos, como bien ha sido demostrado por numerosos autores en el ámbito internacional.^35-37

Renunciar a esta perspectiva es cerrar la puerta a una amplia gama de criterios de medida de orden cualitativo, que pueden ayudar a la caracterización del desempeño científico de investigadores, grupos de investigación, instituciones, disciplinas, sectores o países.

La calidad de una investigación y su determinación de acuerdo con el juicio de uno o más individuos, después de un proceso de análisis donde influyen de manera simultánea factores intelectuales, psicológicos y sociales, ha sido un aspecto esencial para el desarrollo de la ciencia, y ha formado parte de ella desde el surgimiento de los primeros canales de comunicación del conocimiento científico, a partir de la segunda mitad del siglo XVII.³⁸

La validación de un nuevo conocimiento científico ha precisado siempre del consenso de una comunidad que, por medio de un juicio de expertos no exento de alabanzas y críticas,^39-42 ha sostenido un robusto sistema de comunicación, generador a su vez de redes sociales e institucionales que conforman los sistemas nacionales de ciencia y tecnología.

De esta forma, la revisión de pares expertos ha tenido como funciones no sólo la de ejercer el control sobre la calidad de los resultados de investigación que se ponen a disposición del resto de la comunidad, sino también la de incidir en la dirección del desarrollo del conocimiento en las diversas disciplinas científicas.

El desarrollo, expansión y consolidación de los sistemas de ciencia y Técnica, no obstante, ha conllevado el surgimiento de nuevas necesidades que emergen de la sociedad y de las propias políticas científicas, que convierten la evaluación en una herramienta clave para la asignación o distribución de recursos materiales o financieros, la definición de nuevos incentivos y la validación de los resultados en ciertas áreas científicas en relación con las necesidades nacionales.⁴³

La evaluación de la investigación en el siglo XXI implica una concepción integradora y multidimensional, donde la revisión por pares expertos constituye un elemento más, en conjunto con encuestas especializadas, modelos econométricos, estudios prospectivos y análisis bibliométricos. Esta visión de la evaluación como herramienta tecnológica para la caracterización de la investigación, sus resultados, sus instituciones y sus autores, contribuyen a la eficacia y eficiencia de los sistemas de Investigación + Desarrollo + Innovación (I+D+I), permeándolos de una mayor coherencia y visión estratégica, que viabiliza su integración a los sistemas de dirección y gestión de la investigación y a los procesos de toma de decisiones, sea cual fuere el nivel de agregación donde se apliquen.

Si se considera este enfoque sistémico, los estudios bibliométricos se convierten en un importante aliado de los juicios de expertos. No se trata de reemplazar el peer review informado con análisis de citación y rankings, como en algún momento se pretendió y aún se pretende,¹⁶ sino en asumir que, a pesar de que el juicio de expertos es el método más establecido para la evaluación en ciencia y tecnología, no existe un método que por sí solo brinde una medida exacta del impacto de la investigación.¹⁵

Tampoco se trata de asumir miméticamente indicadores y modelos basados en los índices de citas del ISI, que constantemente retratan la enorme brecha que separa a los países desarrollados del resto de las naciones; sino en poder entender la naturaleza epistemológica que sustenta sus pilares, apreciar sus principales virtudes, conocer e intentar dar solución práctica a sus más complejos problemas,^44-47 y construir indicadores relativos,^48,49 que permitan captar las fortalezas y debilidades de las instituciones encargadas de generar conocimiento científico, y difundirlo en los canales de información que durante los últimos 40 años han tenido la mayor importancia para la comunidad científica internacional, y que son sin duda alguna las revistas contenidas en las bases de datos del ISI.

 

VALOR CUALITATIVO DEL ANÁLISIS DE CITAS: EL IMPACTO DE UNA INVESTIGACIÓN

Los índices de citas del ISI no pueden dejar de considerarse a la hora de evaluar la calidad de la investigación realizada en las instituciones científicas porque, más allá de cualquier factor de índole político o económico, estos abrieron caminos para el estudio a fondo de la comunicación científica, mediante el uso de las más diversas perspectivas y la generación de líneas de investigación que hoy constituyen pilares de la Ciencia de la Información, además de constituir fuentes de información indispensables para analizar la dimensión cualitativa de la proyección científica internacional de cualquier país del mundo.

La ciencia, según Paul Wouters, es un ciclo de procesamiento de información: su calidad es mantenida por el sistema de revisión de pares. El objetivo de las bases de datos del ISI es la creación de un ciclo de segundo orden relacionado directamente con el ciclo primario de producción de conocimiento: el ciclo de citación. La bibliometría, por tanto, tiene un papel principal en el ciclo de citación, al permitir el entendimiento más profundo de los procesos de retroalimentación que ocurren en ambos ciclos.⁵⁰

La visión de Wouters, que se enmarca dentro de la llamada "teoría reflexiva de la citación", no es más que una entre tantas soluciones teóricas que han pretendido conceptualizar el fenómeno implícito detrás del hecho común en la práctica científica de incluir un trabajo entre las referencias bibliográficas utilizadas para realizar una investigación.⁵¹

Según Smith, existen cuatro supuestos básicos que subyacen en la referencia bibliográfica, y que constituyen la base de los estudios de citaciones y de su empleo como instrumentos de análisis:⁵²

1. El contenido del documento citado se relaciona con el que hace la referencia.

2. La referencia que hace un autor a otro documento supone que este lo usa, lo cual implica dos cosas:

a) Todos los documentos citados se usaron por el autor.

b) Los documentos citados son los más importantes que se usaron al preparar un trabajo.

3. La referencia a un documento refleja el mérito de este.

4. Las referencias se hacen a los mejores documentos disponibles sobre el tema.

La concepción de la cita como moneda de pago (reconocimiento del valor del trabajo de un autor consultado para la investigación),⁵³ como proceso cognitivo,⁵⁴ como acto persuasivo,⁵⁵ o como concepto simbólico,⁵⁶ aún alimenta numerosos debates, y ha conllevado a una serie de estudios empíricos que han tratado de identificar las motivaciones para la citación,^57-64 validar la relevancia de las citas, o demostrar la completa inutilidad de las citas como medidas de calidad.⁶⁵

A pesar de los numerosos estudios y teorías planteadas para determinar la naturaleza del proceso de citación,⁵¹ Eugene Garfield fue claro al tratar el asunto: "Un trabajo altamente citado es aquél que ha sido hallado útil por un número relativamente largo de experimentos. La citación de un pasaje particular de un trabajo científico no necesariamente dice nada sobre su elegancia y su importancia relativa para el avance de la ciencia y de la sociedad. La única razón para el uso de los conteos de citación para la evaluación de investigadores, es que brinda una medida de la utilidad y el impacto del trabajo científico".⁶⁶

Por tanto, si bien el número de citas que recibe un trabajo no puede considerarse por sí solo como una medida de su calidad científica propiamente dicha, la sistematicidad de la citación, cuando es producto de una selección consciente por parte de los diferentes autores, puede indicar, además de su utilidad, el cumplimiento de ciertas normas generales de calidad científica exigidas por los investigadores como para considerar a los trabajos en realidad valiosos.⁶⁷

 

INDICADORES BIBLIOMÉTRICOS Y CIENCIOMÉTRICOS CON FINES EVALUATIVOS

La cienciometría no es más que la aplicación de técnicas bibliométricas al estudio de la actividad científica. Su alcance va más allá de las técnicas bibliométricas, porque puede emplearse para examinar el desarrollo y las políticas científicas. Los análisis cuantitativos de la cienciometría consideran a la ciencia como una disciplina o actividad económica, por lo que pueden establecerse comparaciones entre las políticas de investigación, sus aspectos económicos y sociales, y la producción científica, sea entre países, sectores o instituciones.¹³

Las temáticas que abarca la cienciometría incluyen el crecimiento cuantitativo de la ciencia, el desarrollo de las disciplinas y subdisciplinas, la relación entre ciencia y tecnología, la obsolescencia de los paradigmas científicos, la estructura de comunicación entre los científicos, la productividad y creatividad de los investigadores, las relaciones entre el desarrollo científico y el crecimiento económico, entre otras.^10,13 La cienciometría emplea técnicas matemáticas y el análisis estadístico para investigar las características de la investigación científica, y puede considerarse como un instrumento de la sociología de la ciencia.

Para percibir los matices que distinguen la estrecha relación bibliometría-cienciometría en el estudio de la actividad científica, Spinak plantea que la bibliometría estudia la organización de los sectores científicos y tecnológicos a partir de las fuentes bibliográficas para identificar a los autores, sus relaciones, y sus tendencias; mientras que la cienciometría se encarga de la evaluación de la producción científica mediante indicadores numéricos de esas fuentes bibliográficas. La bibliometría trata con las varias mediciones de la literatura, de los documentos y otros medios de comunicación, mientras que la cienciometría se relaciona con la productividad y utilidad científica.⁶⁸

La evaluación del desempeño de instituciones dedicadas a la investigación científica no puede limitarse al examen exclusivo de estadísticas económicas que miden el número de recursos humanos y la dimensión de las instituciones para compararlos con insumos o inversiones monetarias destinadas a la investigación, porque el objetivo de una institución científica es precisamente la investigación, y la evaluación de la investigación requiere de indicadores de desempeño científico que permitan juzgar el valor de los resultados obtenidos, determinar el cumplimiento o no de los objetivos esenciales e identificar los factores determinantes del éxito o el fracaso de la política científica.

En consecuencia, la evaluación del sistema de comunicación científica en una institución de investigación debe tener como referencia las metas de la política científica establecida para la institución, el sector, el país o la región evaluada, no necesariamente coincidentes con las pautas establecidas por la ciencia en los países desarrollados.⁶⁸

El proceso de recopilación, tabulación o mapeo de los indicadores cualitativos y cuantitativos, así como el monitoreo de las actividades, son fases iniciales de la evaluación, una vez que se han identificado los aspectos a evaluar, se han determinado los métodos para evaluarlos y se han definido las razones para hacerlo.

Los indicadores cienciométricos pueden dividirse en dos grandes grupos: los que miden la calidad y el impacto de las publicaciones científicas (indicadores de publicación), y aquellos que miden la cantidad y el impacto de las vinculaciones o relaciones entre las publicaciones científicas (indicadores de citación).^68,69 Pueden medirse como índices simples, relativos o ponderados, según los criterios que se consideren. De igual forma pueden medirse atendiendo a series cronológicas o como medidas de distribución, y los estudios pueden realizarse a nivel micro (individuos, grupos de investigación o revistas individuales), meso (instituciones o grupos temáticos) o macro (países, regiones o toda una disciplina).

Otros autores los clasifican en indicadores de actividad e indicadores relacionales de primera, segunda y tercera generaciones. Mientras los indicadores de actividad proporcionan datos sobre el volumen y el impacto de las actividades de investigación mediante simples recuentos de elementos bibliográficos (como autores, artículos, palabras clave, patentes, citaciones, entre otros), los indicadores relacionales se proponen conocer los vínculos y las interacciones entre los diferentes elementos bibliográficos mediante los conceptos de cocitación y coocurrencia, e intentan describir el contenido de las actividades y su evolución.^70,71

Numerosos autores han aportado valiosos indicadores bibliométricos y cienciométricos, que permiten minimizar gran parte de los sesgos que se manifestaban en los estudios métricos de las décadas de los años 1980 y 1990. En aquel entonces, la excesiva preponderancia de indicadores cuantitativos, la poca integración de los especialistas dedicados a hacer estudios métricos, la influencia de los intereses de la política científica y los negocios en la investigación que se financia, y el mal uso de los indicadores, hicieron pensar a algunos que a pesar de su crecimiento vertiginoso y la proliferación de su uso, la cienciometría comenzaba a experimentar un proceso de crisis.⁷²

A finales de los años noventa y hasta el presente, el replanteamiento de los indicadores cienciométricos y la utilización de indicadores relativos más eficaces,^48,49,73,74 la utilización de nuevas técnicas de análisis y presentación,^75-84 y la extensión de los estudios métricos a las patentes de invención^85-91 y a los entornos Web,^92-97 permitieron enriquecer y ampliar el espectro de la perspectiva cienciométrica, y lograr que su aplicación como parte de las evaluaciones institucionales permita la implementación de políticas científicas más reflexivas.⁹⁸

Otros aspectos continúan bajo constante escrutinio de la comunidad científica, como el uso de los índices de citas para la evaluación de las ciencias sociales y las humanidades,^99-105 donde las monografías científicas, que no están bajo la cobertura de las bases de datos del ISI, ejercen un papel protagónico en el comportamiento de la producción y hábitos de citación de los científicos, así como los efectos negativos de los rankings de científicos e instituciones sobre las políticas científicas;^8,106 y la mirada siempre atenta a la aplicabilidad de los indicadores basados en los índices de citación del ISI para la evaluación de la ciencia en los países menos desarrollados.^{28,29,107-109}

Este último aspecto debe considerarse siempre, porque las herramientas principales disponibles para la mayor parte de los estudios bibliométricos proceden de las bases de datos del ISI (actualmente denominado Thomson Scientific), cuyos procedimientos de selección de revistas han sido considerados como parciales y no adecuados ni suficientes para evaluar la C&T de los países en vías de desarrollo,⁶⁸ y donde aspectos como la identificación, recuperación y posterior normalización de los nombres de origen hispano o la filiación institucional, por poner dos ejemplos críticos, se convierte en uno de los más engorrosos pasajes de la labor bibliométrica.⁴⁵

Indudablemente, cuando se analizan instituciones en niveles de agregación meso o micro, se abarca un período reducido de tiempo, o se manejan datos de instituciones con poca producción científica, la omisión de la más mínima cantidad de artículos puede afectar de manera significativa el valor de los indicadores y, por tanto, la validez de un estudio cienciométrico.

En estos casos, la rigurosidad en cada una de las fases de la investigación es imprescindible. La exquisitez en la verificación de cada detalle que pueda significar un error no siempre está en concordancia con el tiempo que se dispone para la realización del estudio. Es por esta razón fundamentalmente que los indicadores cienciométricos son más eficaces cuanto más alto sea el nivel de agregación analizado.¹¹⁰

 

REDES DE COLABORACIÓN: UNA NUEVA PERSPECTIVA DEL DESARROLLO CIENTÍFICO

Uno de los aspectos que actualmente se estudian con mucha intensidad, y especialmente desde el enfoque métrico, es la colaboración científica y su significado en los procesos de I+D+I.^{48, 111-116}

El estudio de las redes sociales derivadas de la cooperación interpersonal, interinstitucional e internacional en materia de ciencia y tecnología, comenzó a tratarse con profundidad durante la segunda mitad del siglo XX, especialmente a partir de la década de los años 1960.

En 1958, Michael Smith estudió el comportamiento de la autoría múltiple en Psicología, y sugirió que los artículos en coautoría podían utilizarse como una medida aproximada de colaboración entre grupos de investigadores.⁵² Además, notó que los resultados de un proyecto científico se publicaban frecuentemente bajo la autoría de todos los investigadores incluidos en el proyecto, independientemente del tipo de colaboración científica existente.

Derek de Solla Price, en uno de los más influyentes libros publicados en el campo de la sociología de la ciencia,¹¹⁷ comprobó empíricamente las observaciones de Smith sobre el aumento de la autoría múltiple en ciencia, y observó que esta podía identificarse en las más diversas formas, y con mucha frecuencia en el ámbito de los llamados colegios invisibles, que constituían comunidades informales de investigadores que se comunicaban, intercambiaban informaciones y experiencias, y publicaban formalmente sus resultados de investigación. Este tema sería desarrollado con posterioridad por la socióloga Diane Crane en la década de los años 1970.¹¹⁸

Las diferentes formas de colaboración y el porqué y cómo surgen, constituyeron temas de vital importancia en la década de los años 1960. Warren O. Hagstrom identificó una forma de colaboración entre profesores y estudiantes que no siempre se veía reflejada en los artículos publicados por los primeros.¹¹⁹ Price y Donald B. Beaver, por su parte, plantearon que la mayoría de las colaboraciones se iniciaban con relaciones informales establecidas principalmente durante el período de entrenamiento de los investigadores; de esta forma, los congresos, conferencias, reuniones, visitas e intercambios institucionales, constituían eventos significativos para el ulterior desarrollo de una colaboración científica.¹²⁰ Además, establecieron que es normal la existencia de un núcleo de investigadores extremadamente productivos, alrededor de los cuales giraba una amplia población flotante de colaboradores que participaban con ellos en una o dos publicaciones y después desaparecía.

De igual forma, Stanley Milgram presentó en 1967 su teoría del Mundo pequeño (Small World Theory)" o de los Seis grados de separación, donde afirmó que cada actor en una red, independientemente del tamaño y densidad de esta, puede encontrar a otro actor a una distancia media de seis pasos.¹²¹ Esta teoría abrió las puertas a la investigación sobre las distancias entre los investigadores, a través de las redes de co-autoría identificadas en sus artículos.

La importancia de la bibliometría como técnica para el estudio de la colaboración científica se reveló en un importante estudio realizado en 1970 por Norman Storer. Este autor concluyó que el grado de cooperación varía significativamente en las diferentes áreas de conocimiento en función de sus características cognitivas y organizacionales, e identificó un mayor índice de cooperación en las ciencias básicas y las ciencias naturales en relación con las ciencias aplicadas y las ciencias sociales,¹²² aspecto que confirmarían dos años más tarde Janice Lodahl y Gerald Gordon, y nueve años después Frame y Carpenter.^123,124

A partir del concepto elaborado por Meadows y O´Connor, donde definen la cooperación científica como el conjunto de trabajos desarrollados entre dos o más investigadores e identificados por medio de artículos firmados en coautoría,¹²⁵ los estudios métricos para determinar la variabilidad y la dinámica de las relaciones en las diferentes áreas del conocimiento comenzaron a ser muy frecuentes.

La colaboración internacional fue estudiada con profundidad por Frame y Carpenter, quienes identificaron tres de sus características principales:

- Es mayor en las ciencias "duras" como la Física y la Química, que en las ciencias aplicadas como la Medicina-distancia que en la década de los años 1990 disminuiría notablemente.

- El grado de colaboración internacional es inversamente proporcional a la dimensión científica del país.

- Factores extracientíficos como la proximidad geográfica, política y cultural, determinan quién colabora con quién en la comunidad internacional.¹²⁴

Otros autores centraron su atención en la relación coautoría-impacto como factor estimulante de la colaboración científica. En este sentido, autores como Pravdic y Olvic-Vukovic mostraron la tendencia de los investigadores a colaborar para aumentar la visibilidad de sus investigaciones, para aumentar de la cantidad de citas recibidas de otros colegas.¹²⁶ Este impacto científico se estudió en la década de los años 1990 por Francis Narin y Edith S. Whitlow, quienes encontraron que los artículos realizados con coautoría internacional, por regla general, eran citados dos veces más que los artículos realizados por autores de un mismo país.¹²⁷

En 1992, Kodama puso de manifiesto el aumento de los campos interdisciplinares como resultado de la colaboración científica, y afirmó que la fusión de disciplinas anteriormente separadas, había tenido como consecuencias importantes avances científicos, gracias precisamente a este conocimiento de la colaboración interdisciplinar.¹²⁸ Ese mismo año, Luukkonen, Persson y Sivertsen agruparon los factores que impulsan la colaboración científica en tres grupos principales: factores cognitivos, factores económicos y factores sociales. Estos factores podían explicar las diferencias entre las tasas de colaboración en los diferentes países y áreas del conocimiento.¹²⁹

J. Sylvan Kats constituye uno de los autores que más atención puso en el estudio de las redes de colaboración científica durante la década de los años 1990. Demostró que las colaboraciones decrecían exponencialmente con la distancia geográfica existente entre los investigadores —algo que cambiaría años más tarde con el surgimiento y desarrollo de un nuevo paradigma en materia de redes: la World Wide Web— y observó en la necesidad de compartir el uso de equipos cada vez más caros y complejos, y en los nuevos patrones de comportamiento adoptados por las agencias de financiamiento de proyectos científicos, dos nuevos factores que motivan el establecimiento de redes de colaboración.¹³⁰ Además, demostró que los trabajos teóricos producen artículos con pocos autores en comparación con los trabajos experimentales,¹³¹ y presentaron diferentes niveles de colaboración por medio de los prefijos "inter" e "intra" para distinguir las diversas categorías, como se muestran a continuación:

 

Nivel	Intra	Inter
Individual	-	Entre individuos
Grupo	Entre individuos del mismo grupo	Entre grupos (de un mismo departamento)
Departamento	Entre individuos o grupos	Entre departamentos (de una misma institución)
Institución	Entre individuos o departamentos de una misma institución	Entre instituciones
Sector	Entre instituciones de un mismo sector	Entre instituciones de diferentes sectores
Nación	Entre instituciones de un mismo país	Entre instituciones de diferentes países

En la segunda mitad de la década de los años 1990 y principios del nuevo milenio, el análisis de la cooperación en materia de ciencia y tecnología comenzó a realizarse a partir de la identificación, presentación e interpretación de las diversas redes que se forman en los distintos niveles de colaboración.¹³¹ Los estudios de M. E. J. Newman, basados en técnicas de análisis de redes sociales desarrolladas por autores como Wasserman y Faust, Steve Borgatti y Lázlo Barabási, entre otros,^133-135 permitieron concebir las redes como configuraciones de enlaces con alto grado de transitividad, y demostraron que la probabilidad de colaboración entre dos investigadores aumenta a medida que aumentan los colaboradores que ambos tienen en común,¹³⁶ y que la probabilidad que tiene un investigador de adquirir nuevos colaboradores aumenta en la medida en que es mayor el número de investigadores con los que colaboró en el pasado.¹³⁷

La combinación del estudio sociológico de las redes sociales, las investigaciones sobre redes científicas, y la unión de varias áreas de análisis para el entendimiento y la presentación de las redes de cocitación y colaboración,^33,138,139 constituyen los pilares de una nueva etapa de investigación en el siglo XXI, donde el análisis de redes sociales, la teoría de grafos y la ciencia de la información, en conjunto con el desarrollo alcanzado por las tecnologías de la información y la comunicación, han ofrecido nuevas respuestas a viejas interrogantes.

 

INDICADORES CIENCIOMÉTRICOS Y ANÁLISIS DE DOMINIO

La actividad científica debe ser vista e interpretada dentro del contexto social en la que está enmarcada. Por tanto, las evaluaciones del desempeño científico deben ser sensibles al contexto conceptual, social, económico e histórico de la sociedad donde se actúa.⁶⁸

Esto significa que la ciencia no puede medirse en una escala absoluta, sino en relación con las expectativas que la sociedad ha puesto en ella; y los indicadores que se implementen para su caracterización deben ser capaces de recoger la mayor cantidad de elementos que permitan un análisis multidimensional de los procesos que en ella se ponen de manifiesto. Esta visión holística de la actividad científica, de un enfoque marcadamente social, ha sido tratada por múltiples autores en los últimos años, y principalmente a partir de la propuesta del análisis de dominio de los daneses Birger Hjorland y Hanne Albrechtsen.

En 1995, Hjorland y Albrechtsen proponen el análisis de dominio como un nuevo paradigma disciplinar, basado en la idea de que la evaluación de la ciencia debe realizarse a partir del conocimiento de las prácticas sociales de los científicos.¹⁴⁰ Desde esta perspectiva, el conocimiento de las prácticas de los distintos campos científicos es esencial en las ciencias de la información, y la bibliometría ocupa un lugar fundamental en el núcleo de la disciplina, al ser uno de los instrumentos básicos de análisis.

El análisis de dominio abandona el estudio individualizado de un fenómeno, y está en contraposición con el modelo cognitivo que excluye los entornos sociales y culturales en que participan los científicos. De esta forma, la combinación de métodos como el histórico, el epistemológico y el bibliométrico —incluidos dentro de los 11 enfoques para el estudio de un dominio cognitivo o institucional⁶— deviene la más abarcadora forma de obtener una imagen suficientemente objetiva del dominio.

La propuesta de Hjorland ha tenido un notable impacto en las ciencias de la información y ha constituido un soporte teórico para múltiples investigaciones que, por medio de técnicas bibliométricas y de presentación de la información, y el rescate de viejas ideas de Henry Small y Eugene Garfield sobre la posibilidad de hacer mapas de la ciencia mundial basados en análisis de citas,¹⁴¹ han pretendido estudiar exhaustivamente no sólo grandes dominios del conocimiento, incluido el de la propia disciplina,^{79,80,138,142-146} sino también dominios sectoriales e institucionales.^33,147,148

El propio Hjorland, al considerar la utilización del análisis de dominio en la literatura sobre presentación y mapas del conocimiento, señala cuatro factores que influyen sistemáticamente en su interpretación.

En primer lugar, la base de datos y la selección de los documentos de base empírica para generar los mapas permitirán definir el alcance de la interpretación. Es imposible analizar cabalmente un dominio del conocimiento por medio de una fuente de información que no recoja la información representativa del dominio, y sin considerar los posibles sesgos e inconvenientes que pueda presentar el proceso de búsqueda, recuperación y procesamiento de la información.⁶

Por otra parte, cada mapa depende de los patrones de citación y colaboración entre las disciplinas. Cada dominio tiene su comportamiento muy particular, el cual debe orientar y definir las pautas a seguir en la interpretación. Aún cuando se utilicen indicadores resistentes a la posibilidad del sesgo, su interpretación en diferentes campos, como las ciencias naturales y las humanidades, nunca puede ser igual.^105,149

A su vez, los métodos empleados por los investigadores a la hora de analizar los datos son determinantes para la caracterización del dominio, y permiten el tratamiento de un mismo dominio desde diferentes perspectivas. Técnicas de análisis de cocitación de autores y documentos, y de coocurrencia de palabras,^144,150-155 implican disímiles aproximaciones, aún cuando persigan un mismo objetivo.

Finalmente, el carácter dinámico de las bases epistemológicas de la ciencia no puede obviarse, por cuanto la dialéctica inherente a todo conocimiento científico condiciona su desarrollo y constante transformación. Un paradigma dominante que caracteriza una disciplina en una etapa determinada, puede entrar en crisis con el transcurso del tiempo y la existencia de condiciones especiales que impliquen su colapso, para dar origen a un nuevo paradigma.¹⁵⁵ Este proceso de transición, y la identificación de paradigmas emergentes en los diferentes dominios del conocimiento, constituyen una de las más interesantes líneas de investigación en las ciencias de la información, tanto desde perspectivas históricas y epistemológicas,^156-161 como bibliométrica.^140,162

Según los planteamientos de Hjorland, hay que combinar en la medida de lo posible todos los aspectos para extraer la información subyacente y enriquecer la visión del dominio. No se pueden tratar todas las dimensiones con la misma metodología, y hay que considerar diferentes discursos y planteamientos para cada una de las dimensiones.^6,163

 

CONSIDERACIONES FINALES

La evaluación de la actividad científica es un tema exhaustivamente tratado en la literatura internacional a partir de la segunda mitad del siglo XX. Las políticas de evaluación establecidas hasta hoy no han estado exentas de aciertos y desaciertos, y han generado líneas de investigación que hoy constituyen pilares de la ciencia de la información, como es el caso de la cienciometría.

En el siglo XXI, todas las estrategias parecen estar dirigidas hacia un objetivo concreto: la búsqueda de alternativas que permitan una mejor percepción de la dimensión cualitativa inherente a los procesos de comunicación de la ciencia, mediante el empleo de indicadores relativos y técnicas de presentación de la información, y sobre la base del reconocimiento tácito de las condiciones socioeconómicas donde se desarrolla la actividad científica.

La revisión y reajuste de los indicadores utilizados para la evaluación de la investigación, así como el fortalecimiento de los sistemas de información encargados de registrar y procesar la producción científica a nivel nacional, son acciones que necesariamente deben ocupar las agendas de los organismos rectores de la política científica no sólo en Cuba, sino también a nivel regional.

El objetivo es clave: desarrollar instrumentos de evaluación que aceleren el crecimiento de la producción científica, en correspondencia con las políticas nacionales de formación de recursos humanos, y que mejoren su visibilidad y posicionamiento en el contexto de la actividad científica mundial.

 

Agradecimientos

Al proyecto Red de Estudios Cienciométricos sobre la Educación Superior Cubana. 2006-2008. No. 6179, del Ministerio de Educación Superior, y al programa doctoral sobre Documentación e Información Científica de la Universidad de Granada, impartido en la Universidad de La Habana, por el acceso a las fuentes de información utilizadas.

 

REFERENCIAS BIBLIOGRÁFICAS

1. Geisler E. The measurement of scientific activity: Research directions in linking philosophy of science and metrics of science and technology outputs. Scientometrics. 2005;62(2):269-84.

2. Kostoff RN. The metrics of science and technology. Scientometrics. 2001;50(2):353-61.

3. Snizek WE. Some Observations on the Use of Bibliometric Indicators in the Assignment of University Chairs. Scientometrics. 1995;32(2):117-20.

4. Debackere K, Glanzel W. Using a bibliometric approach to support research policy making: The case of the Flemish BOF-key. Scientometrics. 2004;59(2):253-76.

5. Nederhof AJ. Bibliometric monitoring of research performance in the social sciences and the humanities: A review. Scientometrics. 2005;66(1):81-100.

6. Hjorland B. Domain analysis in information science - Eleven approaches - traditional as well as innovative. J Doc. 2002;58(4):422-62.

7. Nagpaul PS, Roy S. Constructing a multi-objective measure of research performance. Scientometrics. 2003;56(3):383-402.

8. Van Raan AFJ. Fatal attraction: Conceptual and methodological problems in the ranking of universities by bibliometric methods. Scientometrics. 2005;62(1):133-43.

9. Martínez E, Albornoz M. Indicadores de Ciencia y Tecnología: estado del arte y perspectivas. Caracas: Nueva Sociedad-UNESCO. 1998.

10. Macías Chapula CA. Papel de la informetría y de la cienciometría y su perspectiva nacional e internacional. Acimed. 2001;9(Suppl.):35-41. Disponible en: http://bvs.sld.cu/revistas/aci/vol9_s_01/sci06100.htm [Consultado: 7 de febrero de 2007].

11. Russell J. Obtención de indicadores bibliométricos a partir de la utilización de las herramientas tradicionales de información. En: VIII Congreso internacional de la Información INFO´2004. 2004. La Habana: IDICT. 2004.

12. Sancho R. Indicadores bibliométricos utilizados en la evaluación de la ciencia y la técnología. Revisión bibliográfica. Revista Española de Documentación Científica. 1990;13(3-4):842-65.

13. Spinak E. Diccionario enciclopédico de bibliometría, cienciometría e informetría. Caracas: UNESCO. 1996.

14. Carpenter MP, Gibb F, Harris M, Irvine J, Martin BR, Narin F. Bibliometric Profiles for British Academic-Institutions - an Experiment to Develop Research Output Indicators. Scientometrics. 1988;14(3-4):213-33.

15. Kostoff RN. Federal, Research Impact Assessment - Axioms, Approaches, Applications. Scientometrics. 1995;34(2):163-206.

16. Warner J. A critical review of the application of citation studies to the Research Assessment Exercises. J Inf Sci. 2000;26(6):453-9.

17. Bence V, Oppenheim C. The influence of peer review on the research assessment exercise. J Inf Sci. 2004;30(4):347-68.

18. CINDOC. Proyecto de obtención de indicadores de producción científica de la Comunidad de Madrid (PIPCYT). Madrid: Centro de Información y Documentación Científica. 2005.

19. van Leeuwen TN, Visser MS, Moed HF, Nederhof TJ, van Raan AFJ. Holy Grail of science policy: Exploring and combining bibliometric tools in search of scientific excellence. Scientometrics. 2003;57(2):257-80.

20. Martin BR. The use of multiple indicators in the assessment of basic research. Scientometrics. 1996;36(3):343-62.

21. Moed HF. Differences in the construction of SCI based bibliometric indicators among various producers: A first overview. Scientometrics. 1996;35(2):177-91.

22. Glanzel W. The need for standards in bibliometric research and technology. Scientometrics. 1996;35(2):167-76.

23. Braun T, Schubert A. Dimensions of scientometric indicator datafiles - World science in 1990-1994. Scientometrics. 1997;38(1):175-204.

24. Gómez Caridad I, Fernández Muñoz MT, Bordons Gangas M, Morillo Ariza F. La producción científica española en medicina en los años 1994-1999. Rev Clin Esp. 2004;204:75-88.

25. FECYT. Indicadores bibliométricos de la actividad científica española. Granada: Fundación Española para la ciencia y la tecnología; 2004.

26. Negraes Brisolla S. Indicadores para apoyar la toma de decisiones. Acimed. 2000;9(Suppl.):126-30. Disponible en: http://bvs.sld.cu/revistas/aci/vol9_s_01/sci20100.htm [Consultado: 7 de febrero de 2007].

27. RICYT. El estado de la ciencia. 2006. Disponible en: http://www.ricyt.edu.ar/interior/interior.asp?Nivel1=6&Nivel2=5&IdDifusion=20 [Consultado: 7 de febrero de 2007].

28. Krauskopf M, Vera MI, Krauskopf V, Welljamsdorof A. A Citationist Perspective on Science in Latin-America and the Caribbean, 1981 - 1993. Scientometrics. 1995;34(1):3-25.

29. Zumelzu E. Mainstream engineering publishing in Latin America: The Chilean experience. Scientometrics. 1997;40(1):3-12.

30. Glanzel W, Leta J, Thijs B. Science in Brazil. Part 1: A macro-level comparative study. Scientometrics. 2006;67(1):67-86.

31. Koljatic M, Silva M. The international publication productivity of Latin American countries in the economics and business administration fields. Scientometrics. 2001;51(2):381-94.

32. Ortiz Rivera LA, Sanz Casado E, Suarez Balseiro CA. Scientific production in Puerto Rico in science and technology during the period 1990 to 1998. Scientometrics. 2000;49(3):403-18.

33. Miguel S, Moya Anegón F, Herrero Solanas V. Aproximación metodológica para la identificación del perfil y patrones de colaboración de dominios científicos universitarios. Revista Española de Documentación Científica. 2006;29(1):36-55.

34. Núñez Jover J. La ciencia y la tecnología como procesos sociales. Lo que la educación científica no debería olvidar. Disponible en: http://www.oei.es/salactsi/nunez00.htm [Consultado: 7 de febrero de 2007].

35. Aksnes DW, Taxt RE. Peer reviews and bibliometric indicators: a comparative study at a Norwegian university. Res Evaluat. 2004;13(1):33-41.

36. Rinia EJ, van Leeuwen TN, van Vuren HG, van Raan AFJ. Comparative analysis of a set of bibliometric indicators and central peer review criteria - Evaluation of condensed matter physics in the Netherlands. Res Policy. 1998;27(1):95-107.

37. So CYK. Citation ranking versus expert judgment in evaluating communication scholars: Effects of research specialty size and individual prominence. Scientometrics. 1998;41(3):325-33.

38. Hernon P, Schwartz C. Peer review revisited. Libr Infor Sci Res. 2006;28(1):1-3.

39. Stirling DA. Editorial peer review: Its strengths and weaknesses. J Am Soc Inf Sci Technol. 2001;52(11):984-5.

40. White MD. Editorial peer review, its strengths and weaknesses. Libr Infor Sci Res. 2001;23(4):371-2.

41. Hernon PP, Schwartz CC. Peer review. Libr Infor Sci Res. 2001;23(1):1-3.

42. Pierce SJ. Silencing Scientists and Scholars in other fields: Power, paradigm controls, peer review and scholarly communication. Libr Infor Sci Res. 1999;21(3):415-7.

43. Sanz Menéndez L. Evaluación de la investigación y sistema de ciencia. Disponible en: www.iesam.csic.es/doctrab2/dt-0407.pdf [Consultado: 7 de febrero de 2007].

44. Garcia-Zorita C, Martin-Moreno C, Lascurain-Sanchez ML, Sanz-Casado E. Institutional addresses in the Web of Science: the effects on scientific evaluation. J Inf Sci. 2006;32(4):378-83.

45. Gálvez C, Moya-Anegon F. The unification of institutional addresses applying parametrized finite-state graphs (P-FSG). Scientometrics. 2006;69(2):323-45.

46. Ahmed SMZ, McKnight C, Oppenheim C. A study of users' performance and satisfaction with the Web of Science IR interface. J Inf Sci. 2004;30(5):459-68.

47. Torricella-Morales RG, Van Hooydonk G, Araujo-Ruiz JA. Citation analysis of cuban research. Part 1. A case study: the Cuban Journal of Agricultural Science. Scientometrics. 2000;47(2):413-26.

48. Persson O, Glanzel W, Danell R. Inflationary bibliometric values: The role of scientific collaboration and the need for relative indicators in evaluative studies. Scientometrics. 2004;60(3):421-32.

49. Vinkler P. Relations of relative scientometric indicators. Scientometrics. 2003;58(3):687-94.

50. Wouters P. Citation cycles and peer review cycles. Scientometrics. 1997;38(1):39-55.

51. Nicolaisen J. Citation analysis. Annu Rev Inform Sci Technol. 2007;41:609-41.

52. Smith M. The trend toward multiple authorship in psychology. American Psychologist. 1958;13:596-9.

53. Kaplan N. The norms of citation behavior: Prolegomena to the footnote. American Documentation. 1965;16:179-84.

54. Harter SP. Psychological relevance and information science. Journal of the American Society for Information Science. 1992;43(9):602-15.

55. Latour B, Woolgar S. Laboratory life: The construction of scientific facts. Princeton, NJ: Princeton University Press. 1986.

56. Small H. Cited documents as concept symbols. Social Studies of Science. 1978;8:327-40.

57. Cosijn E, Ingwersen P. Dimensions of relevance. Inf Process Manage. 2000;36(4):533-50.

58. Case DO, Higgins GM. How can we investigate citation behavior? A study of reasons for citing literature in communication. J Am Soc Inf Sci. 2000;51(7):635-45.

59. Ahmed T, Johnson B, Oppenheim C, Peck C. Highly cited old papers and the reasons why they continue to be cited. Part II. The 1953 Watson and Crick article on the structure of DNA. Scientometrics. 2004;61(2):147-56.

60. White HD. Reward, persuasion, and the Sokal Hoax: A study in citation identities. Scientometrics. 2004;60(1):93-120.

61. Kim K. The motivation for citing specific references by social scientists in Korea: The phenomenon of co-existing references. Scientometrics. 2004;59(1):79-93.

62. Baldi S, Hargens LL. Reassessing the N-Rays Reference Network - the Role of Self Citations and Negative Citations. Scientometrics. 1995;34(2):239-53.

63. Moravcsik M, Morugesan P. Some results on the function and quality of citation Social Studies of Science. 1975;5:86-92.

64. Vinkler P. A quasi-quantitative citation model. Scientometrics. 1987;12(1-2):47-72.

65. MacRoberts MH, MacRoberts BR. Problems of citation analysis: A critical review. Journal of the American Society for Information Science. 1989;40:342-9.

66. Garfield E. Citation indexing: Its theory and applications in science, technology and humanities. New York: Wiley. 1979.

67. Cañedo Andalia R. Los análisis de citas en la evaluación de los trabajos científicos y las publicaciones seriadas. Acimed. 1999;7(1):30-9. Disponible en: http://bvs.sld.cu/revistas/aci/vol7_1_99/aci04199.htm [Consultado: 7 de febrero de 2007].

68. Spinak E. Indicadores cienciométricos. Acimed 2001;9(Suppl.):42-9. Disponible en: http://bvs.sld.cu/revistas/aci/vol9_s_01/sci07200.htm [Consultado: 7 de febrero de 2007].

69. Vinkler P. Composite scientometric indicators for evaluating publications of research institutes. Scientometrics. 2006;68(3):629-42.

70. Bailon-Moreno R, Jurado-Alameda E, Ruiz-Banos R, Courtial JP. Analysis of the field of physical chemistry of surfactants with the Unified Scienctometric Model. Fit of relational and activity indicators. Scientometrics. 2005;63(2):259-76.

71. Guzmán Sánchez MV, Sotolongo Aguilar G. Mapas tecnológicos para la estrategia empresarial. Situación tecnológica de la neisseria meningitidis. Acimed. 2002;10(4). Disponible en: http://bvs.sld.cu/revistas/aci/vol10_4_02/aci010402.htm [Consultado: 7 de febrero de 2007].

72. Glanzel W, Schoepflin U. "Little Scientometrics, Big Scientometrics ... and Beyond". Scientometrics. 1994;30(2-3):375-84.

73. Nagpaul PS. Contribution of Indian Universities to the Mainstream Scientific Literature - a Bibliometric Assessment. Scientometrics. 1995;32(1):11-36.

74. Braun T, Glanzel W. Chemistry research in Eastern Central Europe (1992-1997) - Facts and figures on publication output and citation impact. Scientometrics. 2000;49(2):187-213.

75. Nelson MJ. Visualization of citation patterns of some Canadian journals. Scientometrics. 2006;67(2):279-89.

76. Moya-Anegon F, Herrero-Solana V, Jimenez-Contreras E. A connectionist and multivariate approach to science maps: the SOM, clustering and MDS applied to library science research and information. J Inf Sci. 2006;32(1):63-77.

77. Klavans R, Boyack KW. Identifying a better measure of relatedness for mapping science. J Am Soc Inf Sci Technol. 2006;57(2):251-63.

78. Chen CM. CiteSpace II: Detecting and visualizing emerging trends and transient patterns in scientific literature. J Am Soc Inf Sci Technol. 2006;57(3):359-77.

79. Moya-Anegon F, Vargas-Quesada B, Chinchilla-Rodriguez Z, Corera-Alvarez E, Herrero-Solana V, Munoz-Fernandez FJ. Domain analysis and information retrieval through the construction of heliocentric maps based on ISI-JCR category cocitation. Inf Process Manage. 2005;41(6):1520-33.

80. Moya-Anegon F, Vargas-Quesada B, Herrero-Solana V, Chinchilla-Rodriguez Z, Corera-Alvarez E, Munoz-Fernandez FJ. A new technique for building maps of large scientific domains based on the cocitation of classes and categories. Scientometrics. 2004;61(1):129-45.

81. Leydesdorff L. Clusters and maps of science journals based on bi-connected graphs in Journal Citation Reports. J Doc. 2004;60(4):371-427.

82. Boyack KW, Borner K. Indicator-assisted evaluation and funding of research: Visualizing the influence of grants on the number and citation counts of research papers. J Am Soc Inf Sci Technol. 2003;54(5):447-61.

83. Chen CM, McCain K, White H, Lin X. Mapping Scientometrics (1981-2001). En: Asist 2002: Proceedings of the 65th Asist Annual Meeting. Medford: Information Today Inc. 2002:25-34.

84. Small H. Visualizing science by citation mapping. J Am Soc Inf Sci. 1999;50(9):799-813.

85. Verbeek A, Debackere K. Patent evolution in relation to public/private R&D investment and corporate profitability: Evidence from the United States. Scientometrics. 2006;66(2):279-94.

86. Sen SK, Sharma HP. A note on growth of superconductivity patents with two new indicators. Inf Process Manage. 2006;42(6):1643-51.

87. Meyer M. Measuring science-technology interaction in the knowledge-driven economy: The case of a small economy. Scientometrics. 2006;66(2):425-39.

88. Baldini N. The Act on inventions at public research institutions: Danish universities' patenting activity. Scientometrics. 2006;69(2):387-407.

89. Atallah G, Rodriguez G. Indirect patent citations. Scientometrics. 2006;67(3):437-65.

90. Tijssen RJW, Van Leeuwen TN. Measuring impacts of academic science on industrial research: A citation-based approach. Scientometrics. 2005;66(1):55-69.

91. Altvater-Mackensen N, Balicki G, Bestakowa L, Bocatius B, Braun J, Brehmer L, et al. Science and technology in the region: The output of regional science and technology, its strengths and its leading institutions. Scientometrics. 2005;63(3):463-529.

92. Thelwall M, Vaughan L, Bjorneborn L. Webometrics. Annu Rev Inform Sci Technol. 2005;39:81-135.

93. Bjorneborn L, Ingwersen P. Toward a basic framework for webometrics. J Am Soc Inf Sci Technol. 2004;55(14):1216-27.

94. Faba Perez C, Guerrero Bote VP, Moya Anegón M. "Sitation" distributions and Bradford's law in a closed Web space. J Doc. 2003;59(5):558-80.

95. Prime C, Bassecoulard E, Zitt M. Co-citations and co-sitations: A cautionary view on an analogy. Scientometrics. 2002;54(2):291-308.

96. Polanco X, Ivana R, Dominique B. User science indicators in the Web context and co-usage analysis. Scientometrics. 2005;66(1):171-82.

97. Egghe L. New informetric aspects of the Internet: some reflections - many problems. J Inf Sci. 2000;26(5):329-35.

98. Rip A. Qualitative conditions of scientometrics: The new challenges. Scientometrics. 1997;38(1):7-26.

99. Hemlin S, Gustafsson M. Research production in the arts and humanities - A questionnaire study of factors influencing research performance. Scientometrics. 1996;37(3):417-32.

100. LindholmRomantschuk Y, Warner J. The role of monographs in scholarly communication: An empirical study of philosophy, sociology and economics. J Doc. 1996;52(4):389-404.

101. Hicks D. The difficulty of achieving full coverage of international social science literature and the bibliometric consequences. Scientometrics. 1999;44(2):193-215.

102. Narvaez-Berthelemot N, Russell JM. World distribution of social science journals: A view from the periphery. Scientometrics. 2001;51(1):223-39.

103. Glanzel W, Schubert A. A new classification scheme of science fields and subfields designed for scientometric evaluation purposes. Scientometrics. 2003;56(3):357-67.

104. Kavunenko L, Khorevin V, Luzan K. Comparative analysis of journals on social sciences and humanities in Ukraine and the world. Scientometrics. 2005;66(1):123-32.

105. Lariviere V, Gingras Y, Archambault E. Canadian collaboration networks: A comparative analysis of the natural sciences, social sciences and the humanities. Scientometrics. 2006;68(3):519-33.

106. Weingart P. Impact of bibliometrics upon the science system: Inadvertent consequences? Scientometrics. 2005;62(1):117-31.

107. Gomez I, Sancho R, Moreno L, Fernandez MT. Influence of Latin American journals coverage by international databases. Scientometrics. 1999;46(3):443-56.

108. Vessuri H. Recent Strategies for Adding Value to Scientific Journals in Latin-America. Scientometrics. 1995;34(1):139-61.

109. Cano V. Characteristics of the Publishing Infrastructure of Peripheral Countries - a Comparison of Periodical Publications from Latin-America with Periodicals from the Us and the Uk. Scientometrics. 1995;34(1):121-38.

110. Garfield E. How to use citation analysis for faculty evaluations and whwn is it relevant. Part 1. Current Contents. 1983;44:5-13.

111. Marshakova-Shaikevich I. Scientific collaboration of new 10 EU countries in the field of social sciences. Inf Process Manage. 2006;42(6):1592-8.

112. Lundberg J, Tomson G, Lundkvist I, Skar J, Brommels M. Collaboration uncovered: Exploring the adequacy of measuring university-industry collaboration through co-authorship and funding. Scientometrics. 2006;69(3):575-89.

113. Fry J. Scholarly research and information practices: a domain analytic approach. Inf Process Manage. 2006;42(1):299-316.

114. Wagner CS. Six case studies of international collaboration in science. Scientometrics. 2005;62(1):3-26.

115. Yoshikane F, Kageura K. Comparative analysis of coauthorship networks of different domains: The growth and change of networks. Scientometrics. 2004;60(3):433-44.

116. Hara N, Solomon P, Kim SL, Sonnenwald DH. An emerging view of scientific collaboration: Scientists' perspectives on collaboration and factors that impact collaboration. J Am Soc Inf Sci Technol. 2003;54(10):952-65.

117. Price DJdS. Little science, big science. New York: Columbia University Press. 1963.

118. Crane D. Invisible college: diffusion of knowledge in scientific communities. Chicago, IL: University of Chicago Press. 1972.

119. Hagstrom WO. The scientific community. New York C: Basic Books. 1965.

120. Price DJdS, Beaver DB. Collaboration in an invisible college. American Psychologist. 1966;21:1011-8.

121. Milgram S. The small world problem. Psychology Today. 1967;1:61-7.

122. Storer NW. The internationality of science and the nationality of scientists. International Science Journal. 1970;22:87-104.

123. Lodahl JB, Gordon G. The structure of scientific fields and the functioning of university graduate departments. American Sociological Review. 1972;37:57-72.

124. Frame JD, Carpenter MP. International research collaboration. Social Studies of Science. 1979;9:481-97.

125. Meadows AJ, O'Connor JG. Bibliographic statistics as a guide to growth point in science. Science Studies. 1971;1:95-9.

126. Pravdic N, Oluic-Vukovic V. Dual approach to multiple authorship in the study of collaborator/scientific output relationship. Scientometrics. 1986;10(5-6):259-80.

127. Narin F, Stevens K, Whitlow ES. Scientific Cooperation in Europe and the Citation of Multinationally Authored Papers. Scientometrics. 1991;21(3):313-23.

128. Kodama F. Technology fusion and the new R+D. Harvard Business Review. 1992;70:70-8.

129. Luukkonen T, Persson O, Sivertsen G. Understanding patterns of international scientific collaboration. Science, Technology and Human Values. 1992;17(1):101-26.

130. Katz JS. Geographical proximity and scientific collaboration. Scientometrics. 1994;31(1):34-43.

131. Balancieri R, Botelho Bovo A, Medina Kern V, Santos Pacheco RC, Miranda Barcia R. A análise de redes de colaboração científica sob as novas tecnologias de informação e comunicação: um estudo na Plataforma Lattes. Ciência da Informação. 2005;34(1):64-77.

132. Katz JS, Martin BR. What is research collaboration. Research Policy. 1997;26(1):1-18.

133. Barabasi AL, Albert R, Jeong H. Mean-field theory for scale-free random networks. Physica A. 1999;272(1-2):173-87.

134. Borgatti SP, Everett MG. Network analysis of 2-mode data. Social Networks. 1997;19(3):243-69.

135. Wasserman S, Faust K. Social network analysis: Methods and applications. Cambridge: Cambridge University Press. 1998.

136. Newman MEJ. Scientific collaboration networks. I. Network construction and fundamental results. Physical Review E. 2001;64(1):016131.

137. Newman MEJ. Scientific collaboration networks. II. Shortest paths, weighted networks, and centrality. Physical Review E. 2001;64(1):016132.

138. Boyack KW, Klavans R, Borner K. Mapping the backbone of science. Scientometrics. 2005;64(3):351-74.

139. Engels A, Ruschenburg T, Weingart P. Recent internationalization of global environmental change research in Germany and the US. Scientometrics. 2005;62(1):67-85.

140. Hjorland B, Albrechtsen H. Toward a New Horizon in Information-Science - Domain-Analysis. J Am Soc Inf Sci. 1995;46(6):400-25.

141. Small H. Paradigms, citations, and maps of science: A personal history. J Am Soc Inf Sci Technol. 2003;54(5):394-9.

142. Sanz Casado E, Suarez Balseiro C, Iribarren Maestro I, Pau MRD, de Pedro Cuesta J. Bibliometric mapping of scientific research on prion diseases, 1973-2002. Inf Process Manage. 2007;43(1):273-84.

143. Janssens F, Leta J, Glanzel W, De Moor B. Towards mapping library and information science. Inf Process Manage. 2006;42(6):1614-42.

144. Borner K, Chen CM, Boyack KW. Visualizing knowledge domains. Annu Rev Inform Sci Technol. 2003;37:179-255.

145. Chen CM, McCain K, Boyack KW, Lin X, Morris SA. Mapping the knowledge. En: Asist 2002: Proceedings of the 65th Asist Annual Meeting. Medford: INFORMATION TODAY INC. 2002:511-2.

146. White HD, McCain KW. Visualizing a discipline: An author co-citation analysis of information science, 1972-1995. J Am Soc Inf Sci. 1998;49(4):327-55.

147. Moya Anegón F, Vargas Quesada B, Chinchilla Rodriguez Z, Corera Alvarez E, Gonzalez Molina A, Munoz Fernandez FJ, et al. Visualizing and analyzing the Spanish science structure: ISI Web of science 1990-2005. Prof Inform. 2006;15(4):258-69.

148. Reyes Barragán MJ, Guerrero Bote VP, Moya Anegón Fd. Proyección internacional de la investigación de Extremadura (1990-2002). Revista Española de Documentación Científica. 2006;29(4):525-50.

149. Lariviere V, Archambault E, Gingras Y, Vignola-Gagne E. The place of serials in referencing practices: Comparing natural sciences and engineering with social sciences and humanities. J Am Soc Inf Sci Technol. 2006;57(8):997-1004.

150. Åström F. Visualizing Library and Information Science concept spaces through keyword and citation based maps and clusters. In: Bruce F, Ingwersen P, Vakkari P (eds.). Emerging frameworks and methods: Proceedings of the fourth international conference on conceptions of Library and Information Science (CoLIS4). Greenwood Village: Libraries Unlimited. 2002:185-97.

151. White HD. Pathfinder networks and author cocitation analysis: A remapping of paradigmatic information scientists. J Am Soc Inf Sci Technol. 2003;54(5):423-34.

152. Leydesdorff L, Hellsten I. Measuring the meaning of words in contexts: An automated analysis of controversies about `Monarch butterflies,' `Frankenfoods,' and `stem cells'. Scientometrics. 2006;67(2):231-58.

153. Mutschke P, Haase AQ. Collaboration and cognitive structures in social science research fields. Towards socio-cognitive analysis in information systems. Scientometrics. 2001;52(3):487-502.

154. Courtial JP, Gourdon L. A scientometric approach to autism based on translation sociology. Scientometrics. 1997;40(2):333-55.

155. Kuhn TS. The Structure of Scientific Revolutions. 2nd ed. Chicago & Londres: Univiversity of Chicago Press. 1970.

156. Wikgren M. Critical realism as a philosophy and theory in information science? J Doc 2005;61(1):11-22.

157. Talja S, Tuominen K, Savolainen R. "Isms" in information science: constructivism, collectivism and constructionism. J Doc 2005;61(1):79-101.

158. Pettigrew KE, Fidel R, Bruce H. Conceptual frameworks in information Behavior. Annu Rev Inform Sci Technol. 2001;35:43-78.

159. Vega Almeida RL. Influencia del paradigma tecnológico en la organización de la información. Acimed 2007;15(2). Disponible en: http://bvs.sld.cu/revistas/aci/vol15_02_07/aci06207.htm [Consultado: 7 de febrero de 2007].

160. Linares Columbié R. Las investigaciones cuantitativas y cualitativas en ciencia de la información: algunas consideraciones. Forinf@: Revista iberoamericana sobre usuarios de la información. 2001(11):11-4.

161. Moya Anegón F, Fernández Molina JC. Perspectivas epistemológicas "humanas" en la documentación. Revista Española de Documentación Científica 2002;25(3):241-53.

162. Chen CM. Visualizing scientific paradigms: An introduction. J Am Soc Inf Sci Technol. 2003;54(5):392-3.

163. Moya-Anegon F, Vargas-Quesada B, Chinchilla-Rodriguez Z, Corera-Alvarez E, Gonzalez-Molina A, Munoz-Fernandez FJ, et al. Visualizing and analyzing the Spanish science structure: ISI Web of science 1990-2005. Prof Inform. 2006;15(4):258-69.

 

 

Recibido: 4 de marzo de 2008.
Aprobado: 17 de marzo de 2008.

 

 

Lic. Ricardo Arencibia Jorge. Red de Estudios Cienciométricos para la Educación Superior Departamento de Información Científica. Centro Nacional de Investigaciones Científicas. Avenida 25 y Calle 158. AP 6414, Cubanacán, Playa, Ciudad de La Habana. Cuba. Correo electrónico: [e-mail]

 

 

Ficha de procesamiento

Clasificación: Artículo de revisión.

Términos sugeridos para la indización

Según DeCS¹

BIBLIOMETRIA; INVESTIGACION; BASES DE DATOS BIBLIOGRAFICAS; ANÁLISIS CUANTITATIVO; ANÁLISIS CUALITATIVO; COMUNICACIÓN. .
BIBLIOMETRICS; RESEARCH; DATABASES, BIBLIOGRAPHIC; CUANTITATIVE ANALYSIS; CUALITATIVE ANALYSIS; COMMUNICATION.

Según DeCI²

CIENCIOMETRÍA; BIBLIOMETRIA; INVESTIGACIÓN; BASES DE DATOS BIBLIOGRAFICAS; ANÁLISIS CUANTITATIVO; ANÁLISIS CUALITATIVO; COMUNICACIÓN.

SCIENTOMETRICS; BIBLIOMETRICS; RESEARCH, BIBLIOGRAPHIC DATABASE; CUANTITATIVE ANALYSIS; CUALITATIVE ANALYSIS; COMMUNICATION.

¹BIREME. Descriptores en Ciencias de la Salud (DeCS). Sao Paulo: BIREME, 2004.

Disponible en: http://decs.bvs.br/E/homepagee.htm

²Díaz del Campo S. Propuesta de términos para la indización en Ciencias de la Información. Descriptores en Ciencias de la Información (DeCI). Disponible en: http://cis.sld.cu/E/tesauro.pdf

Copyright: © ECIMED. Contribución de acceso abierto, distribuida bajo los términos de la Licencia Creative Commons Reconocimiento-No Comercial-Compartir Igual 2.0, que permite consultar, reproducir, distribuir, comunicar públicamente y utilizar los resultados del trabajo en la práctica, así como todos sus derivados, sin propósitos comerciales y con licencia idéntica, siempre que se cite adecuadamente el autor o los autores y su fuente original.

Cita (Vancouver): Arencibia Jorge R, Moya Anegón F. La evaluación de la investigación científica: una aproximación teórica desde la Cienciometría. Acimed 2008;17(4). Disponible en: Dirección URL (http://...) [Consultado: día/mes/año].