ARTÍCULOS

 

Los estudios de evaluación de la ciencia: aproximación teórico-métrica

Science evaluation studies: Theoretical and metric approaches

Yusnelkis Milanés Guisado^I; Yudit Pérez Rodríguez^II; Maria J. Peralta González^III; Manuel E. Ruiz Ramos^IV

^ILicenciada en Bibliotecología y Ciencias de la Información. Grupo Sistemas de Información. Dirección de Organización. Unión Cuba-Petróleo. Cuba. ^IIMáster en Bibliotecología y Ciencias de la Información. Grupo Sistemas de Información. Dirección de Organización. Unión Cuba-Petróleo. Cuba. ^IIILicenciada en Educación. Facultad de Ciencias de la Información y de la Educación. Universidad Central de Las Villas. Cuba.
^IVLicenciado en Educación. Centro de Documentación e Información Científico-Técnica. Universidad Central de Las Villas. Cuba.

---

RESUMEN

La evaluación de los resultados de la ciencia y la tecnología resulta esencial para el desarrollo científico, económico y social de cualquier país. Se analizan, desde un enfoque teórico conceptual, los estudios de evaluación en estas esferas. Se reflexiona sobre los retos que debe asumir la evaluación de la investigación científica. Se analiza, desde una aproximación métrica, el comportamiento de la producción científica sobre estudios de la ciencia durante el período 2000-2007 en el Web of Sciences, con el objetivo de contextualizar y comprender el estado del arte sobre el tema en revistas de la corriente principal. Resaltan el liderazgo de Estados Unidos y los países europeos en este campo, así como la visibilidad de las universidades como instituciones más productivas. Se identifican las revistas, documentos y autores más citados para el período estudiado.

Palabras clave: Estudios de la ciencia, evaluación de la investigación, bibliometría, indicadores, indicadores de ciencia y tecnología.

---

ABSTRACT

The evaluation of the results of science and technology is essential for the scientific, economic and social development of any country. The evaluation studies in these spheres are analyzed from a conceptual and theoretical point of view. It is reflected on the challenges the evaluation of scientific research must assume. It is analyzed, from a metric approach, the behaviour of the scientific production on science studies during the period 2000-2007 in the Web of Sciences, in order to contextualize and understand the state of the art about this topic in the main stream journals. The leadership of the United States and the European countries in this field stand out, as well as the visibility of the universities as the most productive institutions. The most cited journals, documents and authors during this period are identified.

Key words: Science studies, research evaluation, bibliometrics, indicators, science and technology indicators.

---

[...] tenemos que seguir dando pasos, tanto cualitativos como cuantitativos
para acercar los resultados científicos
al tejido productivo, a la sociedad. O dicho de otra manera,
que los resultados de investigación estén al servicio de la sociedad…

DR. FRANCISCO SOLÍS CABRERA

Desde el final de la segunda guerra mundial, evaluar la importancia de la investigación científica y lo que se invierte en ella se convirtió en una cuestión fundamental para los políticos.¹ De manera creciente lo continúa siendo, en correspondencia con el papel cada vez más protagónico que las actividades de I+D ejercen en el desarrollo económico, político y cultural de los países. Por eso es esencial para el establecimiento de prioridades y la elaboración de los presupuestos generales evaluar lo que se invierte a partir de los resultados de la actividad científica y tecnológica y la correspondencia entre las líneas de investigación y las políticas científicas.

Los estudios de evaluación de la ciencia, denominados también "estudios de la ciencia" o "estudios sociales de la ciencia", comprenden tres áreas importantes: documentación científica, sociología de la ciencia e historia de la ciencia.² Con nuevos horizontes, se integraron enfoques diferentes que aportaron otras perspectivas a los estudios de la ciencia, si bien se sabe que la ciencia es multidimencional y por tanto debe evaluarse y estudiarse desde diferentes aristas.³ Así, y también a partir del aumento de las demandas sociales a los investigadores con el decursar de los años y la emergencia de nuevos modelos para la producción de conocimiento en los sistemas de ciencia y tecnología, como el Modo,^2,4 el modelo Agora —con las interacciones apropiadas entre la industria, academia, gobierno y actores sociales—⁵ y la Triple Helix,⁶ han surgido nuevas dimensiones y mayores niveles de complejidad con respecto a la evaluación de la investigación.

Realizar una evaluación lo más precisa posible no es tarea fácil, si se considera la diversidad de criterios, nada uniformes, que existen. Pensar en una completa evaluación de la investigación y la innovación y su impacto va más allá del uso de los indicadores tradicionalmente empleados (ciencia y tecnología, métricos, peer review, etc.) en el propio ámbito y escenario donde se produce el conocimiento, y entre los mismos agentes que intervienen en su generación.

Requiere de un análisis y reflexión en torno a la importancia de poder desarrollar indicadores que permitan la medición no sólo del impacto científico y la calidad de la investigación, sino además del impacto social, la transferencia de la investigación, los conocimientos y tecnologías, el desarrollo de capacidades investigativas y de innovación, entre otros, e integrarlos armónicamente en los procesos evaluativos a cualquier nivel o fenómeno objeto de evaluación, con el objetivo de apoyar la toma de decisiones, desarrollar e introducir productos y técnicas de dirección nuevas e implantar o mejorar procesos.

Investigar y desarrollar métodos de evaluación, soportados en indicadores que representen la realidad de los países y los fenómenos a evaluar, constituyen retos del desarrollo y el progreso científico y tecnológico de la sociedad actual.

Sobre esta base se pretende analizar —desde un enfoque teórico conceptual— los estudios de evaluación de la ciencia, así como realizar una aproximación —desde una perspectiva métrica— al comportamiento de su producción científica durante el período 2000-2007, a partir de una exploración en el Web of Sciences (WoS).

MÉTODOS

Para analizar el comportamiento de la investigación sobre evaluación de la ciencia durante el período 2000-2007, se utilizaron dos de las bases de datos del antiguo Institute for Scientific Information (ISI): Science Citation Index (SCI) y Social Science Citation Index (SSCI).

Se procedió entonces a identificar otros estudios que sirvieran como antecedente a este tipo de investigación. En este sentido, como fuentes para la identificación de la muestra de revistas a emplear, se consideraron dos publicaciones importantes: la primera, un trabajo realizado por Hou y Liu,⁷ donde se representaron mediante mapas y se analizaron los estudios de la ciencia con respecto al comportamiento de la co-citación de sus autores desde el año 1975 hasta el 2004 a partir de una lista de revistas identificadas en la base de datos del ISI; y segundo, la publicación de Edge, titulada Reinventing the Wheel,⁸. Así se identificaron las principales fuentes que conformarían la muestra de revistas para la recopilación de los datos.

SELECCIÓN DE LA MUESTRA Y TRATAMIENTO DE LOS DATOS

En la recopilación de la muestra de revistas se incluyeron: Social Studies of Science, Science Technology & Human Values, Scientometrics, y Research Policy, a partir de los criterios de Hou y Edge, para estudiar este dominio. A su vez, Hou y Liu proponen para su estudio otras dos: R & D Management y JASIS, por su estrecha relación con Research Policy y Scientometrics, respectivamente.

Para esta investigación, a partir de una búsqueda realizada en las revistas que incluye el ISI, cuyo componente temático se relacionara con el propósito del presente trabajo y los estudios de la ciencia, se decidió incluir la revista titulada Research Evaluation, que aún cuando no posee una cobertura temporal muy amplia, sus temas principales se corresponden con la evaluación de la investigación y las políticas científicas. También se incluyó JASIST, por su relación con Scientometrics y JASIS. En el caso de JASIST y JASIS, se depuraron aquellos registros que no presentaban relación alguna con los estudios de la ciencia y la tecnología. La selección de estas revistas, en resumen, se basó en los siguientes criterios:

- Inclusión en la corriente principal.
- Que constituyan fuentes de datos para investigaciones precedentes sobre los estudios de la ciencia a partir de las técnicas cienciométricas.
- Amplia cobertura temática en temas como:

• Evaluación de la investigación y la innovación.
• Estudios métricos de la información.
• Políticas científicas.
• Sociología de la ciencia y del conocimiento científico.
• Relaciones universidad - industria.
• Evaluación del impacto socio-económico de la I+D.
• Evaluación de proyectos y programas de I+D.

A partir de estos aspectos se conformó la estrategia de búsqueda necesaria para explorar las bases de datos referidas anteriormente. Los registros recuperados se procesaron con Sitkis, un software para el procesamiento de datos métricos. Se emplearon para el estudio indicadores métricos básicos de actividad y de citación. Para el caso de la colaboración entre los países se generó una red de colaboración en conjunción con la teoría de grafos y las medidas típicas del análisis de redes.

APUNTES PARA LA EVALUACIÓN DE LA CIENCIA Y LA INVESTIGACIÓN

Históricamente la evaluación, como disciplina y como práctica, ha evolucionado en aras de abarcar la solución de los problemas sociales. El interés por los métodos de evaluación de la investigación, en particular, ha propiciado el desarrollo de varias agencias e instituciones internacionales como la National Science Fundation (NSF), la Organización para la Colaboración y el Desarrollo Económico (OCDE), la Red Iberoamericana de Indicadores de Ciencia y Tecnología (RICYT) y el Centre for Science and Technologies Studies (CTWS) de la Universidad de Leiden, Holanda, que han contribuido a ampliar la perspectiva, visión y utilidad en los diferentes niveles de aplicación, así como a la integración de otros elementos que han convertido a la evaluación en un fenómeno social complejo y dinámico.

En forma resumida y sobre la base de los criterios de autores, como Jaso Sánchez (2007) y Papaconstantinou y Polo (1997), es posible plantear que el desarrollo histórico de los métodos de evaluación se ha producido en tres etapas fundamentales:^9,10

1. Apoyo a la investigación, desarrollo tecnológico, creación de institutos. Las metodologías de evaluación se enfocaron hacia la evaluación del desempeño de la comunidad científica por medio de la revisión por pares. Aparecieron las primeras técnicas métricas.
2. Valoración de otras facetas de la innovación y revaloración de la importancia de la demanda. Se favoreció la visión de sistema en los procesos de evaluación. Se desarrollaron instrumentos de intervención acorde con los nuevos tiempos y necesidades, como la vinculación, las redes, las instituciones puente y los parques industriales. Se apeló al conocimiento y a las habilidades de áreas económicas, tecnológicas, etcétera. Los métodos métricos y la evaluación por pares comenzaron a sofisticarse.
3. A partir de la década de los años 1990, las políticas se proponen fortalecer la planeación estratégica como parte de los procesos de evaluación, así como la inteligencia tecnológica; definir áreas priorizadas, nichos específicos, e incentivar capacidades cognoscitivas y de adaptación que permitan a los actores adecuarse con gran rapidez a su entorno.

Evaluar la ciencia implica valorar, desde diferentes puntos de vista, el fenómeno que se estudia, el impacto social y económico alcanzado y, de alguna manera, conocer si los objetivos propuestos inicialmente se cumplieron. En el caso de las academias, evaluar la producción científica permite exactamente esto, es decir, valorar si los objetivos propuestos en un período de investigación se cumplieron y si hubo beneficios para la sociedad a la cual se sirve. Visto así, contribuye además a desarrollar el potencial científico y tecnológico de cada país, ya que las políticas científicas universitarias responden a una política científica nacional elaborada a partir de las necesidades de su desarrollo científico y tecnológico. Permite, además, analizar el rendimiento de la actividad científica y comprobar su impacto en la sociedad, un elemento necesario para la gestión y la planificación de los recursos destinados a la investigación. En otras palabras, la evaluación forma parte de cualquier proceso si se quiere conocer sus resultados; por tanto, la ciencia y su producción no están exentas de esto.

Se puede considerar a la ciencia como un sistema de producción de información, en particular información en forma de publicaciones, es decir, de "información registrada en formatos permanentes y disponibles para el uso común". Desde este punto de vista, entonces, la ciencia puede verse como una empresa con insumos y resultados.¹¹ Las siguientes afirmaciones responden al cuestionamiento sobre la necesidad o no de evaluar la ciencia:³ -

- La ciencia está relacionada con la tecnología, la cual a su vez mejora nuestra vida material.
- La ciencia constituye una aspiración general de la humanidad. Es un elemento de "prestigio" y esto significa que los países quieren destacar para demostrar que están a la cabeza y no dependen de la comunidad mundial de naciones.
- La ciencia contribuye a conformar nuestra visión del mundo.

Los sistemas de ciencia, tecnología e innovación de cada país son extremadamente complejos y, a menudo, muy heterogéneos, lo que determina que el desarrollo y la difusión de la ciencia y la tecnología sean procesos complicados y muy difíciles de cuantificar.¹² Los resultados o beneficios de la ciencia son intangibles, multidimensionales y, prácticamente, imposibles de cuantificar en términos económicos. Es decir, se trata de medir la producción y el aumento del conocimiento y este es un concepto intangible y acumulativo. Además, los resultados de la ciencia se revelan sólo indirectamente y a menudo, con mucho retraso.^12,13

Las diferentes dimensiones y complejidades asociadas con los procesos de evaluación de la ciencia implican su análisis multidimensional. Como plantea Chinchilla (2004), es como si entrásemos en una casa poliédrica (cada una de las puertas nos enseña una parte de la casa, una dimensión del problema y todas las puertas-dimensiones confluyen en un punto: los resultados de la actividad científica).¹⁴

El termino "evaluación de la investigación", en inglés research evaluation, en el campo de las ciencias sociales se ha convertido en un campo interesante, cada vez con mayor visibilidad en el cuerpo de la literatura científica, incluidos los productos para completar la evaluación científica de proyectos y programas de investigación, así como para metodologías generales de trabajo.^15-19

La evaluación se define como: "…un instrumento para determinar la asignación de recursos, un mecanismo para cambiar estructuras organizativas y definir nuevos incentivos, o para evaluar los resultados en ciertas áreas científicas en relación con las necesidades nacionales".²⁰ Supone un análisis de la medida en que las actividades han alcanzado objetivos específicos.²¹

El término "evaluación de la investigación" se utiliza con frecuencia para referirse a la "evaluación de los resultados", en inglés Outcome mesurament.²² La evaluación del rendimiento de la actividad científica abarca tres procesos, según establecen Bellavista y sus colaboradores (1997): La evaluación «ex ante» (appraisal), la evaluación del proceso y la evaluación "ex post" (evaluation).²³

La primera permite una aproximación a los aspectos económicos, sociales, científicos y tecnológicos de programas e instituciones, así como de centros de investigación y universidades. Requiere el análisis de los resultados anteriores, así como de juzgar con anticipación las cualidades intrínsecas de un proyecto de un grupo o de una persona, sobre la base de sus resultados anteriores. La evaluación «ex post» se refiere a los procesos de investigación finalizados, y permite la discusión de los resultados científicos y tecnológicos, además de los económicos y sociales relacionados con estos.²⁴ Este último tipo de evaluación es muy empleado por quienes utilizan técnicas métricas en la evaluación del impacto y calidad de la investigación o en los casos en que prima la evaluación de los impactos socioeconómicos.

De acuerdo con Nederhof (1988), "en el día a día de la investigación científica se toman muchas decisiones que tienen su impacto en la productividad científica y en el progreso científico";²⁵ de ahí que la evaluación sea un elemento tan importante, al menos para dos colectivos: por un lado, los propios científicos, a quienes les interesa conocer si su investigación es de calidad y utilidad, y por otro, la administración y las empresas privadas que aportan los fondos que sostienen las actividades científicas. Para ambos, la evaluación es un factor necesario porque permite conocer a unos, la importancia y el alcance de su investigación y a otros, si la inversión realizada se ha canalizado de forma adecuada.

Evaluar implica "evaluar la calidad de la investigación", pero es necesario que en la investigación se distingan otros conceptos, además del de calidad, como son: importancia e impacto.²⁶ Los tres son difíciles de medir directamente y sólo pueden valorarse desde la perspectiva de los demás científicos o deducirse de la práctica de la cita.

Según estos mismos autores, el primero de estos conceptos, la calidad, se refiere a la investigación propiamente dicha; los otros dos, importancia e impacto, son más externos porque se refieren a las relaciones que se establecen entre la investigación de unas y otras áreas y describen las implicaciones en otras actividades de investigación.²⁷

La calidad es un concepto muy difícil de delimitar. De acuerdo con Moed y sus coautores (1985), se puede distinguir entre calidad cognitiva, metodológica y estética. La primera se relaciona con la importancia del contenido específico de las ideas científicas. Este tipo de calidad se evalúa sobre la base de ciertas consideraciones puramente científicas. La calidad metodológica se relaciona con la precisión de los métodos y técnicas y se evalúa con ayuda de las reglas y criterios actuales establecidos para un campo científico particular. La calidad estética es más subjetiva y se basa en fórmulas y modelos matemáticos.²⁸

Para que una publicación científica obtenga impacto debe presentar cierto grado de calidad. El impacto indica que las actividades de investigación que originaron productos de "calidad" científica fueron acogidos por el resto de la comunidad investigadora de forma positiva, lo cual indica la influencia de estas actividades aún cuando dicha influencia puede estar condicionada por otras causas, como el prestigio de un autor o de su institución, la lengua de publicación, la visibilidad de la revista en que se publica, etcétera. El impacto, por lo tanto, es la influencia que una publicación tiene en la investigación durante el período de tiempo en que los trabajos se citan.²⁷

El último concepto, la importancia, se refiere a su influencia potencial con respecto a las actividades de investigación, esto es, la influencia que produce en el avance del conocimiento científico, si existiera una comunicación perfecta en la ciencia. Debido a las deficiencias en la difusión de los resultados de la investigación, la importancia de un documento puede diferir de su impacto.27 En resumen, la evaluación es la valoración cualitativa y cuantitativa, así como la crítica objetiva de todos los elementos que constituyen el proceso de la investigación científica con ayuda de métodos adecuados.²⁹

La evaluación de la investigación, a partir de los rápidos cambios que se han producido en la comprensión de la ciencia y de sus relaciones con la sociedad, ha llevado a la asunción de nuevas dimensiones, así como a un crecimiento de su complejidad.³⁰

La evaluación de la investigación toma lugar en diferentes niveles de la organización y va de lo personal a lo transnacional. Sucede lo mismo con las diferentes actividades de este campo, que comprenden desde el clásico peer review al benchmarking, estudios de usuarios, conferencias, estudios de productividad, acreditaciones, etcétera.

La evaluación en los sistemas de I+D a escala internacional se enfrenta a una serie de desafíos, con independencia de sus contextos institucionales específicos.²⁰ En primer lugar, siguen abiertos los posibles desajustes cognitivos, derivados de la denominada "tensión esencial", descrita por Kuhn (1977),³¹ por los cuales el proceso de evaluación, como el control de calidad de la investigación (o de los resultados socioeconómicos), debe ser capaz de evitar que su aplicación frene el desarrollo de las ideas más innovadoras en la ciencia. El segundo desafío al que se enfrenta la evaluación es la creciente interdisciplinariedad de la actividad investigadora.

En segundo lugar, se ha dicho que la investigación transdisciplinar es una de las características del nuevo modo de producción del conocimiento (Gibbons y otros, 1994) y se ha señalado que uno de los desafíos que el sistema tiene ante sí es el control de calidad de la investigación generada fuera de los ámbitos disciplinares.

En tercer lugar, la evaluación de la investigación se enfrenta a dificultades para la diferenciación de dos elementos: por un lado, la calidad de un proyecto o de un trabajo, y por otro, su relevancia en relación con las prioridades de investigación establecidas.

En cuarto lugar, el sistema de evaluación de la investigación debe encontrar un mayor equilibrio entre los objetos a evaluar (frente al predominio de la evaluación ex ante de las propuestas de investigación) y, sobre todo, desarrollar métodos y técnicas complementarias a la tradicional revisión por pares.

Por último, la transparencia de los procesos de evaluación es un elemento importante, no solamente por la relación entre evaluador, objeto de la evaluación y decisor, sino sobre todo por el efecto de aprendizaje que tiene en el proceso. En este contexto, el derecho a la reclamación y al recurso contra la evaluación es una propiedad esencial del sistema de garantías.

El proceso completo de evaluación de I+D, especialmente de los elementos relativos al rendimiento de la investigación, consta generalmente de dos componentes principales: seguimiento continuo y evaluación a posteriori. Históricamente, la evaluación de la investigación y la innovación han comprendido, como uno de los procesos fundamentales, el diseño de métodos y sistemas de indicadores para realizar la medición.

INDICADORES DE CIENCIA Y TECNOLOGÍA

Los indicadores de ciencia y tecnología son medidas cuantitativas que se aplican en los siste mas de producción del conocimiento para mostrar los procesos de toma de decisiones a nivel de la ciencia y la tecnología. Los cambios, tendencias y perspectivas en el desarrollo de nuevos indicadores en este campo de evaluación se encuentran estrechamente vinculados con el desarrollo experimentado por los sistemas de ciencia e innovación en los tiempos actuales. Hoy, se aprecia una transición de sistemas centralizados a sistemas inteligentes distribuidos, con multiplicidad de actores, y esto produce la emergente necesidad de generar indicadores para evaluar al ciencia más allá de los tradicionales input/output de las oficinas nacionales de estadísticas o la OECD desarrollados desde 1960 y que, aún cuando han experimentado cambios con el decursar de los años, la emergencia de nuevas demandas y clientes, acompañado de renovados avances tecnológicos y metodológicos, han abierto nuevos campos de desarrollo para su producción.³²

En este campo de estudio, el desarrollo de indicadores ocupa hoy las principales líneas de investigación en torno a la evaluación de la ciencia y la tecnología en países desarrollados. Las últimas conferencias internacionales sobre indicadores de ciencia y tecnología: Llugano (2006), Leiden (2004), Karlsruhe (2002), Cambridge (1998), Antwwerp (1995) se han centrado de manera evolutiva en líneas como: estudio de nuevas metodologías, la atención hacia las necesidades reales de los indicadores entre quienes realizan la evaluación, la combinación de métodos cualitativos y cuantitativos, el desarrollo de indicadores para la medición del impacto socioeconómico de la I+D, el estudio de casos donde se construyan indicadores ad hoc para responder a los requerimientos de la evaluación a los diferentes niveles de estudio a partir de la combinación de disímiles fuentes de datos, indicadores Webmétricos para le evaluación de la ciencia y la tecnología, la generación de indicadores métricos a partir del índice h, e indicadores para medir los vínculos entre ciencia y tecnología, entre otras.

Con respecto a los métodos e indicadores a emplear para la evaluación de la investigación, de manera general suelen distinguirse los métodos cuantitativos y los cualitativos. En este sentido, y siguiendo la idea de Luukkonen (2002), no debe existir superioridad en los métodos; pueden ser tanto unos como otros. La selección depende de las necesidades de información, recursos, factores, características de los actores del sistema a evaluar, así como de las características y realidades de las fuentes de datos y los datos en particular. Es necesario emplear un conjunto de ellos, porque la aplicación de un solo indicador proporciona un panorama incompleto de la medición.¹²

Es fundamental actualmente focalizar el diseño de indicadores en torno a aquellos que permitan evaluar más allá de lo tradicionalmente evaluado. Las demandas sociales de los resultados de la investigación e innovación, incluida la necesidad de llevar esos resultados al tejido productivo de la sociedad, y la complejidad de los sistemas actuales de ciencia e innovación a los diferentes niveles, implican mantener este punto de atención no sólo para el diseño de los propios indicadores sino también para la creación de métodos y herramientas adecuadas para la gestión de la ciencia y la tecnología, desde la ajustada articulación de los sistemas nacionales de ciencia e innovación hasta el desarrollo de proyectos y sistemas de información científica automatizados para esto.

En este sentido, se han desarrollado nuevas áreas, como la Webmetría, para el desarrollo de indicadores basados en el Web para la evaluación de sistemas complejos de innovación.^33,34 Se han fortalecido otras como los estudios biblio-cienciometricos, incluidos en las principales publicaciones internacionales sobre indicadores de ciencia y tecnología,^35-37 y se han proliferado una serie de investigaciones donde se estudia la ciencia a partir de diferentes técnicas cienciométricas que provienen del análisis de las publicaciones y sus citas,¹¹ apoyados en las facilidades que brindan las novedosas técnicas de representación de la información para generar los mapas de la ciencia.^38-44

Por otro lado, se exploran nuevas fuentes de datos para su explotación como consecuencia del desarrollo tecnológico alcanzado, como es el caso de los currículos para el análisis del desempeño científico del investigador,^45,46 y se desarrollan indicadores adaptados a las realidades de países con escasos recursos. Es clave desarrollar indicadores en esta línea de dirección, ajustados a las características y realidades de los dominios a evaluar, tengan estos una dimensión más organizacional o más cognitiva, según los clasifica Van Ran (2000).⁴⁷

A su vez, la emergencia de modelos, como el mencionado Modo 2, asociados con la generación de conocimientos en los sistemas de ciencia e innovación, y el propio avance de los sistemas nacionales de innovación, han llevado a la producción de otros nuevos indicadores y han abierto el campo de investigación para el desarrollo de otros nuevos, que según Lepori (2008),³¹ pudieran denominarse indicadores racionales de posicionamiento, y están enfocados a los flujos y vínculos entre los diferentes actores de los sistemas de ciencia e innovación.

Se ha propuesto un marco conceptual sobre este tipo de indicadores con vista a su futura producción para estos sistemas. Con estos indicadores se intentaría medir las interacciones (complejas y sistémicas) que caracterizan actualmente a los sistemas de ciencia y tecnología. Y en este sentido, se considera que deben desarrollarse dos funciones clave: La capacidad de diseñarlos (o diseño experimental) y la capacidad de transferirlos de manera efectiva al sistema productivo (función de capitalización). Esta última se relaciona directamente con la necesidad de producir indicadores capaces de medir el impacto de la transferencia de tecnologías y conocimientos al sistema productivo. Este es un espacio poco explorado en el campo de los indicadores de ciencia y tecnología.

La definición de nuevos indicadores de ciencia y tecnología debe ser el resultado de un diseño conceptual coherente, relacionado con políticas de investigación, la definición de las categorías correspondientes, la identificación de las fuentes de datos y metodologías para su explotación en aras de obtener la mayor calidad posible, y su validación con la comunidad científica, especialmente y como plantea,³¹ antes de su transferencia al sistema productivo. En este sentido, Barré (2006) propone cinco funciones importantes para la producción de indicadores:⁴⁸

• El análisis de las necesidades de los usuarios y la concepción de los indicadores.
• El desarrollo de metodología y las técnicas.
• La colección de los datos y producción de los indicadores.
• El almacenamiento y mantenimiento de los indicadores.
• La interpretación y uso.

La combinación adecuada de varios métodos de análisis fue y es una de las tendencias de desarrollo en el área de los indicadores de ciencia y tecnología. El uso de indicadores estadísticos de I+D, el peer review como método de evaluación cualitativo, los indicadores bibio-cienciométricos con los mapas de la ciencia, entre otros, han de mezclarse para su empleo de manera apropiada y contextualizada. Por ejemplo, el propio arbitraje o peer review, más allá de las desventajas identificadas,^49,50 ha sido tradicionalmente un método clave en los estudios de evaluación y, en ocasiones, se ha empleado por si solo, a pesar de las críticas existentes con respecto a su uso sin estudios complementarios para valorar adecuadamente los impactos sociales, económicos y científicos de la investigación.⁴⁷

La afirmación anterior se relaciona estrechamente con la necesidad de producir indicadores y evaluar, según los niveles de agregación, otra de las perspectivas a considerar para el diseño de nuevos indicadores de ciencia y tecnología (figura 1).

La figura ilustra el cambio de enfoque que se produce al trasladarse de los niveles más bajos a los más altos de agregación en los sistemas de ciencia e innovación y esto implica un cambio en los tipos de métodos e indicadores más apropiados para realizar la evaluación. El tradicional peer review permanece como muy importante en el nivel de la evaluación de los proyectos, la necesidad de modificar este método se manifiesta en los niveles superiores de agregación como los programas y pierde completamente su valor en los niveles más alto, especialmente a nivel de sistema, donde ganan más uso los métodos asociados con el impacto socioeconómico de la ciencia y la innovación.

RETOS PARA LA EVALUACIÓN DE LA INVESTIGACIÓN

El papel de la ciencia en la sociedad ha cambiado rápidamente y esto trae aparejado constantes discusiones y replanteamientos de los campos y especialidades que influyen en la obtención de los resultados científicos y su impacto en la sociedad.

Es necesario un replanteamiento de la dirección que debe asumir la evaluación de la investigación y la innovación ante la función que debe ejercer la ciencia para su mejor comprensión pública y la toma de decisiones a los diferentes niveles. El rápido desarrollo de ciertos fenómenos sociales ha marcado el surgimiento de nuevos tipos de evaluación de la investigación, además de un aumento de sus niveles de complejidad. En este sentido, una de las contribuciones recientes más importantes en este campo es la propuesta de Nowotny y sus colaboradores (2001), al abrir el debate a los cambios de las funciones sociales de la ciencia en la sociedad, así como de sus funciones como sistema productor de conocimientos, a partir del concepto "Agora", un modelo que conceptúa las relaciones entre la ciencia y la sociedad a partir de un espacio que contempla los diferentes actores, intereses políticos, económicos, demandas de conocimiento científico y la nueva perspectiva y dimensiones que esto implica para la evaluación de la investigación.⁵¹

Su contribución, también trabajada por Barré (2001, 2004), en esencia es un llamado a la contextualización de los procesos de evaluación y la consideración de todos su actores, digamos que en forma de una red social, que influye marcadamente en la evaluación de la investigación, porque los métodos e indicadores de evaluación deben orientarse a capturar y medir esas complejas interacciones, más allá de un simple causa-efecto, e intentar aglutinar las diferentes aristas del fenómeno analizado.^5,52

Lo anterior también se complementa con los planteamientos de Jaso Sánchez (2007), quien afirma que la evaluación de la investigación, para los evaluadores, se ha traducido, en incorporar la evaluación de manera más clara en un esquema de planeación estratégica, a la vez que se señala la necesidad de evaluar:⁹

- La rapidez de los procesos de aprendizaje.
- La capacidad no sólo de construir redes, sino también de desarticularlas.
- La capacidad de las organizaciones en general y las empresas para reorientarse hacia trayectorias con mayores oportunidades.
- La capacidad para anticipar e incidir en la orientación del cambio tecnológico.
- La movilidad inter-institucional del capital humano y los consecuentes flujos de conocimiento.
- La contribución real de los programas públicos a los cambios en el comportamiento y desempeño de los actores (adicionalidad).
- La incorporación de nuevos actores en el diseño de evaluaciones más democráticas y transparentes.

Resulta importante que la evaluación estudie de qué manera los programas implementados hasta el momento contribuyen a revertir el aislamiento de las organizaciones y la falta de trabajo coordinado. Todavía falta responder la pregunta sobre si los programas permiten una mayor vinculación de las comunidades de investigadores y tecnólogos con otros actores sociales y con organizaciones situadas en el extranjero.⁹

Es claro para la comunidad de evaluadores que las herramientas de evaluación disponibles son insuficientes para satisfacer las anteriores demandas, de manera que se han abierto promisorias líneas de investigación.

Cualquier proyecto de medición, análisis o evaluación de la actividad científica o técnica requiere de un trabajo estadístico previo de toma de datos básicos y su posterior análisis para llegar a construir los indicadores necesarios para dicha actividad.¹² Se necesita, además, responder la pregunta sobre si los programas de fomento de la I+D+i contribuyen de manera tangible a revertir la perjudicial distribución del ingreso en nuestras economías,⁹ cuestión que es objeto de discusión por los diferentes agentes de los sistemas de I+D+i.

Por las razones anteriores, se impone desarrollar metodologías e indicadores que trasciendan la observación de lo que es relativamente más fácil de cuantificar en aras de capturar los impactos más profundos e incorporar elementos cualitativos en las metodologías, y así capturar mejor los elementos intangibles relacionados con el comportamiento, el aprendizaje, la adaptación, las vinculaciones informales y el desarrollo de capacidades de innovación en general.⁵³

En relación con la medición del impacto socioeconómico de la I+D, preocupación constante de políticos y gobiernos, es importante tener presente las contradicciones que este tipo de evaluación puede generar porque, como plantea Van Raan (2000), lo que es bueno para la comunidad no lo es para la empresa o compañía. En este sentido, los programas y métodos de evaluación deben considerar un punto de mira clave: la evaluación debe dirigirse hacia el impacto social, producto de los resultados de la I+D y no directamente al aspecto económico tan tratado por otros autores como Martin y Salter (1996) y Van den Beemt (2000).^54,55

Es necesario buscar alternativas reales y adaptadas a los planes y programas de I+D+i de los países, instituciones y especialidades científicas. Es imprescindible ser creativos y tratar de crear y utilizar indicadores que capten, de manera flexible, aquellas actividades que van más allá de las cuantificables tradicionalmente.

Es difícil medir los resultados sobre los resultados de la investigación y la innovación obtenidos por medio de la transferencia de conocimiento, porque sus efectos pueden ser indirectos, o en cualquier caso, como afirma Bueno (2007),⁵⁵ puede producirse un desfase temporal importante entre la actividad de transferencia y su resultado. Esto implica que, como se ha hecho hasta el momento, sólo se diseñen indicadores para medir actividades y no para medir los resultados.

Los tipos de evaluación para la investigación, para los nuevos modelos y espacios de investigación, deben trazarse como reto precisamente el de medir lo visible y aquello difícil de percibir, y hacerlo de manera contextualizada y dimensional y de forma objetiva.

COMPORTAMIENTO DE LA PRODUCCIÓN CIENTÍFICA SOBRE ESTUDIOS DE LA CIENCIA DURANTE EL PERÍODO 2000-2007 EN EL WEB OF SCIENCES

La búsqueda realizada permitió identificar un total de 2 489 registros (artículos científicos) relacionados con el tema. La producción científica sobre los estudios de la ciencia, aunque aumentó especialmente en los últimos años, ha experimentado ciertos altibajos a lo largo de todo el período de estudio (2000-2007) (figura 2). El año que alcanzó mayores niveles de producción científica fue el 2006 con 376 trabajos para el 15,1 %, seguido del 2007 con 341 para el 13,7 %. En forma general, la necesidad de evaluar los resultados de la ciencia y la innovación y estudiar su impacto en la sociedad son temas que han tomado importancia para todos los agentes productores del conocimiento.

Con respecto a las fuentes, puede observarse que Scientometrics, seguida de Res Policy, son las revistas donde con marcada diferencia del resto se publica más, con 790 y 665 artículos respectivamente. En la figura 3 se muestra que alcanzan, en este orden, las posiciones más lejanas del centro.

Scientometrics es la revista por excelencia con una mayor cobertura del tema, por su bien definida orientación a los estudios de la ciencia, especialmente a partir de herramientas métricas.

Por su parte Res Policy es una revista multidisciplinaria, con una amplia cobertura en estos temas, dedicada a las políticas y gestión de problemas relacionados con la innovación, I+D, ciencia y tecnología, y actividades encaminadas a la adquisición de conocimientos y su explotación.

En la figura estos valores disminuyen, y ocupan las posiciones más cercanas al centro las revistas con una menor productividad. En este caso, se encuentran la revista J Amer Soc Inform Sci y Res Evaluat con 15 y 156 artículos, respectivamente. En el caso de esta última, la cantidad de registros para el período de análisis responde a que es una revista con pocos años de fundada.

En relación con la productividad por países, como se aprecia, Estados Unidos encabeza la lista con 609 artículos, seguido de países europeos casi en su totalidad: Inglaterra, Holanda y Alemania, Bélgica, España, etcétera. Estos resultados se corresponden con los principales indicadores de ciencia y tecnología a nivel internacional para evaluar los esfuerzos de los países de la Unión Europea con respecto a inversión en la I+D+i y los resultados alcanzados, así como las estrategias a nivel regional para fomentar el espacio europeo de investigación (tabla 1 ).

Además, la Unión Europea se ha planteado una estrategia orientada a la construcción de la Europa del Conocimiento 2020, que influye en la posición adoptada por estos países.^56,57

El comportamiento anterior puede observarse también al analizar la red de colaboración de países (figura 4). El color representa el continente al que pertenecen y el tamaño de los nodos la cantidad de enlaces con otros países. Como se observa en la figura, predominan los países europeos, representados por los nodos en color negro.

En general, Estados Unidos, que ocupa la posición central en la red junto a Inglaterra y Holanda, son los países que —además de ser los más productivos— son los que más trabajos han publicado en colaboración. El grosor de los enlaces entre estos países refleja, además, que la intensidad de la colaboración entre ellos es bastante fuerte. De manera general, la intensidad de la colaboración entre los mismos países europeos, unidos casi todos en un mismo cluster, se comporta de manera fuerte.

Con respecto a la productividad por instituciones, puede apreciarse el predominio de las universidades entre las instituciones más productivas, a la luz de sus funciones no sólo como generadoras de conocimiento, sino también como emprendedoras y facilitadoras de la transferencia de la I+D al tejido empresarial y productivo (figura 5).

La denominada tercera misión de la universidad^55-57 es una confirmación de esto. La Katholieke Univ Leuven, seguida de las universidades de Sussex y Leyden, constituyen las tres instituciones con mayor producción científica en los estudios del comportamiento de la ciencia, con 66, 56 y 52 artículos, respectivamente.

Resulta interesante la presencia del Consejo Superior de Investigaciones Científicas (CSIC) y la Universidad de Granada, por la región iberoamericana, entre las 20 instituciones más productivas en este campo a nivel internacional en revistas de la corriente principal.

EL CSIC es una de las instituciones a nivel nacional que rige el desarrollo de investigaciones en torno a la evaluación de la actividad científica, por lo que constituye el mayor organismo público de la investigación en España. La Universidad de Granada, a su vez, es en estos momentos una de las instituciones que mayores esfuerzos dedica a este campo de estudio, especialmente a través de grupos de investigación con visibilidad internacional en el campo, como Scimago, con proyectos regionales para la evaluación y representación de la ciencia, como el Atlas de la Ciencias, el Ranking iberoamericano de instituciones de investigación _ RI3 y SCImago Journal & Country Rank-SJR a partir de SCOPUS, entre otros.⁵⁹

El análisis de las principales palabras clave asignadas a estos artículos permitió develar temas importantes en el dominio (tabla 2). Vale destacar la casi igualdad entre la cantidad de trabajos dedicados a la ciencia propiamente dicha y los dedicados a la innovación, lo que implica que los estudios dedicados a la evaluación, impacto, transferencia y otros aspectos de los procesos de innovación constituyen un área que se fortalece en este campo. Estos resultados pudieran haberse enriquecido aún más mediante el análisis de la evolución de estas palabras con el transcurso de los años, técnicas de minería de datos, co-words, análisis latente, u otro similar.

Por otro lado, es significativa la presencia de términos como networks, indicators e impact. Esto induce, por un lado, el uso de las redes, especialmente a partir de los estudios de colaboración en ciencia y tecnología, como elemento cada vez mas útil en los sistemas de I+D+i, y el análisis del comportamiento de las relaciones entre los agentes del sistema.

Por otro lado, los términos indicators e impact pudieran significar un empleo mayor de los estudios evaluativos de los resultados de la ciencia y la medición de su impacto en la sociedad, así como la propia medición de la transferencia de conocimientos y tecnologías de las universidades y otros centros públicos de investigación al tejido empresarial para garantizar resultados materializados en innovaciones, aplicaciones, etcétera. La presencia del término biotechnology muestra, de alguna manera, que esta ciencia, como sector estratégico para muchos países, es también campo de estudio y evaluación.

En relación con las revistas más citadas, se observa cómo dos de ellas acaparan el mayor número de citas: Scientometrics y Res Policy, con 4 549 y 4 249 citas recibidas, respectivamente (tabla 3 ).

Resulta interesante cómo la revista J Am Soc Inform Sci, con 3 187 citas recibidas, ocupa la tercera posición en la tabla; es entonces una revista muy utilizada en este tipo de estudios y, sin embargo, se recuperaron pocos trabajos en ella para el período que se analizó (15). Pudiera suceder que los trabajos que se han publicado en esta revista, aunque pocos, hayan tenido un gran impacto en la comunidad científica.

Ahora bien, la base intelectual de cualquier campo de estudios es medida, entre otros indicadores, como el grado de intermediación y el degree en las redes de co-citación de documentos, por aquellos documentos que han tenido mayor impacto para una comunidad a partir de la cantidad de citas que reciben. Un total de 30 autores acumularon 42 o más citas para un trabajo publicado (tabla 4 ).

Los documentos recogidos en la tabla se consideran clave para este campo de estudios. El contenido que en ellos se recoge ha influido en el resto de la comunidad científica y han marcado pautas en el desarrollo de nuevas investigaciones. El hecho de que aún se citen, así lo demuestra. Cohen WM lidera la lista. El trabajo publicado en la revista Admin Sci Quart, titulado Absorptive Capacity: A New Perspective on Learning and Innovation, en 1990, y en Econ J en 1989, titulado Innovation and learning: the two faces of R&D, recibieron la mayor cantidad de citas con un total de 127 y 82, respectivamente.

CONCLUSIONES

La evaluación de la ciencia ha ampliado sus objetivos, alcance y niveles de complejidad. Las nuevas interacciones que caracterizan los sistemas de ciencia e innovación enfatizan el carácter sistemático, dinámico y complejo de estas actividades. Esto exige a los métodos de evaluación tratar de abarcar las interacciones de causa-efecto con mayores niveles de complejidad. La combinación adecuada de varios métodos de análisis fue y es una de las tendencias de desarrollo en el área de los indicadores de ciencia y tecnología. El uso de indicadores estadístico de I+D, como el peer review como método de evaluación cualitativo, los indicadores bibio-cienciométricos con los mapas de la ciencia y otros, han de mezclarse para su empleo de manera apropiada. La producción científica sobre los estudios de la ciencia y la investigación científica ha experimentado un aumento relativo durante los últimos siete años. La focalización de la investigación en temas como la ciencia, la innovación, las redes, el uso de indicadores y medición del impacto a partir de la producción científica en revistas de la corriente principal, muestra también las líneas fundamentales que ha seguido la investigación en este campo. Los Estados Unidos y los países europeos son los más productivos. Las universidades son el tipo de institución con mayor visibilidad en este campo. En el caso de la Unión Europea, este alce en la producción científica responde a estrategias regionales y de los países miembros. Se impone buscar alternativas reales y adaptadas a los planes y programas de I+D+i de los países e instituciones y especialidades científicas. Es imprescindible ser creativos, y tratar de desarrollar indicadores que capten, de manera flexible, aquellas actividades que van más allá de las cuantificables tradicionalmente.

REFERENCIAS BIBLIOGRÁFICAS

1. Pérez Sedeño E. Evaluación, transparencia y democracia. CTS Cienc Tecnol Soc. 2007;3(8):173-81.

2. López JM, Terrada ML. Los indicadores bibliométricos y la evaluación de la actividad médico científica. Medicina Clínica, 1992;98(2):64-68.

3. Moravcsik MJ. ¿Cómo evaluar la ciencia y a los científicos? Revista Española de Documentación Científica. 1989;12(3):313-25.

4. Gibbons M, Limoges C, Nowotny H, Schwartzman S, Scott P, Trow M. The new production of knowledge. The dynamics of science and research in contemporary societies. London: Sage. 1994.

5. Barré R. The Agora model of innovation systems: S&T indicators for a democratic knowledge society. Research Evaluation. 2001;10(1):13-8.

6. Etzkovitz H, Leyesdorff L. The dynamics of innovation: from National Systems and "Mode 2" to a Triple Helix of university-industry-government relations. Research Policy. 2000;29(2):109-23.

7. Hou H, Liu Z. Mapping of science studies, 1975-2004. 2005. Disponible en: http://eprints.rclis.org/archive/00006424/01/science.pdf [Consultado: 14 de junio de 2008].

8. Edge D. Reinventing the wheel. En: Jasanoff S, Markle GE, Petersen JC, Pinch T (eds.) Handbook of Science and Technology studies. London: Sage Publications; 1995.p.323.

9. Jaso Sánchez MA. Los instrumentos del evaluador de política científica y tecnológica: hacia la construcción de metodologías adecuadas a la realidad latinoamericana. Gaceta Ide@s. 2007;2(28). Disponible en: http://energia.guanajuato.gob.mx/gaceta/Gacetaideas/Archivos /28062007_LOS_INSTRUMENTOS_EVALUADOR_POLITICA_CIENTIFICA_TECNOLOGICA.pdf [Consultado: 14 de junio de 2008].

10. Papaconstantinou G, Polt W. Policy evaluation and technology: An overview. 1997. Disponible en: http://www.oecd.org/dataoecd/3/4/1822393.pdf [Consultado: 14 de junio de 2008].

11. Spinak E. Indicadores cienciométricos. Acimed. 2001;9(Suppl.):42-9. Disponible en:
http://scielo.sld.cu/scielo.php?script=sci_arttext&pid=S1024 -94352001000400007&lng=es&nrm=iso&tlng=es [Consultado: 18 de junio de 2008].

12. Sancho R. Indicadores de los sistemas de ciencia, tecnología e innovación. Economía Industrial. 2002;(343):97-109. Disponible en: http://www.mityc.es/NR/rdonlyres/82F8051A-742D-4F3D-8149-4C2B76A8D0A6/0/097SANCHO.pdf [Consultado: 21 de julio de 2008].

13. Sancho R. Directrices de la OCDE para la obtención de indicadores de ciencia y tecnología. 2001. Disponible en: http://www.ricyt.org/interior/normalizacion/V_taller/rsacho.pdf [Consultado: 5 de agosto de 2008].

14. Chinchilla Rodríguez Z. Análisis del dominio científico español: 1995-2002. ISI, Web of Science [Tesis de Doctorado]. Granada: Departamento de Biblioteconomía y Documentación. Universidad de Granada. 2004.

15. Caro FG. Readings in evaluation research. New York C: Russell Sage Foundation. 1971.

16. Suchman EA. Evaluative research. New York C: Russell Sage Foundation. 1967.

17. Wholey JE, Scanlon JW, Duffy HG, Fukumotu JS, Vogt LM. Federal evaluation policy: analyzing the effects of public programs. Washington D.C: The Urban Institute. 1970.

18. Weiss CH. Evaluating action programs: readings in social and education. Boston: Allyn & Bacon. 1972.

19. Hyman H, Wright CR, Hopkins TK. Applications of methods of evaluation. Berkeley: University of California Press. 1962.

20. Sanz Menéndez L. Evaluación de la investigación y sistema de ciencia. Disponible en: http://www.iesam.csic.es/doctrab2/dt-0407.pdf [Consultado: 26 de junio de 2008].

21. Gibbons M. Methods for the evaluation of research. Paris: OCDE. 1984.

22. Luukkonen T. Research evaluation in Europe: state of the art. Research Evaluation. 2002;11(2):81-4.

23. Bellavista J, Guardiola E, Méndez A, Bordons M. Evaluación de la investigación. Madrid: Centro de Investigaciones Sociológicas; 1997 (cuadernos metodológicos No. 23).

24. Martínez Rodríguez A. Evaluación de la investigación científica: un enfoque desde la metría de la información [Tesina en opción al Diploma de Estudios Avanzados]. La Habana: Facultad de Comunicación. Universidad de La Habana; 2007.

25. Nederhof AJ. The validity and reliability of evaluation of scholarly performance. En: Van Raan AFJ. Handbook of quantitative studies of science and technology. Amsterdam: North-Holland. Elsevier Science Publishers. 1988.p.193-228.

26. Martin BR, Irvine J. Assessing basic research: some partial indicators of scientific progress in radio astronomy. Research Policy. 1983;12:61-90.

27. Ruiz de Osma E. Evaluación de la Ciencia. Cognosfera. 2003. Disponible en: http://www.ugr.es/~rruizb/cognosfera/sala_de_estudio/ciencimetria_redes_conocimiento /evaluacion_de_la_ciencia.htm [Consultado: 25 de junio de 2008].

28. Moed HF, Burger WJM, Frankfort JG, van Raan FJ. The use of bibliometric data for the measurement of university research performance. Research Policy. 1985;14:131-49.

29. López Yepes J. La evaluación de la ciencia en el contexto de las ciencias de la Documentación. Investigación Bibliotecológica 1999;13(27):195-212.

30. Frode L, Hanson F, Wenneberg SB. The Agora and the role of research evaluation. Evaluation. 2003;9(2).pp.149-72. http://evi.sagepub.com/cgi/content/abstract/9/2/149 [Consultado: 18 Agosto 2008].

31. Kuhn TS. The essential tension: selected studies in scientific tradition and change. Chicago: The University of Chicago Press. 1977.

32. Lepori B, Barré R, Filliatreau G. New perspectives and challenges for the design of S&T indicators. Research Evaluation. 2008;17(1):33-44. Disponible en: http://www.enid-europe.org/papers/lepori_barre_filliatreau.pdf [Consultado: 21 de junio de 2008].

33. OrtegaJL, Aguillo I, Cothey V, Scharnhorst A. Maps of the academic web in the European Higher Education Area-an exploration of visual web indicators. Scientometrics. 2008;74(2):295-308.

34. Sylvan J, Cothey V. Web indicators for complex innovation systems. Research Evaluation. 2006;15(2):85-95.

35. Bence V, Oppenheim C. The influence of peer review on the research assessment exercise. Journal of Information Science. 2004;30(4):347-68.

36. Frame JD, Carpenter MP. International research collaboration. Social Studies of Science. 1979;9(4):481-97.

37. Warner J. A critical review of the application of citation studies to the research assessment exercises. Journal of Information Science. 2000;26(6):453-9.

38. Boyack KW, Borner K. 2003. Indicator-assisted evaluation and funding of research: Visualizing the influence of grants on the number and citation counts of research papers. Journal of the American Society for Information Science and Technology. 2003;54(5):447-61.

39. Chen CM. CiteSpace II: Detecting and visualizing emerging trends and transient patterns in scientific literature. J Am Soc Inf Sci Technol. 2006;57(3):359-77.

40. Chen CM, McCain K, White H, Lin X. Mapping scientometrics (1981-2001). En: Asist 2002: Proceedings of the 65th Asist Annual Meeting; 2002 noviembre 18-21, Philadelphia. Medford: Information Today. 2002.p.25-34.

41. Moya Anegón F, Vargas Quesada B, Chinchilla Rodríguez Z, Corera-Alvarez E, Gonzalez-Molina A, Munoz-Fernandez FJ, et al. Visualizing and analyzing the Spanish science structure: ISI Web of science 1990-2005. El Profesional de la Información. 2006;15(4):258-69.

42. Leydesdorff L. Clusters and maps of science journals based on bi-connected graphs in Journal Citation Reports. Journal of Documentation. 2004;60(4):371-427.

43. Nelson MJ. Visualization of citation patterns of some Canadian journals. Scientometrics. 2006;67(2):279-89.

44. Small H. Cited documents as concept symbols. Social Studies of Science. 1978;8:327-40.

45. Cañibano C, Otamend J, Andujar I. Measuring and assessing researcher mobility from CV analysis: the case of the Ramón y Cajal Programme in Spain. Research Evaluation. 2008;17(1):17-31.

46. Gaughan M, Bozeman B. Using curriculum vitae to compare some impacts of NSF research grants with research center funding. Research Evaluation. 2002;11(1):17-26. Disponible en: http://www.ingentaconnect.com/content/beech/rev/2002/00000011/00000001/art00002 [Consultado: 25 de junio de 2008].

47. Van Raan AF. R&D evaluation at the beginning of the new century. Research Evaluation. 2000;8(2):81-6.

48. Barré R. Towards a European STI Indicators Platform (ES-TIP). En: Second PRIME Annual Conference and Meeting; 2006 febrero 6-10, Paris, Francia. Paris: PRIME. 2006.

49. Chubin D, Hackett EJ. Peerless Science: Peer review and U.S. Science Policy. Albany: State University of New York Press. 1990.

50. Aksnes D, Elisabeth R. Peer reviews and bibliometric indicators: a comparative study at a Norwegian university. Research Evaluation. 2004;13(1):33-41.

51. Nowotny H, Gibbons M, Scott P. Re-thinking Science. Knowledge and the public in an Age of Uncertainty. Oxford: Polity Press. 2001.

52. Barré R. The Agora model of S&T indicators. En: Moed H, W Glanseld W, Smoch U (eds.). Handbook of Quantitative Science Technology Research. Dordrecht: Kluwer. 2004.

53. Jaso Sánchez MA. Evaluation of research collaboration in the Mexican Phyto-Pharmaceutical Sector [tesis de Doctorado]. Manchester: University of Manchester. 2007.

54. Martin B, Salter A. The relationship between publicly funded basic research and economic performance. A SPRU Review. Report for HM Treasury. Brighton: University of Sussex. 1996.

55. Van den Beemt FC. Grasping the ungraspable: Assessing the contribution of academic research to economic utility [Tesis de Doctorado]. Leiden: Leiden University. 2000.

56. Bueno E. La tercera misión de la universidad. Boletín Intellectus. 2007;(12):15-7.

57. Bueno E, Fernández de Navarrete FC. La tercera misión de la universidad: enfoques e indicadores básicos para su evaluación. Economía industrial. 2007(366):43-59. Disponible en: http://www.mityc.es/NR/rdonlyres/9508035E-5D9E-4B11-A665-C8F25D72713E/0/43.pdf [Consultado: 5 de agosto de 2008].

58. Rubiralta M. La transferencia de la I+D en España, principal reto para la innovación. Economía Industrial. 2007(366):27-41. Disponible en: http://www.mityc.es/NR/rdonlyres/D9D4BE78-72D1 -4FB1-96F4-DFD316E4001A/0/27.pdf [Consultado: 5 de agosto de 2008].

59. Arencibia Jorge R. Visibilidad internacional de la educación superior cubana en el siglo XXI: análisis relacional de indicadores de producción, impacto y colaboración científica en el Web de la ciencia [Diplomado de Estudios Avanzados]. La Habana: Universidad de La Habana. 2007.

Recibido: 18 de octubre de 2008.
Aprobado: 1 de noviembre de 2008.

MSc. Yudit Pérez Rodríguez. Grupo Sistemas de Información. Dirección de Organización. Unión Cubapetróleo. Calle Oficios 154 e/ Amargura y Teniente Rey, Habana Vieja. CP: 10100. Ciudad de La Habana, Cuba. Correo electrónico: [e-mail]

Ficha de procesamiento

Clasificación: Artículo de revisión.

Términos sugeridos para la indización

Según DeCS¹

INDICADORES DE CIENCIA, TECNOLOGÍA E INNOVACIÓN; POLÍTICA NACIONAL DE CIENCIA, TECNOLOGÍA E INNOVACIÓN; RED DE INDICADORES DE CIENCIA Y TECNOLOGÍA IBEROAMERICANA E INTERAMERICANA; BIBLIOMETRIA; INVESTIGACION; BASES DE DATOS BIBLIOGRAFICAS; ANÁLISIS CUANTITATIVO; ANÁLISIS CUALITATIVO; COMUNICACIÓN.
SCIENCE, TECHNOLOGY AND INNOVATION INDICATORS; NATIONAL SCIENCE, TECHNOLOGY AND INNOVATION POLICY; NETWORK ON SCIENCE AND TECHNOLOGY INDICATORS - IBERO-AMERICAN AND INTER-AMERICAN;  BIBLIOMETRICS; RESEARCH; DATABASES, BIBLIOGRAPHIC; CUANTITATIVE ANALYSIS; CUALITATIVE ANALYSIS; COMMUNICATION.

Según DeCI²

CIENCIOMETRÍA; BIBLIOMETRIA; INVESTIGACIÓN; BASES DE DATOS BIBLIOGRAFICAS; ANÁLISIS CUANTITATIVO; ANÁLISIS CUALITATIVO; COMUNICACIÓN. SCIENTOMETRICS; BIBLIOMETRICS; RESEARCH, BIBLIOGRAPHIC DATABASE; CUANTITATIVE ANALYSIS; CUALITATIVE ANALYSIS; COMMUNICATION.

¹BIREME. Descriptores en Ciencias de la Salud (DeCS). Sao Paulo: BIREME, 2004.
Disponible en: http://decs.bvs.br/E/homepagee.htm
²Díaz del Campo S. Propuesta de términos para la indización en Ciencias de la Información. Descriptores en Ciencias de la Información (DeCI). Disponible en: http://cis.sld.cu/E/tesauro.pdf

Copyright: © ECIMED. Contribución de acceso abierto, distribuida bajo los términos de la Licencia Creative Commons Reconocimiento-No Comercial-Compartir Igual 2.0, que permite consultar, reproducir, distribuir, comunicar públicamente y utilizar los resultados del trabajo en la práctica, así como todos sus derivados, sin propósitos comerciales y con licencia idéntica, siempre que se cite adecuadamente el autor o los autores y su fuente original.

Cita (Vancouver): Milanés Guisado Y, Pérez Rodríguez Y, Peralta González MJ, Ruiz Ramos ME. Los estudios de evaluación de la ciencia: aproximación teórico-métrica. Acimed. 2008;18(6). Disponible en: Dirección electrónica de la contribución [consultado: día/mes/año].