ARTÍCULOS

 

La evaluación de la ciencia y la tecnología: revisión de sus indicadores

 

Science and technology assessment: a review of their indicators

 

 

María Virginia González Guitián^I; Maricela Molina Piñeiro^II

^IMáster en Gestión Turística. Profesora Auxiliar. Departamento de Bibliotecología. Universidad de Holguín "Oscar Lucero Moya". Cuba.
^IIMáster en Bibliotecología y Ciencias de la Información. Profesora Auxiliar. Departamento de Procesos. Biblioteca Central "Rubén Martínez Villena". Universidad de La Habana. Cuba.

 

 

 

---

RESUMEN

La política y la gestión de la ciencia y la tecnología son decisivas en el desarrollo estratégico de cada país y deben responder a las demandas económicas y sociales. Por eso, la construcción de indicadores que reflejen la convergencia de la actividad de la ciencia y la tecnología con el desarrollo social se convierte en una necesidad particularmente importante para los países en desarrollo. Se presenta una panorámica de los indicadores para medir la actividad de la ciencia y la tecnología a nivel internacional. Además, se define el papel de las disciplinas métricas en la evaluación científica, la normalización de las estadísticas en ciencia y tecnología a nivel global, así como los sistemas de evaluación vigentes en Cuba. Finalmente, se plantean una serie de consideraciones sobre los retos a los que se enfrenta la evaluación científica.

Palabras clave: Evaluación de la ciencia, indicadores científicos, bibliometría, cienciometría, sistema de ciencia e innovación tecnológica.

---

ABSTRACT

Politics and science and technology management are decesive in the strategic development of every country and they should answer the social and economic demands. Therefore, the creation of indicators reflecting the convergence of science and technology with social development is particularly important for the developing countries. This research offers an overview of the indicators to measure the activity of science and technology at the international level. The role of the metric disciplines in scientific assessment, the standardization of statistics in science and technology all over the world, as well as the evaluation systems in force in Cuba are defined. Finally, some considerations on the challenges faced by scientific assessment are made.

Key words: Science assessment, scientific indicators, bibliometrics and scientometrics, technological innovation and science system.

---

 

El desarrollo, la expansión y la consolidación de los sistemas de ciencia y tecnología han conllevado el surgimiento de nuevas necesidades que emergen de la sociedad y de las propias políticas científicas, y que convierten la evaluación en una herramienta clave para la asignación o distribución de los recursos materiales o financieros, la definición de nuevos incentivos y la validación de los resultados en ciertas áreas científicas en relación con las necesidades nacionales.¹

Actualmente, el proceso de evaluación de programas dirigidos al fomento de la I+D+i se enfrentan a retos como: las dinámicas económicas e industriales diferenciadas, los altos niveles de incertidumbre, la interacción de múltiples actores, los factores y efectos intangibles (aprendizaje, vinculaciones informales, transferencia de conocimientos) y las trayectorias científicas y tecnológicas específicas, entre otros. De ahí que quienes realizan los procesos de evaluación se ven obligados a incorporar su actividad de manera más clara en los esquemas de planeación estratégica, enfocados a considerar, entre otros aspectos, la rapidez de los procesos de aprendizaje, la capacidad de construir y desarticular redes, la capacidad de las organizaciones y las empresas para reorientarse a trayectorias con mayores oportunidades, la capacidad para anticipar e incidir en la orientación del cambio tecnológico, la movilidad inter-institucional del capital humano y los consecuentes flujos de conocimiento, e incorporar nuevos actores al diseño de evaluaciones más democráticas y transparentes.²

Los sistemas de ciencia, tecnología e innovación de cada país son extremadamente complejos y heterogéneos, lo que determina que el desarrollo y la difusión de la ciencia y la tecnología sean procesos complicados y muy difíciles de cuantificar. Los resultados o beneficios de la ciencia son intangibles, multidimensionales, y prácticamente imposibles de contar en términos económicos, porque se trata de medir la producción y el aumento del conocimiento y este es un concepto intangible y acumulativo. Además, los resultados de la ciencia se revelan sólo indirectamente y, a menudo, con mucho retraso. Por eso, las actividades científicas y tecnológicas se cuantifican desde una perspectiva aproximada o estimada basada en indicadores o parámetros evaluativos. Dichos indicadores permiten, entre otras estimaciones, comparar los niveles científicos relativos alcanzados por los países y el reconocimiento de las áreas fuertes y débiles en estas esferas.³

La evaluación debe generar insumos para proponer otras formas en que el conocimiento científico y sus aplicaciones apoyen las políticas y programas de los gobiernos, así como posibilitar la detección de carencias con respecto a indicadores en las áreas de la ciencia y la tecnología que sea necesario diseñar e incluir.⁴ Para que los resultados de las evaluaciones posean una utilidad social real y su implementación sea más factible, deben de incorporar, desde su diseño, a los actores sociales para los cuales es relevante este proceso, sean estos investigadores, empresarios, funcionarios públicos, organizaciones ciudadanas o representantes de comunidades rurales organizadas.

Como se había observado anteriormente, los resultados científicos, el conocimiento generado, su impacto y sus beneficios para la sociedad no son fácilmente cuantificables, pero el estudio de la literatura científica (libros, artículos, informes, patentes, nuevos productos, etc.) ofrecen una medida aproximada de los resultados obtenidos. Comúnmente, se evalúa el desempeño y la productividad por medio del número de publicaciones y citas en revistas especializadas, internacionales, arbitradas y procesadas en grandes bases de datos multidisciplinarias o especializadas. Ahora bien, aunque esto pudiera reflejar adecuadamente el trabajo y la calidad alcanzada de ciertas áreas como la física, la química y las ciencias biomédicas, existen otras disciplinas, especialidades y campos de aplicación que presentan sus productos por medio de canales que no siempre son la revistas internacionales.

Quienes evalúan las políticas y actividades de I+D+i se auxilian de las disciplinas métricas para obtener indicadores útiles como herramientas para su actividad; pero sucede que la diversidad de productos, canales de difusión y hábitos de publicación en las distintas disciplinas, campos y países, dificulta su empleo. En ocasiones, se observa un problema de subrepresentación en las bases de datos, que responde a factores como el idioma y el país de la fuente.

Se pretende entonces ofrecer una panorámica de los indicadores para medir la actividad de ciencia y tecnología a nivel internacional. Además, se definirá el papel de las disciplinas métricas en la evaluación científica y se tratarán la normalización de las estadísticas en estas esferas a nivel global y los sistemas de evaluación para ellas vigentes en Cuba.

 

NORMALIZACIÓN DE LAS ESTADÍSTICAS PARA EVALUAR LOS RESULTADOS DE LA CIENCIA Y LA TECNOLOGÍA

En relación con la normalización de las estadísticas para la ciencia y la tecnología, la organización para la colaboración y el desarrollo económico (OCDE), formada por 25 países, lidera el desarrollo de las directrices que tienden homogeneizar, a nivel internacional, los procedimientos para la selección y recogida de datos estadísticos en estas esferas y el uso de los subsiguientes indicadores. Dicha organización en el año 1963, como resultado de la primera reunión de expertos en estadísticas de I+D de sus países miembros, presentó una propuesta metodológica normalizada para la ejecución de las encuestas sobre investigación y desarrollo experimental, que se denominó Manual de Frascati, el cual se ha convertido en la única guía internacional que existe en materia de normalización para la toma de datos estadísticos con vista a medir las inversiones en I+D. Dicho manual presenta las definiciones básicas de los conceptos empleados en la actividades de I+D, la distinción entre I+D y otras actividades conexas, y establece directrices, normas y métodos para el desarrollo de las encuestas que recogen los datos estadísticos; asimismo, incluye la medición de los recursos humanos y financieros dedicados a la investigación y al desarrollo experimental.

En este manual aparecen las definiciones de:³

- Investigación: trabajos creativos ejecutados de forma sistemática para incrementar el volumen de conocimientos, incluido el conocimiento del hombre, la cultura y la sociedad. La investigación se clasifica en básica y aplicada.

- Desarrollo experimental: trabajos sistemáticos que aprovechan los conocimientos existentes, obtenidos de la investigación y la experiencia práctica, dirigidos a la producción de materiales, productos o servicios, a la puesta en marcha de nuevos procesos, sistemas y servicios o a la mejora sustancial de los existentes.

- Innovación: La implementación de un producto (bien o servicio) o proceso nuevo o con un alto grado de mejora, o un método de comercialización u organización nuevo aplicado a las prácticas de negocio, al lugar de trabajo o a las relaciones externas, entre otras.

En el año 1992 se publicó el Manual de Oslo, con las definiciones y metodología para diseñar las encuestas que recogieran e interpretaran los datos sobre fuentes de ideas innovadoras, inversiones e impacto de la innovación, así como los obstáculos para su realización. Su objetivo fundamental era la medición de las actividades de innovación en las empresas. Posteriormente, en el año 1994, la OCDE publicó la primera versión del Manual de patentes, sobre la utilización de los datos de patentes como indicadores de la actividad tecnológica. En este se presentan directrices para utilizar los datos incluidos en las bases de datos de patentes suministrados por las respectivas oficinas de cada país. Su objetivo fue el uso de las estadísticas de patentes para la construcción de indicadores de ciencia y tecnología. Actualmente, los manuales sobre patentes e innovación se encuentran en proceso de revisión, y se estudia la posibilidad de crear nuevos manuales para productos e industrias de alta tecnología y la biotecnología.

En el año 1995, la OCDE publicó el Manual de Canberra, con el objetivo de ofrecer un soporte adecuado a la medición de los recursos humanos dedicados a actividades de ciencia y tecnología. Contempla los efectivos de personal, tanto real como potencial, dedicados a I+D, así como los stock y flujos de personal. Más recientemente, la OCDE ha desarrollado instrucciones para la utilización de los indicadores métricos como indicadores de ciencia y tecnología, y que cubre tanto literatura científica como patentes.

Para los países de América Latina, la Red Iberoamericana de Indicadores de Ciencia y Tecnología (RICYT), que celebra anualmente un taller de ciencia y tecnología y presenta un informe anual denominado El estado de la Ciencia: principales indicadores de ciencia y tecnología iberoamericanos e interamericanos, ha marcado pautas en el reconocimiento e impacto del quehacer científico de los países de la región y ha adaptado dicho manual a las características particulares de sus industrias y publicó el Manual de Bogotá, con normas y definiciones para la medición de la actividad innovadora en Iberoamérica.⁵

La mayoría de los países que disponen de un sistema de ciencia consolidado publican anualmente series temporales de los indicadores de ciencia y tecnología más representativos. Por ejemplo, en España, el Instituto Nacional de Estadística (INE) publica cada dos años el compendio: Estadísticas sobre las actividades de investigación científica y desarrollo tecnológico. I+D, y en años alternos, la Encuesta sobre innovación tecnológica en las empresas, como resultado de la recogida de datos de las empresas innovadoras. El Ministerio de Ciencia y Tecnología publica anualmente (desde 1998) una recopilación de series temporales de los indicadores básicos de I+D: Indicadores del sistema español de ciencia y tecnología. También, la OCDE elabora y publica repertorios y bases de datos con series temporales de indicadores de ciencia y tecnología, donde se recogen los datos de inversiones, personal y gastos en I+D, suministrados por todos sus países miembros. Los más importantes son: Main Science and Tecnology indicators (se publica dos veces al año) y Basic science and technology statistics (se edita cada dos años).

Eurostat publica estadísticas anuales de I+D en los 15 estados miembros de la Unión Europea, Research and development annual atatistics, que proporcionan series cronológicas de datos sobre financiación pública de I+D, distribuidas por objetivos socioeconómicos, personal de I+D, gastos en I+D y patentes concedidas. Incluye también estadísticas de innovación.

En otros países, como Estados Unidos, la National Science Foundation publica Science and engineering indicators. En Francia, el Observatorio de la Ciencia y la Técnica (OST) publica el Science&technologie indicateurs. También la UNESCO edita el Manual for statistics on scientific and technological activities.

La Red de Indicadores Iberoamericanos de Ciencia y Tecnología (RICYT) edita Indicadores de Ciencia y Tecnología Iberoamericanos/Interamericanos, con datos sobre todos los países de América Latina. Este repertorio es el único compendio que ofrece indicadores de producción científica recogidos de una serie de prestigiosas bases de datos internacionales en temas científicos específicos, además del Science Citation Index, con el objetivo de hacer posible la realización de mejores comparaciones entre los países iberoamericanos, por medio de indicadores de producción científica.

 

LOS INDICADORES DE CIENCIA Y TÉCNICA

Los indicadores representan una medición agregada y compleja que permite describir o evaluar un fenómeno, su naturaleza, estado y evolución.⁶ La ciencia es un proceso social, y las acciones y conductas de los científicos dependen del contexto.⁷ (Macías CHapula, 2001) Los indicadores de Ciencia y Tecnología, como constructores sociales, miden aquellas acciones sistemáticas relacionadas con la generación, difusión, transmisión y aplicación de conocimientos científicos y tecnológicos. Asimismo, los indicadores métricos constituyen una de las herramientas más utilizadas para la medición del producto de la investigación científica, porque la documentación (independientemente del tipo de soporte) es el vehículo más prolífico y exitoso para la transferencia del conocimiento científico, conjuntamente con su transferencia oral por medio de conferencias y comunicaciones personales.⁸

Los indicadores para medir los resultados de la ciencia y la tecnología a nivel internacional aparecieron en las décadas de los años 1950-60 bajo la denominación de inversiones y gastos en I+D. En los años 1970, además de este, se incluyeron las patentes y la balanza de pagos tecnológicos. En los años 1980, a estos tres se les adicionaron los productos de alta tecnología, las disciplinas métricas, los recursos humanos y la innovación (encuestas). Para los años 1990 se incluyeron otros como la innovación mencionada en literatura científica, el soporte público a tecnologías industriales, las inversiones intangibles y los indicadores de tecnología e información y comunicaciones.

Los indicadores de ciencia y tecnología reconocidos expresan valores sobre dicha actividad en un país. Los centros científicos y académicos los adaptan para cuantificar sus logros institucionales de manera general, por disciplina, por centros de investigación, etcétera. Los indicadores nacionales y los propios que genera cada institución científica nos señalan los logros obtenidos en estos sectores; pero no reflejan si sus beneficios se incorporan, aprovechan y disfrutan la población, así sea sólo por la población más cercana a la universidad, que señala en sus indicadores cuántos proyectos de investigación realizan y cuánto dinero ha invertido en ellos.⁹

Estos indicadores permiten a los países comparar entre sí sus inversiones y producción científica, así como buscar diferencias en los años de gestión, con la finalidad de obtener información que sea útil al momento de evaluar la relevancia y cuantía de la investigación científica. Los indicadores de ciencia y tecnología también se consideran un reflejo del desarrollo de un país. En general, un país con valores altos en sus índices e indicadores sociales y económicos también presenta altas inversiones en estas esferas, adecuadas capacidades y recursos humanos formados, y un sector industrial que aprovecha dichas capacidades y que obtiene beneficios de la derivación de los conocimientos en productos y servicios. Los indicadores que miden el reconocimiento del trabajo científico, tanto si se hace por medio del número de artículos como mediante el número de citas y el factor de impacto acumulado por las revistas donde publican sus resultados, presentan comportamientos muy diferentes en dependencia de las áreas de conocimiento y no siempre apuntan al mismo colectivo cuando se atiende a su excelencia.²

 

TIPOS DE INDICADORES PARA MEDIR LA CALIDAD EN LA EVALUACIÓN CIENTÍFICA

Uno de los países que más ha trabajado en el establecimiento de criterios de calidad en la evaluación científica en área de las humanidades es España, donde, por medio de la Fundación Española para la Ciencia y la Tecnología y la Agencia Nacional de Evaluación y Prospectiva, se constituyó un grupo de trabajo con el objetivo de establecer criterios de valoración que incentivaran a los investigadores a mejorar la calidad y visibilidad de sus contribuciones científicas. Dichos criterios fueron elaborados a partir del consenso de un conjunto de investigadores españoles y extranjeros, y se confeccionaron una serie de informes, a partir de los comentarios y sugerencias aportados por otros científicos consultados y por entidades relevantes para la evaluación. Este grupo estableció en enero del año 2007 las guías básicas para la evaluación de las diferentes actividades de investigación en el ámbito de las ciencias sociales, sobre la base de cuatro dimensiones básicas de la investigación y desarrollo: publicaciones, programas de doctorado, proyectos y actividades relacionadas con la I+D en la evaluación del currículo. Ellas constituyen las pautas hacia la competitividad internacional de los investigadores en ciencias sociales. Estas pautas pueden definirse como sigue:¹⁰

- Evaluación de publicaciones. Se realiza una distinción especial entre publicaciones de I+D y otros tipos de publicaciones, como las que poseen contenido docente o los informes y dictámenes profesionales. La aceptación de un artículo en una revista de prestigio, o de una monografía que cumpla los requisitos de calidad y visibilidad internacionales, constituye una garantía de que el trabajo fue evaluado por expertos seleccionados a partir de ciertos criterios de calidad y por un equipo editorial de reconocido nivel científico. Se consideran publicaciones de investigación aquellas que aportan un resultado novedoso en un campo del saber. Deben estar al alcance de la comunidad científica, haberse difundido por un medio que incluya la evaluación por pares y los resultados de la investigación deben ser susceptibles de réplica y verificación. Se deben realizar publicaciones de desarrollo (transferencia) para promover la difusión de resultados de investigación y desarrollo en los foros garantizados por su calidad y difusión, y conseguir que estos resultados obtengan el mayor impacto posible dentro y fuera del país. Las publicaciones docentes, los informes, dictámenes o trabajos de consultoría no son publicaciones de transferencia, y no deben considerarse como tales. En el caso de las publicaciones periódicas, la lista de referencia es la elaborada por el antiguo Institute for Scientific Information (ISI) para cada una de las áreas y los criterios de valoración incluirán el índice de impacto de la revista y las citas que el artículo haya recibido, en consideración a la productividad media, a nivel mundial, de las diferentes áreas y especialidades científicas. En el caso de las publicaciones no periódicas de investigación (monografías y capítulos de libros) se considerará la calidad de la editorial, sus procesos de evaluación y selección de manuscritos y los indicaciones sobre su impacto, como número de citas en publicaciones relevantes, artículos en revistas procesadas por el ISI o similares, otras monografías de calidad y análogos.

- Evaluación de doctorados. Se analiza el historial del equipo, ya sea un departamento, instituto o grupo de departamentos responsables del programa. Se estudia el historial de los estudiantes y la estructura del programa.

- Evaluación de grupos y de proyectos. El financiamiento de grupos se basa en los resultados previos y en la confianza. Se desarrolla un financiamiento basado en la evaluación de proyectos.

- Evaluación de currículo del investigador. Se analizan sus publicaciones científicas, el reconocimiento externo a la labor investigadora, las actividades de formación de investigación y la participación en proyectos de investigación competitivos con resultados publicados.

- Paneles o comisiones de expertos. Los expertos deben ser investigadores de probada calidad en su quehacer y activos, de reconocido prestigio en su área, con proyección internacional y nacional que debe estar acreditada por el impacto de sus publicaciones y por poseer una cierta trayectoria, suficiente como para poder aplicar índices más sofisticados (índice h) y hallarse por encima de la media de su área. Los expertos deben firmar un compromiso ético, de confidencialidad y de ausencia de conflicto de intereses, y la evaluación se realizará sobre la base de los resultados, la calidad y el riesgo de las propuestas, sin considerar las escuelas u otras condiciones personales o particulares.

INDICADORES CIENCIOMÉTRICOS

Las disciplinas métricas desempeñan un importante papel en la evaluación de la producción y la actividad científica. La cienciometría, por ejemplo, no es más que la aplicación de técnicas métricas (de medición cuanti-cualitativa) al estudio de la actividad científica. Su alcance va más allá de las técnicas bibliométricas porque se emplea para examinar el desarrollo y las políticas científicas. Los análisis cuantitativos en esta área consideran a la ciencia como una disciplina o actividad económica, por lo que pueden establecerse comparaciones entre las políticas de investigación, sus aspectos económicos y sociales y la producción científica, sea entre países, sectores o instituciones.¹¹

La Informetría, por su parte, estudia la organización de los sectores científicos y tecnológicos a partir de las fuentes bibliográficas con el objetivo de identificar a los autores, sus relaciones y sus tendencias; mientras que la cienciometría se encarga de la evaluación de la producción científica mediante indicadores numéricos referidos a dichas fuentes. La informetría se vincula con las mediciones de la literatura, de los documentos y otros medios de comunicación, mientras que la cienciometría se relaciona con la productividad y utilidad científica.⁴

Las temáticas que abarca la cienciometría incluyen el crecimiento cuantitativo de la ciencia, el desarrollo de las disciplinas y subdisciplinas, la relación entre ciencia y tecnología, la obsolescencia de los paradigmas científicos, la estructura de comunicación entre los científicos, la productividad y la creatividad de los investigadores, las relaciones entre el desarrollo científico y el crecimiento económico, entre otras.^7,11 Los indicadores cienciométricos pueden dividirse en dos grandes grupos: los que miden la calidad y el impacto de las publicaciones científicas (indicadores de publicación) y los que determinan la cantidad y el impacto de las asociaciones o relaciones entre las publicaciones científicas (indicadores de citación).^11,12

Otros autores los clasifican en indicadores de actividad e indicadores relacionales de primera, segunda y tercera generación. Mientras los indicadores de actividad proporcionan datos sobre el volumen y el impacto de las actividades de investigación mediante simples recuentos de elementos bibliográficos (como autores, artículos, palabras clave, patentes, citaciones, entre otros), los indicadores relacionales se proponen conocer los vínculos y las interacciones entre los diferentes elementos bibliográficos mediante los conceptos de cocitación y coocurrencia, e intentan describir el contenido de las actividades y su evolución.^13,14

Los indicadores métricos derivados del análisis de las publicaciones científicas y de las patentes se emplean con éxito en política científica y tecnológica y pueden aplicarse para evaluar unidades de diferente tamaño. Según este criterio, se denomina macroanálisis al estudio de grandes unidades, como regiones, países, sectores institucionales o temas determinados; el mesoanálisis indica unidades más pequeñas de investigación, como el análisis de centros de investigación o a una determinada facultad universitaria; el microanálisis se aplica a grupos de trabajo y a individuos concretos. En función del tipo de medida, se pueden considerar los siguientes indicadores:

- Indicadores de actividad científica. Están basados en el recuento de publicaciones científicas o patentes de la unidad objeto del estudio. Permiten la realización de series temporales, distribuciones geográficas, por tipo de institución o por temas de investigación.

- Indicadores de impacto o influencia. Se trata de encontrar medidas indirectas de la calidad intrínseca de los trabajos, como puede ser el uso que la comunidad científica hace de un determinado documento, su impacto o influencia:

• Impacto de los trabajos a partir del recuento de citas recibidas por ellos. Esto ofrece la medida del impacto de ese trabajo en la comunidad científica, de la comunicación entre autores, de su visibilidad; pero no es una medida directa de calidad. Además, los hábitos de citación son diferentes de unas disciplinas a otras, por lo que los indicadores basados en citas no son válidos para comparar distintas disciplinas.
• Impacto de las fuentes utilizadas, basado en su visibilidad en bibliotecas, repertorios, bases de datos o en el factor de impacto de las revistas de publicación (citas medias recibidas por los artículos de una revista en un determinado período de tiempo, introducido en la base de datos Science Citation Index).
• El factor de impacto medio de las revistas utilizadas por una institución o país para la publicación, se utiliza en forma de "factor de impacto esperado" para dichas publicaciones. Se puede comparar con el "factor de impacto observado" (citas reales recibidas). También se puede comparar el factor de impacto de una institución en una disciplina con el factor de impacto medio total del país en la misma disciplina, tornado como patrón.
• Recientemente han aparecido otros indicadores como: el factor de impacto normalizado, el factor de impacto normalizado ponderado, el números de trabajos de alta calidad, el índice de calidad relativa, el número de documentos citados, el porcentaje de documentos citados, la cantidad de citas recibidas y el promedio de citas por artículo, entre otros.

- Indicadores de tipo de investigación:

• Tipo de documento: artículo, revisión, presentación a congreso, libro, informe, patente. En cada caso, las características de los trabajos y su difusión sería diferente y su uso difiere también de unas áreas a otras.
• Carácter básico o aplicado de la investigación.
• Carácter teórico, metodológico o experimental, información que facilitan algunas bases de datos.
• Si pertenece a una disciplina científica o es interdisciplinar.

- Indicadores basados en coautorla:

• Índice de firmas por trabajo.
• Colaboración entre departamentos de una institución, entre distintas instituciones, o entre varias ciudades de un país o entre diversos países. Por medio de las bases de datos en las que figuran las direcciones de los autores se pueden determinar redes de colaboración que pueden ser indicativas de la madurez de un sistema investigador, y que favorecen los intercambios de conocimiento y aumentan la visibilidad. Actualmente, se desarrollan diversos estudios desde el enfoque métrico de la colaboración científica y se analiza su significado en los procesos de I+D+I. Este, a su vez, es uno de los aspectos más complejos de tratar metodológicamente, porque requiere un arduo trabajo de normalización y el establecimiento de un criterio para determinar la importancia relativa de cada entidad coautora de un artículo. Entre los nuevos índices e indicadores que analizan la coautoría se encuentran los siguientes:

  a) Índice de coautoría. Promedio de autores por artículo.

b) Tasas de colaboración. Porcentaje de documentos firmados conjuntamente por distintos agentes del sistema de producción de conocimientos.

c) Proporción de artículos en colaboración internacional. Mide el porcentaje de trabajos publicados con respecto a la producción total del nivel señalado.

d) Índice de internacionalización. Ofrece información sobre el mayor o menor grado de participación internacional en el total de la producción.

- Indicadores basados en asociaciones temáticas. Mediante un complejo tratamiento matemático, se logra una reducción de los datos y una representación de la estructura de la ciencia y la tecnología y su evolución en mapas. Estos pueden ser:

• De referencias bibliográficas comunes (enlace bibliográfico). Permiten seleccionar artículos de temáticas coherentes.
• De citas comunes. Relacionan temas con una base intelectual común, la constituida por esos artículos fuente que forman el "frente de investigación". Los clusters pueden identificar especialidades, aunque con cierta demora temporal.
• De palabras comunes. Por medio de los términos de indización o lenguaje libre, reflejan la red de relaciones conceptuales; los mapas muestran las interrelaciones de la investigación actual y se pueden aplicar a artículos o patentes.
• De clasificaciones comunes. La coocurrencia de clasificaciones de artículos o patentes define interrrelaciones similares a las de las palabras clave.

- Indicadores de innovación tecnológica basados en recuentos de las patentes solicitadas o concedidas. Se aplican en bases de datos especializadas o de las citas en patentes a la literatura científica. Los tipos de análisis que emplean indicadores basados en patentes se pueden estructurar en:

• Cuantificación de la actividad tecnológica internacional, de un país, sector industrial o empresa y la apertura de nuevos mercados.
• Evaluación de resultados de los programas de investigación tecnológica.
• Estudio de la interfaz entre ciencia y tecnología por medio de las citas en primera página de patentes americanas o en el European Search Report de la European Patent Office (EPO).
• Análisis de cluster mediante coocurrencia de citas, palabras o clasificaciones mediante mapas que descubren estructuras de las actividades tecnológicas.

Cada día surgen nuevos indicadores como resultado del desarrollo de las técnicas de análisis y representación de la información, y esto conduce a una revolución en el campo de la bibliotecología y las ciencias de la Información, que facilita la cuantificación de áreas como las ciencias sociales, enfocadas a medir, no sólo la cantidad, sino la calidad de los resultados de la actividad científica.

 

EVALUACIÓN DE LA CIENCIA Y LA TECNOLOGÍA EN CUBA

El impacto social de la ciencia y la tecnología en Cuba constituye un tema de particular interés, porque es un aspecto poco tratado en la literatura especializada y en el que los organismos internacionales, con excepción de la RICYT, poco han incursionado. De hecho, entre los campos de aplicación de la investigación científica, sólo una minoría responde a cuestiones sociales. En el caso de la OCDE, únicamente se incluyen en esta área los objetivos Desarrollo social y servicios sociales y Salud, de entre los 11 propuestos. En adición, el nivel de agregación de estos es demasiado alto, por lo que se hace imposible diferenciar con detalle en qué medida se pretende responder a necesidades sociales concretas.¹⁵

En Cuba, el Sistema de Ciencia e Innovación Tecnológica (SCIT) es la forma organizativa que permite la implantación participativa de la política científica y tecnológica que el estado cubano y su sistema de instituciones establece para un período determinado, de conformidad con la estrategia de desarrollo económico y social del país y de la estrategia de ciencia y tecnología que es parte consustancial de la anterior. El sistema cubre un espacio muy amplio que va desde la asimilación, generación y acumulación de conocimientos hasta la producción de bienes y servicios y su comercialización, pasando, entre otras, por actividades como las investigaciones básicas, aplicadas, los trabajos de desarrollo tecnológico, desarrollo social y de gestión, las actividades de interfase, etcétera.

El SCIT tiene la misión fundamental de potenciar el papel de la ciencia y la tecnología en función del desarrollo económico y la elevación de la calidad de vida de la población. Está integrado por los órganos gubernamentales que ejercen su dirección, planificación y organización (unos 30 ministerios u organismos centrales del estado), las entidades que ejecutan actividades científicas, tecnológicas y de innovación (154 entidades de ciencia e innovación tecnológica, 65 universidades y más de 4 000 empresas productoras de bienes y servicios) y las organizaciones que actúan en la cooperación, integración e interfase entre las diversas instituciones que participan del ciclo científico-productivo.

Las actividades científicas y tecnológicas que forman parte del SCIT se concentran fundamentalmente en las áreas agrícola y pecuaria, biotecnología y desarrollo de fármacos y vacunas, medicina, actividad industrial (azucarera y no azucarera), biodiversidad y medio ambiente y la problemática nacional de carácter económico y sociocultural. Todas estas actividades son lideradas por el Ministerio de Ciencia, Tecnología y Medio Ambiente (CITMA), organismo encargado de dirigir, ejecutar y controlar la política del estado y del gobierno en materia de ciencia, tecnología, medio ambiente y uso de la energía nuclear, así como de influir, viabilizar, conectar y actuar como interlocutor con distintos sectores para —en el impulso a la actividad innovadora— no sólo ofrecer resultados, sino conocer necesidades y estimular demandas.¹⁶ La planificación de la ciencia y la innovación tecnológica se realiza a partir de un sistema de programas y proyectos, que incluye la conformación de programas nacionales, ramales y territoriales. Paralelamente, se conciben proyectos mayoritariamente institucionales, que no se asocian con ninguno de los programas mencionados. Como promedio, en el país se ejecutan anualmente más de 3 000 proyectos y alrededor de 300 programas en los niveles señalados. El financiamiento público a este sector se otorga mediante la aprobación del Plan nacional de ciencia e innovación tecnológica —por medio de la Asamblea Nacional del Poder Popular— como parte del Presupuesto del país, y se refleja como Ley de la nación.

 

SISTEMA DE INDICADORES PARA EVALUAR EL DESEMPEÑO DE LAS ENTIDADES DE CIENCIA E INNOVACIÓN TECNOLÓGICA DEL CITMA

Este sistema tiene como objetivo fundamental evaluar la eficiencia, eficacia y excelencia en el desempeño de las entidades del CITMA, que desarrollan actividades de ciencia e innovación tecnológica. Además, le permitirán a la entidad realizar autoevaluaciones comparativas con otras etapas anteriores de su propio desarrollo. Está conformado por una serie de indicadores; entre ellos:

1. Indicadores de Ciencia y Tecnología.

1.1. Cantidad de proyectos de investigación en los que participa la institución.

1.2. Cantidad de universitarios, técnicos medios y personal/apoyo que participan.

1.3. Cantidad de másters que participan.

1.4. Investigadores/proyecto (agregado).

1.5. Ejecución de cada proyecto. Plan y real.

1.6. Resultados/investigador.

1.7. Resultados introducidos/resultados totales

1.8. Proyectos de innovación/total de proyectos.

1.9. Cantidad de nuevos o mejorados/proyecto:

- Productos, resultado de la actividad científica.

- Servicios científicos y tecnológicos de alto valor agregado.

- Procesos y tecnologías.

1.10. Publicaciones científicas realizadas.

1.11. Publicaciones/investigador.

1.12. Porcentaje de investigadores con publicación.

1.13. Publicaciones de impacto/investigador.

1.14. Publicaciones de impacto/total de publicaciones.

1.15. Premios y reconocimientos recibidos de carácter nacional e internacional:

- Premio Exposición BTJ (Brigadas Técnicas Juveniles).

- Sello Forjadores del Futuro.

- Premio OCPI (Oficina Cubana de la Propiedad Industrial).

- Premio relevante del Fórum de Ciencia y Técnica.

- Premios instituidos por OACEs (organismos de la administración central del estado) y otras instituciones.

1.16. Ponencias en eventos nacionales e internacionales.

1.17. Porcentaje de aplicación de normas ISO y otras.

2.0. Propiedad intelectual.

2.1. Modelos y dibujos industriales:

- Solicitudes. Nacionales y extranjeras.

- Concesiones. Nacionales y extranjeras.

2.2. Marcas y otros signos distintivos.

- Solicitudes. Nacionales y extranjeras.

- Concesiones. Nacionales y extranjeras.

2.3. Registros de derecho de autor en el Centro Nacional de Derecho de Autor (CENDA).

3.0. Indicadores de economía.

3.1. Ejecución del fondo de salario. Plan y real.

- Ahorro de combustible. Plan y real.

3.2. Consumo de materiales. Plan y real.

3.3. Consumo de electricidad. Plan y real.

3.5. Ejecución financiera de los proyectos. Plan y real.

4.0. Indicadores de colaboración internacional.

4.1. Proyectos internacionales en ejecución e implementándose/total de proyectos.

4.2. Acuerdos de colaboración firmados con instituciones extranjeras.

4.3. Proyectos de colaboración que apoyan el plan de ciencia e innovación tecnológica/total de proyectos.

5.0. Indicadores de recursos humanos.

5.1. Precisar si existe un plan institucional de superación del potencial científico.

5.2. Porcentaje de trabajadores en capacitación/categoría ocupacional.

5.3. Investigadores/total de profesionales.

5.4. Investigadores (Titulares + Auxiliares)/total de investigadores.

5.5. Investigadores (Titulares + Auxiliares) Doctores/total de Doctores.

5.6. Trabajadores que entraron (+) y salieron (-) en el período evaluado / categoría ocupacional. Altas. Bajas.

5.7. Alumnos de pregrado vinculados con la ECIT (entidades de ciencia e innovación tecnológica).

5.8. Profesionales que obtienen el grado científico en la etapa evaluada.

5.9. Profesionales que concluyen maestrías en la etapa evaluada.

5.10. Salarial medio sin estimulación /salario medio con estimulación X 100.

5.11. Índice de ausentismo.

5.12. Porcentaje de cumplimiento de las medidas de reducción de riesgos.

6.0. Indicadores de Información.

6.1. Acceso a bases de datos internacionales.

6.2. Paquetes informativos en función de las prioridades.

6.3. Porcentaje de las actividades y procesos objeto de informatización.

6.4. Gastos en información/gastos en actividades científicas y tecnológicas.

Se trabaja en un proyecto para el perfeccionamiento del sistema de indicadores de ciencia y tecnología, con el objetivo de incorporar progresivamente nuevas temáticas de la taxonomía internacional actual de los indicadores de ciencia y tecnología, que permita ampliar las bases de comparación del sistema cubano de ciencia e innovación tecnológica con el resto del mundo.

 

SISTEMA DE INDICADORES PARA EVALUAR EL RESULTADO CIENTÍFICO EN LOS CENTROS DEL MINISTERIO DE EDUCACIÓN SUPERIOR

El sector universitario, productor y diseminador principal del conocimiento en una sociedad, desempeña un papel protagónico en la actividad científica de cualquier nación, un aspecto que se revela con fuerza en la mayor parte de los países de América Latina.¹⁷ Por tanto, la construcción de indicadores métricos con fines evaluativos, que puedan hacer frente al reto de impulsar la producción científica de las instituciones adscritas al Ministerio de Educación Superior (MES), así como del resto de las instituciones del SCIT, es una tarea ardua y difícil que requiere de atenciones, y fundamentalmente de acciones por parte de los organismos rectores de la política científica del país.¹⁸

El modelo cubano de universidad científica y tecnológica, en el siglo XXI, paralelamente al proceso de universalización que ha revolucionado su estructura docente-educativa, se orienta a la investigación para la solución de problemas con pertinencia, impacto y consecuencia tecnológica en función de los intereses del desarrollo socioeconómico del país, por medio de estrategias clave: la flexibilidad organizativa, la cooperación nacional e internacional y la búsqueda de recursos materiales y financieros por las más diversas vías.¹⁹ Por tanto, constituyen pilares para la consecución de esos objetivos la proyección científica de sus instituciones, la generación de registros y patentes de nuevos productos y tecnologías, así como la producción científica en revistas nacionales e internacionales, específicamente aquellas de mayor visibilidad internacional que forman parte de la llamada corriente principal de la ciencia.²⁰ En este sentido, el Ministerio de Educación Superior de Cuba (MES) para cada uno de sus centros, utiliza el siguiente sistema de indicadores:

1. Indicadores de impacto económico social.

1.1 Premios nacionales y provinciales de innovación tecnológica (otorgados por el CITMA).

1.2 Premios provinciales del Fórum de ciencia y técnica.

1.3 Sedes universitarias municipales destacadas en el Forum de ciencia y técnica.

1.4 Premios internacionales.

2. Indicadores de impacto científico tecnológico.

2.1 Participación en premios de la Academia de Ciencias de Cuba.

2.2 Participación en premios CITMA provinciales.

2.3 Total de publicaciones por profesor equivalente en Cuba y el extranjero.

2.4 De las anteriores, las publicadas en bases de datos internacionales.

2.5 De las anteriores, las que se incluyen en la corriente principal.

2.6 Publicaciones de libros y monografías.

2.7 Patentes de invención obtenidas.

3. Indicadores de pertinencia.

3.1 Porcentaje de proyectos vinculados a proyectos nacionales, ramales, territoriales, empresariales y universitarios en ciencia y tecnología.

3.2 Proyectos en planes de generalización ramales y provinciales.

3.3 Estado de ejecución de los proyectos.

3.4 Financiamiento de los proyectos de investigación en peso cubano convertible (CUC).

A pesar de su abarcador alcance, la implementación y evaluación sistemática de estos indicadores de impacto científico tecnológico aún no logra convertirse en herramienta estratégica para impulsar la producción científica con la misma dinámica para todas las instituciones del Ministerio, por lo que se hace necesario la revisión crítica de algunos de ellos y su reajuste, en aras de crear un instrumento evaluativo que permita impulsar realmente la producción científica de los centros adscritos al MES.20 Es insuficiente en el marco de las universidades, la evaluación de la producción científica de los investigadores y de su actividad, lo que influye significativamente en el impacto y visibilidad de los resultados científicos y tecnológicos alcanzados por el MES, cuando se comparan con los alcanzados por el sector universitario en los países industrializados y en numerosos países de la región que han desarrollado políticas de evaluación de manera sostenida.^21,22

 

CONCLUSIONES

Bajo las circunstancias actuales y el rápido y complejo desarrollo de las investigaciones, el proceso de evaluación de la investigación científica se enfrenta a diferentes retos, entre ellos: desarrollar indicadores que incorporen elementos cualitativos sobre el comportamiento, el aprendizaje, la adaptación, las asociaciones informales y el desarrollo de capacidades de innovación en general. Lograr un acuerdo unánime sobre los aspectos que determinan la calidad y el impacto social de los resultados científicos, no obstante la creciente interdisciplinariedad de la actividad investigadora. A pesar de que la medición del impacto social de la ciencia y la tecnología forma parte de las políticas de ciencia y tecnología en la mayoría de los países latinoamericanos, aún este aspecto representa un desafío, porque no se han estandarizado los indicadores para su medición. Se requiere utilizar las técnicas de evaluación de la investigación como elemento para el asesoramiento de la toma de decisiones en la dirección y gestión del sistema de investigación. España es uno de los países que más ha trabajado en la estandarización de la medición de los resultados científicos por medio de la Fundación Española para la Ciencia y la Tecnología y la Agencia Nacional de Evaluación y Prospectiva. En Cuba no existe un tratamiento uniforme en lo referido a los indicadores para medir el resultado de la ciencia y la innovación tecnológica en los diferentes ministerios y organismos del estado y aún queda mucho por hacer en la actividad de ciencia, tecnología e innovación, fundamentalmente en el sector empresarial.

 

REFERENCIAS BIBLIOGRÁFICAS

1. Sanz Menéndez L. Evaluación de la investigación y sistema de ciencia. 2007. Disponible en: http://www.iesam.csic.es/doctrab2/dt-0407.pdf [Consultado: 7 septiembre de 2008].

2. Jaso Sánchez MA. Los instrumentos del evaluador de política científica y tecnológica: hacia la construcción de metodologías adecuadas a la realidad latinoamericana. Gaceta  Ide@s. 2007;2(28). Disponible en: http://energia.guanajuato.gob.mx/gaceta/Gacetaideas/Archivos /28062007_LOS_INSTRUMENTOS_EVALUADOR_POLITICA_CIENTIFICA_TECNOLOGICA.pdf  [Consultado: 7 septiembre de 2008].

3. Sancho Lozano R. Indicadores de los sistemas de ciencia, tecnología e innovación. Economía Industrial. 2002;(343). Disponible en: http://www.mityc.es/NR/rdonlyres/82F8051A -742D-4F3D-8149-4C2B76A8D0A6/0/097SANCHO.pdf  [Consultado: 6 de septiembre de 2008].

4. Spinak E. Indicadores cienciométricos. Acimed. 2001;9(Suppl):42-9. Disponible en: http://scielo.sld.cu/scielo.php?script=sci_arttext&pid=S1024 -94352001000400007&lng=es&nrm=iso&tlng=es [Consultado: 7 septiembre de 2008].

5. RICYT. El estado de la ciencia. 2006. Disponible en: http://www.ricyt.edu.ar/interior/interior.asp?Nivel1=6&Nivel2=5&IdDifusion=20 [Consultado: 6 de septiembre de 2008].

6. Martínez E,  Albornoz M. Indicadores de Ciencia y Tecnología: Estado del arte y perspectivas. Caracas: Nueva Sociedad-UNESCO. 1998.

7. Macías Chapula C. Papel de de informetría y de la cienciometría y su perspectiva nacional e internacional. Acimed. 2001;9(Suppl.):35-41. Disponible en: http://scielo.sld.cu/scielo.php?script=sci_arttext&pid=S1024-94352001000400006&lng=es&nrm=iso&tlng=es [Consultado: 6 de septiembre de 2008].

8. Russell J. Obtención de indicadores bibliométricos a partir de la utilización de las herramientas tradicionales de información. 2004. Disponible en: http://www.eventos.bvsalud.org/INFO2004/docs/es/RussellJM.pdf [Consultado: 9 de septiembre de 2008].

9. Rondón León L. Indicadores del impacto de la ciencia y la tecnología (CT) en la sociedad: Reflexiones y avances. Espacios. 2004;25(2). Disponible en: http://www.revistaespacios.com/a04v25n02/04250221.html [Consultado: 7 septiembre de 2008].

10. Cabrales A. Criterios de evaluación de la I+D en Ciencias Sociales. ANEP: FECY; 2007.

11. Spinak E. Diccionario enciclopédico de bibliometría, cienciometría e informetría. Caracas: UNESCO. 1996.

12. Vinkler PA. Quasi-quantitative citation model. Scientometrics. 1987;12(1-2):47-72.

13. Bailon Moreno R, Jurado Alameda E. Analysis of the field of physical chemistry of surfactants with the Unified Scienctometric Model. Fit of relational and activity indicators. Scientometrics. 2005;63(2):259-76.

14. Guzmán Sánchez MV, Sotolongo Aguilar G. Mapas tecnológicos para la estrategia empresarial. Situación tecnológica de la neisseria meningitidis. Acimed. 2002;10(4). Disponible en: http://bvs.sld.cu/revista/aci/vol10_4_02/aci010402.htm [Consultado: 12  de agosto de 2008].

15. Fernández Polcuch  E.  La medición del impacto social de la ciencia y la tecnología. En: Albornoz M. Temas actuales de indicadores de ciencia y tecnología en América Latina y el Caribe. Disponible en: http://www.redhucyt.oas.org/ricyt/interior/biblioteca/polcuch.pdf [Consultado: 11 de Julio de 2008].

16. Sáenz TW. Reflexiones sobre la ciencia y la innovación tecnológica en Cuba. Interciencia. 1997;22(4):173-83. Disponible en: http://www.interciencia.org/v22_04/art02 /resumen.html [Consultado: 12 de agosto de 2008].

17. Miguel S, Moya Anegón FD. Aproximación metodológica para la identificación del perfil y patrones de colaboración de dominios científicos universitarios. Rev Esp Docum Científ.  2006;29(1):36-55.

18. Arencibia JR, Moya Anegón F. La evaluación de la investigación científica: una aproximación teórica desde la cienciometría. Acimed. 2008;17(4). Disponible en: http://scielo.sld.cu/scielo.php?script=sci_arttext&pid=S1024 -94352008000400004&lng=es&nrm=iso&tlng=es [Consultado: 12 de agosto de 2008].

19. Martín Sabina E, Balmaseda Neyra O. Estructura y funcionamiento de la educación superior. En: Martín Sabina  E. Informe nacional sobre educación superior en Cuba. Caracas: IESALC/UNESCO. 2003.p.15-38.

20. Arencibia JR, de Moya Anegón F. Visibilidad internacional de la Educación Superior cubana en el período 2004/06: Análisis relacional de indicadores de producción, impacto y colaboración científica en revistas de corriente principal. La Habana: Editorial Universitaria. 2008.  

21. Krauskopf M, Vera MI, Krauskopf V, Welljamsdorof A. A citationist perspective on science in Latin-America and the Caribbean, 1981 - 1993. Scientometrics. 1995;34(1):3-25.

22. Ortiz Rivera LA, Sanz Casado E, Suarez Balseiro CA. Scientific production in Puerto Rico in science and technology during the period 1990 to 1998. Scientometrics.  2000;49(3):403-18.

 

 

Recibido: 16 de octubre de 2008.
Aprobado: 29 de octubre de 2008.

 

 

MSc. María Virginia González Guitián. Departamento de Bibliotecología. Universidad de Holguín "Oscar Lucero Moya". Avenida XX Aniversario. Holguín. Cuba. Correo electrónico: [e-mail]

Ficha de procesamiento

Términos sugeridos para la indización

Clasificación: Artículo teórico.

Según DeCS¹

INDICADORES DE CIENCIA, TECNOLOGÍA E INNOVACIÓN; INDICADORES DE GASTOS EN CIENCIA Y TECNOLOGÍA; INDICADORES DE RECURSOS HUMANOS EN CIENCIA Y TECNOLOGÍA; POLÍTICA NACIONAL DE CIENCIA, TECNOLOGÍA E INNOVACIÓN; RED DE INDICADORES DE CIENCIA Y TECNOLOGÍA IBEROAMERICANA E INTERAMERICANA; BIBLIOMETRIA; INVESTIGACION; BASES DE DATOS BIBLIOGRAFICAS; ANÁLISIS CUANTITATIVO; ANÁLISIS CUALITATIVO; COMUNICACIÓN.
SCIENCE, TECHNOLOGY AND INNOVATION INDICATORS; EXPENDITURES ON SCIENCE AND TECHNOLOGY INDICATORS; HUMAN RESOURCES IN SCIENCE AND TECHNOLOGY INDICATORS; NATIONAL SCIENCE, TECHNOLOGY AND INNOVATION POLICY; NETWORK ON SCIENCE AND TECHNOLOGY INDICATORS - IBERO-AMERICAN AND INTER-AMERICAN;  BIBLIOMETRICS; RESEARCH; DATABASES, BIBLIOGRAPHIC; CUANTITATIVE ANALYSIS; CUALITATIVE ANALYSIS; COMMUNICATION.

Según DeCI²

CIENCIOMETRÍA; BIBLIOMETRIA; INVESTIGACIÓN; BASES DE DATOS BIBLIOGRAFICAS; ANÁLISIS CUANTITATIVO; ANÁLISIS CUALITATIVO; COMUNICACIÓN. SCIENTOMETRICS; BIBLIOMETRICS; RESEARCH, BIBLIOGRAPHIC DATABASE; CUANTITATIVE ANALYSIS; CUALITATIVE ANALYSIS; COMMUNICATION.

¹BIREME. Descriptores en Ciencias de la Salud (DeCS). Sao Paulo: BIREME, 2004.
Disponible en: http://decs.bvs.br/E/homepagee.htm
²Díaz del Campo S. Propuesta de términos para la indización en Ciencias de la Información. Descriptores en Ciencias de la Información (DeCI). Disponible en: http://cis.sld.cu/E/tesauro.pdf

Copyright: © ECIMED. Contribución de acceso abierto, distribuida bajo los términos de la Licencia Creative Commons Reconocimiento-No Comercial-Compartir Igual 2.0, que permite consultar, reproducir, distribuir, comunicar públicamente y utilizar los resultados del trabajo en la práctica, así como todos sus derivados, sin propósitos comerciales y con licencia idéntica, siempre que se cite adecuadamente el autor o los autores y su fuente original.

 

 

Cita (Vancouver): González Guitián MV, Molina Piñeiro M. La evaluación de la ciencia y la tecnología: revisión de sus indicadores. Acimed. 2008;18(6). Disponible en: Dirección electrónica de la contribución [consultado: día/mes/año].