La evaluación del impacto de los resultados científicos. Metodologías y niveles de análisis
Impact assessment of scientific output. Methodologies and analytic levels
]]> Jorge Lozano Casanova,I Rita María Saavedra Roche,II Neyda Fernández FranchIII
I. Licenciado en Ciencias Farmacéuticas. Profesor Auxiliar. Departamento Bioquímica Clínica Facultad de Medicina. Universidad de Ciencias Médicas de Camagüey, Cuba. vri@finlay.cmw.sld.cu
II. Licenciada en Filosofía. Profesora Auxiliar. Departamento de Filosofía. Facultad de Tecnología de la Salud. Universidad de Ciencias Médicas de Camagüey, Cuba
III. Estomatóloga. Máster en Educación Superior. Profesor Auxiliar. Departamento Bioquímica Clínica. Facultad de Estomatología. Universidad de Ciencias Médicas de Camagüey, Cuba.
Este artículo de revisión aborda la temática de la evaluación del impacto de los resultados de la ciencia y la innovación en el desarrollo social, como un elemento indispensable para conocer el cumplimiento de las políticas sociales en ciencia y tecnología. Se abordan las definiciones de impacto, impacto social y evaluación del impacto desde la perspectiva de múltiples autores. Se establece que de las tres dimensiones del impacto, la científica, la económica y la social, es esta última la que presenta mayores dificultades en su medición por las complejas redes de interacciones que se ponen de manifiesto entre la sociedad y los resultados de la ciencia. Se abordan sus diferentes niveles de análisis y se presentan los aspectos generales de dos propuestas metodológicas para su medición.
]]>Palabras clave: ESTUDIOS DE EVALUACIÓN COMO ASUNTO; EVALUACIÓN EN SALUD; INDICADORES DE IMPACTO SOCIAL.
ABSTRACT
This review paper focuses on the impact assessment of the results of Science and Innovation over the social development, as an essential element in order to know the achievement of social politics in Science and technology. The definition of impact, social impact and impact assessment, are approached from the perspective of various authors. The main conceptual problems presented by the notion of impact are revised, and three dimension are described, the scientific, the economic and the social, the last one present more difficulty in it measurement because of the complexity of the interaction between society and science result. Two experiences for impact assessment are described, each one with a different methodology and analytical levels.
Key words: EVALUATION STUDIES AS TOPIC; HEALTH EVALUATION; SOCIAL IMPACT INDICATORS.
]]>
INTRODUCCION
La categoría de impacto se ha distinguido como una unidad importante dentro de los procesos evaluativos, porque su noción se asocia con los efectos que pueden producir la ciencia y la tecnología en determinado sistema social.
Se comenzó a utilizar en las investigaciones y otros trabajos sobre el medio ambiente, con el propósito de evaluar el impacto sobre el medio ambiente de los proyectos de desarrollo y se dice que hay impacto ambiental cuando una acción o actividad produce una alteración, favorable o desfavorable en el medio o algunos de los componentes del medio.1
El impacto de la ciencia y tecnología puede ser evaluado en tres dimensiones fundamentales: impacto en el conocimiento, el impacto económico y el impacto social.
Los impactos en el conocimiento se miden, habitualmente, a través de técnicas bibliométricas.2,3 Las mediciones se basan, específicamente, en las citas recibidas por el documento (publicación científica o patente) en otros documentos. El llamado factor de impacto de las revistas científicas se basa en estas técnicas y generalmente se considera que un artículo que haya sido publicado en una revista con elevado factor de impacto tiene por ello impacto científico, este criterio es cuestionado por muchos autores; sin embargo, sigue siendo aceptado de manera general.
Este tipo de impacto, por lo tanto, se analiza desde y en la comunidad científica, entre los mismos agentes generadores y consumidores de conocimientos científicos. Se centra, por tanto, en el impacto que ejerce la ciencia sobre la propia ciencia o en el conocimiento y no comprende las dimensiones sociales referidas a la economía, la salud, el medio ambiente, la seguridad social, la pobreza, el empleo entre los principales.
Los impactos económicos también están definidos con cierta precisión. Se dispone de indicadores de cuarto nivel normalizados para considerar la balanza de pagos de la tecnología,4 el comercio de bienes de alta tecnología y, principalmente, la innovación tecnológica.5 Con ellos se pretende evaluar fundamentalmente los efectos directos de la innovación en la productividad y la competitividad de las empresas, y se han asociado con variables como ventas, costos, productividad, empleo. En este tipo de impacto los usuarios son las empresas, y la perspectiva central es la constitución de un actor económico o la presencia de un mercado.
A diferencia de los dos niveles anteriores el llamado impacto social que puede ser considerado como "... el cambio efectuado sobre la sociedad debido al producto de la investigación. La efectividad de la investigación es una medida del grado de focalización del impacto sobre las metas deseadas" es un tema abordado en época mas reciente y que adolece aún de metodologías estándares para su medición, debido sobre todo a su complejidad
]]> La necesidad de evaluar el impacto social de la ciencia y la tecnología tiene sus antecedentes en el informe de Vannevar Busch, en 1945, titulado "Ciencia, la frontera sin fin", considerado un documento fundacional de la moderna política científica, el cual planteaba la necesidad de que la ciencia cumpliera su misión ante la sociedad, que satisficiera las necesidades sociales de la población, referida en el informe al pueblo norteamericano en el contexto posterior a la segunda guerra mundial.Estas primeras ideas fueron incorporadas desde entonces y constituyen hoy uno de los sustentos básicos de la política científica y tecnológica establecida por los gobiernos. La evaluación debe orientarse, por tanto, al desarrollo de nuevos indicadores y metodologías que permitan avanzar en el conocimiento de la medida en que estas promesas se cumplan. Evaluar ese aspecto es lo que podría denominarse como el análisis del "impacto social de la ciencia y la tecnología".6,7
No obstante, aunque los propósitos de las políticas de ciencia e innovación sean lograr satisfacción de la sociedad, los cambios y las transformaciones generados en ella por la ciencia pueden ser, tanto positivos, como negativos; por eso, los impactos adquieren este mismo carácter, o bien en otras ocasiones los cambios son de percepción, o no se obtiene ninguno.2,6
Por todo lo anterior es fácil comprender por qué la medición del impacto social no cuenta en la actualidad con indicadores normalizados, ni metodologías establecidas para este propósito, constituyendo un amplio campo de investigaciones para los profesionales interesados en los estudios de las relaciones entre la ciencia, la tecnología y la sociedad.
La presente revisión tiene el propósito de explorar de forma muy resumida aspectos como la conceptualización del término impacto social, la importancia de su evaluación, y las diferentes metodologías y enfoques de análisis que recoge hasta el presente la experiencia internacional.
Conceptualización del impacto social
Para Fernández Polcuch el impacto social de la ciencia y tecnología es "... el resultado de la aplicación del conocimiento científico y tecnológico en la resolución de cuestiones sociales, enmarcadas en la búsqueda de satisfacción de necesidades básicas, desarrollo social, desarrollo humano o mejor calidad de vida, según el caso".7
Mientras según Albornoz en la conceptualización del impacto social se incluyen: el impacto de los conocimientos científicos y tecnológicos en la sociedad, la incidencia de la ciencia y la tecnología en el plano cultural; y la existencia de "redes" o "cadenas" intermediarias entre los centros productores de conocimientos y los actores sociales demandantes; además, el impacto de las políticas de ciencia y tecnología.8
Quevedo V asevera que el impacto debe ser considerado como el "cambio o conjunto de cambios duraderos que se producen en la sociedad, la economía, la ciencia, la tecnología y el medio ambiente, mejorando sus indicadores, como resultado de la ejecución de acciones de I+D+I que introducen valor agregado a los productos, servicios, procesos y tecnologías."9
]]> La Dirección de Ciencia y Técnica del MINSAP, en el documento Definición de Impacto para la Ciencia y la Innovación Tecnológica,10 circulado a todas las Universidads Médicas del pais en el año 2001 determina considerar como impacto una consecuencia de las acciones de I+D y las de innovación organizadas en los planes de Ciencia e Innovación Tecnológica, que agregan valor a los productos, servicios y procesos, haciéndolos competitivos y define las diferencias en los conceptos de resultado e impacto. El término resultado cubre el espectro de salidas, logros e impactos. Es una realidad que sin resultados no hay impacto, pero en sí mismos solo constituyen un posible o potencial impacto, pero no el impacto real. El impacto es un beneficio logrado, medible, que aportó a la economía, favoreció a alguien, o mejoró algo.El impacto se mide constatando los resultados y colocándolos en correlación con la intención inicial. No obstante, es válido aclarar que la evaluación por impacto se asocia, no con los resultados propiamente dichos, como pudiera considerarse, sino con los beneficios o efectos de dichos resultados.
Smith R. en un editorial publicado en el 2001 en el British Medical Journal, aunque alertaba sobre el hecho de que en el campo de la salud los resultados de las investigaciones eran valoradas mas por su novedad científica que por el impacto social del resultado y proponía como posibles indicadores a medir con este propósito, la obtención de nuevas tecnologías de aplicación en los servicios de salud, materiales docentes, guías de prácticas clínicas, incurría en su análisis en el error de considerar el resultado en sí mismo como el impacto.11
En el mencionado documento del MINSAP se identificaron como posibles indicadores de impacto social los siguientes:
Importancia de la Medición del Impacto Social
No obstante, a pesar de que el camino esté lleno de incertidumbres y desafíos, fundamentalmente por los problemas conceptuales que implica la medición de impactos y, de manera especial, de los impactos sociales, conocer el impacto de los resultados de la ciencia y la tecnología a escala de un país, un sector de la economía, o un territorio "... constituye un elemento de gran utilidad para apoyar la toma de decisiones en política científica y tecnológica, en materia de aseguramiento de recursos y desarrollo de infraestructura, establecimiento de prioridades y evaluación de esta esfera de actividad."9
Para este mismo autor el conocimiento del impacto de las investigaciones, en cualquiera de sus dimensiones ya mencionadas, tiene variados efectos: demostrativo, orientador, motivador de la innovación e integrador.
Efecto demostrativo
Los indicadores de ciencia e innovación tecnológica existentes en la actualidad (insumo, producto, desempeño) proporcionan un conocimiento del estado del resultado investigativo o innovativo, de su obtención o no, de su grado de cumplimiento, pero no permiten por si mismos "visualizar la ciencia" en términos de necesidades sentidas resueltas.
]]> Efecto orientadorLa evaluación del impacto permite a los gestores de la ciencia y la innovación tecnológica perfeccionar el proceso de identificación de los sectores claves para dirigir hacia ellos el esfuerzo fundamental de los acciones de I+D+I.
Efecto motivador de la innovación
La estrategia de medición de la ciencia y la innovación tecnológica, a partir del impacto de sus resultados, debe canalizar y motivar la innovación en el país, como factor clave en la transformación de los diferentes productos, procesos, servicios y tecnologías en objetos con capacidad de impacto en los destinos referidos.
Efecto integrador
La medición por impacto debe favorecer la integración de las entidades involucradas en el proceso de obtención, introducción y comercialización de un resultado científico.
En el documento ya mencionado del MINSAP, el organismo orientó a las universidades médicas del país proceder al análisis y medición del impacto que los resultados científicos obtenidos en los programas científico técnicos o en otras fuentes, como el Fórum de Ciencia y Técnica, las Brigadas Técnicas Juveniles, habían logrado hasta ese momento en los servicios de salud de cada territorio, para lo cual definió y estableció en ese momento algunos conceptos básicos para aplicar en la mencionada evaluación.10
En la realidad la orientación no funcionó adecuadamente como herramienta pues no se establecieron las metodologías para las mediciones, especialmente cuando se trataba de medir el impacto social; al frustrarse este intento se continúa cometiendo el error de considerar el resultado como impacto. Desde entonces se han realizado otras tentativas de evaluación de impacto de algunas acciones específicas dentro del sistema de salud,12-14 pero aún no se cuenta con una metodología establecida para la construcción de indicadores de impacto social, a diferencia de las otras dimensiones del impacto, o sea, la científica y la económica; quizás el problema esté en la imposibilidad de que sea construida una metodología única, válida para todos los casos en que se requiera evaluar el impacto.
]]>Propuestas metodológicas para la medición del impacto social.
A pesar de todas las dificultades metodológicas que implica la medición del impacto social, dada la importancia del tema, los principales organismos internacionales en el desarrollo de indicadores de ciencia y tecnología enfocan y priorizan el desarrollo de posibles medidas, con el objetivo de intentar acercarse a la evaluación de dichos impactos. La Red de Indicadores de Ciencia y Tecnología Iberoamericana e Interamericana (RICYT) organiza desde 1997 un taller de desarrollo de indicadores con este propósito, además de financiar proyectos de investigación con el objetivo de obtener acercamientos, lineamientos metodológicos y dimensiones de análisis para la obtención de posibles indicadores. La Comisión Europea, por su parte, ha dinamizado los objetivos socio-económicos como prioridad esencial de la investigación en el continente.
En el caso del sector de la salud, lo ideal sería emplear los mismos indicadores de desarrollo social establecidos para cada rama y medir los cambios que en ellos induce la introducción de los resultados científicos. Por ejemplo, en salud pudiéramos emplear algunos de los indicadores anteriormente mencionados, como la tasa de mortalidad infantil, tasa de mortalidad materna, etc., pero para ello tenemos que partir del supuesto de que existe una relación proporcional directa, entre la introducción de un resultado y los cambios en dichos indicadores, lo cual no ocurre de ese modo.
Oszlak y O´Donnell advierten de este problema, cuando se preguntan: "Dado X cambio en cierta característica Z, ¿qué proporción de ese cambio podemos atribuirla causalmente a políticas estatales, a políticas privadas y a otros factores ajenos a unas y a otras?"15
Lograr cambios en este tipo de indicadores se debe generalmente a programas de salud que funcionan como paquetes tecnológicos que pretenden abordar todas las variables relacionadas con un determinado indicador, y aún así no siempre son efectivos, pues la salud es un fenómeno complejo que no depende exclusivamente de las acciones del sector supuestamente responsabilizado con su atención, sino que en ella influyen de forma decisiva otros sectores y problemas sociales, culturales, y ambientales.
Varias formas han sido propuestas para la medición del impacto social de la ciencia y la tecnología y en ellas se evidencian tres enfoques en los ejercicios de medición. El primero está ligado con la evaluación de la política de ciencia y tecnología. Villaveces JL, Orozco LA, Olaya DL y Chavarro D publicaron una revisión conceptual de la noción de impacto asociada a las políticas de ciencia y tecnología, y proponen algunas estrategias para su medición. Se presentan, además, algunas aplicaciones empíricas de este concepto, tomando como ejemplo el impacto de dos programas nacionales de ciencia y tecnología en Colombia: el Programa Nacional de Biotecnología y el Programa Nacional de Ciencias Humanas.16
El segundo enfoque aborda los análisis de las correlaciones entre indicadores de desarrollo social e indicadores de ciencia y tecnología, y pretende además, buscar indicadores capaces de establecer comparaciones entre países.
Una propuesta metodológica característica del segundo enfoque fue presentada por Itzcovitz V, Fernández E, y Albornoz M,17 la cual busca identificar las relaciones entre los indicadores de ciencia y tecnología, con indicadores de desarrollo social nacionales. La metodología trabaja con cuatro tipos de indicadores: de estructura, de procesos, de resultados y estratégicos; y se estudian tres dimensiones, la ciencia y la tecnología, el desarrollo social y los canales de vinculación entre ambas.
En cuanto a generar medidas cuantitativas de comparabilidad internacional, usando las mismas fuentes de información, se ha avanzado poco y por esta razón aún en la actualidad no existe un sistema de indicadores estándares que permita establecer comparaciones entre países o regiones, como hacen los indicadores de I+D o de Innovación establecidos por los Manuales de Frascatti y Oslo. Incluso algunos organismos internacionales como la OCDE no le ha prestado mucha atención al problema, la que más ha insistido en ello es la RYCIT, que ha dedicado la realización de algunos talleres regionales a esta temática, pero sin resultados conclusivos.
]]> El tercer enfoque estudia la difusión, uso y efectos del conocimiento científico y tecnológico en el campo social y con ello aborda el tema del impacto a partir de los usuarios y beneficiarios del nuevo conocimiento, para lo cual es indispensable hacer estudios de caso dirigidos a ver una problemática, un sector o un producto en particular. Con estas características Alexandrie G, Gómez FJ, y Moñux ,D18, así como Moñux, D., Alexandrie G, Gomez FJ et al19, desarrollaron una propuesta de guía para la evaluación del impacto social de un proyecto de investigación, sobre la base de un estudio de caso de un proyecto europeo. Las propuestas elaboradas por investigadores del Centro de Estudios sobre Ciencia, Desarrollo y Educación Superior de la RICYT, con un enfoque general y el grupo de la Universidad de Valladolid, con una propuesta concreta de guía para la evaluación del impacto de proyectos de investigación y el respectivo estudio de caso, constituyen unos de los esfuerzos regionales más serios y elaborados en este sentido. Con un enfoque similar el Instituto Latinoamericano y del Caribe de Planificación Económica y Social (ILPES) editó el manual para la evaluación del impacto de proyectos y programas de lucha contra la pobreza y las pautas metodológicas para su implementación.20Otro aspecto a tener en cuenta para diseñar una propuesta de evaluación de impacto es cual nivel se desea evaluar. Villaveces et al, proponen tres niveles de análisis.16
El nivel micro de análisis que está centrado sobre los resultados del trabajo de un grupo de investigación, cuyos propósitos se desarrollan a través de proyectos. Los objetivos y justificaciones de los proyectos serán, por lo tanto, fuente documental para analizar los propósitos. Los productos del grupo son directamente los de su acción investigativa y se concretan en publicaciones, formación de personas, asesorías, etc. Los logros se miden por el acuerdo entre lo buscado en los proyectos y lo obtenido en sus resultados. El impacto de las actividades de ciencia y tecnología en el nivel micro se puede analizar a través de estudios de caso de grupos adecuadamente seleccionados, cuyos productos y logros se indaguen.
El nivel macro que se considerará al nivel nacional. Los productos a nivel nacional pueden tomarse simplemente como la sumatoria de todos los productos en los niveles micro. Sin embargo; para analizar los logros en el nivel nacional es importante tener en cuenta los propósitos expresados en los planes de nivel nacional. Por su parte, los efectos en el nivel nacional son los más interesantes, puesto que se refieren a los cambios en la sociedad colombiana producidos por las políticas y actividades de ciencia y tecnología.
Si bien, luego de haber planteado los niveles macro y micro, puede parecer razonable hablar de un "nivel meso", lo cierto es que entre los dos niveles planteados hay grados intermedios que incluyen, por ejemplo, el nivel de las instituciones, el de los departamentos, así como otras divisiones políticas territoriales, por ejemplo, el de las regiones y, de manera importante, el de los programas nacionales o territoriales de Ciencia y Tecnología. Igualmente pudiera hablarse de un nivel intermedio cuando nos referimos a un programa de una temática específica, digamos, biotecnologías o desarrollo de vacunas terapéuticas. Estos programas pueden pertenecer indistintamente a un programa de ciencias básicas, porque su trabajo se desarrolla esencialmente en el campo de la biología molecular pero, al mismo tiempo, "pertenecen" al programa de biotecnología porque ese trabajo se orienta a producir anticuerpos monoclonales, lo que los hace estar situado también en el programa de ciencias de la salud, pues el propósito de los anticuerpos es generar vacunas, o al de ciencias agropecuarias si las vacunas se refieren a salud pecuaria. Por ello, no puede construirse la suma de productos de un programa nacional simplemente agregando la de grupos.
Uno de los tipos de estudios mayormente utilizados para la evaluación de la efectividad del impacto de la ciencia, la tecnología y la innovación son los estudios temporales retrospectivos y prospectivos. Entre ellos, se encuentran los retrospectivos que limitan el análisis a la reconstrucción histórica de la secuencia o cadena de procesos de conocimiento y sus efectos sociales en un tema en concreto.
Según Fernández Polcuch los métodos retrospectivos tienen como defecto fundamental su condición de "anecdóticos", y el hecho de que resulta prácticamente imposible construir indicadores cuantitativos a partir de ellos. Los de tipo prospectivo, por su lado, brindan la posibilidad de predecir los efectos que produce el conocimiento en determinado campo, o las consecuencias del uso y difusión de las nuevas tecnologías. Aquí la prospectiva tecnológica, basada en distintos modelos predictivos, permite predecir futuros acontecimientos.7
En la metodología propuesta por Alexandrie G, Gómez FJ, y Moñux D18 se propone la construcción de los indicadores de "abajo a arriba", a partir de una identificación de las posibles áreas de impacto de los proyectos, para cada área de impacto se identifican los cambios específicos que se esperan alcanzar con el proyecto, a los que denomina "Factor de Impacto", que en su conjunto conforman una lista de control que automáticamente constituyen variables a medir en el proceso. En la propuesta se incluye un chequeo de la lista de control en tres momentos: al inicio, durante la ejecución y al finalizar (ex ante, in itinere y ex post). Esta metodología fue aplicada en la medición del impacto social de proyectos I+D en el sector de las comunicaciones industriales. 18,19
Este esquema de evaluación no solo permite conocer el impacto real alcanzado al término del proyecto, sino que somete el mismo a una evaluación interna útil para tomar decisiones en caso de que el proyecto no satisfaga sus expectativas y es de utilidad incluso de aprendizaje a los gestores de proyectos.
La experiencia cubana en la medición del impacto,21,22 se basa en la identificación de los principales bienes y servicios que tienen un valor agregado por la aplicación de resultados de proyectos de investigación. De esta forma, el impacto social es medido a través de indicadores que caracterizan el beneficio social aportado por cada producto evaluado.
]]> Operacionalmente se partió de identificar las "fuentes de impacto" y los "destinos de impacto". Se consideran fuentes de impacto los resultados científicos o tecnológicos, o sea, los resultados de acciones de I+D+I que se organizan mediante programas y proyectos, se establecen en los planes de Ciencia e Innovación Tecnológica, en los planes de negocios, inversiones, generalización u otras herramientas organizacionales reconocidas en el país. El destino de impacto se definió como el sector priorizado dentro del desarrollo económico y social del país que se beneficia por la aplicación de resultados de acciones de I+D+I.En la experiencia se seleccionaron seis destinos de impacto:
La metodología tampoco incluyó el análisis de las investigaciones sociales que no siempre generan productos o tecnologías, pero que revisten una importancia capital en nuestra sociedad.
Los autores concluyeron que la experiencia permitió caracterizar el aporte de la I+D+I a escala nacional en los principales temas que marcaban el desarrollo social del país y corroboró que el alto desarrollo alcanzado por Cuba en materia de educación, salud, cultura, deportes y recreación, se sustenta en productos, servicios, procesos y tecnologías con valor agregado por la actividad de ciencia y tecnología y por la innovación.
Se señaló como positivo el hecho de que fueran los usuarios los encargados de identificar los impactos, lo que permitió alcanzar una valoración más precisa del impacto social obtenido, toda vez que éstos mantienen una interacción mayor con el sector social beneficiado que los propios productores del nuevo conocimiento.
CONCLUSIONES
Del estudio de la bibliografía consultada se hace evidente que la evaluación del impacto de la ciencia y la tecnología en su dimensión social, a pesar de su gran importancia, constituye un campo poco explorado por los investigadores y organizaciones interesadas en la cienciometría.
La complejidad del tema parte del propio alcance del concepto de impacto en sus tres dimensiones científica, económica y social, y fundamentalmente de esta última en la cual no bastan con la construcción de indicadores cuantitativos, sino que es ineludible explorar los efectos positivos o negativos que sobre la sociedad ejerce la difusión de los resultados de la ciencia.
Aunque se ha escrito bastante en los últimos tiempos referentes al tema, y es consenso general que resulta necesario construir metodologías que permitan evaluar el impacto social; la mayor parte de los estudios realizados, son estudios de casos orientados a medir el impacto alcanzado por determinadas tecnologías o paquetes tecnológicos.
]]> De las pocas propuestas metodológicas reportadas en la literatura resaltan la experiencia cubana, y la propuesta por el grupo de la Universidad de Valladolid y la RYCIT. La primera evalúa el impacto a nivel "macro" construyendo indicadores de "arriba abajo", la segunda permite medir a nivel "micro" con indicadores construidos de "abajo a arriba". Esta segunda seria mas conveniente para la realización de estudio de impacto a nivel territorial pues da la posibilidad de hacer visibles el mayor número posible de impactos asociables a proyectos de I+D+I, que habitualmente pasan inadvertidos debido a que son proyectos de alcance puntual que pueden ser enmascarados por otras acciones no asociadas al proyecto.
REFERENCIAS BIBLIOGRÁFICAS
1. Socorro Rodriguez D, Prieto Díaz V. Criterios de salud en la evaluación del impacto ambiental de proyectos de desarrollo. Rev Cub Hig Epidemiol 1999; enero-abril [consultado 2009 Nov 13]; 37 (1). Disponible en: http://scielo.sld.cu/scielo.php?pid=S156130031999000100005&script=sci_arttext&tlng=es
2. Milanés Guisado Y, Solís Cabrera FM, Navarrete Cortés J. Aproximaciones a la evaluación del impacto social de la ciencia, la tecnología y la innovación. ACIMED. 2010; Ago [consultado 2009 Nov 13]; 21(2):161-183. Disponible en: http://scielo.sld.cu/scielo.php?script=sci_arttext&pid=S102494352010000200003&lng=es&nrm=iso-
3. Milanés Guisado Y, Perez Rodriguez Y, Peralta González M, Ruiz Ramos Ml. Los estudios de evaluación de la ciencia: aproximación teórico-métrica. ACIMED. 2008; Dic [consultado 2009 Nov 13]; 18(6). Disponible en: http://scielo.sld.cu/scielo.php?script=sci_arttext&pid=S102494352008001200004&lng=es&nrm=iso
4. OCDE. Manual de estadísticas de patentes. Organización para el desarrollo y la cooperacion economica. 1994. Disponible en http://www.oecd.org/dataoecd/33/62/2095942.pdf
5. OECD. Manual de Camberra. Organización para el desarrollo y la cooperacion economica. 1995. Disponible en http://www.oecd.org/dataoecd/34/0/2096025.pdf
6. Libera Bonilla ES. Impacto, impacto social y evaluación del impacto. Acimed 2007; 15(3):2. Disponible en: http://bvs.sld.cu/revistas/aci/vol15_3_07/aci08307.htm
7. Fernandez Polcuch. La medición del impacto social de la ciencia y la tecnología. OEI. 1999. Disponible en :http://www.oei.es/ctsiima/polcuch.pdf
8.Albornoz M,Estebanez ME,Alfaraz C.Alcances y limitaciones de la noción de impacto social de la ciencia y la tecnología.Revista CTS 2005;2(4):73-95. Disponible en http://www.scielo.org.ar/pdf/cts/v2n4/v2n4a05.pdf
9. Quevedo V,Chiá J, Rodriguez A. Midiendo el Impacto. OEI.ES. 2002. Disponible en http://www.oei.es/salactsi/Cuba.pdf
10. MINSAP. Dirección de Ciencia y Técnica del MINSAP. Definición de Impacto para la Ciencia y la Innovación Tecnológica. 2001.
11.Smith R.Measuring the social impact of research.British Med J 2001;323(8):384-9.
12.González Ochoa E,Armas Pérez L,Cantelar Martínez B,Cantelar de_Francisco N.Bases para la valoración del impacto social de un programa de Maestría en Epidemiología.Rev Cub Hig Epid 2008;15(1):3.http://scielo.sld.cu/scielo.php?pid=S1561.
13.Alcolea E,García E,Herrero I,Perdomo D,Gross R,Casas S.Evaluación del impacto de la consulta de oftalmología en la atención primaria de salud.MEDISAN 2010;14(7):888. Disponible en: http://bvs.sld.cu/revistas/san/v14n7_10/san02710.htm
14.García Melián M,Prieto Díaz V,Molina Esquivel E,Junco Díaz R,Barceló Pérez C,Diego Olite D.Evaluación del impacto en salud de proyectos de inversión.Experiencia cubana. Rev Cub Hig Epid 2005;5(3):2. Disponible en: http://scielo.sld.cu/scielo.php?script=sci_arttext&pid=S156130032005000300005
15.Oszlak O,O´Donnell G.Estado y políticas estatales en América Latina:hacia una estrategia de investigación. REDES 1995;II(4):2. Disponible en http://redalyc.uaemex.mx/pdf/907/90711285004.pdf
16.Villaveces JL,Orozco LA,Olaya DL,Chavarro D.¿Como medir el impacto de las políticas de ciencia y tecnología?.Revista CTS 2005;2(4):125-146. Disponible en: http://www.scielo.org.ar/pdf/cts/v2n4/v2n4a07.pdf
17. Itzcovitz V, Fernández E, Albornoz M. Propuesta metodológica sobre la medición del impacto de la C y T sobre el desarrollo social. RYCIT. 1998. Disponible en http://www.ricyt.org/interior/biblioteca/docs/viefpma.pdf
18.Alexandrie G,Gómez FJ,Moñux D.Desarrollo de una Guía de Evaluación de Impacto Social para Proyectos de I+D+I.Revista Iberoamericana Ciencia, Tecnología, Sociedad e Innovación 2003;5(4):2. Disponible en http://www.oei.es/revistactsi/numero5/articulo4.htm
19. Moñux D, Alexandrie G, Gomez FJ, Caceres S, Miguel LJ, Velasco E. Evaluación del impacto social de proyectos de investigación y desarrollo tecnológico. Una aplicación en el sector de las comunicaciones industriales. I Congreso Iberoamericano de Ciencia, Tecnología, Sociedad e Innovación. 19 al 23 Junio de 2006. http://www.oei.es/memoriasctsi/mesa6/m06p17.pdf
20. Navarro H, King K, Ortegon E, Pacheco JF. Pauta metodológica de evaluación ex-ante y ex-post de programas sociales de lucha contra la pobreza. Serie Manuales, CEPAL No 41 disponible en http://biblioteca.cepal.org/21.Rodriguez Batista A.Impacto social de la ciencia y la tecnología en Cuba: una experiencia de medición a nivel macro.Revista CTS 2005;2(4):147-171. Disponible en: http://www.scielo.org.ar/pdf/cts/v2n4/v2n4a08.pdf
22.Chia J,Escalona C.La medición del impacto de la ciencia, la tecnología y la innovación en Cuba:análisis de una experiencia.Revista CTS 2009;5(3):83-96. Disponible en http://www.scielo.org.ar/pdf/cts/v5n13/v5n13a05.pdf
Entrada: 16/2/2011
Aprobado 8/4/2011
]]>
Jorge Lozano Casanova. Licenciado en Ciencias Farmacéuticas. Profesor Auxiliar. Departamento Bioquímica Clínica Facultad de Medicina. Universidad de Ciencias Médicas de Camagüey, Cuba. vri@finlay.cmw.sld.cu
]]>