ARTÍCULO ORIGINAL

 

Metodología para medir el impacto de los resultados de proyectos de investigación en los servicios de salud

 

Methodology to measure the impact of the results of health services research projects

 

 

Lic. Jorge Lozano Casanova;^I Dr.C. Arturo Menendez Cabezas^II

I Máster en  Gestión de la información. Licenciado en Bioquímica. Profesor Auxiliar y Consultante. Universidad de Ciencias Médicas de Camagüey. Camagüey, Cuba.
II Doctor en Ciencias Biomédicas. Especialista de II Grado en Bioquímica Clínica. Profesor Titular y Consultante. Universidad de Ciencias Médicas de Camagüey. Camagüey, Cuba.

 

 

---

Resumen

Fundamento: el impacto de la ciencia y la innovación tecnológica es considerado como el conjunto de cambios duraderos que se producen en la sociedad.
Objetivo: evaluar el impacto en los servicios de salud de Camagüey de los resultados de proyectos de investigación de los programas científico-técnicos territoriales y ramales del MINSAP.
Método: se elaboró una propuesta metodológica aplicada sobre el impacto de los resultados de proyectos de investigación, desarrollo e innovación en los servicios de salud. Para su validación se realizó consulta a especialistas y una prueba con 30 proyectos.
Resultados: todos los especialistas valoraron la oportunidad de la propuesta como muy alta o alta, expresaron el reconocimiento de la necesidad de medir con claridad los impactos de las acciones de ciencia e innovación. Los mismos consideraron que el mayor efecto negativo a la implementación de la propuesta debe de esperarse del escepticismo o indiferencia administrativa, opción que alcanzó el mayor número de puntos ponderados y fue considerada en el primer lugar por 10 de las 14 respuestas válidas.
Conclusiones: los especialistas consideraron que la metodología es pertinente, de efectividad probable, puede convertirse en una herramienta útil para resolver las limitaciones que se enfrentan en la medición del impacto, es factible de aplicar si se logra erradicar las debilidades estructurales del sistema de salud. La elaboración de la  lista de control constituye el elemento dinámico y fundamental, basada en la definición de proyectos esperados, sus indicadores de resultados y el compromiso de los miembros del equipo de investigación.

DeSC: IMPACTOS EN LA SALUD; EVALUACIÓN; INDICADORES DE IMPACTO SOCIAL; METODOLOGÍA. 

---

ABSTRACT

Background: the impact of scientific and technological innovation is considered as the lasting changes that occur in society.
Objective: to assess the impact of research projects results of the territorial and ramal scientific-technical programs in health services of Camagüey.
Method: a methodological proposal on the impact of the results of technological development and innovation projects in health services was performed. For validation was carried out a specialists’ consultation and a test with 30 projects.
Results: all specialists evaluated the opportunity of the proposal as very high or high, who expressed the need to measure clearly the impacts of science and innovation actions. They also considered the greatest negative effect to the proposal implementation should be expected in the skepticism or administrative indifference, option that reached the greatest number of weighted points and it was considered the first place of the 14 valid answers.
Conclusions: the methodology was considered relevant by specialists of probable effectiveness; it may become a useful tool to resolve constraints faced in measuring impact, it is feasible to apply if eradicated structural health system weaknesses. The elaboration of the control list constitutes a dynamic and essential element based on the definition of expected projects, its performance indicators and the commitment of the members of the research team.

DeSC: IMPACTS ON HEALTH; EVALUATION; SOCIAL IMPACT INDICATORS; METHODOLOGY. 

---

 

 

INTRODUCCIÓN

El impacto de la ciencia y la innovación tecnológica es considerado como el conjunto de cambios duraderos que se producen en la sociedad, como resultado de la ejecución de acciones de investigación, desarrollo e innovación,¹ es un beneficio logrado, medible, que aporta a la economía.² En la actividad de ciencia los impactos suelen clasificarse en tres áreas fundamentales, la científica, la económica y la social.

Para la medición de los impactos científicos y económicos existen metodologías e indicadores bien establecidos, los cuales son de uso internacional, una situación diferente se aprecia cuando se desea  medir el llamado impacto social, ya que no existen metodologías estándares para su medición.^3,4

Para Quevedo, et al,² el conocimiento del impacto de las investigaciones, en cualquiera de sus dimensiones ya mencionadas, tiene varios efectos:

• Demostrativo: permite por sí mismo “visualizar la ciencia” en términos de necesidades sentidas resueltas.
• Orientador: permite a los gestores de la ciencia y la innovación tecnológica perfeccionar el proceso de identificación de los sectores claves para dirigir hacia ellos el esfuerzo fundamental de las acciones de investigación, desarrollo e innovación (I+D+I).
• Motivador de la innovación.
• Integrador: favorece la integración de las entidades involucradas en el proceso de obtención, introducción y comercialización de un resultado científico.

No obstante, son pocos los reportes de evaluaciones realizadas y la mayoría de ellas se refieren a estudios de caso,^5-7 pero todavía no se cuenta con una metodología establecida para la construcción de indicadores de impacto social.

En el caso de la salud, tal vez lo ideal sería emplear los mismos indicadores de desarrollo social establecidos para cada rama y medir los cambios que en ellos induce la introducción de los resultados científicos, para lo cual se debe asumir el supuesto erróneo de que dichos indicadores que solo responden a las acciones de ciencia, se debe obviar la influencia que otros factores sociales ejercen sobre ellos,⁸ la cual es mayor cuando se trata de proyectos territoriales o locales.

Entre los enfoques para la medición del impacto social de la ciencia y la tecnología,^9-12 resulta de interés la metodología de Aleixandre, et al,¹³ que propone la construcción de los indicadores a partir de una identificación para cada proyecto de lo que se denomina “factores de impacto”, los que conforman una lista de control y constituyen variables a medir en el proceso. Se incluye un chequeo de la lista de control en tres momentos: al inicio, durante la ejecución y al finalizar (ex ante, in itinere y ex post). Esta metodología ha sido aplicada en la medición del impacto social de proyectos de I+D+I en otros contextos y sectores.^14,15

El objetivo de la investigación es establecer una metodología para evaluar el impacto en los servicios de salud de Camagüey.

 

MÉTODOS

Se realizó un proyecto de investigación en sistemas y servicios de salud. Se combinaron métodos cuantitativos y cualitativos; en un primer momento se ejecutó un estudio teórico, en el que se incluyó la revisión documental. Tras una minuciosa revisión de la literatura, se elaboró una propuesta fundamentada en una metodología aplicada a la evaluación del impacto de proyectos en otros contextos y sectores.

En un segundo momento, para la validación de la metodología se emplearon dos procedimientos: uno basado en criterio de especialistas (método de consenso) y el segundo una prueba con la aplicación práctica de la metodología en la construcción de una lista de control y su correspondiente evaluación “ex ante”, con proyectos de los diferentes programas científicos técnicos en ejecución en la provincia, lo cual puede ser considerado como un pre experimento.

Se consideró la metodología de evaluación de impacto como la variable independiente y los indicadores de medición del impacto de los resultados de proyectos de investigación en los servicios de salud como la variable dependiente.

Para la validación por criterio de especialistas se utilizó el método de grupo nominal. Para ello se seleccionaron profesionales del sector con conocimientos sobre el funcionamiento del sistema de ciencia e innovación y experiencia como investigador, dos competencias necesarias para poder ejercer una evaluación crítica de la propuesta. El grupo de especialistas quedó conformado por 16 profesionales. 

A todos se les entregó una copia digital de la propuesta y las indicaciones para su implementación, así como una guía de preguntas distribuida por correo electrónico y se recibieron las respuestas por igual vía. A ninguno de los miembros del grupo se les comunicó quienes eran los demás integrantes y se les solicitó que sus respuestas fueran individuales.

Las tres primeras preguntas tuvieron el propósito de evaluar los elementos o atributos oportunidad, factibilidad y efectividad probable.

Cada una de estas variables fue medida en una escala de cuatro valores: muy alto, alto, medio y bajo, correspondiéndose en cada caso con los incisos a, b, c y d. Se dejó una quinta posibilidad para aquellas opiniones que no se ajustaran a las propuestas.

La cuarta pregunta se formuló con el propósito de recabar opiniones sobre posibles barreras que pudieran interponerse en la implementación de la propuesta.

Antes de circularla, la encuesta fue sometida a la consideración de los profesionales del Departamento de Psicología de la Universidad Médica de Camagüey con experiencia en la investigación cualitativa, con el objetivo de recoger sus criterios sobre la validez de buscar el juicio de valor referido a cada elemento de una manera indirecta y no con una forma directa como se emplea en otras encuestas.

Al igual que en las anteriores preguntas se incluyeron cinco posibles barreras y se dejaron espacios en blanco para que el especialista incorporara otras que considerara oportuno. Las cinco barreras fueron propuestas a partir del análisis de las dificultades que enfrenta el desarrollo de las investigaciones en el sector de la salud, y que han sido expresadas por los investigadores.

Para establecer un ordenamiento del efecto negativo atribuido por los encuestados a las cinco barreras, se le asignó un valor de cinco puntos al primer lugar, cuatro al segundo, y así sucesivamente hasta un punto al quinto lugar, y se ponderaron sumando los puntos totales alcanzados.

De la barrera con mayor número de puntos debe esperarse una mayor oposición al proceso de implementación y así sucesivamente.

Para la validación práctica se procedió a aplicar la metodología en la construcción de una lista de control de evaluación, útil para realizar la evaluación previa correspondiente al año 2011, a partir de los proyectos en ejecución en la provincia como parte de los programas científico técnicos del sector.

 

RESULTADOS

Para la dimensión científica se propuso medir la contribución a la formación de recursos humanos especializados, tanto para los servicios asistenciales como para la actividad científica, se consideraron para ello a los especialistas, másteres y doctores en ciencias. Se introdujo un nuevo criterio, el cual tomó en consideración a las investigaciones observacionales que contribuyen al conocimiento de problemas en el campo de la salud y que tienen como efecto el servir como base a la toma de decisiones administrativas o al desarrollo de investigaciones aplicadas.

En la dimensión económica se evalúan los indicadores tradicionales de costo beneficio y costo efectividad.

En la dimensión social se consideraron los indicadores que midieron el efecto sobre la calidad del servicio en términos de capacidad resolutiva, a partir de su efectividad, eficiencia, accesibilidad y el nivel de satisfacción de usuarios y prestadores.

En todos los casos se trabajó con un segundo nivel de agregación de los indicadores, se atendió la clasificación sugerida por Freeman,¹⁶ se emplearon indicadores parciales limitados a un proyecto específico, para fundamentar análisis más generales de impacto en áreas de resultados claves o a nivel territorial.

Para la medición del impacto en lo económico y en lo social se propuso un procedimiento, en el cual los indicadores se identificaron de “abajo arriba”, según resultó común en los estudios prospectivos, estos se elaboraron a partir de indicadores de primer nivel que puedan medir el impacto de los proyectos individuales. Del análisis de estos se construyeron indicadores de un segundo nivel que permitieron evaluar el impacto de los programas.

   La propuesta metodológica consta de cuatro etapas básicas:

• Selección de los proyectos a incluir en la lista de control.
• Construcción de la lista de control de evaluación.
• Evaluación previa (“ex ante”).
• Evaluación final (“ex post”).

Se incluyeron los proyectos que cumplieron con los criterios siguientes:

-  Los que proponen como resultados tecnologías o productos nuevos o mejorados.

- Investigaciones observacionales dirigidas a esclarecer problemas prioritarios de salud para el territorio

La elaboración de la lista de control se realizó a partir de la identificación para cada proyecto seleccionado de los siguientes elementos:

• Destino del impacto: área priorizada en la política científica del MINSAP a la cual tributa.
• Factor de impacto: elemento particular dentro del área priorizada que establece relaciones de causalidad con el proyecto.
• Indicadores de medición: los indicadores concretos que pueden emplearse para determinar la magnitud del efecto.
•  Fuentes de información a utilizar para construir el indicador.

Se incluyeron dos momentos de evaluación de la lista de control: la evaluación inicial, en la cual se determinan los valores de partida de cada indicador, y una final, un año después, para determinar las variaciones observadas en los indicadores y proceder a la evaluación.

Se deben identificar aquellos elementos externos al resultado que puedan constituir sesgos, se puede llegar incluso a desconsiderar algunos de los factores de impacto incluidos en la lista de control de evaluación, cuando el factor externo introduce un sesgo de medición insoslayable. Un caso típico que pudiera darse son las introducciones, por indicaciones ministeriales, de nuevas tecnologías que sustituyan o se contrapongan a las que son objeto de evaluación.

Para implementar la metodología se propuso emplear las mismas estructuras administrativas aprobadas para la Universidad de Ciencias Médicas, sus facultades y las sedes universitarias municipales, así como el equipamiento asignado centralmente para el control automatizado de la gestión, lo cual favorece la implantación al no incurrir en incrementos en los gastos del presupuesto.

Validación de la propuesta metodológica por los especialistas

Se muestran los resultados de las respuestas a las preguntas 1, 2 y 3 del cuestionario aplicado. (Tabla 1)

Todos los especialistas valoraron la oportunidad de la propuesta como muy alta o alta, lo cual expresa el reconocimiento de la necesidad de medir con claridad los impactos de las acciones de ciencia e innovación.

Quince de los encuestados consideraron que la propuesta puede funcionar como un sistema de evaluación continua del impacto, y uno opinó que solo seria útil con fines investigativos temporales.

Aunque la mayoría valoró positivamente la factibilidad, tres de los especialistas consideraron la propuesta como no factible, condicionando esta a la creación de nuevas estructuras administrativas o a que la misma fuera establecida mediante una indicación del MINSAP. Este resultado está sustentado en una realidad que no es posible desconocer, la cual puede ser caracterizada por los siguientes aspectos:

- El desarrollo de nuevas funciones de un determinado grado de complejidad han ido acompañadas de la creación de nuevas estructuras administrativas.

- La mayoría de los encuestados conocen de las debilidades de las estructuras administrativas a cargo de gestionar la ciencia y la innovación en las unidades de salud.

- Es poco probable que pueda lograrse una voluntad de apoyo a la propuesta en las direcciones administrativas de las distintas unidades.

La elevada presión a que son sometidos los directivos, en la tarea de mantener con limitados recursos, el funcionamiento óptimo de los servicios, les impide apreciar en toda su magnitud que son precisamente la ciencia y la innovación herramientas esenciales a emplear con ese fin.

Los especialistas consideraron que el mayor efecto negativo a la implementación de la propuesta debe de esperarse del escepticismo o indiferencia administrativa, opción que alcanzó el mayor número de puntos ponderados y fue considerada en el primer lugar por 10 de las 14 respuestas válidas, para un 71 %, lo que superó al resto de las barreras propuestas. Este factor de carácter subjetivo que generalmente acompaña a toda propuesta novedosa en cualquier campo de la actividad social, solo podrá ir superándose en la medida en que se demuestre en la práctica la utilidad de la propuesta de metodología. (Tabla 2)

En segundo lugar se ubicó la ausencia de fuentes estadísticas confiables. Esta, que puede ser consecuencia de factores subjetivos como objetivos, tiene que ser considerada de antemano y de ser necesario establecer previamente los procedimientos para medir los indicadores previstos, involucrando en su medición, siempre que sea posible, a los mismos autores del resultado, que son siempre los mas interesados en demostrar los beneficios sociales de su trabajo.

Resultados de la prueba (Pre experimento)

Se incluyeron 30 proyectos en ejecución en la provincia que cumplieron los criterios de inclusión.

En el proceso de construcción de la lista de control se identificaron cuatro nuevas tecnologías y tres productos mejorados, con impacto demostrado en la etapa experimental, en estos casos fue relativamente fácil identificar los indicadores a incluir en la lista de control. Otros seis proyectos dirigidos a la obtención de nuevas tecnologías, así como, dos dirigidos a la obtención de objetos de aprendizaje de aplicación en la docencia, que aunque no terminan necesariamente en este año, se incluyeron en la lista de control para proceder a la evaluación inicial.

La principal dificultad observada en el proceso deriva de las limitaciones que aun se evidencian en los proyectos que se presentan y aprueban en  los programas, en los que no se precisan en términos de indicadores específicos los resultados esperados, o al no  incluir como indicador la satisfacción de los pacientes y prestadores del servicio. Esta limitación no solo afecta la posibilidad real de medir el impacto de un resultado, va más allá, puede atentar contra la extensión de un resultado científico, al no aportar los argumentos necesarios a los funcionarios responsabilizados con la toma de decisiones, sobre todo cuando esta implica gastos adicionales de recursos materiales o financieros. Para superarla fue necesario concertar una entrevista con los jefes de proyectos para precisar los indicadores.

Como elemento positivo de esta prueba se lograron identificar las áreas de mayor impacto esperado, con sus indicadores y formas de medición.

 

CONCLUSIONES

Se propuso una metodología dirigida a la evaluación del impacto de los resultados de proyectos de investigación, la cual incluye el análisis de la medición de los beneficios aportados por proyectos de utilidad en la toma de decisiones.

Los especialistas consideraron que la metodología propuesta es pertinente y de efectividad probable, la cual puede convertirse en una herramienta útil, si se logran superar las debilidades estructurales del sistema en las unidades asistenciales.

La construcción de la lista de control constituyó el elemento dinámico y fundamental de todo el proceso, sobre la base de dos aspectos fundamentales para el éxito, la definición en el proyecto de los impactos esperados y sus indicadores de resultados y el compromiso con el proceso de los miembros del equipo al frente de la investigación.

 

REFERENCIAS BIBLIOGRÁFICAS

1. Munster Infante B. Acerca de los indicadores de mediciòn de la ciencia y la tecnologìa. Temas de Economìa Mundial [Internet]. 2006 Abr [citado 12 Abr 2011];(10): [aprox. 15 p.]. Disponible en: http://www.ciem.cu/publicaciones/pub/Temas No. 10-2006.pdf

2. Quevedo V, Chia J, Rodríguez A. Midiendo el Impacto [Internet].  Madrid: OEI; 2004 [citado 12 Abr 2011]. Disponible en: http://www.oei.es/salactsi/Cuba.pdf

3. Bojan RJ. Synthesis in policy impact assessment. Evaluation [Internet]. 2011; 17 ( 2):[about 17 p.].Available from: http://hinarigw.who.int/whalecomevi.sagepub.com/whalecom0/content/17/2/133.full.pdf.html

4. Albornoz M, Estebánez ME, Alfaraz C. Alcances y limitaciones de la noción de impacto social de la ciencia y la tecnología. Revista CTS [Internet]. 2002 Ene [citado 12 Mar 2012];2(4):[aprox. 22 p.]. Disponible en:   http://www.scielo.org.ar/pdf/cts/v2n4/v2n4a05.pdf 

5. González Ochoa E, Armas Perez L, Cantelar Martinez B, Cantelar  de Francisco N. Bases para la valoración del impacto social de un programa de Maestría en Epidemiología. Rev Cubana Hig Epidemiol [Internet]. 2008 [citado 12 Mar 2012];46(1):[aprox. 9 p.]. Disponible en : http://scielo.sld.cu/scielo.php?pid=S1561-30032008000100006&script=sci_arttext 

6. García Melian M, Prieto Diaz  V, Molina Esquuivel  E, Junco Dìaz R, Barceló Perez C, Diego Olites D. Evaluación del impacto en salud de proyectos de inversión. Experiencia cubana. Rev Cubana Hig Epidemiol [Internet]. 2006 [citado 12 Mar 2012];43(39):[aprox. 9 p.]. Disponible en:   http://scielo.sld.cu/scielo.php?script=sci_arttext&pid=S1561-30032005000300005

7. Garcìa Alcolea E, García Melian E, Herrero Aguirre I, Perdomo Leyva D, Gross Fernàndez R, Casas Gross S. Evaluación del impacto de la consulta de oftalmología en la atención primaria de salud. MEDISAN [Internet]. 2010 [citado 12 Mar 2012];14 (7):[aprox. 10 p.]. Disponible en: http://bvs.sld.cu/revistas/san/v14n7_10/san02710.htm

8. Oszlak O, O´Donnell G. Estado y políticas estatales en América Latina: hacia una estrategia de investigación.REDES [Internet]. 1995 [citado 12 Mar 2012];2(4): [aprox. 7 p.]. Disponible en: http://redalyc.uaemex.mx/pdf/907/90711285004.pdf

9. Villaveces JL, Orozco LA, Olaya DL, Chavarro D. ¿Cómo medir el impacto de las políticas de ciencia y tecnología? Revista CTS [Internet]. 2005 [citado 12 Mar 2012];2(4):[aprox. 21 p.]. Disponible en: http://www.scielo.org.ar/pdf/cts/v2n4/v2n4a07.pdf

10. Taylor J, Bradbury-Jones C. International principles of social impact assessment: lessons for research? J Research in Nursing [Internet]. 2011; 16:[about 12 p.]. Available from: http://jrn.sagepub.com/content/16/2/133

11. Mohan Matur H. Social Impact Assessment: A Tool for Planning Better Resettlement.  Social Change [Internet]. 2011; 41:[about 23 p.]. Available from: http://sch.sagepub.com/content/41/1/97

12. Milanés Guisado Y, Solís Cabrera FM, Navarrete Cortés J. Aproximaciones a la evaluación del impacto social de la ciencia, la tecnología y la innovación. ACIMED [Internet]. 2010 [citado 12 Nov 2012];21:[aprox. 23 p.] Disponible en: http://scielo.sld.cu/scielo.php?script=sci_arttext&pid=S1024-94352010000200003&lng=es&nrm=iso

13. Aleixandre Mendizabal G, Gómez Gonzalez FJ, Moñux Chercoles D. Desarrollo de una Guía de Evaluación de Impacto Social para Proyectos de I+D+I. Rev Iber Cien, Tecnol, Soc Inno [Internet]. 2003 Mayo [citado 12 Mar 2012];4(5):[aprox. 5 p.]. Disponible en: http://www.oei.es/revistactsi/numero5/articulo4.htm 

14. Navarro H, King K, Ortegon E, Pacheco JF. Pauta metodológica de evaluación ex-ante y ex-post de programas sociales de lucha contra la pobreza. Serie Manuales, CEPAL [Internet]. 2005 [citado 12 Mar 2012];41:[aprox. 12 p.]. Disponible en:  http://biblioteca.cepal.org/

15. Sarmiento Delgado LC, Arenas Díaz P, Becerra Ardiles LE, Camacho Pico LC. Metodología para la evaluación de impacto de proyectos I+D+I. Caso de aplicación financiación COLCIENCIA 1999-2005.  En: Sarmiento Delgado LC, Arenas Díaz P, Becerra Ardiles LE, Camacho Pico LC, editores. AGENDA 2011 Temas de indicadores de ciencia y tecnología. 1ra ed. Buenos Aires: Red de indicadores de ciencia y tecnología (RICYT); 2011. p. 373-90.

16. Freeman C. The 'National System of Innovation' in historical perspective. Camb  J  Econ [Internet]. 1995 [citado 12 Mar 2012];19(1):[aprox. 19 p.]. Disponible en: http://cje.oxfordjournals.org/content/19/1/5.full.pdf.html

 

 

 

Recibido: 26 de octubre de 2011
Aprobado: 8 de noviembre de 2012

 

 

 

Lic. Jorge Lozano Casanova. Máster en  Gestión de la información. Licenciado en Bioquímica. Profesor Auxiliar y Consultante. Universidad de Ciencias Médicas de Camagüey. Camagüey, Cuba.