INVESTIGACIÓN

 

Calidad metodológica de las evaluaciones económicas completas, publicadas en revistas médicas cubanas (1999-2014)

 

Methodological quality of complete economic evaluations published in Cuban medical journals from 1999 to 2014

 

 

Anai García Fariñas,^I José Félix García Rodríguez,^II Ana María Gálvez González,^I Giset Jimenez López^III

^I Escuela Nacional de Salud Pública (ENSAP). Departamento de Economía de la Salud. La Habana, Cuba.
^II Universidad Juárez Autónoma de Tabasco (UJAT). México.
^III Centro para el Control Estatal de Medicamentos, Equipos y Dispositivos Médicos (CECMED). Departamento Vigilancia Poscomercialización. La Habana, Cuba.

 

 

---

RESUMEN

Objetivo: determinar la calidad metodológica de las evaluaciones económicas completas publicadas en revistas médicas cubanas.
Métodos: estudio observacional, descriptivo y transversal en 21 artículos, declarados por su autores como evaluaciones económicas completas, publicados entre 1999 y 2014 en 47 revistas médicas cubanas reconocidas por el Ministerio de Ciencia, Tecnología y Medio Ambiente. A todos se les aplicó una guía de evaluación que incluyó: año de publicación, revista, objetivo, problema, opciones, horizonte temporal, perspectiva, costo, efectos sobre la salud y cálculo de las razones costo/efectividad.
Resultados: los artículos se concentraron en ocho revistas. La mayor cantidad está en la Revista Cubana de Farmacia. Le siguieron en importancia la Revista Cubana de Salud Pública y MEDISAN. Ninguno de los aspectos estaba correctamente tratado en más de 80 % de los trabajos revisados. Los resultados más desfavorables estaban en la declaración de la perspectiva, presente en menos de 20 % de los trabajos y el análisis de sensibilidad en menos de 30 %. Menos de la mitad de los trabajos abordaron adecuadamente la presentación del problema de investigación, los objetivos, el horizonte temporal, los costos y la razón costo efectividad incremental. No se encontró ningún artículo en los últimos tres años.
Conclusiones: son escasas las evaluaciones económicas publicadas. La mayoría tiene limitaciones metodológicas. Se observa insuficiente desarrollo de esta temática en el país y apunta hacia la importancia de continuar insistiendo en la divulgación de los aspectos metodológicos básicos de estas evaluaciones tanto para investigadores como para revisores y editores de revistas científicas.

Palabras clave: evaluación económica; costo efectividad; costo utilidad; costo beneficio; minimización de costos; calidad metodológica.

---

ABSTRACT

Objective: to determine the methodical quality of complete economic evaluations published in Cuban medical journals from 1999 to 2014.
Methods: observational, descriptive and cross-sectional study of articles classified by their authors as complete economic evaluations and published from 1999 to 2014 in 47 Cuban medical journals authorized by the Ministry of Science, Technology and Environment. The applied evaluation guide included year of publication, journal, objective, problem, options, time frame, prospects, cost, health effects and estimation of the cost/effectiveness ratio.
Results: twenty one papers were found, but in the last three years no paper has been published. These papers were mainly published in eight journals, being the first Revista Cubana de Farmacia, followed by Revista Cubana de Salud Publica and MEDISAN. None of the aspects was correctly addressed in over 80 % of revised papers. The worst results were found in statement of perspective present in less than 20 % of papers in addition to sensitivity analysis in less than 30 % of them. Almost 50 of papers adequately dealt with the submission of research problems, objectives, time frame, costs and the incremental cost/effectiveness ratio.
Conclusions: published economic evaluations are still scanty and most of them exhibit methodological faults. There is insufficient development in this area nationwide, which points to the importance of insisting once again on the dissemination of the basic methodological aspects of these evaluations aimed at researchers who act as reviewers and as editors of scientific journals.

Keywords: economic evaluation; cost-effectiveness; cost-profit; cost benefit; minimization of cost; methodological quality.

---

 

INTRODUCCIÓN

La toma de decisiones en el sector de la salud requiere de información económica oportuna que garantice una distribución equitativa de los servicios de salud a partir de las necesidades de la población local. La evaluación económica de tecnologías sanitarias ha devenido en una herramienta de utilidad para soportar un proceso de toma de decisiones basado en evidencias.

Existen varias experiencias sobre la utilización de evaluaciones económicas en la toma de decisiones. Las más conocidas son el Plan Médico de Oregón y las decisiones sobre reembolso de Australia y Ontario de 1995; y en 1999 el National Institute for Clinical Excellence (NICE), creado en el Reino Unido, entre cuyas funciones está la de evaluar intervenciones sanitarias y elaborar recomendaciones sobre cuáles son las mejores opciones para los pacientes. En la última década del siglo xx, se adicionó lo relativo al registro de las tecnologías sanitarias. Desde el 2004, se enunció la necesidad de considerar en las evaluaciones, además de los tradicionales elementos de seguridad, eficacia y calidad, un cuarto adicional denominado la cuarta barrera o the fourth hurdle.¹ Este elemento, que se ha venido instrumentando a través de los estudios de costo efectividad, surge porque ante un escenario de recursos limitados los sistemas de salud necesitan asegurarse de que van a cubrir aquellos tratamientos que, además de efectivos, consiguen “más beneficio” a cambio de una determinada “inversión”.

La influencia de las evaluaciones económicas en la toma de decisiones ha sido, hasta ahora, más limitada que lo deseado. Entre las principales razones reconocidas están: uso de modelos complejos de análisis de decisión, no evaluación de tecnologías eficientes sin perspectivas de rentabilidad privada, es decir, cuyos beneficios no son apropiables por el patrocinador (tratamientos tradicionales, remedios naturales, estilos de vida y otros), el sesgo de publicación o difusión de estudios favorables al producto del patrocinador del estudio, inflar los costos de las opciones de referencia con más categorías de recursos, mayor utilización de recursos o precios más altos, por ejemplo, ahorrar costos que no se producen en la realidad, no considerar todos los costos relevantes para la sociedad, y errores metodológicos que disminuyen la transparencia de las evaluaciones y su comparabilidad.^2-4 Si los destinatarios no se fían de los estudios difícilmente los van a utilizar; entonces, ¿para qué sirve hacerlos?

En Cuba, a principios de los años 2000 un grupo de investigadores de la Escuela Nacional de Salud Pública realizaron un diagnóstico de la situación de la evaluación económica en salud a través de las publicaciones realizadas entre 1972 y 2002. Los principales hallazgos hablan de un incremento sostenido en la utilización de esta técnica en Cuba, aunque con escasa presencia de las evaluaciones económicas completas. Su relación con la toma de decisiones es insuficiente pues son estas últimas las que brindan una verdadera medida de la eficiencia. Los estudios encontrados tienen una gran variabilidad metodológica. Se reconoce por los profesionales la necesidad de la evaluación económica para fortalecer la toma de decisiones en salud y para disponer de un eje metodológico conductor.⁵

En el 2003, aparece publicada la Guía Metodológica para la Confección de Evaluaciones Económicas,⁶ para contribuir a mejorar la transparencia, la validez, la comparabilidad y la credibilidad de los estudios. Siete años después, García Fariñas y otros refieren que:

Si bien se dio un paso de avance en lo relativo al campo metodológico con la creación de la Guía para Evaluaciones Económicas en Salud, la cual, durante los últimos cinco años, ha sido ampliamente usada especialmente por los alumnos de la Maestría en Economía de la Salud, todavía son escasos estos estudios y más aún el empleo de la información que de ellos se deriva para la toma de decisiones. Para potenciar el uso de las evaluaciones económicas por las autoridades sanitarias cubanas se deberá no solo incrementar el número de investigaciones sino que se deberá ser celoso en el rigor metodológico de los estudios que se realicen.⁷

Un estudio publicado en 2012,⁸ dirigido a identificar los factores que fortalecen y los que limitan el adecuado uso de las evaluaciones económicas en función de la toma de decisiones en el contexto sanitario cubano, registra entre los aspectos a favor, la existencia de la guía metodológica a la vez que reconoen otros que limitan el uso de estas evaluaciones como es la calidad metodológica de los estudios realizados.

El actual llamado a incrementar la eficiencia en todas las ramas de la economía⁹ impone contar con evaluaciones económicas de calidad que permitan tomar decisiones informadas en pos del uso más racional de los recursos a disposición del Sistema Nacional de Salud. Identificar los aspectos con mayores dificultades metodológicas permitirá visibilizar las áreas críticas para el desarrollo de la evaluación económica en el país. Una de las vías para acercarse a este tema es a través de las publicaciones científicas.

Esta investigación va dirigida a responder la siguiente pregunta ¿Cuál es la calidad metodológica de las evaluaciones económicas completas publicadas en revistas médicas cubanas reconocidas por el Ministerio de Ciencia Tecnología y Medio Ambiente (CITMA) en un período determinado?, de ahí que su objetivo es determinar la calidad metodológica de las evaluaciones económicas completas publicadas en revistas médicas cubanas.

 

MÉTODOS

Se realizó un estudio observacional, descriptivo, transversal de los estudios publicados en 46 revistas médicas cubanas aprobadas por el CITMA, en el período comprendido entre 1999 y diciembre de 2014 y clasificados por los autores como una evaluación económica completa (costo/efectividad, costo/beneficio, costo/utilidad o minimización de costos).

Se trabajó con el universo que estuvo conformado por 21 artículos. Se evaluaron los elementos: año y revista en las que fueron publicados los artículos, problema de investigación y objetivos (para ambos se evaluó la existencia y su correspondencia con el tipo de evaluación económica); opciones a comparar, perspectiva y horizonte temporal del estudio (se analizó si estaba presente la información); costos, resultados en salud, declaración de costos directos e indirectos, la identificación de parámetros inciertos y su rango de variación, especificación del análisis de sensibilidad realizado, razón costo/efectividad media, razón costo/efectividad incremental, ambas con y sin costos indirectos y con las valores actualizados si procedía.

Para seleccionar los artículos a evaluar se diseñó una estrategia de búsqueda a partir de las palabras clave: evaluación económica, eficiencia costo efectividad costo beneficio costo utilidad estudio de minimización de costos. Se elaboró una guía de evaluación a partir de los parámetros incluidos en la guía metodológica cubana para la elaboración de evaluaciones económicas en salud. Se analizó si cada parámetro está explícito (está definido como tal en el texto), o ausente (ni está definido, ni se puede intuir en el texto). Se utilizaron técnicas de estadística descriptiva para el análisis: distribución de frecuencias absolutas y relativas.

Los resultados presentados no pretenden demeritar la labor de los comités editoriales de las revistas que publicaron los, sino generar evidencias para la visualización de un problema que debe ser atendido.

 

RESULTADOS

Los 21 artículos identificados se distribuyeron en uno, dos o como máximo tres por año. Durante cinco años solo se encontró un artículo publicado y en igual periodo, dos artículos por año. Solo en dos años se encontraron tres artículos. Predominaron los estudios del tipo costo/efectividad con 13 trabajos y solo uno fue de costo/utilidad. Debe señalarse que en los últimos tres años no se halló ninguna publicación de estudios de evaluación económica (Fig. 1).

Los artículos se concentraron en 8 revistas. La mayor cantidad (6 artículos) se encontró en la Revista Cubana de Farmacia. Le siguieron en importancia la Revista Cubana de Salud Pública y MEDISAN con cinco artículos cada una (Fig. 2).

Se encontraron deficiencias en todos aspectos evaluados. La declaración de dos o más opciones y la descripción de los resultados para la salud fueron los mejores aspectos, presentes entre el 70 y el 80 % de los trabajos. Menos de la mitad de los artículos abordaron adecuadamente la presentación del problema de investigación, los objetivos, el horizonte temporal, los costos y las razones costo/efectividad media (CEM) o incremental (CEI). Los resultados más desfavorables estuvieron en la declaración de la perspectiva, presente en menos del 20 % de los trabajos y el análisis de sensibilidad en menos del 30 % (Fig. 3).

 

DISCUSIÓN

En 15 años solo se han publicado una veintena de evaluaciones económicas, cifra que no refleja las múltiples acciones que desde 1995 se han desarrollado para el fortalecimiento de la economía de la salud, entre ellas las creación y funcionamiento sostenido de figuras docentes como el Diplomado y la Maestría en Economía de la Salud. El limitado número de publicaciones encontradas contrasta con lo publicado por Gálvez y otros¹⁰ sobre la producción de la citada maestría donde la segunda línea más trabajada fue la evaluación económica, a la vez que refleja que continúa siendo una debilidad de los investigadores y profesores del área la publicación de los trabajos realizados. También llama la atención la ausencia de publicaciones de este tipo de estudio en revistas nacionales en los últimos años, período que se ha caracterizado por la implementación de acciones transformadoras en el Sistema Nacional de Salud dirigidas fundamentalmente a incrementar la eficiencia. Las evaluaciones económicas podrían contribuir mucho, sobre todo en lo que a política de tecnologías sanitarias respecta, tanto para su introducción como para su uso, pero para ello se necesita que se realicen y publiquen.

La distribución por tipo de estudio se correspondió con lo publicado en la literatura internacional donde el estudio de costo/efectividad es el más común.¹¹ Los cuatro estudios clasificados como de costo/beneficio no se correspondieron metodológicamente con lo establecido para este tipo de evaluaciones económicas, sino que fueron estudios parciales de costos o análisis de costo. Los dos estudios de minimización de costos no demostraron la igualdad o equivalencia de las alternativas en los resultados, aspecto que además de comprometer los resultados y el rigor de las investigaciones, desorienta a los lectores que se inician en esta temática.

De acuerdo con las revistas, los resultados de este trabajo ratifican lo encontrado en un estudio previo que incluyó toda la década de los 80 y los 90 y que encontró que las revistas cubanas con mayor número de publicaciones en esta área son la Revista Cubana de Salud Pública, y MEDISAN.¹² El mayor protagonismo encontrado para la Revista Cubana de Farmacia no sorprende pues se corresponde con el área de mayor aplicación a nivel global de las evaluaciones económicas que son los medicamentos.¹³

Resulta preocupante el número de evaluaciones económicas que ni definen, ni se refieren al problema, ni al objetivo del estudio, puesto que más allá de la calidad propia para las evaluaciones, es un paso primordial en el desarrollo de cualquier investigación de rigor. Según la guía metodológica cubana es imprescindible que la situación objeto de estudio sea claramente definida y, al mismo tiempo, expresados sus objetivos, que deben describir la utilización final esperada del estudio.

A esta deficiencia por ausencia de información debe agregarse otra de mayor nivel de precisión. En aquellos trabajos en los que se encontraron planteados el problema y el objetivo no siempre fueron los que justificaban la realización de la una evaluación económica. No se concibe un informe de investigación de una evaluación económica que no contenga explícitamente quién será el decisor y qué decisión se pretende respaldar, pues de estos dos elementos depende en casi la totalidad el diseño a desarrollar. Resultados similares se encontraron en el estudio español dirigido por García-Altés.¹⁴

Si bien la declaración de las opciones fue el segundo mejor aspecto tratado explícitamente, no debe olvidarse que un estudio de evaluación económica es esencialmente una comparación, por lo que no debe existir ningún estudio de este tipo que no refiera las opciones a comparar.

Respecto de la perspectiva, debe señalarse que los resultados del presente estudio se correspondieron con los de García-Altés,¹⁴ quién encontró que uno de los principales problemas metodológicos, presente en varias de las 87 evaluaciones económicas analizadas es la no especificación de la perspectiva de estudio. A similares conclusiones llegaron Iglesias y otros,¹⁵ al plantear que la definición de la perspectiva de estudio constituía un problema metodológico importante en las evaluaciones económicas.

La perspectiva del estudio o perspectiva analítica es el punto de vista seleccionado para el análisis, es un aspecto vital y no neutral debido a que los resultados pueden ser diferentes si la perspectiva desde la cual se realiza el estudio es la del enfermo y sus familiares, del Sistema Nacional de Salud o de la institución de salud, de un tercer pagador (seguro médico) o de la sociedad (donde se consideran todos los costos independientemente de quién los asuma).

La perspectiva del estudio se vincula con el propósito de la evaluación económica. Su ausencia o, incluso, su diferencia con los objetivos es causa de sesgos y de falta de credibilidad, y por lo tanto, base para su no utilización en la toma de decisiones. Erróneamente los investigadores noveles en este tema suelen pensar que al definir los costos, queda implícito cuál es la perspectiva del estudio, y por lo tanto no la definen, lo que constituye una deficiencia metodológica que muchas veces conlleva a que dichos autores no incluyan costos importantes.

El déficit en la declaración de la perspectiva se ve agravado con la baja calidad del tratamiento de los costos en las publicaciones revisadas. Identificar los costos consiste en enumerar todos los recursos relevantes consumidos debido a la adopción de cada alternativa de manera tal que permita una posterior medición y valoración. El análisis de costos requiere de un conocimiento profundo de las alternativas en términos de cómo se produce, y a quién se brinda. Uno de las aspectos a declarar en relación con los costos es si se considerarán solo los costos directos o también los indirectos, estos últimos no siempre adecuadamente identificados dada la diferencia en su tratamiento entre economistas de la salud y contables.

La baja frecuencia con que se encontró el análisis de sensibilidad entre los estudios evaluados contrasta con resultados como los deSchwappacha,¹³ Neumann,¹⁶ Schumock¹⁷ y García^-Altés,¹⁴ quienes obtuvieron que solo entre el 2,8 % y 5,0 % de los artículos analizados no realizan análisis de sensibilidad.

En opinión de los autores, debe entenderse como una alerta los resultados encontrados respecto a la ausencia de las razones costo/efectividad en las evaluaciones económicas publicadas, aspecto no coincidente con ninguno de los estudios previos consultados.^14,16,17 El cálculo de dichas razones es el fin último de las evaluaciones económicas y es mediante ellas que se hace palpable la eficiencia de cada alternativa. Del análisis de estas razones se derivan otros resultados típicos de estas evaluaciones, como es la relación de dominancia entre las alternativas, la comparación de los valores respecto a los umbrales establecidos, en fin, son la base para los juicios y las reglas de decisión.

Dado que es muy difícil que los datos que se utilizan en los estudios de evaluaciones económicas sean exactos, es preciso realizar la apreciación del efecto que tiene la incertidumbre asociada al dato, medida a través de las variaciones de las diferentes variables sobre el resultado final de la evaluación económica. Este análisis se conoce como análisis de sensibilidad. Cuando este anáslisis no se realiza los resultados de las evaluaciones económicas no se pueden considerar robustos, pues la incertidumbre asociada a los valores de variables importantes como costos y resultados en salud, puede conducir a modificaciones en los resultados finales en términos de preferencia por una u otra alternativa evaluada sobre la base de su eficiencia. La no inclusión de dicho parámetro disminuye la credibilidad del reporte de investigación.

A partir de todo lo expuesto, podemos concluir que aún son escasas las evaluaciones económicas en las publicaciones científicas médicas cubanas. A ello se adiciona que la mayoría presenta limitaciones metodológicas que dificultan su uso pleno en la toma de decisiones, así como la credibilidad, reproducibilidad y transferibilidad. Esta brecha señala un insuficiente desarrollo de esta temática en el país y apunta hacia la importancia de continuar insistiendo en la divulgación de los aspectos metodológicos básicos de estas evaluaciones tanto para investigadores como para revisores y editores de revistas científicas.

AGRADECIMIENTOS

Agradecemos en especial a la alumna de tercer año de medicina Grethel Rodríguez Cabalé del policlínico universitario “Héroes del Moncada” que en el 2009 contribuyó significativamente a la realización de la primera parte de este trabajo.

 

REFERENCIAS BIBLIOGRÁFICAS

1. Taylor RS, Drummond MF, Salkeld G, Sullivan SD. Inclusion of cost effectiveness in licensing requirements of new drugs: the fourth hurdle. BMJ. 2004;329(7472):972-5.

2. Brousselle A, Lessard C. Economic evaluation to inform health care decision-making: promise, pitfalls and a proposal for an alternative path. Social Science Med. 2011;72(6):832-9.

3. Lessarda CH, Contandriopoulosa AP, Beaulieub MD. The role (or not) of economic evaluation at the micro level: Can Bourdieu’s theory provide a way forward for clinical decision-making? Social Science Med. 2010;70(12):1948–56.

4. Rodríguez LP, Silva RR, Wacher NR. Estudios económicos y análisis de decisiones en la autogestión de recursos. Rev Med Inst Mex Seguro Soc. 2007;45(3):297-304.

5. Gálvez González AM, Álvarez Muñiz M, Sarduy Domínguez Y, Morales Laberón M. Diagnóstico de la evaluación económica en salud en Cuba. Rev Cubana Salud Pública. 2004 [citado 19 Dic 2014];30(1). Disponible en: http://scielo.sld.cu/scielo.php?script=sci_arttext&pid=S0864-34662004000100003&lng=es

6. Gálvez González AM. Guía metodológica para la evaluación económica en salud: Cuba, 2003. Rev Cubana Salud Pública. 2004 [citado 19 Dic 2014];30(1). Disponible en: http://scielo.sld.cu/scielo.php?script=sci_arttext&pid=S0864-34662004000100005&lng=es

7. García Fariñas A, Gálvez González AM, García Rodríguez JF. Aspectos metodológicos críticos en las evaluaciones económicas de salud en el contexto cubano. Rev Cubana Salud Pública. 2010 [citado 19 Dic 2014];36(3):233-5. Disponible en: http://scielo.sld.cu/scielo.php?script=sci_arttext&pid=S0864-34662010000300007&lng=es

8. Gálvez González AM, Garcia Fariñas A, Portuondo Sánchez C, Lara Bastanzuri C, Collazo Herrera M. Evaluación económica en salud y toma de decisiones en el contexto sanitario cubano. Rev Cubana Salud Pública. 2012 [citado 19 Dic 2014];38(2):253-62. Disponible en: http://scielo.sld.cu/scielo.php?script=sci_arttext&pid=S0864-34662012000200008&lng=es

9. Ministerio de Salud Pública. Transformaciones necesarias en el sistema de salud pública. La Habana: Ministerio; 2010. Disponible en: http://files.sld.cu/editorhome/files/2010/11/transformaciones-necesarias-salud-publica.pdf

10. Gálvez González AM, García Fariñas A, Portuondo Sánchez C. Producción científica en la maestría de economía de la salud desde la perspectiva de las tesis. Educ Med Super. 2011 [citado 19 Dic 2014];25(4):389-97. Disponible en: http://scielo.sld.cu/scielo.php?script=sci_arttext&pid=S0864-21412011000400001&lng=es

11. Leung HW, Chan AL, Leung MS, Lu CL. Systematic review and quality assessment of cost-effectiveness analysis of pharmaceutical therapies for advanced colorectal cancer. Ann Pharmacotherapy. 2013;47(4):506-518.

12. Gálvez González AM. Economía de la salud en el contexto de la salud pública cubana. Rev Cubana Salud Pública. 2003 [citado 19 Dic 2014];29(4). Disponible en: http://scielo.sld.cu/scielo.php?script=sci_arttext&pid=S0864-34662003000400011&lng=es

13. Schwappach DLB, Boluarte TA. HEE-GER: a systematic review of German economic evaluations of health care published 1990–2004. BMC Health Services Res. 2007;7(1):7.

14. García-Altés A. Twenty years of health care economic analysis in Spain: are we doing well? Health Econ. 2001;10(8):715-29.

15. Iglesias CP, Drummond MF, Rovira J. Health-care decision-making processes in Latin America: problems and prospects for the use of economic evaluation. Internat J Technol Assess Health Care. 2005;21(01):1-14.

16. Neumann PJ, Greenberg D, Olchanski NV, Stone PW, Rosen AB. Growth and quality of the cost-utility literature, 1976-2001. Value Health. 2005;8(1):3-9.

17. Schumock GT, Meek PD, Ploetz PA. Economic evaluations of clinical pharmacy services. Pharmacotherapy. 1999;19(5):555.

 

 

Recibido: 15 de octubre de 2015.
Aprobado: 10 de diciembre de 2015.

 

 

Anai García Fariñas. Escuela Nacional de Salud Pública. Calle 100 No. 10132 e/ Perla y E, Altahabana, Boyeros. La Habana, Cuba.
Dirección electrónica: [e-mail]