Custom services
Spanish (pdf)
Article in xml format
Article references
Send this article by e-mail
Cited by SciELO 
Similars in
SciELO 
Permalink
Introducción
El extraordinario y progresivo incremento en el número de publicaciones científicas ha planteado desde hace ya algún tiempo la necesidad de realizar revisiones de la literatura médica en un intento de sintetizar los resultados alcanzados en relación a un tema determinado. A esto se añade el hecho de que los estudios individuales dependen de sus características particulares, y pocas veces dan respuestas definitivas a cuestiones clínicas, obteniéndose en ocasiones resultados contradictorios. Pese a todo ello, los conceptos de revisión sistemática y meta-análisis son todavía relativamente recientes, y vienen a formalizar, a mediados de los años 70 1 , el concepto de revisión narrativa, según el cual hasta entonces para revisar la evidencia en torno a un tema de interés se seleccionaba un número determinado de artículos, limitándose habitualmente a contar el número de estudios con resultados positivos y negativos (por ejemplo, aquellos con resultados a favor o en contra de la efectividad de un determinado tratamiento), y con una valoración a lo sumo subjetiva de las características metodológicas o la calidad científica atribuible a cada uno de los trabajos incluidos. En contraposición a la revisión narrativa clásica, la revisión sistemática viene a dotar de un mayor rigor tanto al proceso de selección de los trabajos como a la posterior integración y análisis de los resultados 2.
Puesto que no todas las revisiones sistemáticas de la bibliografía han de incluir necesariamente meta-análisis, en la actualidad se recomienda utilizar ambos términos para acuñar distintas realidades. Así, se suele hablar de revisión sistemática para referirse al proceso de identificar sistemáticamente y evaluar varios estudios del mismo tipo y con un objetivo común, mientras que por meta-análisis nos referiremos habitualmente al conjunto de técnicas estadísticas mediante las cuales se combinan los resultados de estos estudios para obtener parámetros de medida globales.
En atención primaria, al igual que en otras especialidades, las técnicas del meta-análisis pueden contribuir a buscar siempre la mejor evidencia disponible y tomar decisiones sobre el cuidado de los pacientes. Como ejemplo, podemos tomar una investigación reciente 3-4, en la cual se realizó una revisión sistemática de 15 ensayos clínicos sobre la comparación de la terapia clásica antihipertensiva (diuréticos o Beta-bloqueantes) y los nuevos fármacos (IECAS, ARA II, Calcioantagonistas o alfa-bloqueantes) para la reducción de la morbimortalidad cardiovascular. La búsqueda bibliográfica para la selección de los trabajos se extendió a publicaciones electrónicas y consultas de audiciones públicas, cumpliendo las investigaciones seleccionadas criterios de inclusión/exclusión claramente especificados por los autores de la revisión (aleatorización, seguimiento mínimo de 2 años, tamaño muestral>100, etc.). El beneficio de un grupo tratamiento frente a otro se analizó mediante odds ratios (OR), que fueron calculados para cada uno de los estudios originales, y posteriormente combinados mediante meta-análisis para producir un valor OR global, concluyéndose una similar protección cardiovascular de ambas terapias.
Métodos
¿Qué es un estudio de meta-análisis?
Originalmente Glass 5 definió meta-análisis como “el análisis de una colección amplia de análisis de resultados de estudios individuales, con el objeto de integrar los hallazgos”. Hoy podemos definirlo como el estudio sistemático, cualitativo y cuantitativo, de un grupo de informes o artículos de investigación, generalmente enfocado al análisis de un solo aspecto clínico (la etiología de un padecimiento, la exactitud de una prueba diagnóstica, la eficacia de un tratamiento o el pronóstico del curso de una enfermedad), aspecto sobre el cual existan discrepancias, dudas, contradicciones o un “efecto” demasiado pequeño para ser medido a través de investigaciones por separado. 6
Meta-análisis es la evaluación sistemática, organizada y estructurada de un problema de interés utilizando información - comúnmente en forma de tablas estadísticas u otros datos de resumen - de estudios independientes (meta-análisis de datos resumen versus meta-análisis de datos individuales). Presenta un componente cualitativo (localización y selección de la información a combinar) y un componente cuantitativo que es la combinación de la información numérica de estudios independientes. Su objetivo es integrar los hallazgos de estudios independientes, acumular la evidencia, e identificar la tendencia general de los resultados.
Los objetivos del meta-análisis son: aumentar el poder estadístico de los contrastes entre tratamientos, estimar de manera más precisa el tamaño del efecto de un tratamiento específico, comparar y contrastar los resultados divergentes de la literatura (heterogeneidad en las estimaciones), responder preguntas nuevas que los estudios originales no habían planteado, o no podían responder (p.ej., análisis según subgrupos clínicos), orientar trabajos futuros, generando nuevas hipótesis de trabajo, replicación de resultados, generalización de resultados y predicción de futuros resultados. Ver la Figura 1.
¿Por qué se han requerido los estudios de meta-análisis?
En primer lugar, porque la investigación clínica avanza a gran velocidad y no siempre el clínico dispone del tiempo necesario para estar al día en la lectura de los informes publicados y, sobre todo, para estructurar los resultados de manera sistemática y metódica. Es claro que, en última instancia, los clínicos consultan la literatura publicada con el objeto de mejorar la atención a sus pacientes; sin embargo, es raro que aquéllos se conformen con la lectura de un solo artículo porque la práctica les ha enseñado que, hallazgos reportados por un autor pueden ser cuestionados por otros (y ello inicia una controversia) o que, por el contrario, pueden ser confirmados por repetidas investigaciones. El clínico intuye que para llevar a cabo una buena práctica, ésta debe estar basada en el análisis de la evidencia más válida y confiable, la cual le puede ser proporcionada por un estudio de meta-análisis ya sea porque éste demuestre que “x” enfoque es el correcto (o es el equivocado), sobre la base del análisis sistemático y metódico de un número adecuado de informes de investigación relevantes.
En segundo lugar, porque los meta-análisis superan ampliamente a los métodos convencionales de revisión narrativa que suelen aplicarse en las llamadas sesiones hospitalarias de “revisión bibliográfica”, en las que generalmente se discute y se predetermina el método de presentación/ conducción de la sesión, pero se soslaya la discusión sobre el método de análisis de los artículos revisados, de tal suerte que se soslaya el responder preguntas como: ¿Qué artículos, cuántos y cómo, han de ser seleccionados para la “revisión bibliográfica”? ¿Cuál es el objetivo de la revisión? ¿Qué métodos de análisis han de aplicarse para estimar la calidad y pertinencia metodológica y estadística de los artículos revisados?. Cuando a los conductores se les ocurre que la sesión debe de ser crítica, se plantean aquellas preguntas pero conjugadas en pasado ¿Por qué seleccionó estos artículos? ¿Cuál fue el objetivo?, etc. Por lo demás, estas carencias de análisis metodológico y estadístico (que se proyectan ampliamente en las sesiones hospitalarias de “revisión bibliográfica”), se repiten en los capítulos de “antecedentes” y “discusión” en muchos de los artículos de investigación publicados. En efecto, cuando se hace la lectura crítica de los capítulos de “antecedentes”, y/o la “discusión” de un artículo publicado, la mayoría de las veces, se puede observar que el primero (el capítulo de antecedentes) sólo constituye un rosario de exposiciones sobre lo que se ha realizado antes y, el segundo (el de la discusión) una simple confrontación retórica de los resultados con los autores citados en el primero. Los estudios de meta-análisis se efectúan para evitar ambas deficiencias.
En tercer lugar, porque los estudios de meta-análisis pueden identificar las razones de las discrepancias o las contradicciones entre los resultados de las distintas investigaciones y, por tanto, pueden impulsar a rediseñar los estudios con objeto de mejorar la investigación clínica. Además, el meta-análisis puede contribuir a precisar los requisitos uniformes para la publicación de artículos biomédicos, como los planteados en la reunión del grupo de Vancouver, a fin de que éstos contengan la información necesaria y suficiente para corroborar y validar sus resultados. 7-8
Resultados
¿Cómo se diseña, se ejecuta y se reporta un meta-análisis?
Como todo proceso de investigación el proceso de un estudio de meta-análisis inicia con la elaboración de un protocolo, continúa con la ejecución del estudio y finaliza con un reporte, artículo, o informe de investigación. En general el proceso debe contemplar los siguientes aspectos:
El planteamiento del problema
Formulación de hipótesis y objetivos
La metodología del estudio
La ejecución del estudio y elaboración del reporte o informe de investigación meta-analítico.
A continuación se describen cada una de las fases del proceso de investigación meta-análisis
El planteamiento del problema. Para iniciar un meta-análisis es necesario formular con claridad y precisión la pregunta que se intentará resolver. Como en cualquier proceso de investigación, debe establecerse de forma lo más clara y concisa posible la pregunta de investigación que se desea responder y razones para ello.
Formulación de hipótesis y objetivos. Es importante que los objetivos del meta-análisis se especifiquen claramente antes de realizar el estudio. Como en cualquier trabajo de investigación el desarrollo de un protocolo formaliza las decisiones tomadas durante el diseño para conseguir los objetivos. Para cada objetivo general, los investigadores pueden plantear objetivos secundarios, por ejemplo sobre el problema de saber qué tipo de tratamiento era más eficaz. Se deben plantear los siguientes objetivos:
Contrastar la hipótesis de que las grandes diferencias en los porcentajes, reportadas por diversos autores se deben a errores sistemáticos introducidos por los diferentes tamaños de las muestras de cada estudio,
Fundamentar la hipótesis de que las diferencias reales están dadas por errores en las técnicas empleadas y por la incorrecta caracterización clínica de los pacientes,
Contrastar la hipótesis de que el paulatino decremento en los porcentajes, está directamente relacionado con el mayor dominio de las técnicas y con el avance tecnológico en el área,
Demostrar que, una vez ajustados los porcentajes, éstas son menores y
Comparar de mejor manera los porcentajes reportados a nivel internacional.
Cuantificación de los efectos: Los investigadores deberán concretar qué medidas se van a utilizar para medir el efecto de interés, en función del tipo de respuesta a estudiar y el diseño de los estudios revisados. Así, por ejemplo, si la respuesta es binaria (enfermedad/no enfermedad, muerte/supervivencia,…) las medidas de efecto utilizadas suelen ser la diferencia de proporciones, el riesgo relativo o la odds ratio. Por el contrario, si la respuesta es un parámetro numérico (por ejemplo, la determinación de un parámetro analítico) el efecto suele medirse mediante la diferencia estandarizada de medias en los grupos de interés. Si la respuesta es el tiempo a un evento se utiliza el hazard ratio para mediar el efecto. Debe tenerse en cuenta que en los estudios experimentales, con grupos aleatorizados, el propio diseño controla la confusión y los efectos pueden medirse con resultados “crudos” como los descritos.
Por el contrario, en meta-análisis realizados a partir de evidencia observacional, el control del sesgo en el análisis deberá hacerse mediante técnicas de regresión multivariante, siendo los resultados de estos modelos los que deben combinarse en la etapa del meta-análisis para obtener una medida global de interés. Finalmente, es también aconsejable que en el momento de planificación de la investigación se fije la diferencia mínima en la variable respuesta que será considerada de relevancia clínica.
3. La metodología del estudio.
3.1 Estrategias de búsqueda de la literatura. Para efectuar un estudio meta-analítico serio, es fundamental llevar a cabo una búsqueda exhaustiva de la literatura publicada sobre el problema formulado usando palabras clave adecuadas, de manera que la recopilación incluya aquella literatura representativa a efecto de evitar un “sesgo de publicación”. La mayoría de los autores recomiendan que la búsqueda incluya estudios publicados y no publicados. Se sabe con certeza que muchas revistas sólo aceptan estudios con resultados positivos en las que las probabilidades de cometer el error tipo I (rechazar una hipótesis nula equivocadamente) son menores a 0.05. Esta práctica dificulta la búsqueda de los artículos negativos y constituye una fuente potencial para cometer un sesgo de publicación. Por las razones anteriores es recomendable que la búsqueda informática de la literatura indizada, se complemente con la búsqueda manual y la consulta directa a bibliotecas especializadas.
3.2 Criterios de inclusión/exclusión. En función del problema, las hipótesis y los objetivos planteados, se deben señalar a priori qué características han de tener los artículos recopilados para ser incluidos o excluidos en el meta-análisis. Como base para los criterios de inclusión pueden exponerse los siguientes aspectos relevantes: el tipo de diseño metodológico del estudio (por ejemplo, sólo incluir estudios controlados y aleatorizados), el tamaño de las muestras de cada estudio, el tipo de tratamiento tanto experimental como control, el año de publicación del estudio y, sobre todo, que describa con suficiencia las características de los pacientes o las unidades de observación, así como, los resultados obtenidos con las escalas y las unidades de medición que fueron utilizadas.9-13
En ocasiones un investigador puede establecer criterios de inclusión amplios para, posteriormente, formar grupos de artículos distinguibles por alguna característica particular, por ejemplo un grupo de artículos basados en ensayos clínicos aleatorizados y otro grupo de estudios no aleatorizados. En estos casos el objetivo es determinar qué efecto produce cada característica en los resultados del meta-análisis, este procedimiento se denomina análisis de sensibilidad (ver más adelante). Finalmente, los investigadores deben elaborar una lista de los artículos incluidos y excluidos explicando las razones por las cuales se toma una u otra decisión.
¿Qué estudios primarios se incluyen en el meta-análisis?
Todos aquellos que cumplan las condiciones de inclusión establecidas en el protocolo de la revisión sistemática y meta-análisis. La inclusión según criterios de calidad es un aspecto fuertemente debatido. Si se realiza, los criterios de calidad (validez interna del estudio) deben de haber sido especificados en el protocolo inicial. En cualquier caso, siempre es conveniente evaluar la sensibilidad de los resultados del meta-análisis según la calidad metodológica de los estudios incluidos. Hay diversas escalas que evalúan la calidad metodológica de estudios, si bien algunas tienden a evaluar más la calidad en la descripción del estudio que la validez del mismo. La escala de Jadad valora la calidad de los Ensayos Clínicos Controlados (ECCs) en base a 3 criterios (aleatorización, enmascaramiento, y pérdidas) que cubren las principales amenazas (fuentes de sesgos) a la validez de los ECCs: sesgos de selección, de realización, de seguimiento, y de detección.
3.3 Registro de datos y análisis de calidad de estudios. Es muy importante registrar con todo rigor y detalle las características relevantes de cada estudio que se incluya en el meta-análisis. Conviene contar con un formato predeterminado para el registro de la información. El formato debe ser distribuido entre dos colaboradores que sean especialistas en el área temática que se investiga; cada especialista extrae los datos del artículo y, posteriormente, se analiza el índice de concordancia entre ellos. Es recomendable que los especialistas reciban copias de los artículos originales pero sin los datos que puedan identificar los nombres de los autores, el lugar de origen del artículo y el nombre de la revista que los publicó; todo ello con el propósito de evitar sesgos por influencia de estos factores en el juicio de los revisores. Una vez extraídos los datos relevantes de cada estudio, se procede a planear el análisis dirigido a estimar la calidad y la pertinencia de éstos. Para tal fin se puede elegir alguno de los métodos existentes: Puntuaciones de calidad de Chalmers, Puntuaciones del Grupo de McMaster, Criterios Cuantitativos de Feinstein, Criterios de Lichtenstein2 o la Lista de Verificación de Dawson-Saunders3, adaptarlos a las necesidades específicas del meta-análisis o formar un grupo de expertos que generen una guía ex profeso de análisis de calidad. Las calificaciones pueden establecerse en una escala de 0.0 a 1.0 y, sobre la base de estas puntuaciones, clasificar de nuevo los artículos para tomar la decisión de cuáles incluir o excluir para la próxima etapa del estudio. Las puntuaciones de calidad también pueden ser usadas para ponderar cada estudio en el análisis cuantitativo de los resultados. No está de más subrayar que el proceso de determinar la calidad de un informe de investigación exige, aparte de un dominio profesional de la especialidad en cuestión, un gran conocimiento del método científico y de las técnicas estadísticas, más experiencias suficientes en la lectura crítica de la literatura médica. El asunto es de vital importancia, pues se sabe que entre el 70-80% de los estudios publicados a nivel mundial adolecen de fallas metodológicas y estadísticas que invalidan los resultados obtenidos.4) El hecho, como señala Sackett14, de poder hacer un inventario de hasta 35 tipos de sesgos potenciales diferentes, tan sólo en la fase de selección de los sujetos, nos advierte lo difícil que puede llegar a ser el diseñar una investigación clínica rigurosa y, en consecuencia, la capacidad crítica que debe tener un revisor para lograr identificar dichos sesgos; en caso de que se presente uno o más de ellos en una investigación determinada.
Evaluación de la calidad de los estudios incluidos: Junto con la estrategia de búsqueda de información, la calidad metodológica de los artículos revisados es otro elemento clave a la hora de determinar la validez del meta-análisis. Existen publicadas diversas escalas de valoración de la calidad de los estudios, que si bien valoran generalmente los mismos aspectos (diseño del estudio, control de sesgos, tamaño muestral, seguimiento, aleatorización, enmascaramiento, etc.), pueden llegar a resultados discrepantes. En cualquier caso, una vez valorada la calidad metodológica de cada trabajo, algunos autores proponen utilizar las puntuaciones asignadas como pesos en el meta-análisis, mientras que otros defienden la utilización en su lugar de un análisis de sensibilidad.15-16 Ver la Tabla 1 y Figura 2.
3.4 Análisis cuantitativo. Planear el análisis cuantitativo combinado de los artículos incluidos en un meta-análisis, es similar a elegir los métodos estadísticos apropiados para cualquier protocolo de investigación. El primer problema a enfrentar es comprobar que los resultados finales de cada estudio pueden ser combinados. En ortopedia es común esta dificultad debido a que, para un mismo procedimiento quirúrgico (por ejemplo una cirugía de hombro), cada investigador puede reportar sus resultados con una escala de medición diferente.17
Un segundo problema consiste en verificar si las variaciones de los resultados se correlacionan con las variaciones de las características de los diseños metodológicos de cada estudio.
Un tercer problema es determinar cuál es la mejor estimación del valor y del intervalo de confianza de las medidas combinadas de los resultados finales. Las medidas básicas que se pueden realizar en un meta-análisis incluyen el cálculo del tamaño del efecto (Es del inglés “Effect Size”), cuando se trata de combinar estudio con diseños metodológicos comparativos y la variable de desenlace es cuantitativa continua al tamaño del efecto (ES), simplemente resulta de sustraer el promedio del grupo tratado (Xt) el valor del promedio del grupo control (Xc) y dividir el producto entre la desviación estándar del grupo control (Sc), lo cual se expresa en la fórmula Xt -Xc/Sc. Para la estimación del tamaño del efecto se recomienda utilizar: Hedges & Olkin 18, Lipsey & Wilson 19 y Cooper, Hedges & Valentine 20. Ver Tabla 2. Por ejemplo, supóngase que un investigador comparó el nivel de urea sanguínea de dos grupos (uno tratado y otro control) y en el primero el promedio fue de 10.4 mg/dl con una desviación estándar de 1.6 mg/dl, mientras que en el segundo los valores respectivos fueron de 14.0 y 2.2. mg/dl. El tamaño del efecto sería igual a 10.4 -14.0/2.2 = -1.6. En el caso de comparar proporciones las medidas básicas pueden incluir la diferencia de riesgo (Pc-Pt) donde Pc es la proporción del resultado medido en el grupo control y Pt la del grupo tratado. Por ejemplo, un investigador obtuvo 10% de complicaciones en el grupo control (entonces Pc = 0.10), mientras que en otro grupo tratado obtuvo un 3.3% de complicaciones (entonces Pt = 0.033), la diferencia de riesgo sería 0.10 -0.033 = 0.067, lo cual equivale a decir simplemente que reportó 6.7% menos de complicaciones, comparado con el control. Otra medida simple es reportar la razón de riesgo como Pt/Pc (0.033/0.10 =0.33) y expresa que, por ejemplo, la proporción de complicaciones del grupo tratado representó el 33% de la proporción de complicaciones del grupo control. Una medida más usual es la reducción de riesgo proporcional como Pc - Pt/Pc, que en el ejemplo anterior sería 0.10 -0.033/0.10 = 0.67 y expresaría que redujo en un 67% la magnitud del riesgo de complicaciones reportadas. Finalmente, otra medida básica muy importante es la del Número de Pacientes a Tratar (NTT) y sólo es la inversa de la diferencia del riesgo o 1/Pc - Pt, de donde en el ejemplo sería 1/0.10 -0.033 = 14.90. En general, al planear el diseño estadístico del análisis cuantitativo combinado se deben considerar los pasos de la Figura 3 y para la interpretación del efecto la Tabla 2.
Tabla 2 - Interpretación del índice d (Cohen, 1988)
| Interpretación efecto | Índice d |
|---|---|
| Extremadamente grande | > 2.01 |
| Muy grande | 1.51-2.00 |
| Bastante grande | 1.01-1.50 |
| Grande | 0.80-1.00 |
| Medianamente grande | 0.66-0.79 |
| Mediano | 0.50-0.65 |
| Moderado | 0.36-0.49 |
| Pequeño a moderado | 0.21-0.35 |
| Pequeño | 0.11-0.20 |
| Muy pequeño | 0.00-0.10 |
3.4.1 Análisis de homogeneidad y fuentes de variación. Al combinar todos los resultados de distintos estudios individuales, si el efecto es similar, se espera que las variaciones de tal efecto sean tan pequeñas de un estudio a otro que se expliquen sólo por error aleatorio del muestreo. Por ejemplo, un autor puede reportar una reducción del riesgo de 0.06, otro de 0.55, otro de 0.65, otro de 0.50, etc., el análisis de homogeneidad nos indicaría si las diferencias entre estos valores de reducción del riesgo son sólo producto de errores aleatorios y que, en realidad, las diferencias no son estadísticamente significativas (P > 0.05). En caso contrario, si las diferencias son estadísticamente significativas (P < 0.05) los resultados serán heterogéneos y se debe sospechar que probablemente no están midiendo lo mismo al reportar sus resultados sobre las tasas de complicaciones o, dicho de otra manera, que no hay evidencias confiables para sostener que tal tratamiento esté dando buenos resultados en todo los estudios. Kristan, et al 9, refieren una técnica muy sencilla para efectuar un análisis de homogeneidad. La técnica consiste en hacer el gráfico Forest Plot de puntos colocando en el eje X las tasas proporcionales de eventos del grupo. Si la nube de puntos cae sistemáticamente cerca de la recta central, más homogéneos serán los resultados entre los diversos estudios meta-analizados; por el contrario, si la nube de puntos es más dispersa y alejada de la recta central, los resultados serán más heterogéneos y menos confiables, medidos en tasas de reducción proporcional del riesgo. También puede usarse la prueba de Ji cuadrada o el análisis de regresión logística para determinar la homogeneidad de los resultados; es importante tomar en cuenta que diferentes características de los estudios, pueden explicar variaciones en dichos resultados. El análisis de homogeneidad nos indicó que, estrictamente, los estudios sólo podían combinarse formando cada subgrupo según los tamaños, grandes o pequeños, de las muestras.
Análisis de la heterogeneidad de los estudios: La evaluación del grado de heterogeneidad de los estudios puede llevarse a cabo mediante distintas pruebas estadísticas, destaca la prueba Q propuesta por Der Simonian y Laird 14. No obstante, estos tests presentan una potencia muy baja, dado que además en la mayoría de los casos los meta-análisis incluyen un número relativamente pequeño de estudios, aumentando así la posibilidad de cometer un error de Tipo II. Por todo ello, el análisis de la heterogeneidad suele llevarse a cabo mediante métodos gráficos como el gráfico de L’Abbé 15 o el gráfico de Galbraith 16 que permiten inspeccionar visualmente la falta de homogeneidad entre los estudios recopilados.
En caso de que exista heterogeneidad entre los estudios incluidos en la revisión, los investigadores pueden optar simplemente por no realizar el meta-análisis, por obtener una medida agregada del efecto de interés indicando una medida de la variabilidad entre estudios o bien por realizar un análisis por subgrupos homogéneos de ser posible identificar la causa de la heterogeneidad. Ver la Figura 4.
Criterios Cochrane (2008) para valorar I2
0% - 30% --> Puede no ser importante
40% - 50% --> Heterogeneidad moderada
60% - 75% --> Heterogeneidad substancial
90% - 100% --> Considerable heterogeneidad
3.4.2 Combinación de resultados. Cuando el análisis de homogeneidad ha resultado positivo, en ocasiones es pertinente corroborarlo a través del análisis de combinación de resultados. Los métodos de combinación de resultados han transitado desde el poco recomendable de la Decisión por Votos por un panel de expertos (en el panel se comparan el número de estudios con efectos positivos contra el número de estudios con efectos negativos; es decir, estudios con P < 0.05 o con P > 0.05, los expertos deciden por votos si la cuestión investigada, por ejemplo, un tratamiento quirúrgico, es o no efectiva). Este método sólo da idea de la dirección del efecto, pero adolece de no considerar la influencia del tamaño de las muestras de cada estudio y de la magnitud de cada efecto. Otro método consiste en combinar y promediar los valores de las P pero, por las mismas razones expuestas arriba, tal método es poco recomendable. Cuando es posible se puede hacer la combinación de los valores Z (estos valores indican el número crítico de desviaciones estándar entre el promedio del grupo tratado y el control, para rechazar la hipótesis nula de que dichos promedios son iguales). Light y Pillemer 11 estiman la combinación de Z con la fórmula (Suma de Z/raíz cuadrada del número de estudios analizados). Al respecto, señalan como ejemplo cinco estudios cuyas P correspondientes eran 0.12, 0.01, 0.72, 0.07 y 0.17. Con el método de Decisión por Votos, el panel de expertos sólo aceptaría el estudio positivo con P de 0.01 y, como los demás son negativos, se establecería que la cuestión investigada no es efectiva. Por otra parte, si las P simplemente se promediaran, el promedio resultante sería de 0.20 y por tanto no significativo: sin embargo, aplicando la fórmula de sumar los valores de Z y dividiendo el producto entre la raíz cuadrada del número de estudios, se obtendría esta otra situación: los valores de Z fueron 1.17, 2.33, -0.58, 1.48 y 0.95 (Suma de Z = 5.35/raíz cuadrada de 5) el resultado sería Z = 2.59 con una P = 0.009 lo cual establece que la cuestión investigada sí es efectiva. En general, es más recomendable la estimación del riesgo relativo combinado a través del estadístico Mantel-Hanszel el cual es aplicable cuando estudios homogéneos reportan datos categóricos crudos. Otra alternativa es aplicar regresión logística a las razones de probabilidad combinadas a fin de controlar la influencia de características como la edad, el sexo, la dosis terapéutica, etc., sobre la probabilidad de que ocurra un evento dado. En la regresión logística también pueden ser incluidas las puntuaciones de calidad que se hayan asignado a cada estudio en la etapa del análisis cualitativo, de manera que dichas puntuaciones pueden ser identificadas como una covariable para ponderar los resultados finales combinados.
3.4.3 Análisis de sensibilidad. Es posible demostrar que en ocasiones dos meta-análisis sobre el mismo problema pueden llegar a conclusiones muy diferentes; ello puede ser debido a los tipos de estudios que fueron incluidos en cada meta-análisis. Por lo anterior, el análisis de sensibilidad puede indicar cuanto varía un resultado meta-analítico si éste se obtiene incluyendo únicamente estudios aleatorizados o sólo no aleatorizados o bien de la combinación de ambos. El análisis de sensibilidad también puede explicar si un tratamiento funciona diferente, según sexo o edad de los pacientes incluidos en cada estudio. Por otra parte, siempre conviene estimar cuanto puede alterarse un resultado, obtenido de artículos publicados, considerado la aportación de pruebas desde artículos no publicados (sesgo de publicación).
Rosenthal (referido por Light y Pillemer) 11 sugiere la aplicación de la siguiente fórmula X = [(suma Z) 2 /2.706] - K, donde Z son los valores críticos de cada estudio para rechazar las hipótesis nulas correspondientes, K es el número de estudios publicados incluidos en el meta-análisis y X el número de estudios no publicados que podrían cambiar una diferencia combinada, estadísticamente no significativa, a una diferencia significativa. Si el número de estudios no publicados resulta grande es poco probable que exista un sesgo de publicación; en cambio, si el número de estudios no publicados resulta pequeño entonces puede ser probable que, en efecto, exista un potencial sesgo de publicación. En el ejemplo de León y cols 10, aplicando la fórmula de Rosenthal, concluimos que para cambiar los resultados altamente significativos de los estudios publicados con muestras grandes, se necesitarían 8 estudios no publicados negativos y con muestras grandes.
En nuestra opinión, el número de estudios necesarios negativos fue lo suficientemente amplio para decidir que no existió un sesgo de publicación. Por otro lado, también es recomendable incluir en el análisis de sensibilidad la correlación entre tamaño de la muestra de cada estudio con el respectivo tamaño del efecto, así como la correlación entre el tiempo de publicación y los respectivos resultados a fin de evitar sesgos por comparación distemporal, como los que suceden en los ensayos clínicos multicéntricos y en los que utilizan controles externos históricos.
Identificación del sesgo de publicación: Como en cualquier otro estudio, en un meta-análisis deberá valorarse la existencia de posibles sesgos entre los que el sesgo de publicación es uno de los más importantes. Entre los métodos disponibles para valorar el sesgo de publicación el gráfico en embudo o Funnel Plot 18 es quizá el más utilizado, en el que se representa el tamaño muestral de cada trabajo frente al tamaño del efecto detectado. Este tipo de gráficos, puesto que pueden dar lugar a interpretaciones poco objetivas, suelen complementarse con técnicas estadísticas como la prueba de Egger 21) o de Begg 19. Ver las Figuras 5 y 6.
4. Ejecución del estudio y elaboración del informe de investigación meta-analítico. Efectuada una rigurosa planeación del estudio de meta-análisis es imprescindible respetar la ejecución del plan o, en su caso, informar las razones por las que, durante la ejecución, se modificó lo planeado. Por lo demás, el informe de la investigación puede realizarse con el formato universal IMRYD (Introducción, Material y Métodos, Resultados y Discusión). Lo importante es que dicho informe pueda responder con rigor y suficiencia las diez preguntas siguientes, planteadas por Light y Pillemer 11:
¿Cuál es el propósito preciso de la revisión? ¿Están los procedimientos ligados a este propósito?
¿Cómo son elegidos los estudios para ser incluidos? ¿Hay criterios de selección establecidos? ¿Son claras las implicaciones de estos criterios?
¿Hay sesgos de publicación?
¿Han sido examinados los grupos de tratamiento en diferentes estudios, para ver si son similares de hecho como lo son en el nombre?
¿Han sido examinados los grupos de control en diferentes estudios para ver similitudes y diferencias?
¿Cuál es la distribución de los resultados del estudio, hay homogeneidad?
¿Relaciona la revisión los hallazgos de estudios diferentes a un tipo de diseño de investigación?
¿Relaciona la revisión los resultados a aspectos diferentes de: a) programas, b) participantes, y c) escenarios?
¿Utilizan los estudios unidades similares de análisis?
¿Ofrece la revisión guías para diseñar estudios futuros?
Discusión
El paquete estadístico más utilizado en ciencias sociales, el SPSS, carece de funciones para realizar un meta-análisis, y realizar los cálculos introduciendo manualmente las fórmulas es lento y expone a numerosos fallos por errores en la escritura.
Existen programas especialmente pensados para meta-análisis. Algunos, como Comprehensive Meta-Analysis o ClinTools, son pagados, por lo que quedan fuera del alcance del investigador no subvencionado. Existe un programa de Schmidt y Le, que realiza meta-análisis según el método de Hunter y Schmidt, y que se puede solicitar directamente a Frank Schmidt, de la Universidad de Iowa. Evidentemente, esta forma de distribución hace que sea poco conocido. The Meta-Analysis Calculator es un programa online muy sencillo y gratuito, también es gratuito Metastat, que no fueron probados para este estudio.
El RevMan 5.3 de la fundación Cochrane es un excelente programa y es gratuito. No se centra solo en los cálculos, sino que abarca todo el proceso de revisión incluyendo, por ejemplo, un lugar donde añadir las hipótesis o preguntas que originan la investigación o una base de datos para introducir los estudios de los que se obtienen los distintos tamaños del efecto. El programa está diseñado especialmente para la medicina, y resulta poco flexible para otros usos.
Una posibilidad distinta es utilizar añadidos que doten de herramientas de meta-análisis a otros programas. Existen algunos, que no fueron probados, para Excel y SPSS. Por último, el programa R ha añadido el paquete Metafor, para el entorno estadístico R especializado en meta-análisis. Tanto R como Metafor son gratuitos, y, ofrecen bastantes ventajas en comparación con otros programas de estadística, siendo una de las más notorias sus aplicaciones de generación de gráficas. En la Tabla 3 se muestra una comparación entre diferentes sistemas para realizar meta-análisis.
Tabla 3 - Comparación de sistemas para meta-análisis.
| Sistemas | Stata/ WinBUGS | R/ OpenBUGS | MIX | CMA | Rev Man | Meta-Analyst |
|---|---|---|---|---|---|---|
| Sistema Operativo | Windows Mac Linux | Windows Mac Linux | Windows | Windows | Windows Mac Linux | Windows |
| Versión | 10 | 2.6 | 1.7 | 2 | 5.3 | Beta 1.0 |
| Precio | $785 | Libre | Libre | $1.295 | Libre | Libre |
| Importar datos | Si | Si | Si | Si | Si | |
| Interface de Meta-análisis | Macros | Macros | Dedicado | Dedicado | Dedicado | Dedicado |
| Calculadora para estimar parámetros | No | No | No | No | Si | No |
| Meta-regresión | Si | Si | No | Si | No | Si |
| Meta-regresión con efecto aleatorio | Si | Si | No | No | No | Si |
| Solo Grupo | Si | Si | Si | Si | Si | Si |
| Efectos fijos | Si | Si | Si | Si | Si | Si |
| Efectos aleatorios | Si | Si | Si | Si | Si | Si |
| Modelos multinivel | Si | Si | No | No | No | Si |
| Modelos bayesianos | Si | Si | No | No | No | Si |
| Meta-análisis acumulativo | Si | Si | Si | Si | No | Si |
| Análisis de subgrupo | Si | Si | No | Si | Si | Si |
| Sesgo de Publicación | Si | Si | Si | Si | No | No |
| Datos binarios | Si | Si | Si | Si | Si | Si |
| Datos continuos | Si | Si | Si | Si | Si | Si |
| Datos de prueba de diagnóstico | Si | Si | No | No | Si | Si |
| Datos de supervivencia | Si | Si | Si | Si | Si | No |
| Multivariado | Si | Si | No | No | No | Si |
| Documentación de Métodos | Si | Si | Si | Si | Si | Si |
| Forest plot | Si | Si | Si | Si | Si | Si |
| Funnel plot | Si | Si | Si | Si | Si | Si |
| SROC | Si | Si | No | No | Si | Si |
| HSROC Meta-análisis bivariado | Si | Si | No | No | No | Si |
| Editar gráficos | Si | No | No | No | No | Si |
| Capacidades de programación | Si | Si | No | No | No | Si |
| Análisis de sensibilidad | Si | Si | No | Si | No | Si |
| Formato de los resultados | rtf | rtf | MS Excel | rtf Power Point | RevMan | pdf rtf fichero imagen |
Leyenda CMA: Comprehensive Meta-Analysis
Conclusiones
La mayoría de los autores están de acuerdo en señalar tres aspectos fundamentales, sobre los cuales giran las críticas a los estudios de meta-análisis.
El primero establece que los revisores no toman en cuenta la calidad de los artículos analizados y que se combinan “buenos” con “malos”. En realidad ésta es una crítica débil que se heredó de los inicios de los meta-análisis cuantitativos; actualmente la norma metodológica es que, antes de hacer un análisis cuantitativo, primero se lleve a cabo el análisis cualitativo de las investigaciones revisadas.
El segundo aspecto enfatiza los sesgos de comparación destemporal y disespacial que, por lo demás, son comunes a todos los ensayos multicéntricos y a los que utilizan controles externos históricos. Los procedimientos metodológicos para evitar estos sesgos son similares a los aplicados en cualquier tipo de investigación clínica. Al respecto, es posible formar grupos de informes, según fechas de publicación o por lugares de origen, y estimar la influencia tanto del tiempo como del espacio en los resultados de meta-análisis.
El tercer aspecto se ha enfocado hacia el sesgo de publicación. En este aspecto, como hemos dicho, existen propuestas metodológicas y estadísticas para reducir el sesgo de publicación y, como señalan Kristan y cols 9, algunas se encuentran en proceso de perfeccionamiento. Otra cuestión que se discute es que muchos artículos publicados no incluyen la información necesaria y exacta para realizar adecuado meta-análisis. En realidad esta crítica debe ser dirigida a los investigadores y a las editoriales de las revistas en la medida que no respetan las normas internacionales, como las emanadas de la reunión del grupo de Vancouver.
También se ha dicho que no existe un acuerdo pleno sobre cuáles son los métodos estadísticos más apropiados para efectuar el análisis combinado de los resultados; en este aspecto es probable que la crítica sea producto del poco interés que algunos clínicos han puesto al desarrollo de los estudios de meta-análisis, sin embargo, hay cada vez más investigadores que consultan la base de Lyons, la cual ofrece múltiples procedimientos estadísticos para estos estudios.22 En nuestra opinión, las perspectivas de desarrollo son halagüeñas, por lo siguiente: aunque se sabe que los estudios aleatorizados con muestras grandes y de elevada potencia estadística son más confiables, el problema es que tales estudios no son fáciles de realizar debido al enorme costo y el prolongado tiempo que implican, en consecuencia es más probable que los investigadores se decidan por estudios de meta-análisis ya que, inclusive, éstos pueden servir de base para el diseño de estudios prospectivos aleatorizados a gran escala.
Por otra parte, el número de publicaciones aumenta exponencialmente año con año, y los médicos clínicos difícilmente pueden acceder al total de artículos que se publican anualmente sobre su área de trabajo. Es posible que las instituciones hospitalarias asignen personal experto que se dedique exprofeso a “la ciencia de revisar y sintetizar estudios” para implantar una “medicina basada en la evidencia”. Por último, las propias limitaciones que los artículos deficientemente elaborados imponen al desarrollo de meta-análisis, están obligando a los comités de las revistas a perfeccionar sus estándares editoriales y a ser más exigentes en la calidad de las investigaciones publicadas. (23-25
