Dr C. Rafael Avilés Merens,1 Dr C. Melvyn Morales Morejón,2 Lic. Augusto Sao Avilés3 y Lic. Rubén Cañedo Andalia4
Se realiza una aproximación al análisis, síntesis e integración sistémica de la información, que ocurre durante el transcurso de la investigación metanalítica desde la perspectiva de los procesos de producción de información. Se establecen los antecedentes y las formas de clasificación de los metanálisis. Se estudia cada una de las 6 etapas por las que transcurre la investigación metanalítica, a saber: formulación del problema, búsqueda de la literatura, codificación de los estudios, medida de los resultados, análisis e interpretación y publicación del informe final. Se exponen los diferentes tipos de sesgos que pueden perjudicar la calidad de la revisión metanalítica y se repasan los conceptos estadísticos necesarios para la correcta comprensión de esta clase de estudios.
Palabras clave: metanálisis
An approach to analysis, synthesis and systemic integration of information that occurs during meta-analytical research from the perspecive of information production processes were carried out. The antecedents and classification features of meta-analysis were established. The six meta-analytical research stages were studied to clear up: problem formulation, literature review, studies code, results measurements, analysis, interpretation and publicaction of the final results. The different types of bias that can interfere with meta-analytical review quality and statistical concepts for a better comprehension of these studies were reviewed.
Keywords: meta-analysis.
Un rasgo distintivo del desarrollo alcanzado por la humanidad en los procesos cognoscitivos, investigativos y de toma de decisión frente a la incertidumbre informacional es la velocidad siempre creciente de la transmisión de la información, que genera:
Ello, en conjunto, origina, en los marcos de la llamada Sociedad de la Información, un reto formidable: extraer el conocimiento relevante de la información existente. ]]>
En tal sentido, y en el entorno clínico, CD Mulrow planteó: "En esta era de proliferación y abundancia de las publicaciones ..., la capacidad personal de lectura y absorción de información sigue siendo la misma. Reducir la gran masa de información a piezas masticables es asunto esencial para la digestión".1
Y sentenció más adelante: "Necesitamos revisiones sistemáticas para integrar eficientemente toda la información válida y proporcionar una base para tomar decisiones de manera racional".2
"En estos tiempos, el poder no lo determina la posesión de grandes volúmenes de información, sino poseer información de valor, es decir, información evaluada y analizada, precisa, relevante, confiable, simple y válida. La ignorancia de la existencia de información de valor o la forma de obtener dicha información y, además, la información tardía, lejos de proporcionar poder a una organización, puede conducirla a caminos marcadamente erróneos".3
Tanto el empleo de las nuevas tecnologías de la información y la comunicación ofrece, como resultado directo, la posibilidad de acceder a grandes volúmenes de información, que rebasan las posibilidades de análisis y asimilación de los individuos, como el hecho de que la información no se ensamble (y presente) en forma útil para aquellas personas que toman decisiones (a cualquier nivel), mediante una adecuada síntesis, evaluación y resumen de las opciones disponibles ha generado la búsqueda de métodos para analizar, sintetizar e integrar sinérgicamente la información recuperada.4
Las revisiones cuantitativas, sistemáticas y metanalíticas constituyen una respuesta relevante y significativa a esta situación en los marcos de la atención sanitaria. ]]>
Los metanálisis no representan sólo un cambio cuantitativo, ellos, a partir de la acumulación, evaluación e integración de la información disponible, generan un cambio cualitativo en los acervos de conocimientos existentes sobre determinado objeto de estudio.
La generalización de las investigaciones metanalíticas tiene lugar dentro de la tendencia mundial que concede al desarrollo de la ciencia y de la tecnología, una función decisiva en el logro del bienestar de la sociedad, como vía para solucionar los problemas actuales y futuros y el desarrollo de la sociedad en su conjunto.
Se realizó una búsqueda bibliográfica sobre la metodología metanalítica en diversas bases de datos: Medline, Science Citation Index, entre otras. Para la búsqueda en Medline, se utilizó el descriptor Meta-analysis que indica el MeSH, el tesauro de la Biblioteca Nacional de Medicina de los Estados Unidos. Se emplearon, también, términos afines utilizados por el Institute of Scientific Information, asi como sinónimos o cuasi-sinónimos, obtenidos a partir de las estrategias probadas por los propios autores en las diferentes búsquedas realizadas y del intercambio con otros autores en el tema. Se emplearon diversas técnicas para la localización y posterior recuperación de la información. La participación de los autores en los colegios/académias invisibles, contituyó una fuente esencial para la obtención de información actualizada y, en no pocas ocasiones, información inédita.
El primer intento por agrupar los resultados de las investigaciones mediante el uso de técnicas formales, según M Egger y D Smith, se realizó en 1904 por Karl Pearson en: "Report on certain enteric fever inoculation statistics". Dichos autores opinan, además, que el trabajo titulado "The powerful placebo" de HK Beecher, publicado en 1955 en la revista JAMA, constituye "el primer metanálisis".5
Por su parte, K Dickersin y JA Berlin JA, señalaron, además del trabajo citado de Pearson, los siguientes trabajos: en 1931, LHC Tippett LHC, "The methods for statistics"; en 1932, RA Fisher, "Statistical methods for research workers"; en 1938, F Yates y WG Cochran, "The analysis of groups of experiments"; en 1954, F Mosteller F y R Bush R, "Selected quantitative techniques"; así como los publicados por WG Cochran, "Problems arising in the analysis of series of similar experiments" y "The combination of estimates from different experiments" en 1937 y 1954 respectivamente.6 ]]>
Aunque dicho mérito también puede atribuirse a Cohen J, que, en 1962, realizó un "estudio de agregación" (pooling) de los trabajos publicados en la "Journal of Abnormal and Social Psychology".7
Al respecto, Gómez Benito J, refiere: "los conceptos básicos que subyacen en el meta-nálisis fueron empleados por Thorndike en 1933 y Ghiselli en 1949; sin embargo, no es hasta los trabajos de Light & Smith en 1971, que aparece planteado, en forma específica, el problema de integrar cuantitativamente los resultados de diferentes estudios".8
La mayor parte de la literatura consultada señala que el estudio titulado: "Accumulating evidence: procedures for resolving contradictions among different research studies", publicado en 1971 por RJ Light y PV Smith, constituyó la propuesta metodológica más cercana al meta-nálisis. Denominada "método de recuento o método de recuento de votos (voting method o vote-counting method)", se basa en reunir primero, "... todos los estudios que aportan datos sobre la(s) variable(s) objeto de estudio y, a partir de los resultados de su análisis estadístico" y clasificar después "los informes en tres clases: 1- Resultados estadísticamente significativos a favor de la hipótesis, 2- Resultados estadísticamente significativos en contra de la hipótesis y 3-Resultados estadísticamente no significativos. La clase que contenga la mayor cantidad de estudios (votos) se considera como la de mejor estimación o la de mejor explicación a las contradicciones detectadas".9 Por su simplicidad, se ha utilizado con gran frecuencia y no es de extrañar que aún se emplee.
Dicho trabajo constituyó el primer intento por agrupar los resultados de las investigaciones mediante el uso de técnicas formales.
Hedges y Olkin han señalaron un grupo de limitaciones a esta clase de estudios, entre ellas:10 ]]>
Por su parte, J Cohen, lo califica como: "el torpe y sobre todo inválido método del recuento de las revisiones de la literatura, basado en los valores p (probabilidad asociada al estadígrafo calculado)"11 y R Schwarzer, como: "un intento inadecuado de cuantificación".12
El "método de recuento de votos" no puede considerarse una revisión metanalítica, porque posee además de las limitaciones antes señaladas, las siguientes:
E Garfield, al respecto, planteó: "la idea general del metanálisis existía en los años ´30, o, tal vez, antes; sin embargo, el término no se acuñó hasta el año 1976, cuando Gene V Glass, un especialista de la Universidad de Arizona, elaboró y aplicó un instrumento metodológico para describir sus estudios en psicoterapia y educación: el matanálisis; desde entonces, se han publicado numerosos libros sobre el tema".14
Los procedimientos estadísticos utilizados en la metodología metanalítica para combinar los resultados primarios, como se ha señalado con anterioridad, se desarrollaron en forma paralela en la década del 30 por: Tippett en 1931, Fisher en 1932, Pearson en 1933 y Cochran en 1937.15- 38. En la década de los años 60, R Rosenthal publicó el libro titulado "Meta-analytic procedures" que tuvo una especial repercusión.16
Los trabajos catalogados como "el primer metanálisis" no emplearon un instrumento metodológico, y menos aún, como el desarrollado por Gene V Glass en la década de los años 70. El mérito del primer estudio metanalítico corresponde a este científico.
La revisión o el artículo de revisión, según la definición que ofrece E Garfield en el trabajo titulado "Reviewing Review Literature. Part 1. Definitions and Uses of Reviews" es: "un estudio bibliográfico en el que se recopila, analiza, sintetiza y discute la información publicada sobre un tema y puede incluir un examen crítico del estado de los conocimientos que aparecen en la literatura".17
Una revisión cualitativa o tradicional constituye el primer acercamiento, aún sin una estructura definida, -metodología- a la solución del problema del gran volumen de la información científico-técnica y su dispersión; en ella, se trata de resumir y condensar la gran cantidad de información y explicar las contradicciones detectadas en los resultados de los artículos primarios recuperados.
Dichas revisiones no emplean explícitamente un instrumento metodológico para su elaboración no utilizan métodos cuantitativos (estadístico-matemáticos) para el manejo y el procesamiento de la información.
En esta clase de revisión predomina lo empírico sobre la ciencia, es "más el arte, que ciencia"; debido a la carencia de una metodología explícita, basada en los principios del método científico que guíe su ejecución; ello hace imposible que otros investigadores reproduzcan una revisión cualitativa concluida.
"A menudo son descripciones cronológicas de resultados no pocas veces contradictorios, las que no aportan más que un matiz histórico-anecdótico al corpus de conocimientos científico." 8
En este sentido, CD Murlow afirmó: "El método para identificar y seleccionar la información pocas veces se expone. La información recogida se revisa de cualquier manera, sin evaluar sistemáticamente su calidad. En estas circunstancias, la elaboración de un resumen plausible es una tarea difícil, cuando no imposible." 1
Egger y Smith agregaron: "La revisión clásica cualitativa: es subjetiva y por consiguiente, propensa al sesgo y al error".15
Cuando el número de artículos recuperados y posibles a integrar rebasa la capacidad de los revisores -algo muy común en nuestro tiempo-, se utiliza una (o ambas) de las siguientes opciones:
Variante I. Ponderar los trabajos según:
Cuando se emplea alguno de estos criterios, pueden desecharse trabajos o información de valor, al primar criterios subjetivos. Como consecuencia, se incrementa la probabilidad de ocurrencia de diferentes tipos de sesgos y errores.
]]> Variante II. Integrar la totalidad de la información recuperada.Al respecto, GV Glass, señaló "... es una revisión donde las sinopsis verbales de los estudios se ensartan en listas zigzagueantes...",13 ello origina que, en el informe final de la investigación, se proponga la necesidad de realizar una nueva investigación.16,18
En tal sentido, si se pretende que una nueva investigación pueda solucionar las contradicciones encontradas, es muy probable que al terminar el nuevo proyecto, se llegue a igual conclusión al emplear iguales criterios -ausencia de sistematicidad- en su ejecución. Se está entonces, ante un círculo cerrado sin posibilidades reales de encontrar una explicación objetiva a las contradicciones detectadas en la literatura revisada.
Por su parte, la Colaboración Cochrane plantea: "Lamentablemente, la calidad de las revisiones (cualitativas) deja mucho que desear. Esto se debe a que la mayoría de los editores de estas publicaciones no acometen su tarea sistemáticamente con respeto a los principios científicos, en especial el control de los sesgos y errores aleatorios. La pobre calidad de muchas revisiones ha supuesto que la recomendación sobre algunas formas de atención altamente efectivas se demore durante muchos años, y que otras prácticas asistenciales se recomendaran durante mucho tiempo después de que estudios controlados hubieran demostrado que eran inefectivas o incluso perjudiciales".20
Es sólo válida y viable el empleo de la revisión cualitativa cuando el número de estudios sobre un tema en particular es escaso.8,13,18
Se caracteriza por el empleo explícito de métodos cuantitativos (estadísticos-matemáticos) en el análisis, síntesis e integración sistémica de la información. Es precisamente, la aplicación de los métodos cuantitativos (como herramienta) el rasgo distintivo en relación con la revisión cualitativa" [Sánchez Meca J. Metanálisis en ciencias de la salud. Observaciones no publicadas].18
El metanálisis es un exponente de la revisión cuantitativa.
Desde 1971, RJ Light y PV Smith utilizaron el término metanálisis para referirse al método de recuento o método de recuento de votos.9 Sin embargo, esta propuesta carece de una estructura metodológica, que sólo se logra con el trabajo y los aportes posteriores del psicólogo estadounidense Gene V Glass, que en 1976, publica el trabajo "Primary, secondary, and meta-analysis of research". Es entonces cuando el término metanálisis adquirió su connotación actual como instrumento metodológico de investigación y procesamiento de las fuentes de información y contenido.
Glass define brevemente el término metanálisis como el análisis de los análisis y lo precisa como: el análisis estadístico de una gran colección de resultados de trabajos individuales con el propósito de integrar los hallazgos obtenidos.13
Al referirse a la definición anterior, J Sánchez Meca y M Ato García puntualizaron: más que un mero conjunto de técnicas estadísticas, representa una nueva perspectiva en la acumulación del conocimiento, que se caracteriza por su reproducibilidad, un principio inherente de la investigación científica [Sánchez Meca J. Metanálisis en ciencias de la salud. Observaciones no publicadas].18 Por su parte J Gómez Benito planteó: el metanálisis no puede considerarse una técnica, sino una perspectiva de investigación que emplea técnicas de medición y análisis estadístico.8 ]]>
Su objetivo es realizar un análisis sistémico e integral de la información, como un todo único, sobre el conjunto de resultados de las investigaciones empíricas que analizan un mismo problema, en pos de hallar un resultado sinérgico -conocimiento relevante- o conclusiones factibles de generalizarlas, para prfeccionar el proceso cognoscitivo e investigativo y de toma de decisiones, frente a la incertidumbre informacional en cualquier entorno organizacional, sea científico, empresarial, educacional, social, etcétera.
Así, se delimita el alcance y propósito de la investigación metanalítica de otros dos tipos de investigación científica (primaria y secundaria) que emplean métodos y técnicas estadísticos para analizar los datos.
En palabras de SB Thacker: "... la revisión sistemática y cuantitativa de la experiencia acumulada en un campo de investigación es fundamental para la buena práctica científica. El metanálisis es una metodología que puede someterse a prueba y evaluación empírica. La importancia de su estudio es evidente en un campo como la medicina en el que la información científica se incrementa de forma exponencial y el potencial para la aplicación de estos hallazgos de investigación no tiene procedentes".25
El empleo del metanálisis se ha extendido a casi todos los campos del saber, con diferentes denominaciones, según la rama del saber donde se aplique, entre otras: "revisión cuantitativa o metanálisis", "revisión sistemática", "revisión de la literatura", "investigación-revisión bibliográfica", "revisión crítica de la bibliografía", "artículo de revisión", "revisión de investigación", "análisis cuantitativo de dominios de investigación", "síntesis cuantitativa", "revisión integradora de investigación" e "investigación integradora". No obstante, la mayoría apuesta por el término metanálisis. En inglés, son comunes "overview", "quantitative síntesis", "meta-analysis", "pooling" y "systematic review" [Morales Morejón M. Una tipología de servicios de información en el marco del enfoque servuccional: propuesta de instrumento gerencial para la concepción y producción de servicios y focalización de factores de calidad. Observaciones no publicadas].8,13,14,15,16, 17,18,21,23,25,27,28,29,30,31,32,33,34,35
En sus inicios, el desarrollo de la metodología metanalítica tenía un matiz positivista; sin embargo, lo trascendió y se insertó en la corriente neopositivista, con el empleo de métodos y técnicas cualitativas y cuantitativas, en el análisis, síntesis e integración sinérgica de la información, por ello que se cataloga como una metodología de carácter cualitativa y cuantitativa. ]]>
Desde esta óptica, la revisión metanalítica rebasa las limitaciones de la revisión bibliográfica cualitativa o narrativa predominante hasta su surgimiento, al permitir la réplica de una investigación bibliográfica, una cuestión poco factible cuando se realiza una revisión cualitativa, sobre todo, en áreas del conocimiento que generan una gran cantidad de información científica.
Según la escuela estadística:
1.- Metanálisis frecuentista
Se basa en los postulados de la escuela estadística frecuentista o fisheriana, predominante en la actualidad. Se utilizan los conocidos modelos estadísticos basados en el contraste de una hipótesis nula y una alternativa, a partir de las frecuencias "esperadas" y "observadas"; en la actualidad predomina el "metanálisis a lo fisheriano".
2.- Metanálisis bayesiano
3.- Metanálisis basado en redes neuronales
Este tipo de revisión está aún por llegar; no obstante, si se considera el desarrollo actual y futuro de los métodos estadísticos y su creciente utilización, apoyados por el desarrollo de la informática, constituyen, una posible vía de perfeccionamiento para las futuras metodologías metanalíticas.
Según los estradígrafos empleados en la integración:
A partir de la "Definición del problema de investigación" -la primera etapa de la metodología metanalítica-, se seleccionan las fuentes de información documental, identificadas en la etapa de "Búsqueda de la información" para localizar y recuperar los trabajos primarios (originales) objetos de análisis (figura 1 y 3). Las flechas dobles (figura 2) indican que cada trabajo localizado puede, a su vez, convertirse en una fuente de información para identificar y localizar otros. Dicho ciclo se repite hasta que no sea posible identificar nuevos trabajos (publicados o inéditos). Los trabajos recuperados se someten a un proceso de análisis; la destilación que ocurre, se realiza según los criterios de selección prestablecidos.
Fig. 1. Flujo tecnológico del procesamiento informacional metanalítico
Aquellos estudios que cumplen con los criterios de selección pasan a la etapa de "Codificación". En este momento, se identifican y codifican las características (bibliográficas y de contenido) y se se registran en un libro de codificación con el objetivo de controlar, reducir y, si es posible, eliminar, las amenazas de sesgos que dicho análisis puede presentar.
En el registro de codificación, se recogen todas las variables presentes en los estudios, así como las diferentes definiciones conceptuales y operacionales utilizadas (subyacentes) en los trabajos primarios. Como resultado, se seleccionan las contribuciones que se emplearán en el estudio; entonces se procede a codificar sus características.
En la "Medida de los resultados de los estudios", se determina si se utilizaran las probabilidades o el tamaño del efecto en la etapa de "Procesamiento estadístico"; en esta, a partir de los resultados de las pruebas estadísticas a que se someten las características (bibliográficas y de contenido) llevadas a una métrica común, se determina, si es posible comparar y combinar la información. Tras concluir este proceso, se procede a la "Integración de los resultados" y como producto informacional, se obtiene una "Revisión integradora de investigación", que contiene los resultados del metanálisis para su diseminación.
El análisis, síntesis e integración sistémica de la información comprende una mayor complejidad y gasto de trabajo intelectual socialmente útil, que corresponde con la "Elaboración de reseñas e informes con variantes de solución" perteneciente al "Procesamiento informacional" (anexo 1). Por su objetivo, difiere del "Procesamiento documental" y a la vez, el tipo de "Análisis de contenido" que dentro de dicho procesamiento ocurre, difiere del que tiene lugar en los otros tipos de análisis. Morales Morejón M ha establecido algunas interrelaciones y distinciones entre ambos tipos de procesamiento [Morales Morejón M. Una tipología de servicios de información en el marco del enfoque servuccional: propuesta de instrumento gerencial para la concepción y producción de servicios y focalización de factores de calidad. Observaciones no publicadas], (anexo 2).
La mayoría de los estudiosos coinciden en señalar 6 etapas para la realización del metanálisis (figura 2).8,13,14,15,16,17,18,29,30 Existe un marcado paralelismo entre las etapas de una revisión metanalítica y las etapas por las que transcurre la investigación primaria.18 ]]>
Fig. 3. La búsqueda de los estudios primarios.
Estas etapas, al constituir un sistema, la definición y modificación de una de ellas, influye en las restantes, por lo que la coherencia y sistematicidad en su definición (a priori) facilita la ejecución de la investigación metanalítica. Aunque existen otras propuestas de etapas, éstas no presentan diferencias significativas, mas bien constituyen formas extendidas o detalladas de las 6 etapas anteriores (anexo 3).
Etapa 1. Formulación del problema.
Comprende: ]]>
Pueden definirse (al menos) en tres momentos:
Etapa 2. Búsqueda de la literatura (los estudios primarios).
Una frase de Glass y sus colaboradores, al referirse a esta etapa, en pocas palabras, expresa su importancia capital, cuando plantea:
"El modo en que se busca; determina lo que se encuentra; y lo que se encuentra es la base de las conclusiones de la integración de estudios".36
Como solución paliativa a los problemas que presenta la búsqueda de la información, se recomienda utilizar las siguientes técnicas de identificación y localización -ampliado y modificado de B Gómez:8
Consiste en localizar nuevas investigaciones a partir de las referencias bibliográficas de estudios recuperados previamente; comprende el uso de técnicas de análisis de citas que permiten ampliar la red de fuentes documentales sobre un tema específico mediante las referencias bibliográficas relacionadas, que de forma explícita ofrecen las bases de datos del Institute for Scientific Information de Philadelphia, como es la BD Science Citation Index.
Consiste en localizar los estudios subsecuentes que citan a un documento recuperado; para ello, se utilizan los índices de citas, por ejemplo, "Social Science Citation Index", "Science Citation Index"- ISI y revistas como la British Medical Journal (BMJ), (http://www.bmj.com).
El empleo de palabras claves y descriptores puede constituir el punto de partida para la búsqueda bibliográfica en un tema determinado. Posteriormente, la aplicación de las técnicas de análisis de citas permitiría recuperar documentos no recuperables por materias, en particular cuando la búsqueda se apoya, básicamente en las palabras clave en los títulos.
El empleo de las tecnologías de la información y la comunicación (TIC) actuales posibilita la combinación de dos o más de los procedimientos anteriores. Los "colegios invisibles" tradicionales, alcanzan una nueva dimensión, al valerse de las TIC en las "listas de discusión", "grupos de discusión" o "foros de debate" u otras formas virtuales de intercambio de experiencia (información). No obstante el desarrollo y empleo de estas tecnologías, las búsquedas computarizadas no siempre son específicas, coherentes y exhaustivas porque además, las bases de datos sobre un mismo tema no son mutuamente excluyentes. Estas limitaciones en su uso, aconsejan al menos por ahora, no desechar la búsqueda manual.
El establecimiento de los criterios de selección es un paso crucial en una revisión cuantitativa. Definir los criterios de selección debe constituir un objeto de especial atención.
La participación activa de especialistas con profundos conocimientos sobre el tema objeto de revisión, posibilita definir los criterios de selección de forma clara y precisa. Ante la posibilidad de la ocurrencia de un sesgo en la selección, se deberá someter la propuesta realizada a consulta externa.
Los criterios de selección forman parte del informe final de la revisión, esto posibilita que los lectores puedan evaluar su cobertura, alcance, fiabilidad, validez y pertinencia.
En este acápite, "Criterios de selección", se agrupan los criterios de inclusión, exclusión y eliminación.
Se refiere a: - las características mínimas necesarias que deben presentar los estudios primarios para que sen valore su inclusión en una revisión cuantitativa -se deben definir a priori-, aquellos que cumplan con los presupuestos mínimos constituyen la población objetivo (diana); - los trabajos pertenecientes a la población objetivo que cumplen con las características suficientes necesarias para incluirse en la revisión -es deseable definirlos a priori, su modificación es factible-, forman la población objeto de investigación -en el "meta-análisis prospectivo", definir las características suficientes a priori, evita posibles sesgos, así como su control.
Ejemplo de características mínimas necesarias:
Algunos autores proponen la evaluación de la calidad de los datos (estudios) como criterio de inclusión. Según Strube y Hartman, el examen de la calidad de los datos requiere considerar tres tipos de validez:37
El examen de la validez conceptual afecta a las decisiones sobre el ajuste entre las definiciones operativas y el constructo subyacente.
La valoración de la validez metodológica implica determinar la calidad del contraste de hipótesis, que incluye la evaluación de las amenazas clásicas de la validez interna, así como las variables metodológicas de un área particular.
La validez de la conclusión estadística se refiere a la adecuación de los procedimientos estadísticos aplicados.
Se refiere a las características que, si están presentes en los estudios primarios, justifican su exclusión de una revisión cuantitativa, es decir, que conduce a no incluirlos en la población objeto.
Ejemplo: Cuando la unidad de estudio dentro de una investigación (primaria) no cumple los requisitos definidos en los criterios de inclusión.
Aunque este criterio, no se recoge explícitamente en bibliografía especializada y consultada sobre la metodología objeto de estudio, la experiencia de los autores, como miembros de grupos de investigación en ciencias médicas y afines, lleva a afirmar que la inclusión explícita de los criterios de eliminación, constituye una garantía para proceder frente a situaciones que invalidan el análisis de las unidades de observación que cumplen con los criterios de inclusión, pero que, después de un análisis más profundo, se les detectan insuficiencias, que aconsejan su rechazo y eliminación.
En tal sentido, no todos los estudios que en su inicio se incluyeron en la población objetivo, formarán parte de la revisión, solo aquellos que cumplan con las características suficientes pasan a formar parte de la población objeto.
En el caso de un metanálisis prospectivo, los criterios de eliminación pueden ser:
En la literatura, es posible hallar la repercusión de los criterios de selección en los resultados de la revisión. En un estudio realizado por AD Oxman y GH Guyatt, detectaron "en dos revisiones cuidadosas y sólidas desde el punto de vista metodológico, en las que se investigó si los corticosteroides se asocian con la úlcera péptica, que los autores de cada una de las revisiones utilizaron distintos criterios para seleccionar los estudios que incluirían en cada uno de sus estudios; la diferencia fue la razón principal para que los resultados (llamativos) de las dos revisiones fueran diametralmente opuestos respecto a la existencia de la asociación investigada".38
La población objetivo se conforma con elementos del universo de fuentes de información documentales que contienen o responden a los propósitos de la investigación y a las características cualitativas (criterios de inclusión).
Cálculo del "Indice de tolerancia a resultados nulos".
R Rosenthal desarrolló una fórmula para el cálculo de la tolerancia de un estudio metanalítico a resultados nulos. La fórmula permite determinar la cantidad aproximada de estudios necesarios (y que deben estar guardados en las editoriales) a partir del análisis de los niveles de significación, su interpretación es: "Si el número de resultados nulos necesarios para refutar la significación media de los resultados de los estudios analizados es grande, se concluye que el sesgo de publicación relativo a la amenaza que pueden representar los estudios no recuperados (inéditos) es posible ignorarla".16,39
La fórmula es la siguiente:16,39
donde:
N - número de resultados nulos no recuperados. ]]>
Por su parte RG Orwin, propuso (por analogía) una fórmula que utiliza el tamaño del efecto TE (Effect size).40
Ambas fórmulas calculan el llamado "Indice de tolerancia a resultados nulos" -N (file-safe number).
El Indice de tolerancia a resultados nulos sólo se aplica cuando se combinan niveles de probabilidad.
Cuando se utiliza el "Tamaño del efecto", se emplea un índice análogo, que considera la diferencia media tipificada:40
donde:
N - número de resultados nulos no recuperados.
K - número de estudios integrados en la revisión
d - es la media del tamaño del efecto de los estudios integrados.
dc - es el valor criterio seleccionado del tamaño del efecto de los estudios integrados.
(efectos pequeños = 0,20; efectos medios = 0,50 y efectos grandes = 0,80.
En dependencia del rigor del criterio que se establezca, serán necesarios más o menos estudios contradictorios con los tratados para modificar el sentido de los resultados.
Etapa 3. Codificación de los estudios. ]]>
En esta etapa, de identifican las características metodológicas, sustantivas y extrínsecas de los estudios primarios. Tiene como objetivo conocer si los resultados de los estudios primarios cumplen ciertos requisitos. Como parte de la metodología metanalítica, pretende responder a las críticas referidas a la heterogeneidad de los estudios ("el problema de las manzanas, las naranjas... y algún que otro limón").8,18,36
En la codificación, debe evaluarse la validez y la fiabilidad de los informes.16,36,41 36-51,16-116,41-137 La validez se relaciona con la claridad de las definiciones, la adecuación de la información recogida, el desempeño del codificador en la identificación de las características; en relación a la fiabilidad de las medidas codificadas, la principal fuente de error se origina en los posibles desacuerdos entre codificadores, por lo que se requiere la confección de una "Guía o libro de codificación" donde se plasmen las características objetos de codificación[Sánchez Meca J. Metanálisis en ciencias de la salud. Observaciones no publicadas].8,18,36
JE Hunter y sus colegas, citado por R Schwarzer , plantea: "la codificación puede constituir el 99 por ciento del trabajo en el proceso de la integración. Aún este trabajo puede enteramente derrocharse". Si la variación (heterogeneidad) es debido únicamente al error de muestreo, todo el esfuerzo (en la codificación) será inútil".12
La codificación de los estudios precisa de la creación de un grupo de codificadores.
Las características de los informes se dividen en: metodológicas, sustantivas y extrínsecas [Sánchez Meca J. Metanálisis en ciencias de la salud. Observaciones no publicadas].18,36 Otros autores prefieren agrupar las características objeto de estudio en: metodológicas (incluyen la extrínsecas) y sustantivas.
Se refiere a los aspectos generales de la investigación: deben caracterizarse aquellas que impliquen un riesgo, por ejemplo [Sánchez Meca J. Metanalisis en ciencias de la salud. Observaciones no publicadas]:18,36
El objetivo del estudio de las características metodológicas es que "puede decir algo sobre la coherencia del proceso científico en una determinada área de investigación."18
Son específicas del área y tema (tópico) de la investigación. Debe existir una gran coincidencia entre los estudios que se analizan.
Pueden ser:
Algunos autores unifican las características metodológicas y extrínsecas en una sola categoría llamada características metodológicas.18
Se deben "leer como variables independientes las características de los estudios analizados, y los resultados de los estudios son las variables dependientes".8
Se propone llamar a las características objeto de estudio del procesamiento documental: características bibliográficas y a las restantes, que se estudian en la metodología meta-analítica: características de contenido.
Etapa 4. Medida de los resultados. ]]>
Su objetivo es llevar a una métrica común (a una misma escala) los resultados de los estudios. Se emplean el nivel de significación "p-calculado" y el tamaño del efecto-TE (Effect Size) de cada estudio.
Aunque el empleo de cada una de ellas, conduce a diferentes cálculos y proporcionan diferente información, ambas medidas están relacionadas, por lo que es factible transformar, por ejemplo: el tamaño del efecto en su correspondiente valor del nivel de significación y viceversa.
El nivel de significación "p-calculado" alcanzado por cada estudio, es la probabilidad asociada al estadígrafo calculado, aunque es común escribir en los informes finales (de investigación) el nivel de significación "a" crítico (tabulado o teórico), por ejemplo p<0.05;42 para integrar los resultados de los estudios y en las fórmulas subsiguientes, se necesita conocer su valor calculado exacto -por lo general todos los software lo ofrecen con varias cifras decimales.
"El nivel de significación establece si los resultados obtenidos han ocurrido por azar".37-136
En el esquema de la estadística frecuentista, el tamaño del efecto resulta poco conocido, pero brinda más información que el nivel de significación.
"El tamaño del efecto indica la intensidad de la relación o del efecto de interés".37
El precursor moderno del estudio del tamaño del efecto, Jacoh Cohen, refiere las ventajas de su empleo frente al nivel de significación cuando expresa: "Resulta conveniente utilizar el término "tamaño del efecto" para indicar el grado en que el fenómeno está presente en la población o el grado en que la hipótesis nula es falsa....Cuando la hipótesis nula es falsa, lo es en algún grado específico, es decir, el tamaño del efecto es un valor concreto, distinto de cero, de la población." Cuanto mayor es este valor, tanto mayor es el grado en que se manifiesta el fenómeno bajo estudio".18
En otras palabras, el tamaño del efecto, expresa el grado en que el fenómeno está presente en la población objeto de estudio.
]]> Tipos de tamaños de efecto.Se han desarrollado diferentes índices del tamaño del efecto, tanto paramétricos, para las variables expresadas en una escala de medición cuantitativa o cuasi-cuantitativa (discretas o continuas) como no-paramétricos, para las variables expresadas en una escala de medición cualitativa (nominal u ordinal). En el primer grupo, los más utilizados se basan en la diferencia de medias entre dos condiciones experimentales (tratamientos o intervención) y los basados en el coeficiente de correlación.
HM Cooper, cuando se refiere el empleo de una u otra medida del resultado de los estudios (nivel de significación o tamaño del efecto), plantea: "El nivel de significación estadística sólo permite determinar si un efecto experimental es distinto de cero. Por el contrario, el tamaño del efecto es capaz de responder a la pregunta: ¿en qué medida es distinto de cero?" y agrega: "y, por ende, la información que proporciona es más cabal para los propósitos perseguidos".43
Etapa 5. Análisis e interpretación de los resultados.
En esta etapa, una vez cuantificados los resultados de los estudios mediante los niveles de significación o los tamaños de los efectos y transformados a una métrica común, se sintetizan para obtener un índice global y representativo del conjunto de los resultados que se deben acompañar, además de estadígrafos de la estadística exploratoria, como desviación típica, los cuartiles, rangos, etcétera.8,18
Los resultados obtenidos rara vez son homogéneos como para suponer que la medida global es representativa de todos los estudios. En estas situaciones es precisamente cuando el meta-análisis ofrece su máxima utilidad al facilitar la búsqueda de las causas que pueden explicar (si las hay) los resultados contradictorios y detectar las lagunas en el conocimiento en una determinada área del saber, que sugieran futuras investigaciones, con el objetivo de encontrar sus causas.
La metodología metanalítica propone diferentes procedimientos (a partir de los métodos estadísticos).
GV Glass y sus colegas proponen el uso de diferentes estadísticos descriptivos para sintetizar los resultados globales del metanálisis. En este sentido, son de gran utilidad los métodos exploratorios propuestos por Tukey: histograma digital (stem-and leaf) y los gráficos de cajas (Boxplot), así como la estadística con el desarrollo de los métodos exploratorios (el enfoque exploratorio de Tukey - exploratory data analysis).36
Etapa 6. Publicación del estudio.
Como toda investigación científica, la útlima fase de la investigación metanalítica es la divulgación (publicación) de los resultados obtenidos.
En 1996, por ejemplo, un grupo de investigadores, revisores y lectores del área de las ciencias médicas se reunieron en la "Conferencia sobre la calidad de la elaboración de los informes de metanálisis (QUOROM por sus siglas en inglés)." En dicho encuentro, se abordó "la mejora de la calidad en la elaboración de los informes de los metanálisis de ensayos clínicos controlados." Además, se realizó la declaración QUOROM, consistente en un "protocolo de control de calidad" y un "diagrama de flujo" (anexo ).44
El protocolo de control de calidad describe la mejor forma de presentar el resumen, la introducción, los métodos, los resultados y la discusión del informe de un metanálisis (anexo 5 y 6).
El diagrama de flujo (flujo del proceso) describe las etapas (mínimas) necesarias para la realizar un metanálisis de ensayos clínicos controlados (ECC).
QUOROM plantea: "la calidad del informe no es igual a la calidad (validez interna) del meta-análisis. Esto depende más de la valía "intrínseca" del científico que de la medida en que se explicitan los métodos empleados (a lo que se dedica principalmente la declaración QUOROM). Para lo primero, hay que conocer tanto las técnicas de la revisión sistemática, como el tema de estudio y tener experiencia en investigación. Ello no se consigue simplemente con guías o recomendaciones, aunque algo puedan ayudar".44
La estructura típica de un informe de revisión metanalítico, con ciertas modificaciones realizadas por los autores, es como sigue [Sánchez Meca J. Metanálisis en ciencias de la salud. Observaciones no publicadas]:18,45,46
Es importante indicar, tanto las fuentes formales como informales utilizadas, así como los modelos y estrategias de búsqueda empleados. Si se encuentran revisiones metanalíticas realizadas se deberá incluir una reseña lo más completa posible de ellas.
Codificación de las variables.
3. Análisis y discusión de los resultados.
Los resultados obtenidos en el procesamiento estadístico de los niveles de significación o de los tamaños del efecto por cada estudio y de forma global, las pruebas de dócimas utilizadas en la estadística confirmatoria (inferencial). Estos deben ir acompañados de los correspondientes gráficos.
4. Lista de trabajos integrados.
La hiperinflación informacional existente exige el empleo de herramientas que posibiliten el re-análisis científico del contenido de la información -literatura blanca y gris-, con el objetivo de "separar la información sustantiva de la general", "identificar el conocimiento público desconocido", así como establecer "el papel y lugar de cada equipo de investigación", con el objetivo de estructurar sistemas de vigilancia científica y tecnológica. El metanálisis es una de ellas.
La gerencia de la información en pos del conocimiento y el desarrollo de una medicina basada en la evidencia, como sustrato filosófico y paradigmático del desarrollo de la sociedad, la organización y la clínica moderna, exige de la asimilación y aplicación de los métodos, técnicas, software y herramientas apropiadas para el análisis de la información. ]]>
La asimilación y el desarrollo de las llamadas "Tecnologías blandas", en este caso, las "Tecnologías de los contenidos", permitirá atender las demandas propias del progreso del país y de la competencia en los difíciles entornos internacionales.
El progreso y expansión de las tecnologías de los contenidos es, de hecho, punto de atención por los países altamente industrializados, ellos han destinado no pocos recursos para estos fines.
Anexo 2. Procesamiento documental e informacional: interrelaciones y distinciones.
| Documental | Informacional |
| Continente | Contenido |
| Formal | Contenido |
| Análisis individual de cada documento | Análisis de las tesis de contenido del documento y valoración crítica para su posible integración. |
| Elementos que simbolizan o describen el documento. | Elementos que simbolizan o describen el contenido que puede integrarse o no, y que pueden dar lugar al estado actual y tendencias (state of the art) de la ciencia, la tecnología, etcétera., |
| Revelación de la información explícita relativa sólo al conocimiento conocido. | Descubrimiento del conocimiento en las bases de datos a partir de la identificación de regularidades y otros fenómenos con la aplicación de técnicas de análisis cuantitativo y cualitativo, por ejemplo: hallazgo del conocimiento público desconocido, entre otros tipos de conocimiento. |
| Organización de las fuentes de información y creación de los cimientos para otros procesos, por ello, su importancia capital para el ulterior trabajo de inteligencia informacional; cuando adolece o no tiene la calidad necesaria se origina un caos como el de Internet. | Pérdida de ventajas competitivas cuando no se aplica con sistematicidad, integridad, en particular, por objetivo. |
| Información colectada, procesada y organizada, básicamente, para almacenarla en sistemas de información. | Información recopilada, procesada, organizada, diseminada y utilizada para reforzar la acción y la capacidad competitiva de la organización y de sus miembros |
| Transformación de las características bibliográficas en signos (descriptores, palabras clave, epígrafes, índices, etc.). | Transformación de la información en conocimiento y de éste último en decisiones estratégicas. |
| Herramientas: tesauros y diccionarios, enciclopedias, epigrafiarios, sistemas de clasificación, manuales instructivos, normas, reglas de catalogación, etcétera. | Herramientas: métodos y técnicas bibliométricas, informétricas y cienciométricas; minería de datos; minería de textos; gestión del conocimiento; vigilancia tecnológica; vigilancia económica; descubrimiento del conocimiento en bases de datos; método de palabras asociadas para la generación de clusters (conglomerados) y la mapificación; así como otros métodos de las ciencias afines. |
| Área tradicional de desempeño profesional | Área de reciente creación en proceso de expansión |
| Algunas denominaciones de los especialistas que intervienen en el procesamiento: catalogador, indicador, bibliotecario, documentalista, archivero, traductor, etcétera. | Algunos especialistas que intervienen en el procesamiento: informacionista; gestor de información; gerente de información; analista de información; infonomista; consultor; etcétera. |
| Mayor grado de desarrollo alcanzado por experiencia acumulada. | Menor grado de desarrollo por experiencia acumulada. |
| Procesamiento dicotómico | Procesamiento de carácter continuo. |
| Conocimiento público del know-how y show-how del procesamiento, es decir, ambos se encuentran socializados. | Poco conocimiento público del know-how y show-how del procesamiento; es decir, por su importancia estratégica (comercial, científica, tecnológica, comercial, industrial, política, etc.) presenta un bajo grado de socialización. |
| Carácter público de los resultados y del procesamiento. | Carácter semipúblico o privado de los resultados y del procesamiento. |
| Aparato téorico-conceptual bien definido. | Aparato téorico-conceptual en proceso de desarrollo o de redefinición en algunos casos. |
| Las definiciones del especialista pasan al usuario gradualmente. | Alianzas estratégicas entre diferentes especialistas y tipos de usuarios. |
Fuente: Morales Morejón M. Una tipología de servicios de información en el marco del enfoque servuccional: Propuesta de instrumento gerencial para la concepción y producción de servicios y focalización de factores de calidad. Trabajo presentado en el evento ICOM´2000, del 4 al 8 de diciembre de 2000, Facultad de Comunicación, Universidad de La Habana, La Habana, Cuba.
Anexo 3. El metanálisis por etapas.
Anexo 4. Problemas pertinentes a cada una de las etapas de una revisión metanalítica.
]]>
(a) ¿Las preguntas de la investigación: son específicas, las hipótesis formales y las variables de mayor importancia se han definido?
¿Descansan sus formulaciones en un trabajo previo en el área?
(b) ¿Se definió la bibliografía a revisar?
¿La definición de la literatura a revisar contempla los trabajos más importantes en el tema?
(c) ¿Son razonables los criterios de inclusión y exclusión definidos?
2. Búsqueda de la literatura.
(a) ¿Es representativa e insesgada la muestra de estudios identificados? ]]>
(b) ¿Se estima la amenaza (potencial) de "sesgo de publicación" de incluir en la muestra estudios no-publicados?3. Procedimiento de codificación.
(a) ¿Se describieron los problemas de la codificación?
(b) ¿El sistema de codificación está disponible y contiene los criterios para evaluar (codificar) un estudio potencialmente "confunsing"?
(c) ¿Se validó la codificación utilizando revisores (expertos) externos?
(a) ¿La desviación estándar ponderada se calculó a partir de los efectos individuales "en meta-análisis" de grupos diferentes?
(b) ¿Se describen todos los métodos utilizados para el cálculo del tamaño de efecto?
(c) ¿Se explicitan los procedimientos utilizados para evaluar los "resultados no significativos"
¿Se describen los hallazgos y su incidencia con el campo del conocimiento?
¿Y las implicaciones de "los resultados de no significativos", en relación con las conclusiones y generalizaciones del meta-análisis?
5. Análisis estadísticos.
(a) ¿Los efectos se han ajustado para el sesgo de muestras pequeñas? ]]>
(b) ¿Se examinaron los datos "outliers" identificados por su potencial beneficio heurístico?6. Conclusiones e interpretaciones.
Fuente: Durlak Joseph A, Lipsey Mark W. En: Garfield E. Meta-analysis and the metamorphosis of the scientific literature review. Serie: Arts & Humanities. Current Comments 1991; oct 28;13(22):5-8.
Anexo 5. Informe propuesto por autores, editores y críticos del metanálisis de estudios observacionales. Grupo metanalítico de estudios observacionales en Epidemiología (MOOSE por sus siglas en inglés)
Un informe de metanálisis debe incluir:
En la definición del problema:
En los métodos:
En las conclusiones:
Anexo 5. Informe propuesto por autores, editores y críticos del metanálisis de estudios observacionales. Grupo metanalítico de estudios observacionales en Epidemiología (MOOSE por sus siglas en inglés)
Un informe de metanálisis debe incluir:
En la definición del problema: ]]>
En las estrategias de la búsqueda:
En los métodos:
En los resultados:
En la discusión:
En las conclusiones: ]]>
Anexo 6. Protocolo de control de calidad en la presentación de resultados del metanálisis.
| Categoría | Subcategoría | Ítem | ¿Incluido en informe? (s/n) | Nº págs. |
| Título | Identificar el trabajo como un metanálisis (o revisión sistemática) de ensayos clínicos controlados (ECC) Resumen Utilizar un formato estructurado | |||
| Describir | ||||
| Objetivos | La cuestión clínica explícitamente | |||
| Fuentes de datos | Las bases de datos (es decir, una relación) y otras fuentes de información | |||
| Métodos de revisión | Los criterios de selección (es decir, población, intervención, resultado y diseño del estudio); los métodos de valoración de la validez, análisis de datos y características del estudio, una síntesis de datos cuantitativos suficientemente detallada para permitir la repetición. | |||
| Resultados | Características de los ECC incluidos y excluidos: hallazgos cualitativos y cuantitativos (estimaciones puntuales e intervalos de confianza); y análisis de subgrupo | |||
| Conclusión | Resultados principales | |||
| Describir | ||||
| Introducción | El problema clínico concreto; los fundamentos biológicos de la intervención y los fundamentos de la revisión | |||
| Métodos | Búsqueda | Las fuentes de información, con detalle (p.e. bases de datos, registros, ficheros personales, expertos, agencias, búsqueda manual) y cualesquier restricción (años considerados, situación de publicación, idioma de la publicación) | ||
| Selección | Los criterios de inclusión y exclusión (relativos a la población, la intervención, los resultados principales y el diseño del estudio) | |||
| Evaluación de la validez | Criterios y proceso utilizados (p.e. condiciones encubiertas, valoración de la calidad y sus hallazgos) | |||
| Análisis de datos | Proceso o procesos utilizados (p.e. completados independientemente, en duplicado) | |||
| Características del estudio | Tipo de diseño del estudio, características de los participantes, detalles de la intervención, definiciones de los resultados, etc., y cómo se evaluó la heterogeneidad clínica. | |||
| Síntesis de datos cuantitativos | Principales medidas de efecto (p.e. riesgo relativo), el método de combinación de los resultados (pruebas estadísticas e intervalos de confianza), tratamiento de resultados missing; evaluación de la heterogeneidad clínica; fundamento para cualesquier análisis de sensibilidad y subgrupo a priori; y cualesquier sesgo de publicación. | |||
| Resultados | Flujo de resultados | Ofrecer un perfil del metanálisis que resuma el flujo de resultados. | ||
| Características del estudio | Descripción de cada resultado (p.e. edad, tamaño de la muestra, intervención, dosis, duración, período de seguimiento) | |||
| Síntesis de datos cuantitativos | Selección y evaluación de la validez; presentar un resumen sencillo de los resultados (para cada grupo en cada resultado, para cada resultado primario); presentar los datos necesarios para calcular los tamaños del efecto y los intervalos de confianza en los análisis (p.e. tablas 2x2, medias y DE, proporciones) | |||
| Discusión | Resumir los hallazgos clave; discutir las inferencias clínicas basadas en la validez interna y externa; interpretar los resultados a la luz de la totalidad de la evidencia disponible; describir los sesgos potenciales en el proceso de revisión (p.e. sesgo de la publicación); y sugerir un futuro plan de investigación | |||
| Calidad de la elaboración de los informes de los metanálisis | ||||
El Manual de la Colaboración Cochrane define el sesgo como: "Un error o desviación sistemática en los resultados o inferencias de un estudio" y aclara: "Los sesgos no necesariamente suponen una imputación de prejuicio, como podrían ser las preferencias de los investigadores acerca de unos resultados concretos, y en ello, difiere del uso convencional de esta palabra para hacer referencia a un punto de vista partidario".1
RK Riegelman y RP Hirsch definen el sesgo, como un "factor que produce la desviación sistemática de un resultado en una dirección, en relación con los valores reales".2
Los sesgos o errores sistemáticos amenazan por igual a cualquier tipo de revisión, sea cualitativa o cuantitativa; sin embargo, es en la revisión cuantitativa donde existe mayor conciencia sobre su existencia y se le dedica mayor atención a su estudio, eliminación y control, y esto precisamente es un elemento distintivo entre ambos tipos de revisión.
Sobre el tema de los sesgos y su control, pueden consultarse diversos materiales desde la óptica de la revisión cuantitativa.3,4,5,6,7
En la literatura consultada, se describen múltiples variantes de sesgos (errores sistemáticos) que amenazan la fiabilidad y validez de los resultados de la revisión.
"Los sesgos más importantes en el meta-análisis se derivan de dos fuentes: la inclusión de los estudios en el meta-análisis y la combinación de los resultados de esos estudios para producir una estimación de efecto sumaria".5
A continuación, se describen los sesgos fundamentales que se producen en el proceso de elaboración de cualquier tipo de revisión:
Es el sesgo más estudiado, bajo este nombre se agrupan otros de igual naturaleza (selección, información, etc.), pero que tienen diferente repercusión y control. 4,5,6,7,8,9,10,11,12, 13,14
R Rosenthal, le llama "file-drawer problem" (problema del sesgo de publicación).12,13 116, 117 Por su parte, M Blettner y sus colegas lo denominan como el "fenómeno del iceberg".8
Es la "tendencia a aceptar resultados positivos y rechazar los negativos" por el proceso de arbitraje científico (peer-review).14
Se genera cuando la publicación de los resultados de estudios se basa en la dirección o en la significación de los resultados del estudio.2,7,10 Así, los estudios positivos -estudios que demuestran diferencias significativas estadísticamente- con frecuencia se someten a publicación y se publican más fácilmente que los estudios negativos -estudios que no demuestran diferencias significativas estadísticamente.5
K Dickersin, al estudiar este sesgo, afirma: "Es importante prevenir éste, tanto desde una perspectiva científica (de difusión completa del conocimiento), como desde el punto de vista de quienes combinan resultados de varios estudios similares (meta-análisis)".10
Un ejemplo, tal vez extremo, lo relata LC Silva cuando, al referirse a las dificultades o tropiezos que tiene el arbitraje científico, expone: "el sistema no está exento, sin embargo, de aristas conflictivas, así lo demuestran algunos tropiezos dramáticos como el que tuvo lugar en 1937 con el trabajo de Hans Krebs sobre el ciclo del ácido cítrico, originalmente rechazado por la revista Nature, y que más tarde sería la pieza clave para que el autor fuese galardonado con el Premio Nobel".15
Los documentos escritos, por ejemplo, originalmente en idioma inglés, tienen mayor posibilidad de publicarse, recuperarse y, por ende, tienen mayor probabilidad de citarse en comparación con los trabajos escritos en otro idioma, ello no significa necesariamente que tengan mayor calidad o sean mejores. Este sesgo se refiere a que cualquier estudio metanalítico que considera sólo los trabajos publicados en un idioma, es propenso al sesgo.
Consiste en la inclusión selectiva de los trabajos basados en criterios subjetivos del revisor (sobre la calidad de los estudios). Origina diferencias subjetivas en el peso de los estudios. La muestra puede, independientemente de los factores externos al grupo de revisores, sesgarse a favor de los coauspiciadores de la investigación y en ese caso, la falta de ética científica, es manifiesta.
Por ejemplo, P Knipschild y sus colaboradres, citado por T Greenhalgh T,19 describieron cómo el Premio Nobel, el bioquímico Linus Pauling, utilizó citas selectivas de la literatura médica para "demostrar" su teoría de que la vitamina C ayudaba a sentirse mejor y vivir más tiempo. P Knipschild y sus colegas, realizaron una investigación sistemática en la literatura para encontrar evidencias y contrastar los resultados alcanzados por Linus Pauling, y hallaron que, aun cuando uno o dos ensayos sugirieron fuertemente que la vitamina C podría prevenir el ataque catarro-gripe, había más estudios que no mostraron dicho efecto beneficioso.
Tipo de sesgo de publicación que se refiere a "... la tendencia de todo investigador a dar crédito y llamar la atención de los demás sobre las experiencias que dan apoyo a su punto de vista, y desechar o desacreditar a las que no lo apoyan. En consecuencia, cuando los datos constituyen una novedad o son impopulares, tienden a ser subnotificados en la literatura publicada".2
Frecuentemente se citan más los estudios positivos, es más fácil identificarlos que los negativos. Puede relacionarse con la tendencia a la autocita.
Se origina cuando los resultados de una investigación (de forma parcial o total) se publican en más de una ocasión. Muchas veces los autores cambian ligeramente los textos (no los datos) y envían el trabajo a más de una revista para publicar "los nuevos trabajos".
Carencia de información sobre las variaciones en la magnitud de los tamaños del efecto; no se analizan las posibles variables moderadoras, además de la inadecuada información sobre las muestras, medidas y estadísticos utilizados en los estudios, lo que origina errores en la interpretación de los resultados.
Las instituciones privadas y empresas mantienen en secreto los resultados de sus investigaciones y por ello, es difícil su recuperación y estudio. Esto influye en que en la elaboración de las revisiones tenga, relativamente, poco peso. ]]>
Es probable que cualquier búsqueda restringida a bases de datos electrónicas esté sujeta a sesgo. La intensidad de este sesgo puede estimarse aproximadamente, como la proporción del inverso del número de procedimientos diferentes, mencionado por los autores, cuando buscaron trabajos inéditos.
Error sistemático que amenaza a la fiabilidad de los resultados de la revisión (sistemática), que se origina cuando los documentos más accesibles tienen mayor probabilidad de incorporarse a la revisión. Este sesgo se relaciona con la representatividad de los estudios recuperados. El sesgo de accesibilidad se relaciona con las posibilidades reales (de recursos) para acceder a la información, en la dimensión de Internet, este sesgo es consecuencia de la llamada brecha digital.
M Sánchez y A García, agrupan las principales amenazas en 3 clases:21
Por su parte JA Hattle, citado por SB Thacker, al referirse a las limitaciones de las revisiones de la literatura, señala: "Cualquier enfoque para la revisión de la literatura tiene limitaciones que pueden resumirse en: ]]>
a) Sesgo de selección debido a las costumbres de presentación y publicación de los informes.
b) Falta en los estudios publicados de datos específicos requeridos para la revisión.
c) Sesgo de exclusión debido a las preferencias del investigador.
d) Calidad heterogénea de los datos primarios.
e) Interpretación sesgada de los resultados".22
Y concluye: "Estos problemas son aplicables a cualquier tipo de revisión de la literatura". SB Thacker SB, al referirse a ello, explica: " El revisor ha de preocuparse por dos tipos de sesgo en la literatura publicada:22
Anexo 8. La estadística en la revisión metanalítica.
La estadística más conocida y empleada en la actualidad es la resultante de la escuela frecuentista (fisheriana), unida a los aportes de Neyman-Pearson, que aplican procedimientos cuantitativos a la "inducción".
En el esquema fisheriano de inferencia estadística, no existía la hipótesis alternativa (Ha,); esta se introdujo en dicho modelo por Neyman-Pearson. La controversia suscitada entre el padre y fundador de la estadística moderna y Neyman-Pearson, además de motivar el desarrollo de procedimientos más exactos, condujo a la confusión en ciertos conceptos que aún hoy subsiste, tal es el caso de la probabilidad asociada al estadígrafo calculado "p"; para algunos, tasa de error; para otros, nivel de significación.1
En el modelo de Fisher, p - es "una medida racional y bien definida de la renuncia a aceptar la hipótesis sometida". Si este valor era pequeño, se podía "rechazar" la hipótesis nula como hipótesis improbablemente verdadera. ]]>
En primer lugar, el valor p no debía interpretarse como frecuencia hipotética del error, si se repetía el experimento. Era una medida del carácter probatorio en un solo experimento, que debía emplearse para reflexionar sobre la credibilidad de la hipótesis nula en función de los datos. En segundo lugar, lo consideraba, como medida de carácter probatorio, el valor de p debía combinarse con otras fuentes de información sobre el fenómeno objeto de estudio. Si se empleaba un umbral de "significación", no debía ser un umbral rígido y debía depender del conocimiento previo respecto al fenómeno analizado.1
Es conocido, que emplear, a ultranza, estos procedimientos, implica viciar los resultados de un estudio, así como su interpretación; surgen, entonces, conclusiones que frenan el empleo de los resultados positivos e introducen resultados de "dudosa" calidad.
Las investigaciones realizadas con el objetivo de detectar los errores que se cometen al aplicar las técnicas estadísticas en los artículos publicados en las revistas, no siempre se aceptan para su publicación en las mismas, al evidenciar deficiencias en sus procesos de arbitraje, ello es responsabilidad de los árbitros de cada revista.
En una investigación publicada en 1996, se analizó el uso de los métodos estadísticos utilizados en los artículos publicados por la revista "American Journal of Obstetric and Gynecology", entre enero y junio de 1994. Sus autores identificaron 145 artículos en los que se emplearon procedimientos estadísticos, sólo en 58 artículos su uso se consideró "apropiado" o "se asumió un uso apropiado" para un 40 %; los 87 artículos restantes representan el 60% de las contribuciones estudiadas; en ellos, el empleo de los procedimientos estadísticos se calificó como de "uso cuestionado" y "uso inadecuado". En otras palabras, el 60% de los resultados en los estudios publicados son cuestionables y debe evitarse su introducción en la práctica social.2
La "American Journal of Obstetric and Gynecology" es una revista "núcleo" en su especialidad, se indiza en múltiples bases de datos internacionales, como Science Citation Index y Medline y goza de gran visibilidad y popularidad entre los ginecólogos, obstetras y clínicos en general. ]]>
El metanálisis no puede corregir las deficiencias de diseño que subsisten en un área de investigación primaria (y que, además, no forma parte de sus objetivos), pero esta situación propicia inconsistencias en las revisiones metanalíticas. Por tal motivo, se propone prestar especial atención a la evaluación de la aplicación de los procedimientos estadísticos en los trabajos que se procesan, es decir, al diseño estadístico de la investigación.
Uso de medidas objetivas en el proceso de codificación de las características de los estudios.
La evaluación y codificación de los estudios (etapa 3 de la metodología) se realiza por un grupo de codificadores (expertos).
Consiste en asignar puntuaciones a las características (metodológicas y sustantivas, es decir, bibliográficas y de contenido) que son de interés. Esto se realiza, a partir de las definiciones conceptuales de dichas características previamente establecidas y para ello, se emplea una escala definida con tal objetivo.
La identificación y codificación de las características revisten diferentes grados de complejidad, por ejemplo, al evaluar la calidad de la información (de los trabajos), suele asignarse puntuaciones desde: 0-baja calidad hasta 10-mayor calidad, otros acortan el intervalo de la escala (0-baja hasta 5-alta), en tal sentido, según sea el rango del intervalo (amplitud) puede variar la puntuación (calificación) que recibe cada documento. Existen estudios que señalan la baja consistencia de tal proceder, pero muchos revisores no aceptan esto. Las amenazas por diferentes tipos de errores sistemáticos (sesgos) y criterios subjetivos, constituyen una amenaza latente en la fiabilidad y validez del resultado final de una revisión.
Como alternativa a la evaluación de la calidad de los trabajos por medio del procedimiento anterior, se propone el análisis de la potencia estadística a posteriori de los estudios como criterio métrico de la calidad metodológica de la información.
]]> Potencia estadística.Desde el punto de vista estadístico, se conoce la existencia de 2 posibles errores (Error Tipo I y Error Tipo II).
Ocurre cuando se rechaza la hipótesis nula (Ho) siendo verdadera; es decir, cuanto más probable es que Ho sea rechazada equívocamente, este valor no brinda ninguna información en cuanto a la probabilidad de que la hipótesis nula sea verdadera.
J Cohen J. plantea: "A pesar de los extendidos equívocos, el rechazo de una determinada hipótesis nula Ho no aporta ninguna base para estimar la probabilidad de que una réplica de la investigación de nuevo dé lugar a un rechazo de esa hipótesis nula".1
Ocurre cuando se acepta la hipótesis nula Ho, siendo falsa. No debe confundirse esta concepción del error tipo beta, es decir, de aceptar la Ho siendo falsa, con el concepto de potencia (1 menos beta), que significa incrementar la fortaleza (robustez) de las conclusiones de la investigación (docimacia, es decir, la prueba de hipótesis).
Estos dos errores son inversamente proporcionales, cuando aumenta uno, el otro disminuye; es decir, si se desea tener mayor certeza (probabilidad) de rechazar correctamente la hipótesis nula, aumenta entonces el otro error. Buscar un equilibro entre ambos errores es una decisión del investigador.
Nivel de significación Tamaño del efecto
Tamaño muestral Potencia del contraste
En cualquier prueba estadística, uno de ellos estará en función de los restantes tres parámetros, por lo que entonces puede llegarse a un arreglo en cuanto a definir sus valores y sus consecuencias, según:
A continuación se explican los 4 parámetros arriba señalados:
Es la probabilidad del error en que incorrectamente se rechaza una hipótesis nula que es en realidad verdadera; es decir, se comete el Error de Tipo I. Se representa con la letra griega a (alfa)
Tamaño muestral
Número de unidades objeto de análisis.
Tamaño del efecto
Según J Cohen J es la distancia entre la hipótesis nula y la hipótesis alternativa, en otras palabras, es el efecto del tratamiento o intervención. 1,3
]]> La clasificación de los tamaños del efecto según la prueba estadística es (tabla 1):Tabla 1. Clasificación del tamaño del efecto según J Cohen.1,3
| Dócimas | Índice | Bajo | Medio | Alto |
| Test de diferencias medias-t. | d | 0.20 | 0.50 | 0.80 |
| Test de Correlaciones t. | ]]> r | 0.10 | 0.30 | 0.50 |
| Test F (ANOVA). | f | 0.10 | 0.25 | 0.40 |
| Test F (MCR). | f2 | 0.02 | ]]> 0.15 | 0.35 |
| Test Chi-cuadrado. | w | 0.10 | 0.30 | 0.50 |
Potencia del contraste- (Análisis de Potencia)
Es el grado de certeza o la probabilidad de que se acepte una hipótesis nula cuando realmente es verdadera; es decir, la fortaleza (probabilidad) o potencia de los resultados (conclusiones en términos estadísticos) de la investigación, al rechazar correctamente la hipótesis nula, cuando es falsa.
En otros términos, significa que las conclusiones obtenidas en términos estadísticos presenten una alta tasa de fiabilidad para tomar una decisión correcta para: aceptar o rechazar la Ho.
Potencia = 1 - ß, mientras que el error tipo II es sólo ß.
(Existen fórmulas específicas para cada prueba de hipótesis, implementadas en los paquetes estadísticos para facilitar su cálculo). [Sánchez Meca J. Metanálisis en ciencias de la salud. Observaciones no publicadas].
La Potencia Estadística (1 - ß) es la probabilidad conceptuada como: directamente proporcional al tamaño muestral; si se desea aumentar la probabilidad de tomar la decisión correcta (rechazar la hipótesis nula siendo falsa), se debe aumentar la muestra o variar algunos de los restantes estadígrafos señalados anteriormente.16
Esto no siempre es posible, la razón fundamental es el elevado costo de las investigaciones que esto supone; no obstante, en la etapa del diseño teórico de la investigación se debe calcular el tamaño muestral requerido para obtener resultados fiables - la potencia deseada-.
Ya desde los años 60 del pasado siglo (XX), J Cohen 15,16 llamó la atención sobre los peligros de su desatención. Sin embargo, aún es insuficiente el tratamiento que recibe en el diseño teórico de la investigación. Las causas de esta desatención, además de las mencionadas, son los cálculos engorrosos que implica, pero ¿por qué no se hace en estos momentos, si se dispone de equipos de cómputos y programas -software- al efecto? Para esta interrogante, no existe una respuesta clara.
Cuando no se controla la potencia estadística a priori en la fase de diseño de la investigación, se pueden "encontrar diferencias significativas" cuando no las hay y viceversa.
Sobre esto es oportuno traer a colación una anécdota, contada por J Cohen sobre, en relación con las muestras estadísticas con menos de 30 casos: "... uno de mis compañeros de doctorado realizó una tesis cuya característica peculiar era el tamaño muestral de sólo 20 casos por grupo, así podría demostrar su destreza con los estadísticos para muestras pequeñas. No fue hasta hace algunos años después, cuando descubrí (adviértase que no digo "inventé") el análisis de potencia, uno de cuyos frutos fue la revelación de que, para una comparación entre dos medias de grupos independientes con n = 30 por grupo al santificado nivel bilateral del .05, la probabilidad de que un tamaño de efecto medio pueda etiquetearse como significativo por los métodos más modernos (una prueba t), era tan sólo de .47. De esta forma, obtener un resultado significativo sería aproximadamente como lanzar una moneda al aire, incluso, aunque en realidad, el tamaño del efecto fuera importante. La potencia de mi amigo para n = 20 fue bastante peor (.33), aunque obviamente él no podía saberlo, y alcanzó resultados no significativos con los que procedió a demoler nada menos que una importante parte de la teoría psicoanalítica".1
Por supuesto, esa decisión desacertada se tomó sobre la base de un tamaño muestral pequeño (n menor que 30), para lo cual se aplican estadígrafos para muestras pequeñas. El colega de Cohen, además, no atendió la potencia estadística a priori en la fase de diseño de la investigación y es por eso, que las conclusiones a que arribó, no tenían la fortaleza necesaria que avalar la inferencia que realizó. En todo caso, el rechazo de la hipótesis nula con una baja potencia estadística, no asegura que dichas conclusiones sean replicables.
La potencia estadística a posteriori calculada por Cohen fue de 0,33 (con los datos reales de su colega), lo que indica el carácter espurio de las inferencias que su amigo-doctorante arribó; además, J Cohen calculó la potencia estadística a posteriori bajo la suposición de que su colega trabajase con un tamaño muestral de 30, en lugar del tamaño muestral de 20 con el que trabajó, y obtuvo, una potencia ligeramente superior, 0,47. Obtener un resultado significativo sería aproximadamente como lanzar una moneda al aire, incluso, aunque en realidad, el tamaño del efecto fuera importante. ]]>
Sin embargo, en el ejemplo anterior se utiliza para contrastar la hipótesis con un nivel de significación no adecuado para ese tamaño muestral, ello conduce a trabajar con una potencia de contraste ínfima y, por ende, los resultados obtenidos presentan poca robustez, credibilidad y fiabilidad y esto, sin dudas, influye en el análisis de las restantes características. Dichas variables actúan como perturbadoras o de confusión.
En este caso, debido al tamaño muestral y al nivel de significación inadecuados, los resultados obtenidos fueron poco fiables, creíbles y robustos y, debido a esto, el amigo de Jacoh Cohen, obtuvo en su investigación resultados que contradecían la teoría existente, sin tener hechos reales para esto. De haberse calculado la potencia estadística a priori, se hubiera trabajado con una investigación correctamente diseñada.
Para controlar, a priori, la fiabilidad de los resultados que se alcancen y obtener, por tanto, una mayor robustez, es necesario calcular (a priori) el tamaño muestral adecuado, seleccionar el nivel de significación más apropiada en función de la potencia deseada, y de esta forma, poder detectar si existen realmente diferencias en el tamaño de efecto del tratamiento o intervención.
Nótese que la aplicación del análisis de potencia aquí no se vincula aún al metanálisis. Esta situación se encuentra en la totalidad de la literatura consultada referente al meta-análisis y al análisis de potencia; el análisis clásico de potencia estadística a posteriori sólo está dirigido a calcular y demostrar la robustez de las conclusiones estadísticas alcanzadas, no así, al contenido que éstas encierran; las que pudiesen catalogarse dentro de las técnicas de minería de datos, es decir, hacia otro tipo de análisis de información complementario a lo que se hace hasta el momento.
El uso del análisis de potencia a posteriori en el meta-análisis eleva su eficacia.
Clasificación de la potencia estadística según el momento de su cálculo. ]]>
La clasificación de la potencia estadística, según el momento de su cálculo es (tabla 2):4
Tabla 2. Clasificación de la potencia estadística.
| Tipos de análisis de la potencia estadística | Momento del cálculo |
| Análisis de potencia estadística a priori. | Antes y durante el diseño metodológico de la investigación y antes de recoger el primer dato. |
| Análisis de potencia estadística de compromiso. | En el cálculo de la potencia de compromiso, se condicionan los valores admisibles de los Errores Tipo I y Tipo II, con el objetivo de obtener mejor consistencia o robustez de los resultados. |
| Análisis de potencia estadística a posteriori. | Una vez concluida la investigación, y por lo general publicada, se calcula la potencia estadística de los resultados. |
Este tipo de análisis de potencia se utiliza en la fase de diseño (previa a la ejecución de la investigación) para calcular cuántos sujetos (unidades de observación) se necesitan (el tamaño de la muestra total), ello se determina a partir de valores extremos de alfa y beta, escogidos por el investigador con anterioridad.
Análisis de potencia estadística de compromiso (compromise power analysis).
Este análisis se refiere al valor crítico óptimo que puede considerarse como un compromiso racional entre las demandas de un riesgo de cometer Error Tipo I (a) y una potencia estadística grande, a partir de un tamaño muestral prefijado. Este análisis ofrece una solución de compromiso que posibilita calcular tamaños de muestras "razonables", porque constituye una solución con respecto a los valores que se obtienen a partir del análisis de potencia a priori.
¿Cuándo se utiliza el análisis de potencia de compromiso?
Se utiliza cuando no puede aumentarse deliberadamente el tamaño muestral (N) (ejemplo, cuando se trabaja con pacientes), y no es posible ni ético su aumento, y N es demasiado pequeño para satisfacer los niveles convencionales de a y b debido a su tamaño de efecto.
Datos necesarios para su cálculo. Interpretación.
El problema consiste en: calcular un valor crítico óptimo mediante la prueba estadística que satisfaga beta/alpha = q. Este valor crítico óptimo puede considerarse como un compromiso racional entre las demandas de un "bajo riesgo alfa" y un "nivel de potencia grande", establecido un tamaño de muestra fijo.
]]> Análisis de la potencia estadística a posteriori (Post-hoc power analyses- A posteriori power analysis).El análisis de potencia a posteriori es el que se calcula después de realizar la investigación por lo general, la investigación ya se ha publicado y tiene como objetivo verificar el poder del contraste que alcanza la investigación concluida y cuán fiable son los resultados y su interpretación. En otras palabras, verificar si el tamaño muestral utilizado es el adecuado y se respaldan los resultados obtenidos, su interpretación y conclusiones.
Recibido: 3 de julio del 2004.
Aprobado: 18 de julio del 2004
Dr C. Rafael Avilés Merens ]]>
Facultad de Ciencias Agropecuarias. 1 Doctor en Ciencias de la Información. Profesor Titular. Universidad de Camagüey, Cuba.
2 Doctor en Ciencias de la Información. Profesor Titular Adjunto a la Facultad de Comunicación, Universidad de La Habana, Cuba. Investigador del Centro de Investigación e Informática del Deporte (CINID), INDER, Cuba.
3 Licenciado en Economía. Departamento de Computación. Facultad de Ciencias Médicas "Mariana Grajales Crello". Holguín
4 Licenciado en Información Científico-Técnica y Bibliotecología. Centro Nacional de Información de Ciencias Médicas
Términos sugeridos para la indización
Según DeCS 1
METANALISIS; CONTROL ANALITICO DE LA CALIDAD.
META-ANALYSIS; ANALYTICAL QUALITY CONTROL.
Según DeCI 2
METANALISIS/ clasificación; VIGILANCIA DE LA CALIDAD.
META-ANALYSIS/ classification; QUALITY SERVEILLANCE.
1 BIREME. Descriptores en Ciencias de la Salud (DeCS). Sao Paulo: BIREME, 2004. ]]>
Disponible en: http://decs.bvs.br/E/homepagee.htm