ARTICULOS CONDENSADOS

Mitos o realidades: a propósito de la publicación de trabajos científicos*

J. Benach de Rovira y J.A. Tapia Granados

*Tomado de Mundo Científico, 1995;15(154):124-30. Condensado por Elsy Cáceres Manso y Rubén Cañedo Andalia. (Esta publicación puede ser consultada en la Biblioteca Médica Nacional.)

Los conocimientos científicos y su desarrollo constituyen uno de los factores más importantes en la transformación del mundo contemporáneo.

Los millones de científicos que hoy día existen en el mundo (casi el 90 % de todos los que han vivido a lo largo de la historia) y las decenas de miles de revistas científicas en las que aquéllos publican y divulgan el resultado de sus investigaciones, gozan de gran prestigio social.

Ese notable prestigio suele ir acompañado, tanto en la población general como en la misma comunidad científica, de toda una mitología referente a las personas (los científicos), su trabajo (las investigaciones), las repercusiones del mismo (las consecuencias prácticas de la investigación) y su difusión (las publicaciones científicas). Entre estos mitos referentes a la ciencia y a la comunidad científica podrían citarse el del científico como individuo cualitativamente distinto del resto de la población, caracterizado por su inteligencia, rigor y objetividad; el de la investigación científica como actividad generadora de conocimiento social sobre temas originales e importantes y cuya finalidad primordial sería su utilidad social; el de las revistas científicas como instrumento idóneo para divulgar los nuevos conocimientos; y el de los mecanismos de control de las revistas científicas mediante los cuales se seleccionarían y publicarían solamente los trabajos de calidad e interés.

El libro Traidores a la verdad, publicado en 1982, dio un buen golpe a esa "mitología científica". Sus autores pusieron de manifiesto que los científicos forman parte de la sociedad, que no son de ningún modo distintos al resto de la población en cuanto a honradez y que en su trabajo, igual que en el de las demás personas, influyen los conflictos de intereses, los prejuicios y las ambiciones. La ciencia ha llegado a convertirse en una "carrera" en la que el objetivo social del científico es obtener prestigio y posibilidades de ascenso que se basan en buena medida en el número de publicaciones. Por lo demás, lo que se investiga y se publica a menudo no se conoce o no se lee por razones diversas, entre las que cabe citar la especialización del conocimiento en la actual investigación científica, las dificultades para entender la jerga del especialista y, sobre todo, la enormidad de la bibliografía existente.

El último mito que mencionamos fue el de los mecanismos de control, que en el mundo científico en general, y en las revistas científicas en particular, permiten la selección de los trabajos que cumplen los requisitos adecuados de interés y calidad. Frente a ese mito intentaremos mostrar que el interés de muchas investigaciones científicas es escaso, muy limitado o nulo; que la tergiversación de datos o el fraude total o parcial en las publicaciones científicas es más frecuente de lo que se piensa; que una buena parte de lo publicado es científicamente erróneo o metodológica mente inválido; y que determinados trabajos científicos de gran interés no se publican, o se publican tras superar grandes dificultades.

LA RELEVANCIA DE LOS TRABAJOS PUBLICADOS

Muchos de los trabajos científicos publicados tienen poca o nula relevancia. No nos referimos al limitado interés que la lectura de un trabajo científico determinado pueda despertar en un investigador de un campo científico diferente. A lo que nos referimos es a la existencia de trabajos sumamente especializados en los que cabe cuestionar su interés para la sociedad en general o la ciencia en particular.

Según los sociólogos Jonathan y Stephen Cole, solamente un reducido número de científicos contribuyen al progreso de la ciencia. De hecho, la inmensa mayoría de los artículos que se publican no se citan nunca en la literatura científica. Se estima que, anualmente, el 35 % de la literatura no recibe ninguna cita, el 49 % recibe solamente una, el 9 % dos, el 3 % tres, el 2 % cuatro, el 1 % cinco y otro 1 % más de cinco. Según un estudio realizado por el doctor Richard Roberts, al menos la mitad de los artículos estudiados eran inútiles o poco confiables aunque aparentemente no hubiera habido fraude.

EL FRAUDE Y LA TERGIVERSACION EN LAS PUBLICACIONES CIENTIFICAS

Entre el fraude científico y la tergiversación más o menos sutil de datos propios o ajenos para ajustarlos a las hipótesis que se quiere mantener hay toda una amplia gama de posibilidades. Los procedimientos van desde la invención simple y llana de resultados, el uso fraudulento de información de otros investigadores, el plagio de lo que otros autores publicaron anteriormente, el autoplagio de los propios trabajos, o el "adorno" o "maquillaje" de los estudios omitiendo todo aquello que resulte "molesto".

Las posibilidades de fraude son infinitas y, aunque no están cuantifica das, parecen ser mucho más comunes de lo que suele creerse. Como decía un editorial del American Journal of Public Health, la malpraxis científica cubre todo un espectro en cuyo extremo inferior se sitúa la publicación duplicada y en el extremo superior se halla el fraude y el plagio.

Según un estudio realizado por el British Journal of Industrial Medicine la proporción de artículos publicados de forma duplicada en esa revista aumentó del 5 % en 1988 al 12 % en 1990. Más aún, otro estudio mostró cómo la publicación de artículos de rectificación de artículos fraudulentos sólo disminuyó en un tercio el número de veces que eran citados.

¿Cuáles son las causas del fraude, del plagio, de la publicación duplicada y de fenómenos similares? Dejando aparte explicaciones de índole individual que podrían explicar la mayor o menor propensión de un individuo a inventarse datos, la presión social a que se ven sometidos los científicos para que publiquen, la dificultad de que se les coja in fraganti y el potente mecanismo de autoengaño consistente en hacer lo que se quiera ver, parecen ser causas plausibles.

A pesar de las apariencias de objetividad y precisión, una buena parte de los artículos científicos tienen errores graves, generalmente de carácter metodológico, que a menudo invalidan las conclusiones. Según una revisión de la literatura médica citada por Sheehan, "dos terceras partes de los estudios que aparecen en las revistas médicas más exigentes tienen fallos de diseño o interpretación lo suficientemente graves para invalidar sus conclusiones". En un airado comentario, Douglas Altman ha protestado contra las investigaciones médicas de baja calidad, señalando lo escandaloso que es reconocer cómo se reconoce que es habitual el uso de métodos equivocados, la aplicación incorrecta de procedimientos técnicos o de análisis, las citas sesgadas de publicaciones previas y la deducción de conclusiones injustificadas.

LA VALIDEZ CIENTIFICA DE LAS PUBLICACIONES

En principio, las publicaciones científicas de alto nivel poseen diversos mecanismos de control de calidad. En los originales enviados a revistas científicas, la revisión por parte de los evaluadores externos e internos de la revista (peer review) habría de asegurar que el trabajo reúne características metodológicas adecuadas -que permiten presumir la reproducción de la investigación- y que las interpretaciones de los datos son más o menos plausibles.

Los libros no suelen pasar por este filtro, ya que el control de la calidad que impone la entidad editora habitual mente no es otro que las buenas perspectivas comerciales de la obra.

La estricta repetición de un experimento o de una observación como los que suelen referirse en artículos de revistas científicas se da muy raramente, en especial en ciencias aplicadas o en ciencias sociales. Lo habitual es que el investigador trate de ir más allá de lo que hicieron otros, a fin de conseguir resultados de mayor alcance. Además, muchos investigadores sólo publican su método de investigación y sus resultados de forma resumida, e incluso no permiten la inspección de los datos en bruto cuando otros investigadores los piden.

En cuanto al sistema de revisión científica de las revistas, está claro que tiene importantes limitaciones. Los revisores científicos forman parte de la élite científica, pero el grado de subjetividad que entrañan sus recomendaciones de publicación o rechazo se refleja en las frecuentes discrepancias entre distintos evaluadores que ha de resolver el director o el comité editorial de la revista. A pesar de su utilidad, a la postre los mecanismos de control de la ciencia y de las revistas científicas no constituyen una prueba definitiva de calidad de un trabajo. En las revistas de primera línea se publican trabajos que de entrada parecen aceptables, cuyo diseño o interpretación no pocas veces resulta erróneo cuando se examina con cierta perspectiva. Pero, además, los trabajos con claras deficiencias casi siempre acaban publicados en revistas de menor nivel de exigencia, después de haber sido rechazados una o varias veces. En conjunto, hay una enorme masa de publicaciones dadas por "válidas" simplemente porque nadie las leyó o las desmintió tras ser publicadas.

LOS OBSTACULOS NO CIENTIFICOS A LA PUBLICACION

Algunos trabajos científicos de gran interés no llegan a publicarse o se publican con grandes dificultades. De entrada, las decisiones de política de investigación sobre los recursos a invertir en distintos campos científicos o temas concretos condicionan en gran medida la cantidad de trabajos científicos que aparecerán en ese campo o sobre ese tema determinado.

Por otra parte, las posibilidades de publicación siempre serán mucho menores cuando se trata de trabajos de autores desconocidos en comparación con los de autores consagrados. Los trabajos de autores de prestigio tienden a ser publicados mucho más frecuente mente que los de autores desconocidos.

Lo que se denomina sesgo de publicación es una tendencia sistemática, ya apuntada por el sociólogo de la ciencia Robert Merton, a que los resultados positivos se publiquen más que los negativos y a que una buena parte de la investigación no se publique de manera que pueda ser adecuadamente valorada. Es un sesgo comprobado en diversas investigaciones y en encuestas con revisores científicos o editores de revistas.

Hay varias explicaciones para este sesgo. En primer lugar, un mecanismo psicológico que lleva a considerar de escaso valor científico la demostración de la inexistencia de una asociación o efecto. Claro está que, en principio, el interés práctico de decir que un procedimiento no tiene cierto efecto es completamente nulo. Pero siempre puede ocurrir que a la vez o a posteriori alguien afirme que ese procedimiento sí tiene ese efecto. Si el resultado negativo no se ha hecho o no se hace público, quedará oculto y no podrá contrarrestar el resultado positivo. Por eso cabe calificar como malpraxis o conducta científica indebida la falta de publicación de los resultados de una investigación. Es evidente que el sesgo de publicación tiene una importancia fundamental cuando de lo que se trata es de saber si un procedimiento es eficaz para tratar determinada enferme dad, objetivo del metaanálisis de los ensayos clínicos.

Por otra parte, cuando ya hay datos que indican la existencia de un efecto o asociación positiva, el sesgo de publica ción puede verse favorecido por un espíritu conformista de los evaluadores o directores de revistas, que tenderán a rechazar o ser poco favorables a publicar resultados negativos para no contribuir así al cuestionamiento o refutación del trabajo de los autores que previa mente mostraron efectos o asociaciones positivas.

Otro mecanismo psicológico que puede explicar el sesgo de publicación es la propensión del personal implicado en la investigación de una técnica nueva a sobrevalorar la eficacia o la efectividad de esa técnica y a minusvalorar sus efectos negativos y desventajas. Todos tendemos a ver la realidad de manera que nuestra labor parezca útil y positiva.

Un caso extremo de autoengaño es aquél en el que la lógica tendencia a presentar como positiva la labor propia lleva al investigador a ocultar en su publicación los inconvenientes de la técnica nueva que propone, o a publicar únicamente los resultados favorables a su técnica o a su interpretación teórica. Cuando de ello se desprenden ventajas económicas para un investigador o una entidad científica o comercial, ya es difícil considerar que se trata de un autoengaño. Esa deformación de la realidad sólo puede denominarse fraude. Los datos científicos se convierten así en propaganda más o menos tergiversada.

Los temas que no forman parte de los paradigmas científicos dominantes pueden encontrar especiales dificultades de publicación.

Actualmente, el prestigio y las posibilidades de ascenso social de los científicos se basan en gran medida en el número de artículos científicos publicados. El renombre suele lograrse por la publicación en revistas del máximo prestigio, pero en general la cantidad suele ser mucho más importan te que la calidad. No es de extrañar, por tanto, que en los últimos decenios se haya producido un enorme incremento en el número medio de autores de cada artículo. Así, por ejemplo, mientras que a principios de siglo, el 80 % de los trabajos tenía una sola firma, en la actualidad el 80 % tiene varias y su tendencia es creciente.

La presión que sufren los científicos para que publiquen el máximo número de artículos, ocasiona fenómenos tales como el denominado "mínima unidad publicable" o "publicación salami", la cual permite obtener el máximo posible de artículos (como rodajas de salchichón) de un determinado trabajo científico, además de que un enorme número de publicaciones tiene una utilidad más que cuestionable.

La profusión mundial de publicaciones científicas imposibilita un examen minucioso de las mismas, incluso por los propios especialistas de cada tema, y estimula la aparición de efectos perniciosos. Dada la enorme cantidad de revistas científicas y la amplísima gama de criterios de aceptación -desde la extrema rigidez a la más absoluta liberalidad-, se puede decir que los malos artículos serán tarde o temprano publicados, con tal que los autores insistan en enviarlos a sucesivas revistas.

La capacidad de los sistemas de control de calidad de las revistas científicas para detectar y corregir los efectos perniciosos apuntados, es mucho menor de lo que se puede pensar.

Después de todo, el resultado final de la actividad científica sólo se logra cuando el autor o los autores ponen al alcance de la comunidad científica sus investigaciones. No obstante, es necesario combatir la tendencia a "publicar por publicar" o a hacer investigaciones cuyo interés es más que dudoso.