EDUCACIÓN PERMANENTE

 

Cómo hacer más fiable la investigación que se publica

 

How to make more published research true

 

Como tornar mais confiável a pesquisa publicada

 

 

John P. A. Ioannidis

(Tomado de: PLoS Med. 2014;11(10). e1001747. doi:10.1371/journal.pmed.1001747)*.

 

 

---

 

 

Los logros de la investigación científica son asombrosos. La ciencia se ha desarrollado desde que unos pocos aficionados se dedicaran a una vibrante industria donde más de 15 millones de personas han escrito más de 25 millones de trabajos científicos solamente entre 1996 y 2011¹ en todo el mundo. Sin embargo, los descubrimientos verdaderamente fiables y de más fácil aplicación son cada vez más escasos. Muchas de las nuevas asociaciones y/o efectos propuestos son falsos o burdamente exagerados,^2,3 y la conversión del conocimiento en aplicaciones útiles es a veces lenta y tremendamente ineficaz.⁴ Dada la abundante información existente, la meta-investigación (es decir, la investigación cuyo objeto de estudio es la propia investigación) puede proporcionar estimados empíricos de la prevalencia de factores de riesgo en los altos índices de falso-positivos (estudios infundados; pequeño tamaño del efecto; escaso desarrollo de estudios previos; flexibilidad de los diseños, las definiciones, los resultados y los análisis; sesgos y conflictos de intereses; patrones endogámicos y falta de colaboración).³ En la actualidad, aproximadamente el 85 % de los recursos de investigación se malgastan.⁵

 

Aspectos esenciales Actualmente, los resultados de muchas investigaciones publicadas son falsos o exagerados, y se estima que el 85 % de los recursos de investigación se malgastan. Para que la investigación científica sea más fiable, se pudieran adoptar prácticas procedentes de disciplinas específicas que han mejorado la credibilidad y la eficacia. Tales posibilidades incluyen la adopción de una investigación colaborativa a gran escala; la cultura de replicación; el registro; el intercambio, las prácticas de replicación; mejores métodos estadísticos; la normalización de definiciones y análisis; niveles estadísticos más adecuados (por lo general más estrictos) y el mejoramiento de las normas de diseño de los estudios, el sistema de arbitraje, la notificación y la diseminación de la investigación, y la formación de la fuerza de trabajo científico. La selección de las intervenciones para mejorar las prácticas de investigación requiere un análisis riguroso y pruebas experimentales siempre que sea factible. Se necesitan acciones adicionales para entender y explotar las motivaciones de varios de los colaboradores que trabajan en la investigación científica, quienes difieren en el grado en que se interesan en promover resultados dignos de publicación, de apoyo financiero y de ser introducidos y aprovechados en la práctica. Es necesario hacer modificaciones en el sistema de recompensas de la ciencia, que influirán en las tasas de cambio de valores (por ejemplo, las publicaciones y el financiamiento) y en los productos científicos adquiridos (por ejemplo, la promoción y otras fuentes de poder científico o administrativo) e introducirán el valor que mejor se avenga a una investigación digna de introducir y reproducir.

 

INTERVENCIONES EFICACES

Tenemos que realizar acciones eficaces para mejorar la credibilidad y la eficacia de la investigación científica. Algunos de los factores de riesgo de los falsos resultados son inmutables, como el escaso tamaño del efecto; sin embargo, otros se pueden modificar. Debemos disminuir los sesgos, los conflictos de intereses y la fragmentación de los esfuerzos en favor de una investigación objetiva, transparente y colaborativa con mayor uniformidad. Pero también debemos tener en cuenta la posibilidad de que las intervenciones dirigidas al mejoramiento de la eficacia científica causen un daño colateral o despilfarren muchos recursos. Para poner un ejemplo extremo, podríamos eliminar fácilmente todos los falsos positivos con solo desechar aquellos estudios con sesgos incluso mínimos, con hacer que las preguntas de la investigación sean tan insulsas que a nadie le importen los resultados (o que no colisionen con intereses externos) y con aspirar a que todos los científicos de cada especialidad unan fuerzas en un único protocolo normalizado y en un solo plan de análisis: el índice de error se reduciría a cero, simplemente porque nunca se haría investigación alguna. De este modo, cualquier solución que se proponga debería ser pragmática, factible y susceptible de evaluación en cuanto a su efectividad.

En la actualidad, puede que las principales decisiones acerca de cómo hacer una investigación se basen con demasiada frecuencia en las convenciones y la inercia en lugar de ser altamente creativas o basadas en datos.^5-15 Por ejemplo, existen pruebas que indican que quienes revisan las solicitudes de financiamiento tienen currículos muy modestos y la mayoría de los científicos de mayor influencia no participan en el arbitraje de las solicitudes de financiamiento ni reciben fondos del gobierno, incluso en los Estados Unidos,⁶ lo que indiscutiblemente tiene en este momento un gran impacto científico en cualquier país. Probablemente, prácticas contrarias a la meritocracia, como el nepotismo, el sexismo y el conservadurismo injustificado, están muy extendidas.⁷ Los sesgos de fiabilidad y confirmación tienen mucho peso en los procesos científicos.^8,9 En la atención sanitaria y la práctica clínica, aunque la medicina basada en datos científicos se ha desarrollado mucho con el transcurso del tiempo, algunos argumentan que en la actualidad está en crisis¹⁰ y que la terminología de lo "basado en pruebas" ha sido usurpada para promover creencias basadas en criterios de expertos e intereses de la industria.¹¹ Tenemos pocas pruebas experimentales de cómo y cuándo se debe hacer un arbitraje (por ejemplo, basado en protocolos, basado en manuscritos, después de la publicación)^5,12,13 o cómo se deben otorgar los fondos de investigación.^14,15 Muchas de las estructuras científicas dominantes datan de la Edad Media (por ejemplo, las categorías científicas) o del siglo XVII (por ejemplo, las asociaciones profesionales, la publicación de revistas), a la vez que su conveniencia para el desarrollo actual de la ciencia es incierta. Al mismo tiempo, hay una evidente tensión en la expectativa de que las decisiones sean más imaginativas y mejor basadas en datos científicos; tal vez sea el caso que la burocracia y la práctica científica requieran de otros actores, con habilidades diferentes. E incluso, puede ocurrir que un sistema demasiado concentrado en el afán de erradicar la discriminación injusta también elimine aquella discriminación necesaria y racional que permita adoptar decisiones inteligentes. Aunque ciertamente pudiéramos introducir cambios que empeoren la ciencia, también pudiéramos introducir intencionalmente algunos que la mejoren. Una opción sería adoptar, en tantas disciplinas científicas como sea posible, prácticas de investigación que han funcionado con éxito en otros espacios. A continuación se exponen algunos ejemplos que pudieran ayudar a incrementar la proporción de verdaderos hallazgos de investigación:

• Investigación colaborativa a gran escala.
  
  
• Adopción de una cultura de replicación.
  

• Registro (de estudios, protocolos, códigos de análisis, grupos de datos, datos en bruto y resultados).
  

• Intercambio (de datos, protocolos, materiales, programas y otras herramientas).
  

• Prácticas de reproducibilidad.
  

• Control de los patrocinadores y autores con conflictos de intereses.
  

• Métodos estadísticos más adecuados.
  

• Normalización de las definiciones y de las técnicas de análisis.
  

• Niveles más estrictos para reclamar descubrimientos o "éxitos".
  

• Mejoramiento de las normas de diseño de estudio.
  

• Mejoramiento del sistema de arbitraje, de comunicación y diseminación de la investigación.
  

• Mayor capacitación de las fuerzas de trabajo científico en materia metodológica y estadística.
  

El impulso de una investigación colaborativa a gran escala con una fuerte cultura de replicación¹⁶ ha sido exitosa en varios campos biomédicos: en particular, en la epidemiología genética y molecular. Estas técnicas han ayudado a transformar la epidemiología genética que pasó de ser un campo espurio¹⁷ a erigirse como uno de los más creíbles.¹⁸ Tales prácticas se pueden aplicar a otros campos de la investigación observacional y más allá.¹⁹

La replicación tiene diversas connotaciones en contextos y diseños diferentes. En los estudios básicos de laboratorio y preclínica, la replicación debe ser factible por defecto, pero incluso en esos casos, se debe establecer a priori qué aspectos esenciales se necesitan para que se reproduzca y cuán aceptable es la heterogeneidad.²⁰ En algunas investigaciones clínicas, la replicación es difícil, especialmente en estudios muy grandes, a largo plazo y caros. Es necesario que el propósito de realizar replicaciones se contemple e incorpore directamente en el diseño del plan de investigación.¹² De lo contrario, algunas cuestiones no se manejan del todo o se abordan solo mediante estudios simples que nunca se reproducen, a la vez que algunos están sujetos a múltiples replicaciones innecesarias o incluso metaanálisis redundantes para combinarlos.²¹

El registro de ensayos aleatorizados²² (y más recientemente, también el de sus resultados)²³ ha incrementado la transparencia de la investigación de los ensayos clínicos y ha permitido el análisis de los sesgos,^24,25 aun cuando no los resuelven completamente. Esto pudiera poner de manifiesto las redundancias y permitir una mejor visualización de la evolución de todo el corpus de investigaciones en un campo dado. Actualmente se propone un registro para muchos otros tipos de investigaciones, incluyendo tanto los estudios observacionales humanos²⁶ como no humanos.²⁷

En varias áreas se ha promovido el intercambio de datos, protocolos, materiales y programas, lo que crea un sustrato para la práctica de replicación.^28-31 De igual forma, la promoción del intercambio de datos en torno a los ensayos clínicos pudiera mejorar la credibilidad de la investigación clínica.³² Se ha reparado en algunas desventajas, tales como la posibilidad de que varios analistas hagan valoraciones contradictorias, las dificultades para no identificar a los participantes y la posibilidad de que las partes introduzcan dudas en aquellos resultados que afecten sus intereses, tal como sucede con los escapes de diesel y el riesgo del cáncer.³³ Se ha propuesto (no sin debate) desdeñar los trabajos cuyos patrocinadores o autores exhiban conflictos de intereses. Tal propuesta abarca a estudios con diseños tan diversos como los análisis de costo-efectividad,³⁴ los metaanálisis^35,36 y las guías de práctica clínica.³⁷ En todos estos tipos de estudio se ha demostrado que la participación de los patrocinadores sesga las conclusiones a favor de sus intereses.

La adopción de métodos estadísticos más adecuados,³⁸ de definiciones y análisis normalizados y de niveles más estrictos para poder reivindicar descubrimientos o "éxitos"³⁹ pudiera reducir los índices de falsos-positivos en campos que han sido hasta ahora demasiado indulgentes (como la epidemiología,⁴⁰ la psicología,^41,42 o la economía,⁴³). Esto pudiera darles mayor credibilidad, muy similar a la conseguida en áreas que tradicionalmente han sido más rigurosos en este sentido, como las ciencias naturales.⁴⁴

El perfeccionamiento de las normas de diseño de estudio podría mejorar la fiabilidad de los resultados.⁴⁵ Por ejemplo, en los estudios de intervenciones de la Medicina Veterinaria, esto incluiría la aleatorización y el enmascaramiento de los investigadores.²⁷ Existe interés creciente en proponer que se aprueben listas de comprobación en la realización de los estudios,^46,47 fundamentales para asegurar que los elementos que integran dicha lista sean conceptuados como esenciales y que a la vez que su cumplimiento resulte verificable.

La comunicación, revisión, publicación, diseminación y valoración de los resultados ya publicados, son todos elementos que conceden credibilidad a las investigaciones. En la actualidad existen múltiples acciones para mejorar y normalizar la comunicación (por ejemplo, la que promueve el proyecto EQUATOR)⁴⁸ y numerosas ideas acerca de cómo cambiar el sistema de arbitraje de los trabajos científicos (quiénes, cómo y cuándo), así como la forma en que se disemina la información.^25,49-51 Por último, la adecuada formación y superación continua de los científicos en métodos de investigación y alfabetización estadística también son medulares.⁴⁷

LOS PARTICIPANTES

Una vez que se ha diseñado, probado e implementado acciones en las prácticas de investigación, necesitamos comprender quiénes son los que se afectan y quienes dan forma a la investigación.^5,52,53 Los científicos son solo un grupo dentro de una gran red (tabla 1) cuyos integrantes pueden tener expectativas diferentes. Puede que los participantes quieran que la investigación pueda ser publicada, financiada, introducida o aprovechada. Las expectativas no están necesariamente alineadas entre sí. Puede que los científicos sigan publicando y obteniendo financiamiento sin hacer progresos reales, si sobrevive la idea de que lo que importa es producir más publicaciones y obtener más financiamiento. Que los inversores privados que desean patentes y ganancias sean los principales financiadores de la ciencia, podría conducir a la concreción práctica expedita y a descubrimientos que funcionen (o que parezca que funcionen), pero también a barreras contra la transparencia y el intercambio de información. La influencia del mundo empresarial pudiera subvertir la ciencia con fines publicitarios, mediante artículos publicados en revistas influyentes, reuniones de prestigiosas asociaciones y un sistema profesoral de líderes de opinión que se convierten en ramificaciones de sus departamentos de mercadeo.^11,54 El panorama de la producción científica cambia con rapidez; por ejemplo, pronto habrá más trabajos en idioma inglés procedentes de China que de Europa y EE.UU.⁵⁵ Los esfuerzos de investigación se concretan en las sociedades más grandes, que han aportado avances científicos que difieren de acuerdo con el período de tiempo y la ubicación. ¿Qué se puede hacer para ampliar la capacidad de desarrollo y evaluación de la ciencia y qué se puede hacer para promover en todas las culturas la capacidad de cambiar de actitud hacia el escepticismo, la curiosidad y el razonamiento inconformista? Cada participante tiene sus propias preferencias con respecto a la promoción o no de la replicabilidad. Los equipos de la industria farmacéutica han abogado por hacerlo en la investigación preclínica^56,57 debido a que dependen de las investigaciones científicas de este tipo que, en la actualidad, conciernen a medicamentos redituables. En cambio, la industria es refractaria al intercambio de datos de los ensayos clínicos³⁰ en el momento de desarrollar el producto puesto que los nuevos análisis pudieran, correcta o incorrectamente,⁵⁸ invalidar las pruebas que sustentan los medicamentos en los cuales ya se ha invertido fuertemente.

Las dinámicas entre los diferentes actores participantes son complejas. Además, algunas veces la misma persona puede tener varios involucramientos; por ejemplo, el investigador científico puede a la vez ser editor de la publicación, propietario de una sucursal de la compañía, funcionario de una sociedad profesional, asesor del gobierno o beneficiario de la industria.

VALORES DE LA INVESTIGACIÓN

Las publicaciones y las becas para los proyectos son "monedas" fundamentales de la ciencia (tabla 2). Por su conducto se adquieren "productos" académicos, tales como promoción y poder. Los títulos académicos y el poder aumentan la "riqueza" de su poseedor. La tasa exacta de cambio de los valores y el precio de los productos académicos⁵⁹ pueden variar de unos microambientes institucionales a otros, entre disciplinas y según las circunstancias científicas prevalecientes; y también pueden resultar afectados por la parcialidad o la injusticia de cada microambiente (por ejemplo, el nepotismo, el amiguismo y la corrupción). El poder administrativo, las conexiones y el cabildeo dentro de las universidades, las asociaciones profesionales endogámicas y las relaciones académicas distorsionan adicionalmente el panorama. Quienes ostentan el poder pueden favorecer a quienes se distinguen por hacerle el juego al sistema, producir una investigación considerablemente mediocre o irrepetible, controlar el sistema de arbitraje en las revistas y secciones de estudio, disfrutar de una burocracia estéril y manipular, y promover a los que piensan y actúan de la misma manera. Hay también ventajosas oportunidades para quienes saben captar la importancia de los recursos que son redituables. Por ejemplo, el registro de los estudios clínicos funcionó porque todas las publicaciones importantes lo adoptaron como requisito previo para la publicación,⁶⁰ un importante componente de referencia en la cadena de recompensas. En cambio, los atractivos esfuerzos para la evaluación posterior de lo ya publicado, como el de PubMed Commons,⁶¹ no han demostrado hasta ahora todo su potencial como vehículos del progreso en la evaluación de la investigación, probablemente porque no hay en la actualidad incentivo alguno para este tipo de arbitraje después de la publicación.

MODIFICACIONES DEL SISTEMA DE RECOMPENSAS

El sistema de recompensas pudiera ser estructuralmente modificado.⁶² En cualquier parte, la modificación de las intervenciones pudiera ir desde un ajuste ligero hasta uno sustantivo. En la tabla 2 se expone una comparación entre la situación actual (primera columna) y dos posibles modificaciones del sistema de recompensas, donde el "Cambio 2" es más radical que el "Cambio 1".

El sistema actual premia el número de publicaciones, los "grants" recibidos, los títulos científicos y las posiciones de poder previamente acumuladas. Los investigadores de más alto nivel tienen más trabajos y más financiamiento. Sin embargo, los científicos en la cima de su carrera (por ejemplo, los rectores universitarios) tienen aportes modestos, mediocres o escasos, tanto en materia de publicaciones como de citas.⁶³ Esto pudiera deberse a que su habilidad de cabildeo compensa su falta de credenciales, y su éxito se produce a expensas de otros candidatos más dignos que le darían más rigor y valor intelectual a la toma de decisiones de los superiores; podría deberse también a que ellos se destacan en el trabajo burocrático necesario para mantener la fantástica maquinaria académica funcionando, y sus habilidades les permiten a sus colegas mejor dotados desde el punto de vista científico concentrarse en la investigación. El sistema actual no incentiva la replicación —a veces penaliza a las personas que desean reproducir rigurosamente un trabajo previo— e impulsa a los investigadores a afirmar que su trabajo es altamente novedoso y significativo.⁶⁴ El intercambio (de datos, protocolos, códigos de análisis, etc.) no se incentiva o exige, salvo en algunas excepciones notables.^65-67 Con la falta de recursos financieros y la competencia ("los contrincantes robarán mis datos, mis ideas y posiblemente hasta mi financiamiento"), el intercambio se convierte incluso en una decepción. Otros aspectos del medio científico, como el sistema de arbitraje de alta calidad, no se valoran adecuadamente. El sistema de arbitraje puede ser un proceso beneficioso, que actúa como una red de seguridad y un mecanismo para aumentar la calidad. Pero también puede ser superficial, conducir solamente a modestos avances del trabajo revisado y permitir la aceptación de contribuciones abiertamente inexactas.^68,69 Este es tan poco valorado y recompensado que no se espera ni que estimule los logros reales ni que minimice los daños atribuibles a dichos trabajos.

Los valores que se muestran en la tabla 2 tienen un propósito ilustrativo, para hacer pensar en la clase de estímulos que afectan el proceso del trabajo científico. Estos valores variarán a través de microambientes, situaciones y campos específicos. El valor putativo de 1 se otorga por una unidad de publicación (por ejemplo, un trabajo como primer autor o autor principal en una revista encumbrada de la disciplina), uno de 5 por una cuantiosa asignación obtenida por el investigador (por ejemplo, un R01 en los EE. UU.). Y uno de 2 para un investigador postdoctoral; esto significaría que un científico obtendrá un mismo valor cuando publica cinco de esos trabajos como primer autor o autor principal que cuando obtiene un "grant" como investigador principal, cuando publica dos de estos trabajos o cuando consigue un colega en plan postdoctoral que trabaje para él.

Además, aquello que constituye una unidad de publicación también pudiera variar a través de las disciplinas: en las áreas donde las personas publican con moderación, un solo artículo puede ser suficiente para ser visto como una unidad de publicación, mientras que en los campos donde es usual que las personas pongan sus nombres en cientos de trabajos, a veces con una autoría múltiple exagerada, puede que sean necesarios diez de tales contribuciones para alcanzar una unidad equivalente de publicación. Las tendencias inflacionistas, tales como la publicación redundante y fragmentada⁷⁰ y la autoría múltiple, han hecho que la vigencia de la publicación pierda con el transcurso del tiempo su valor relativo en muchas disciplinas. Realizar ajustes asociados a la autoría múltiple sería muy factible.^71,72 El conocimiento de las contribuciones individuales en cada trabajo permitiría incluso una mejor asignación de crédito.⁷³

En el primer ejemplo de propuesta de modificación del sistema de recompensas que aparece en la tabla 2, el valor de las publicaciones se diferencia principalmente en dependencia de si se trata de una replicación y de una traducción a la práctica. Se le da valor a las ideas y a los resultados atinados que se replican y se pueden reproducir,⁷⁴ en vez de incentivar la publicación per se. Se otorga valor añadido a las publicaciones que conducen a cosas que funcionan, tales como los tratamientos efectivos, las pruebas de diagnóstico o las herramientas de pronóstico que mejoren de manera evidente los resultados importantes de los estudios clínicos. Se obtiene valor adicional cuando se intercambia y participa de forma significativa en el sistema de arbitraje y en las actividades educativas de probada eficacia. Puede que alguna que otra vez un árbitro o un editor aporten el mismo valor que un autor.

El segundo ejemplo de propuesta de modificación que aparece en la tabla 2 supone incluso mayores modificiaciones en el sistema de recompensas. Además de los cambios adoptados en el primer ejemplo, la obtención de financiamiento, los premios y otras prerrogativas pesan negativamente, a menos que el autor entregue ciencia de buena calidad en mayor proporción. Los recursos y el poder se ven como oportunidades, y los investigadores necesitan cotejar su producción con las oportunidades que se les han ofrecido —mientras más oportunidades haya, mayor será la producción esperada (replicada y quizás, con suerte, trasladada a la práctica)—. Las categorías científicas carecen de valor alguno en este modelo, e incluso puede que se eliminen: los investigadores simplemente tienen que mantener un equilibrio favorable en el balance de la producción con respecto a las oportunidades de que dispuso. En este escenario, deliberadamente provocativo, los investigadores estarían reacios a obtener financiamiento o a volverse poderosos (en el sentido actual), ya que esto se vería como una rémora. Los posibles efectos adversos pudieran servir para desalentar ambiciosas solicitudes de financiamiento y liderazgo.

Estas ventajas y desventajas demuestran que, cuando se llega a modificar la estructura de las carreras científicas, tal como cuando se modifica la fisiopatología en un intento por combatir la enfermedad, las intervenciones pueden causar tanto daño como beneficio. Dada la complejidad de la situación, el impacto real de las intervenciones se debe evaluar de forma imparcial y segura.

PROCESO DE PERFECCIONAMIENTO

Aún se desconoce cuánto se puede mejorar la eficacia actual de la investigación. A pesar de las enormes ineficiencias existentes, es casi seguro que se puedan conseguir mejoras sustanciales. Se debe tener en cuenta el perfeccionamiento de las políticas existentes y de las intervenciones más molestas y radicales, pero ni la presencia ni la ausencia de un intento revolucionario deben tomarse como un recurso sucedáneo que garantice un impacto real. Existen muchos escenarios diferentes de la evolución de la investigación biomédica y la investigación científica en general, cada uno más o menos compatible con la búsqueda de la veracidad y el bienestar humano. Las intervenciones para cambiar el sistema actual no se deben aceptar sin un adecuado escrutinio, aun cuando sean razonables y bien intencionadas. Lo ideal sería que fueran evaluadas de forma experimental. Los logros de la ciencia son sorprendentes; sin embargo, actualmente la mayoría de los esfuerzos de investigación se malgastan. Sería enormemente beneficioso poner en práctica acciones que hagan que la ciencia sea menos derrochadora y más efectiva para nuestra salud, nuestra satisfacción y nuestra comprensión de la verdad, y ayudar así a que la investigación científica alcance sus nobles objetivos.

REFERENCIAS BIBLIOGRÁFICAS

1. Boyack KW, Klavans R, Sorensen AA, Ioannidis JP. A list of highly influential biomedical researchers, 1996-2011. Eur J Clin Invest. 2013;43:1339-65.

2. Ioannidis JP (2008). Why most discovered true associations are inflated. Epidemiology. 2008;19:640-8.

3. Ioannidis JP. Why most published research findings are false. PLoS Med. 2005;2:e124.

4. Contopoulos-Ioannidis DG, Alexiou GA, Gouvias TC, Ioannidis JP. Life cycle of translational research for medical interventions. Science. 2008;321:1298-9.

5. Macleod MR, Michie S, Roberts I, Dirnagl U, Chalmers I. Biomedical research: increasing value, reducing waste. Lancet. 2014;383:101-4.

6. Nicholson JM, Ioannidis JPA. Research grants: Conform and be funded. Nature. 2012;492:34-6.

7. Wenneras C, Wold A. Nepotism and sexism in peer-review. Nature. 1997;387:341-3.

8. Nickerson RS. Confirmation bias: A ubiquitous phenomenon in many guises. Rev Gen Psychol. 1998;2:175-220.

9. Mynatta CR, Dohertya ME, Tweneya RD. Confirmation bias in a simulated research environment: an experimental study of scientific inference. Quarterly J Exp Psychol. 1977;29:85-95.

10. Greenhalgh T, Howick J, Maskrey N. Evidence Based Medicine Renaissance Group Evidence based medicine: a movement in crisis? BMJ. 2014;348:g3725.

11. Stamatakis E1, Weiler R, Ioannidis JP. Undue industry influences that distort healthcare research, strategy, expenditure and practice: a review. Eur J Clin Invest. 2013;43:469-75.

12. Chalmers I, Bracken MB, Djulbegovic B, Garattini S, Grant J, et al. How to increase value and reduce waste when research priorities are set. Lancet. 2014;383:156-65.

13. Rennie D, Flanagin A. Research on peer review and biomedical publication: furthering the quest to improve the quality of reporting. JAMA. 2014;311:1019-20.

14. Danthi N, Wu CO, Shi P, Lauer M. Percentile ranking and citation impact of a large cohort of national heart, lung, and blood institute funded cardiovascular R01 grants. Circ Res. 2014;114:600-6.

15. Ioannidis JP. More time for research: fund people not projects. Nature. 2011;477:529-31.

16. NCI-NHGRI Working Group on Replication in Association Studies, Chanock SJ, Manolio T, Boehnke M, Boerwinkle E, et al. Replicating genotype-phenotype associations. Nature. 2007;447(7145):655-60.

17. Ioannidis JP1, Tarone R, McLaughlin JK. The false-positive to false-negative ratio in epidemiologic studies. Epidemiology. 2011;22:450-6.

18. Panagiotou OA, Willer CJ, Hirschhorn JN, Ioannidis JP. The power of meta-analysis in genome-wide association studies. Annu Rev Genomics Hum Genet. 2013;14:41-465.

19. Khoury MJ, Lam TK, Ioannidis JP, Hartge P, Spitz MR, et al. Transforming epidemiology for 21st century medicine and public health. Cancer Epidemiol Biomarkers Prev. 2013;22:508-16.

20. Bissell M. Reproducibility: The risks of the replication drive. Nature. 2013;503:333-4.

21. Siontis KC, Hernández-Boussard T, Ioannidis JP. Overlapping meta-analyses on the same topic: survey of published studies. BMJ. 2013;347:f4501.

22. Zarin DA, Ide NC, Tse T, Harlan WR, West JC. Issues in the registration of clinical trials. JAMA. 2007;297:2112-20.

23. Zarin DA, Tse T, Williams RJ, Califf RM, Ide NC. The ClinicalTrials.gov results database-update and key issues. N Engl J Med. 2011;364:852-60.

24. Dwan K, Gamble C, Williamson PR, Kirkham JJ, Reporting Bias Group. Systematic review of the empirical evidence of study publication bias and outcome reporting bias - an updated review. PLoS ONE. 2013;8:e66844.

25. Chan AW, Song F, Vickers A, Jefferson T, Dickersin K, et al. Increasing value and reducing waste: addressing inaccessible research. Lancet. 2014;383:257-66.

26. Dal-Re´ R, Ioannidis JP, Bracken MB, Buffler PA, Chan AW, et al. Making prospective registration of observational research a reality. Sci Transl Med. 2014;6:224.

27. Macleod M. Why animal research needs to improve. Nature. 2011;477:511.

28. Stodden V, Guo P, Ma Z. Toward reproducible computational research: an empirical analysis of data and code policy adoption by journals. PLoS ONE. 2013;8: e67111.

29. Donoho DL. An invitation to reproducible computational research. Biostatistics. 2010;11:385-8.

30. Peng RD. Reproducible research in computational science. Science. 2011;334: 1226-7.

31. Peng RD, Dominici F, Zeger SL. Reproducible epidemiologic research. Am J Epidemiol. 2006;163:783-9.

32. Doshi P, Goodman SN, Ioannidis JP. Raw data from clinical trials: within reach? Trends Pharmacol Sci. 2013;34:645-7.

33. Montfortin C. Weight of the evidence or wait for the evidence? Protecting underground miners from diesel particulate matter. Am J Public Health. 2006;96:271-6.

34. Kassirer JP, Angell M. The journal's policy on cost-effectiveness analyses. N Engl J Med. 1994;331:669-70.

35. Jørgensen AW, Hilden J, Gøtzsche PC. Cochrane reviews compared with industry supported meta-analyses and other meta-analyses of the same drugs: systematic review. BMJ. 2006;333:782.

36. Gøtzsche PC, Ioannidis JP. Content área experts as authors: helpful or harmful for systematic reviews and meta-analyses? BMJ. 2012;345:e7031.

37. Institute of Medicine. Clinical Practice Guidelines We Can Trust. Washington, D.C.: National Academies Press; 2011.

38. Nuzzo R. Scientific method: statistical errors. Nature. 2014;506:150-2.

39. Johnson VE. Revised standards for statistical evidence. Proc Natl Acad Sci USA. 2013;110:19313-7.

40. Young SS, Karr A. Deming, data and observational studies: a process out of control and needing fixing. Significance. 2011;8:116-20.

41. Pashler H, Harris CR. Is the replicability crisis overblown? Three arguments examined. Persp Psychol Sci. 2012;7:531-6.

42. Simmons JP, Nelson LD, Simonsohn U. False-positive psychology: undisclosed flexibility in data collection and analysis allows presenting anything as significant. Psychol Sci. 2011;22:1359-66.

43. Ioannidis JP, Doucouliagos C. What's to know about the credibility of empirical economics. J Economic Surveys. 2013;27:997-1004.

44. Fanelli D. ''Positive'' results increase down the Hierarchy of the Sciences. PLoS ONE. 2010;5:e10068.

45. Poste G. Biospecimens, biomarkers, and burgeoning data: the imperative for more rigorous research standards. Trends Mol Med. 2012;18:717-22.

46. Landis SC, Amara SG, Asadullah K, Austin CP, Blumenstein R, et al. A call for transparent reporting to optimize the predictive value of preclinical research. Nature. 2012;490:187-91.

47. Collins FS, Tabak LA. NIH plans to enhance reproducibility. Nature. 2014;505:612-3.

48. Simera I, Moher D, Hoey J, Schulz KF, Altman DG. A catalogue of reporting guidelines for health research. Eur J Clin Invest. 2010;40:35-53.

49. Nosek BA, Bar-Anand Y. Scientific utopia: I. Opening scientific communication. Psychological Inquiry. 2012;23:217-23.

50. Glasziou P, Altman DG, Bossuyt P, Boutron I, Clarke M, et al. Reducing waste from incomplete or unusable reports of biomedical research. Lancet. 2014;383:267-76.

51. Al-Shahi Salman R, Beller E, Kagan J, Hemminki E, Phillips RS, et al. Increasing value and reducing waste in biomedical research regulation and management. Lancet. 2014;383:176-85.

52. Khoury MJ1, Gwinn M, Dotson WD, Schully SD. Knowledge integration at the center of genomic medicine. Genet Med. 2012;14:643-7.

53. Al-Shahi Salman R, Beller E, Kagan J, Hemminki E, Phillips RS, et al. Increasing value and reducing waste in biomedical research regulation and management. Lancet. 2014;383:176-85.

54. Krumholz SD, Egilman DS, Ross JS. Study of Neurontin: titrate to effect, profile of safety (STEPS) trial. A narrative account of a gabapentin seeding trial. Arch Intern Med. 2011;171:1100-7.

55. Van Noorden R. China tops Europe in R&D intensity. Nature. 2014;505:144-5.

56. Begley CG, Ellis LM. Drug development: Raise standards for preclinical cancer research. Nature. 2012;483:531-3.

57. Prinz F, Schlange T, Asadullah K. Believe it or not: how much can we rely on published data on potential drug targets? Nat Rev Drug Discov. 2011;10:712.

58. Christakis DA, Zimmerman FJ. Rethinking reanalysis. JAMA. 2013;310:499-2500.

59. Young NS, Ioannidis JP, Al-Ubaydli O. Why current publication practices may distort science. PLoS Med. 2008;5:e201.

60. Laine C, Horton R, DeAngelis CD, Drazen JM, Frizelle FA, et al. Clinical trial registration: looking back and moving ahead. JAMA. 2007;298:93-4.

61. Witten DM, Tibshirani R. Scientific research in the age of omics: the good, the bad, and the sloppy. J Am Med Inform Assoc. 2013;20:125-7.

62. Ioannidis JP, Khoury MJ. Assessing value in biomedical research: The PQRST of appraisal and reward. JAMA. 2014;312:483-4. doi:10.1001/jama.2014.6932.

63. Ioannidis JP. Is there a glass ceiling for highly cited scientists at the top of research universities? FASEB J. 2010;24:4635-8.

64. Nosek BA, Spies JR, Motyl M. Scientific Utopia: II. Restructuring incentives and practices to promote truth over publishability. Persp Psychological Sci. 2012;7:615-31.

65. Hayden EC. Cancer-gene data sharing boosted. Nature. 2014;510:198.

66. Krumholz HM, Gross CP, Blount KL, Ritchie JD, Hodshon B, et al. Sea change in open science and data sharing: leadership by industry. Circ Cardiovasc Qual Outcomes. 2014;7:499-504.

67. Editorial. Data sharing will pay dividends. Nature. 2014;505:1

68. Bohannon J. Who's afraid of peer review? Science. 2013;342:60-5.

69. Hopewell S, Collins GS, Boutron I, Yu LM, Cook J, et al. Impact of peer review on reports of randomised trials published in open peer review journals: retrospective before and after study. BMJ. 2014;349:g4145.

70. Schein M, Paladugu R. Redundant surgical publications: tip of the iceberg? Surgery. 2001;129:655-61.

71. Hagen NT. Harmonic allocation of authorship credit: source-level correction of bibliometric bias assures accurate publication and citation analysis. PLoS ONE. 2008;3:e4021.

72. Aziz NA, Rozing MP. Profit (p)-index: the degree to which authors profit from co-authors. PLoS ONE. 2013;8:e59814.

73. Yank V, Rennie D. Disclosure of researcher contributions: a study of original research articles in The Lancet. Ann Intern Med. 1999;130:661-70.

74. Wagenmakers EJ, Forstman BU. Rewarding high-power replication research. Cortex. 2014;51:105-6.

---

* Contribución del autor para la publicación de su artículo en este número de nuestra revista. Traducción: Lic. Caridad Karell Marín y Dr. C. Luis Carlos Silva Ayçaguer.