EDUCACIÓN PERMANENTE

Publicar y perecer: por qué la publicación y el modelo actual de revisión están exterminando la investigación y malgastando su dinero^*

Publish and perish: why the current publication and review model is killing research and wasting your money

 

 

Fabio Casati, Fausto Giunchiglia, Maurizio Marchese^**

---

^***Este es un trabajo preliminar (versión 1.0, o más bien 0,9). Lo publicamos, no obstante, en consonancia con los conceptos defendidos en este propio documento. El mundo de la investigación, y específicamente el mundo académico, está centrado en torno al concepto de publicación como un recurso básico para diseminar los resultados, promover la interacción entre las comunidades y lograr reconocimiento internacional (así como para el avance profesional). Las publicaciones son presentadas en conferencias o revistas, y por lo general son revisadas por un comité de expertos, también conocido como "pares". Normalmente, cada trabajo es revisado por 3 o 4 revisores. Los "mejores" trabajos entre todos los presentados son aceptados para su publicación en la revista o en las actas de la conferencia. En el campo de la ciencia de la computación, las personas usualmente publican una docena de trabajos por año y presentan algo más de la mitad (no todos los trabajos son aceptados la primera vez). Los índices de aceptación para las conferencias a menudo son del 20 % o menos. Existen tres elementos subyacentes a este modelo.

1. Diseminar las ideas y hacerlas visibles. A través de la publicación y la revisión, los trabajos pasan a ser conocidos para los colegas y se supone que el proceso de revisión asegura que los mejores trabajos sean más visibles, de modo que los investigadores sepan hacia donde dirigirse (buenas revistas y conferencias) cuando desean informarse acerca de algunos temas. Las publicaciones también tienen implicaciones legales ya que ellas "cronometran" el trabajo y las ideas.

2. Obtener crédito, reconocimiento. Haber publicado trabajos en prestigiosas conferencias y revistas es una forma de demostrar (en teoría) que el trabajo es valioso. Este a su vez es un criterio sustantivo para valorar el avance en la carrera del autor.

3. Reunión y creación de una red de contactos. Las publicaciones y la participación en conferencias origina el intercambio de ideas con colegas y la interconexión. Las conferencias también son útiles para que los estudiantes asistan y aprendan la forma en que funciona la comunidad académica.

Proceso de publicación altamente ineficiente. Este modelo es increíblemente ineficiente cualquiera que sea la perspectiva desde la que se le mire; origina un colosal derroche de fondos públicos y fuerza a todos los investigadores del mundo a desperdiciar incontables horas que pudieran mejor dedicar a la investigación (o a pasarlo bien con la familia y amigos). Este es un sistema profundamente enraizado en el pasado, no consciente del advenimiento de la Web y las nuevas formas conexas de comunicación, intercambio de información, vínculos sociales en red y formas de adquirir reputación. He aquí algunos problemas propios del estado actual de las cosas:

Se invierte mucho tiempo en escribir trabajos en lugar de desarrollar investigación. La diseminación de los resultados es importante y comunicar de manera clara tanto la formulación de problemas como sus resultados es también importante. Es una parte esencial del trabajo investigativo. Se ha dicho que una cosa es escribir trabajos con el objetivo de poner a disposición de todos los resultados y otra es luchar por empaquetar y "vender" el trabajo para tratar de obtener el mayor número de trabajos publicados en las mejores conferencias (o, en aquellas conferencias que garantizan un avance de la carrera en alguna institución). Esto último supone un esfuerzo enorme y a menudo resulta en trabajos que constituyen un trabajo adicional con respecto a una investigación anterior por los mismos autores. El proceso de revisión anula buenos trabajos y es inherentemente defectuoso. En general, la revisión de un trabajo no resulta fácil, y rara vez se realiza en forma apropiada. Existen muchos problemas con el proceso de revisión por pares (peer review) en la actualidad:

1. Valorar el impacto de un trabajo es muy difícil por lo general. Incluso los más inteligentes y los grandes investigadores apenas tienen tiempo para valorar si un tema resulta de interés y es relevante, y si es probable que vaya a tener impacto. Ver las revisiones de los famosos trabajos hechos por Dijkstra en las declaraciones Goto, del trabajo hecho por Codd acerca del modelo regional y muchos otros [Santini 2005].

2. A veces buenos trabajos son rechazados debido a malas revisiones. Resulta inaudito que un trabajo sea rechazado para una conferencia y luego resulte ser el mejor trabajo en la siguiente. El principal motivo es que solo una mala revisión a menudo es suficiente para eliminar un trabajo. Las revisiones a menudo son inconsistentes, a veces un autor hace revisiones criticando el trabajo y diciendo cosas opuestas.

3. Hay revisores que por lo general son más negativos y algunos que son más positivos. Así que en buena medida es materia de suerte que su trabajo sea o no aceptado. Los trabajos evidentemente buenos son aprobados, pero a veces en forma tardía y después de numerosas adaptaciones.

4. La revisión toma tiempo y no es necesariamente la inversión de más tiempo lo que da lugar a mejores trabajos. Los revisores, especialmente los escrupulosos, invierten mucho tiempo en hacer las revisiones y los autores invierten mucho tiempo adaptando y poniendo a punto el trabajo no tanto para conseguir explicarse mejor, como para complacer a los revisores y el estilo del congreso. Aunque mejorar los trabajos después de los comentarios es algo bueno, con mucha frecuencia tenemos que luchar con los comentarios sin sentido o con las limitaciones de espacio que convierten el esfuerzo de corrección en una tarea complicada y desagradable. Además, a veces existen ciertos estilos de trabajos escritos que es mejor aceptado por los revisores o que los revisores consideran particularmente malos.

5. Una consecuencia común de este proceso de revisión es que muchas conferencias tienden a aceptar trabajos muy detallados en lugar de privilegiar los más innovadores y creativos.

Diseminación limitada. Todo el proceso de revisión limita de por si la diseminación (a menos que las personas anuncien sus trabajos en la Web, lo que es un tipo diferente de "publicación", probablemente el más apropiado): la revisión introduce demoras y, si el trabajo es rechazado, entonces pasarán 6 meses para que tenga la posibilidad de ser publicado. Además, y en realidad esto es algo muy curioso, la investigación respaldada por fondos públicos es transferida a compañías privadas de publicaciones que se benefician de ello al vender trabajos. Además, aunque resulta agradable contar con trabajos delante mientras oímos las presentaciones, las memorias impresas encarecen las conferencias.

Además, el modelo actual de publicación, e incluso la propia noción de "publicación", están enraizados en el pasado. Si la investigación académica apareció después que la Web, no deberíamos siquiera entender lo publicación como lo hacemos hoy día. Con un modelo basado en la impresión, típico de las revistas, necesitamos renovar la idea de lo que es una publicación, y hacerlo en forma periódica. Si los autores hacen algún trabajo extra u obtienen nuevos hallazgos, necesitan escribir un nuevo trabajo; no pueden actualizar o extender el anterior. Si las personas desean comentar o discutir acerca del trabajo, necesitan hacerlo a través del correo electrónico o mediante discusiones privadas con los autores. Por supuesto, existe el problema de cómo evaluar los trabajos y de cómo dar los créditos debidos a las personas, pero esto es un tema aparte. Con la Web no sucede así y no hay motivo alguno para que el modelo de "publicación" siga inalterable.

Fallos del pasado. A pesar de estos inconvenientes muy significativos, la comunidad investigadora no ha sido capaz de generar un modelo mejor. Esto es ciertamente debido a que la solución del problema es difícil como tal, pero sospechamos que rige un motivo de peso, consistente en que las personas respetadas en la comunidad son exitosos con el sistema actual y, por tanto, no están muy interesados en cambiarlo. Además, las personas siempre están tan ocupadas escribiendo trabajos que no resulta fácil tomar un descanso y pensar en la creación y la defensa de un sistema mejor.

Esto no significa que no se hayan hecho intentos, o que el problema no haya sido estudiado. Durante las últimas décadas se han hecho intentos experimentales con diferentes modelos, así como por estudiar en forma científica la efectividad del enfoque actual para la evaluación y publicación de trabajos.

En términos de modelos de conferencia, las variaciones incluyen:

1. Peer review con refutación (por ejemplo, ICSO'05) o una revisión a doble ciegas (por ejemplo, Sigmoid): a diferencia de los modelos tradicionales de revisión donde los autores no pueden responder, algunos congresos están experimentando en la actualidad con la refutación, donde los autores tienen pocos días para responder en unas pocas líneas a los revisores para corregir los errores en la revisión. En teoría, se utiliza como una contribución en la discusión entre los miembros los comités científicos. En la práctica, la refutación rara vez da lugar para que los revisores cambien sus puntos de vista, pero sí que puede modificar la posición de dichos comités cuando toman decisiones y, algo muy importante, mejora las revisiones. Las revisiones a doble ciega ocurren cuando los revisores desconocen el nombre de los autores. Existe una investigación acerca de si el modelo de actuar a doble ciegas hace que el proceso de selección sea más justo.
   
   
2. Revisión comunitaria (por ejemplo, eclipseCon 2006): la comunidad puede votar acerca de artículos o resúmenes. No existe un comité científico restringido; la comunidad decide lo que ellos quieren que sea presentado. Este enfoque tuvo poco éxito por motivos aún no plenamente estudiados y comprendidos.
3. Abierta (por ejemplo, INFORMS): Existe poca o ninguna selección, cada uno puede llegar a presentar su trabajo. Los participantes pueden leer resúmenes y decidir según su propio criterio a qué presentaciones prestarán atención. Las conferencias abiertas no asignan crédito a los trabajos aunque son estupendos para la diseminación y el trabajo en red.
   
   
4. Por invitación (por ejemplo, en Física): los organizadores de la conferencia invitan a las personas a participar y a hacer presentaciones. Esto parece ser bueno, ya que es una forma en que libremente la comunidad selecciona a los mejores investigadores para que participen en las conferencias. Sin embargo, no está claro cómo diferenciar las buenas conferencias/reuniones de las promedio y a veces, si las personas no son serias, la elección pudiera basarse en la amistad y no en el mérito científico.

Las revistas también han experimentado con modelos alternativos. El más significativo es ETAI, donde los trabajos son primero puestos en línea y después revisados, con comentarios públicos en las páginas Web (revisión abierta) antes de que comience el proceso de revisión. Por motivos que siguen sin aclararse, pero probablemente relacionados con el hecho de que las personas colocaban críticas abiertamente, este enfoque no tuvo éxito y ETAI dejó de publicarse en el 2002.

En términos de investigación sobre este tema, se han publicados unos cuantos trabajos concernientes a varios aspectos del proceso de revisión, ocasionalmente contradictorios (por ejemplo, artículos sobre revisión a doble ciegas o sobre el carácter repetible de dicho proceso [Tung, 2006; Madden, 2006; Fisher, 1994; Rothwell, 2000]. Las conclusiones a veces resultan contradictorias. No existen indicaciones acerca de qué proceso y modelo de revisión funciona mejor, se carece de una evaluación clara de los beneficios e inconvenientes de cada uno, de modo que los responsables del programa científico y los editores de las revistas siguen a oscuras y carecen de una "mejor forma" claramente establecida, de modo que continúan con el actual status quo. A menudo este es el enfoque que menos discusiones genera: aún cuando la mayoría de las personas desean un modelo diferente, no se ponen de acuerdo acerca de cuál podría ser el modelo alternativo. Siendo así, al final resulta más fácil mantener el mismo enfoque de siempre. Lo cierto es que sigue sin aparecer un estudio a gran escala y las contribuciones en su mayoría se centran en pequeñas muestras de revisiones.

REFLEXIONES HACIA NUEVOS MODELOS DE TRABAJOS OPERADOS A TRAVÉS DE SOFTWARE

Nos encontramos en las primeras etapas de una investigación acerca de un modelo innovador de publicación y revisión. Nuestra primera dirección exploratoria de inicio se fundamentará en dos ideas principales:

Separar la diseminación de la evaluación/reconocimiento y de los aspectos de recuperación. Actualmente, con una publicación, los investigadores logran todo esto. Una publicación disemina el trabajo, hace que los autores sean reconocidos (la evaluación por pares lo reconoce como un trabajo de calidad) y hace que el trabajo sea "visible" para que los interesados puedan acceder a trabajos publicados en "buenas" conferencias o revistas, cuando desean encontrar un "buen" trabajo en un área específica. Sin embargo, no hay motivo alguno para que estos tres aspectos sean restringidos ahora que la diseminación no está necesariamente relacionada con la impresión física en una revista.

Los trabajos y escritos desarrollados como el software. Podemos considerar un paralelismo entre escribir un trabajo y el desarrollo de un software. En el software, se desarrolla el código y después se perfecciona. Una nueva funcionalidad es adicionada con el tiempo y el artefacto es liberado y después perfeccionado. En los enfoques extremos de programación [Beck, 1999], el código es además "evaluado" rápidamente en el proceso y no tiene que esperar a que el desarrollo se complete. Al tomar en cuenta las diferencias que existen, podemos tomar ideas a partir del desarrollo del software y tratar de aplicarlas a la redacción científica. En el caso del software no podemos cambiar el nombre de una clase cada vez que hagamos un cambio a una función. Tan solo liberamos una nueva versión de la clase. Una vez desarrollada cierta cantidad de funcionalidad, entonces el código es liberado para su "estudio". Asimismo, con los trabajos científicos, un enfoque que parece práctico sería publicar versiones del trabajo cuando este sea suficientemente "maduro" y claro, de modo que otro pueda leer y encontrar ideas para después mejorarlo. Algo muy importante: los cambios menores (contribuciones delta) no deben resultar en otro trabajo (clase) y en otra serie de revisiones por pares como es siempre el caso actualmente, sino en variaciones y extensiones de (versiones) un trabajo ya existente.

Por supuesto, el desarrollo de un extenso programa es un esfuerzo de cooperación, cuando en realidad los investigadores compiten más de lo que cooperan, algo que debe tomarse en cuenta. A veces no queremos liberar las ideas iniciales por temor a que sean copiadas, pero por lo general esto no ha pasado y quienquiera presente una versión de un trabajo tiene una ventaja sobre otros que le sigan. Además, una presentación temprana acoplada con un mecanismo seguro y confiable para la comunidad, otorga a las personas el derecho de establecer que ellas han sido "primeras" en cierto descubrimiento. Además, los investigadores serian quienes controlarían cuándo desean liberar una nueva versión de un trabajo. Ni qué decir, las liberaciones tempranas contribuyen más a la ciencia que las de tipo tardío.

OTRAS ANALOGÍAS INTERESANTES CONCIERNEN A LA BÚSQUEDA EN LA WEB Y AL DESARROLLO DE SOFTWARE DE CÓDIGO ABIERTO

El desarrollo abierto de una fuente puede sugerir ideas interesantes sobre la forma en que las personas cooperen para crear una retroalimentación y mejorar el desarrollo. Una vez más, esto es un reto porque los investigadores no son muy cooperativos, mientras que el desarrollo de un programa de código abierto corre a menudo a cargo de sujetos entusiastas que realmente utilizan los resultados que desarrollan. No obstante, esta es una forma muy efectiva de mejorar y ampliar un artefacto y sería interesante ver que puede ser "reutilizada" para la evaluación de un trabajo e incluso mejorarlo. La búsqueda en la Web facilita una forma casi instantánea de identificar documentos significativos. Asombra apreciar cuánto de esto puede aplicarse para evaluar las versiones de trabajos presentados. Los enfoques actuales utilizan el lugar que ocupan las páginas en los rankings para valorar los documentos [Brin, 1998] y los factores de impacto y de citación para evaluar los trabajos (documentos de investigación). El problema aquí es el grado en que ello puede influir en la evaluación "automática" de los trabajos o ayudar realmente a los revisores, o a realizar indagaciones preliminares.

Trabajos iniciales acerca de este tema están comenzando a aparecer. Chen y otros [Chen, 2007] estudiaron el aspecto métrico de la calidad y el impacto de un trabajo. Ellos aplicaron una variante del algoritmo Page Rank [Rodríguez, 2006; Ball, 2006] para valorar la importancia relativa de todas las publicaciones en la familia de revistas Physical Review desde 1893 a 2003. El lugar que otorga el PageRank y el número de citas para cada publicación están realmente positivamente correlacionados. Además, los resultados aislados a partir de esta relación lineal identifican otros trabajos excepcionales o "aspectos importantes" que no son fácilmente encontrados con los factores tradicionales de impacto y de citación. El razonamiento con este enfoque es que la situación en las citaciones en la red no resulta distinto de la que exhine los enlaces WWW: los científicos habitualmente descubren publicaciones relevantes simplemente siguiendo las cadenas de enlaces de citas a partir de otros trabajos. Por lo tanto, es razonable suponer que la popularidad o el carácter "citable" de los trabajos pudiera muy bien aproximarse a través del modelo aleatorio de navegador, que es la base del algoritmo Page Rank.

Una diferencia significativa entre la WWW y la red de citaciones es que los enlaces a las citas no pueden ser actualizados después de la publicación, mientras que los hipervínculos WWW evolucionan junto con la página Web que los contiene. Otra limitación de las citas es que en los modelos actuales de publicación ellas no pueden utilizarse directamente para la evaluación del modelo escrito extremo, ya que ellos suponen que un trabajo es publicado, visible y con un "identificador" (publicado en una revista/conferencia o por lo menos como un informe técnico) porque antes de que el trabajo tenga un elevado conteo de citas él tiene que ubicarse por encima del nivel de ruido entre todos los documentos y porque este es un proceso lento (se necesita que muchos trabajos de referencia sean publicados para poder valorar la calidad del trabajo).

Los repositorios pre-impresión, tales como las bibliotecas digitales académicas e-Prints y los servicios académicos de búsqueda en Web, como CiteSeer, "IST, Google Scholar y Window Academic Live, han estado sufriendo un aumento significativo en su uso durante los últimos años a través de múltiples dominios de investigación. Además, estándares emergentes, tales como es el caso de DOI® (Digital Object Identifier) están apareciendo y adquiriendo prominencia para proporcionar un sistema de identificación persistente y procesable, y un intercambio interoperable de información factible en las redes digitales. Sobre esta base, los investigadores están comenzando a desarrollar aplicaciones capaces de utilizar repositorios para ayudar a la comunidad científica mucho más allá de la pura diseminación de la información. En Rodríguez, 2006, se presenta un modelo de publicación diseñado en el cual el proceso de revisión por pares está mediado por un Open Archives Initiative Protocol for Metadata Harvesting (OAI-PMH). Este servicio de peer review utiliza un algoritmo de red-social para determinar los posibles revisores de un manuscrito presentado y para ponderar la influencia de cada una las evaluaciones del revisor participante.

En resumen, parece que el camino hacia un modelo de revisión y publicación alternativo ha recibido poca atención. Existen estudios basados en un reducido número de casos y unas pocas propuestas que rápidamente perdieron su atractivo o que por motivos no totalmente claros no lograron permanecer. Existe además evidencia de que el proceso tradicional ha fallado y que el famoso enfoque "publicar o perecer" es una pérdida de tiempo y dinero. Las comunidades en línea han hallado muchas formas alternativas para solucionar problemas análogos, pero estas soluciones no han podido llegar al mundo de la academia, o por lo menos ser transformados en una forma exitosamente aplicable. Con este trabajo esperamos aumentar la conciencia y estimular a los investigadores a unirse a nuestra búsqueda actual en el proceso para mejorar los enfoques para la publicación y la revisión. También esperamos presentar pronto, en el mismo foro, una contribución que muestre los resultados de nuestros esfuerzos.

REFERENCIAS

[Blog, 2005 ] Academia's Conflicted Reaction To Blogging. 2005 http://acrlblog.org/2005/11/28/academias-conflicted-reaction-to-blogging/

[Beck, 1999] K. Beck. Extreme Programming Explained: Embrace Change. Addison-Wesley Professional, Reading. 1999.

[Chen, 2007] P. Chen, H. Xie, S. Maslov, and S. Redner. Finding scientific gems with Google. Journal of Informetrics, to appear (2007); http://physics.bu.edu/~redner/pubs/ps/google.ps

[Brin, 1998] S. Brin and L. Page. The Anatomy of a Large-Scale Hypertextual Web Search Engine. Computer Networks and ISDN Systems, 30, 107 (1998).

[Ball, 2006] Philip Ball. Prestige is factored into journal ratings, Nature 439, 770- 771 (2006).

[Fisher, 1994] Martin Fisher, MD; Stanford B. Friedman, MD; Barbara Strauss. The Effects of Blinding on Acceptance of Research Papers by Peer Review. JAMA. 1994. http://www.ama-assn.org/public/peer/7_13_94/pv3058x.htm

[Madden, 2006] Madden and DeWitt. Impact of Double-Blind Reviewing on SIGMOD Publication Rates. Sigmod Record, Sept 2006.

[Rodriguez, 2006] Marko A. Rodriguez, Johan Bollen, Herbert Van de Sompel. The convergence of digital libraries and the peer-review process. Journal of Information Science, Vol. 32, No. 2, 149-159 (2006).

[Rothwell, 2000] P. Rothwell and C. Martyn. Reproducibility of peer review in clinical neuroscience. Brain, Vol. 123, No. 9, 1964-1969, Sept. 2000 http://brain.oxfordjournals.org/cgi/content/abstract/123/9/1964

[Santini, 2005] Simone Santini. We are sorry to inform you… IEEE Computer, 38(12). Dec 2005.

[Tung, 2006] A. Tung. Impact of Double Blind Reviewing on SIGMOD Publication: A More Detail Analysis. 2006. http://www.comp.nus.edu.sg/~atung/

---

^*Comentario editorial::En línea con el propósito de esta sección que es incluir materiales de interés para los lectores, que ya han sido diseminados en otros medios, presentamos el artículo "Publicar y perecer: por qué la publicación y el modelo actual de revisión están exterminando la investigación y malgastando su dinero" que fue publicado originalmente en inglés en la revista ACM Ubiquity, en el año 2005 (se encuentra disponible en: http://www.acm.org/ubiquity ). En él se plantean algunas propuestas polémicas a partir de un diagnóstico crítico acerca del status quo vigente en materia de peer review. ACIMED no necesariamente comparte estos puntos de vista, pero sí los considera atractivos para el debate. En este caso, no se trata de una reproducción; presentamos su traducción al castellano, lo cual le confiere un valor añadido.

^**Datos de los autores:

Fabio Casati: Profesor de Ciencias de la Computación en la Universidad de Trento. Más detalles en URL: http://www.dit.unitn.it/~casati

Fausto Giunchiglia: Profesor de Ciencias de la Computación en la Universidad deTrento Más detalles en URL: http://www.dit.unitn.it/~fausto

Maurizio Marchese: Graduado de Física con altos honores, en 1984, en la Universidad de Trento, Italia.

^***Nota a la cual los autores le otorgaron esa ubicación en el texto original.