ARTÍCULO DE REVISIÓN

 

La revisión editorial por pares: rechazo del manuscrito, deficiencias del proceso de revisión, sistemas para su gestión y uso como indicador científico

 

Editorial peer review: manuscript rejection, peer-review deficiencies, systems for management and use as scientific performance indicator

Lic. Ernesto G. Rodríguez

Editorial Elfos Scientiae. Centro de Ingeniería Genética y Biotecnología. La Habana, Cuba.

---

RESUMEN

Las plataformas digitales y la dinámica y evolución de las revistas científicas han permitido desarrollar diversos modelos del proceso de revisión editorial por pares para la evaluación de manuscritos científicos previo a su publicación. En este artículo se continúa el análisis de la revisión por pares, con énfasis en la gestión de artículos rechazados, la designación de revisores, las deficiencias principales de la revisión por pares (según la asignación de revisores, el desempeño de los roles de autor, revisor y editor, y los intentos por paliar las deficiencias del proceso), los sistemas para su gestión en línea y el empleo de la revisión por pares como indicador del desempeño investigativo. Todos estos temas se analizan en el contexto de los sistemas y comunidades de ciencia, su impacto en la citación, y para facilitar su posible integración con fines prácticos según los requerimientos de cada revista.

Palabras clave: evaluación por los pares para publicación, revisión de la investigación por pares, revisión académica, artículo de revista, publicación electrónica, publicaciones científicas y técnicas.

---

ABSTRACT

The digital platforms and the dynamics and evolution of scientific journals have allowed the development of different models of the editorial peer review to evaluate scientific manuscripts before their publication. In this article, the PR analysis is continued, on the models to manage rejected papers, the proper designation of reviewers and PR main limitations (reviewers' assignment, author-reviewer-editor performance and the attempts to palliate process' deficiencies), the online PR management systems and the use of PR as scientific performance indicator. All these topics are analyzed through the context of the systems and communities of science and their impact in the citation, to facilitate their possible incorporation with practical aims according to the requirements of each journal.

Key words: Peer-reviewed publication, peer-reviewed research, academic review, journal article, electronic publication, scientific and technical publications.

---

 

INTRODUCCIÓN

El proceso de revisión editorial por pares (RP) es vital para asegurar y controlar la calidad de los artículos previo a su publicación,¹ y como toda obra humana, está sometida a distorsiones y perfeccionamiento. Su resultado satisfactorio, la aceptación del manuscrito, no genera tantos cuestionamientos como su rechazo, este último influenciado por varios elementos, entre ellos los que atañen a la calidad de la RP. En este artículo se analizan el rechazo de manuscritos y los modelos de RP utilizados para administrar artículos rechazados por deficiencias de la RP, así como sus principales limitaciones relacionadas con la celeridad, selección de cada rol, consideraciones sobre las etapas del proceso y su control de calidad. También se abordan los sistemas de gestión en línea y las implicaciones de publicar las revisiones.

 

RECHAZO DEL MANUSCRITO Y SU INTERPRETACIÓN

El rechazo editorial de los manuscritos tras la RP se ha considerado históricamente como criterio de calidad de las revistas científicas, pues el proceso de RP se considera eficiente cuando detecta y descarta aquellos manuscritos enviados a las revistas que no cumplen con sus requerimientos de calidad y las buenas prácticas de investigación.² Se considera hasta cierto punto predictivo de altos índices de calidad metodológica de los artículos y se vincula al criterio más exigente de los líderes temáticos que conforman el consejo editor de las revistas.³ Siempre se ha asumido como invalidante de reenvíos posteriores cuando se debe a deficiencias en el procedimiento científico o por incumplimiento de los parámetros generales de la comunicación científica, incluso a nivel de sociedades de publicación como es el caso de las revistas de la Asociación Americana para la Microbiología (ASM).⁴ Esta no parece ser la tendencia entre los artículos rechazados en revistas de primer nivel, los que se consideran explícitamente como posibles a reconsiderar por revistas de segundo nivel.⁵

La tasa de rechazo de una revista se expresa comúnmente como índice de rechazo (en porcentaje) o su contraparte como índice de aceptación. Se ha considerado que un índice de rechazo muy alto es contraproducente para la rápida divulgación de la ciencia cuando se debe a factores ajenos a la calidad de la investigación evaluada. No obstante, este índice está entre los criterios que avalan el prestigio de una publicación.⁶ En las revistas de primer nivel, denota la selección mediante la RP de resultados con mayor impacto potencial, ante la avalancha de manuscritos a publicar⁷ e indica cuáles artículos pueden ser relevantes para los lectores.⁶ La aparición del modelo de RP de proceso abierto permitió modificar favorablemente el carácter de este indicador, pues en este modelo los autores generalmente envían los artículos con la calidad suficiente como para que la probabilidad de aceptación sea alta tras la RP,⁶ dado el carácter público de la revisión.

El manuscrito puede ser rechazado por múltiples factores,⁸ que involucran a todos los roles del proceso (autor-editor-revisor) e incluso a la comunidad científica de la que ellos provienen. Durante el envío se solicita información a los autores sobre cualquier envío y acto de revisión previos del manuscrito en otra revista. Sin embargo, no todos los autores lo refieren ni atienden a los elementos señalados en ellos, de forma que su publicación posterior no implique las deficiencias inicialmente detectadas ni se duplique el esfuerzo.⁹ Si bien es cierto que los autores no comunican envíos anteriores mayormente por la posible percepción negativa sobre la calidad del manuscrito en base a un rechazo anterior, ya se permite transferir esas revisiones entre revistas,¹⁰ principalmente cuando los reenvíos son concertados entre los consejos editores de la revista que rechaza y la que reevaluará el manuscrito.

En un estudio muy reciente de Calcagno y otros se evidenció que, en efecto, los artículos que sufren al menos un rechazo previo a su publicación tienden a ser más citados que los aceptados en un primer intento.¹¹ Estos autores emplearon un nuevo acercamiento a la dinámica de los flujos de envío y reenvío de artículos científicos, mediante el estudio de encuestas a autores de artículos publicados. Los resultados deben considerarse con cautela pues la muestra comprendió un 25 % de artículos rechazados en su primer envío, por lo que es necesario esperar a que se valide adecuadamente tal estrategia y su interpretación. No obstante, es curioso que si el manuscrito fue rechazado alguna vez durante su proceso de publicación, el reenvío aumentara el número de revisores, por lo que una mayor cantidad de revisores evaluaría mejor el posible interés para la comunidad de lectores (público interesado). Por eso, el reenvío funciona de forma similar a la pos-RP y añade valor a que se reporte el rechazo previo siempre que sea por controversia científica o limitaciones de espacio para publicar en la revista. Así dejaría de considerarse el rechazo como una limitación, salvo que se relacione con deficiencias en el contenido y los procedimientos investigativos. También se favorecería la publicación de esos datos por las editoriales y su referencia por los autores durante el reenvío y posterior publicación, quizás bajo identificador de primer envío y clasificador de tipo de rechazo para evitar la asignación incorrecta cuando varíen los metadatos iniciales del artículo. Todo esto obliga a reconsiderar las interpretaciones del rechazo previo a la publicación efectiva, y abre un campo de investigación muy necesario para predecir hasta qué punto el rechazo por las revistas de primer nivel pudiera ser un indicador predictivo del impacto del manuscrito, tanto como su aceptación y posterior citación.

Hay que destacar que los consorcios editoriales de primer nivel han evolucionado para rescatar dentro del mismo grupo de publicaciones el esfuerzo invertido en los manuscritos rechazados en sus revistas principales por limitaciones de espacio o impacto potencial. Para esto han habilitado espacios hacia los que se reenvían esos manuscritos y se publican tras una nueva RP. Por ejemplo, el consorcio Nature Publishing Group (NPG) creó con este fin la revista Scientific Reports, bajo modelo de gestión editorial de acceso abierto.¹²

A continuación se mencionan variantes de RP que permiten rescatar editorialmente aquellos artículos rechazados por distorsión en la calidad de la RP y no por deficiencias en la calidad o presentación de la investigación. Estas variantes facilitan el reenvío del manuscrito entre revistas de un mismo contexto temático, junto a la información de la revisión anterior; o la custodia del manuscrito para evitar sesgo en los casos en que aborde temáticas poco frecuentes o muy poco representadas en las comunidades científicas.

MODELOS DE ADMINISTRACIÓN DE ARTÍCULOS RECHAZADOS

Existen dos modelos de RP que atienden el reenvío de artículos rechazados más eficientemente. Ellos son la RP de rebote¹³ y la RP en cascada, también llamada RP de consorcio.^14,15 La primera es en la misma revista, y la segunda entre revistas vinculadas temática o estructuralmente a nivel editorial.

La RP de rebote¹³ atiende preferencialmente aquellos trabajos cuyos autores consideran que el proceso convencional a simple ciegas fue injusto o estuvo parcializado por cualquier razón, ajena a la validez científica del trabajo. Recién fue puesto en práctica por la revista Antioxidants and Redox Signaling en el 2012, y permite que los autores de artículos rechazados por deficiencias intrínsecas de la RP sugieran revisores expertos que reevalúen el manuscrito en la misma revista, bajo modelo de RP abierta por publicación, y se puede revertir el dictamen inicial si procediera la reclamación. Esta es una variante, como pudieran existir otras, de combinar los modelos convencionales y abiertos para limar las deficiencias del proceso global de la RP. Existen modelos alternativos a este, como el de la revista British Journal of Sports Medicine, que implementó un sistema de apelaciones robusto¹⁶ en el que los editores involucrados en el primer rechazo son excluidos del proceso de apelación.

Por su parte, el modelo de RP en cascada establece la transferencia de artículos rechazados entre revistas estructuradas en grupos editoriales o consorcios de una misma temática. Los manuscritos se transfieren de conjunto con las revisiones de la revista que los rechazó. Se establece por grandes grupos editoriales como NPG¹⁷, la Organización Europea para la Biología Molecular (EMBO)¹⁴ y el Consorcio de Revisión por Pares en Neurociencias (NPRC).¹⁵ En este último, los datos referentes al envío inicial que fue rechazado quedan ocultos, pues "la única información que recibirá la segunda revista es el texto de las revisiones que se enviaron a los autores y, si los revisores estuvieran de acuerdo, los nombres de los revisores (que no se comunican a los autores)".¹⁸ Por otra parte, este modelo de gestión de reenvíos ayuda a aumentar los estándares de revisión de la segunda revista (que generalmente es de menor impacto), 'contaminándola' con los criterios de revisión de una de mayor impacto, a la vez que administra el nivel de rechazos generado por revistas de primer nivel. Vale destacar que la RP en cascada sería muy útil si se implementara a nivel nacional por campo temático, sobre todo en países en desarrollo, o a nivel de parques tecnológicos. A su vez, es una variante que fija hasta cierto punto la revista a la que se reenvía, en contraposición a estudiar a cuál se reenvió espontáneamente por los autores.

Se ha propuesto recientemente el desarrollo de un indicador bibliométrico que añada valor al artículo/revista en base a la revista a la que se haya reenviado.¹¹ En este sentido, la RP en cascada pudiera ser el nicho más probable para analizar la vinculación entre citación y reenvío, al fijar la variable de posición jerárquica entre revistas. De esta forma se pudiera reposicionar en el orden jerárquico dentro de la cascada cada revista, quizás de forma independiente al factor de impacto (que es potencialmente predictivo) y en base a la citación real de los artículos, lo que progresivamente pudiera reconfigurar su estructura y dinámicas.

Es válido destacar que las estrategias de redireccionamiento temático son independientes al rechazo, y se pueden encontrar en las instrucciones a los autores de las revistas, como por ejemplo, Journal of Bacteriology.⁴ Incluso, en las revistas estructuradas en RP en cascada puede implicar el reenvío a aquellas que están tanto por encima como por debajo de la revista que rechaza en posición y relevancia.

También se ha implementado una estrategia para evitar rechazo de artículos sobre temáticas controversiales, en este caso en la revista Proceedings of the National Academy of Sciences USA,¹⁹ denominada Editor concertado (prearranged editors). En esta el autor solicita a un miembro de esa academia que le dé seguimiento al manuscrito durante el proceso de envío, antes de enviar el manuscrito, designación que corre a cargo de la oficina editorial. Esta variante solo procede si el manuscrito a considerar "cae en un área temática que esté sub-representada en el cónclave, si el tema se pudiera considerar contrario a la visión prevaleciente o si se adelanta a su tiempo lo suficiente como para no prestársele la debida atención".¹⁹ Una vez que se verifica la anuencia y competencia de dicho editor para asumir el rol de Editor concertado, se comunica su designación al inicio de la RP.

CONSIDERACIONES SOBRE EL PROCESO DE RP

Público del manuscrito

El proceso de RP se aplica antes de que se conozca la cantidad de público interesado en el manuscrito (según el modelo convencional cerrado, ver más adelante), aspecto que solo se sabrá una vez publicado. Aunque la evaluación se vincula más con la decisión de publicar, los revisores también valoran la potencialidad del manuscrito para atraer la atención del público. En este sentido, las nuevas plataformas, en forma de foros de discusión, permiten enriquecer los artículos, o publicarse como notas de discusión (véase, por ejemplo, el foro de discusión relacionado con el artículo de Ploegh)²⁰ e hipervincularlos como información relacionada.

En determinados análisis se ha identificado que la RP presenta dificultades para distinguir la investigación de mayor impacto de la investigación promedio, tanto como los indicadores bibliométricos basados en análisis de citas,²¹ y que no existe necesariamente una correlación entre la calidad de la RP y el análisis de citas posterior para predecir el impacto del artículo. No obstante, se han hallado evidencias de que la RP, en efecto, selecciona significativamente artículos que tienen alto impacto según su número de citas. Esto se puso de manifiesto al comparar la cantidad de artículos aceptados en una revista de alto impacto con la de los artículos rechazados por la misma revista y publicados posteriormente en otras en un mismo año.²²


Celeridad

La celeridad en la revisión también es vital, sobre todo en aquellas áreas de intensa competencia experimental y de alto impacto. Por ejemplo, en Química, ya en 1998 se planteaba que 80 días era el estándar en la revista Chemical Communications y la intención era disminuirlo.²³

Se ha propuesto que en las áreas temáticas de investigación muy activa sería conveniente poner a disposición del público potencialmente interesado los trabajos inmediatamente después de recibirlos y que el editor de la revista sea quien dictamine, una vez que se disponga de las herramientas de diseminación adecuadas.²⁴

El tiempo de revisión se ha estimado que dura aproximadamente el 5 % de todo el proceso editorial.²⁵ No obstante, Loonen y otros encontraron que los periodos desde el envío hasta la aceptación pueden ir desde 3 semanas hasta 15 meses (también dependiendo del tipo de artículo y de la temática de que se trate).²⁵ Las políticas editoriales de cada consejo editor y sus acciones para mantener los plazos de los procesos son decisivas para acortar estos periodos.



DEFICIENCIAS DE LA REVISIÓN POR PARES

Se reconoce que hay fallos durante la RP; por ejemplo, que enlentece los procesos de aplicación para proyectos de investigación y que debe aplicarse sabiamente.²⁶ A continuación se exponen algunas consideraciones sobre el tema para un enfoque más exhaustivo basado en estudios estadísticos.^27,28

ASIGNACIÓN DE LOS REVISORES

Se debe balancear la composición de los revisores. Tal como demostraron inicialmente Schroter y otros,²⁹ los revisores sugeridos por los autores tienden a hacer evaluaciones más benevolentes que los escogidos por el editor en RP convencional. Tal efecto también se demostró recientemente para el modelo de RP abierta en dos etapas, al estudiar 552 manuscritos procesados en la revista Atmospheric Chemistry and Physics.³⁰ Por eso, se ha recomendado mantener un equilibrio entre los revisores sugeridos por los autores y los sugeridos por los editores. En esto no influye la afinidad temática, por ser el criterio que prima para la asignación de revisores tanto en la RP abierta como de correvisores en la RP convencional.⁶

Un estudio más reciente demostró que bajo condiciones reales en las que se invitan a los revisores, la RP tiende a estar sistemáticamente parcializada a ubicar problemas en la calidad experimental pero sin generar efectos negativos.³¹ Esta tendencia se explicó como un reflejo de condicionamiento cognitivo según establecen los procesos de razonamiento lógico para la toma de decisiones (implícito vs. analítico), por la prioridad que se le da al desempeño experimental por encima de otros aspectos cuando existen otras tareas más apremiantes y que desvían la atención en el momento en que se asigna la revisión (por ejemplo, sobrecarga de trabajo). En este caso y según explicó Kadar,³¹ el procesamiento mental implícito depende entre otros aspectos del reconocimiento de patrones, el razonamiento en paralelo, el conocimiento previo, requiere poco uso de la memoria y genera resultados en corto tiempo. Por el contrario, el procesamiento analítico es lento y secuencial, requiere un esfuerzo considerable, depende del razonamiento estructurado y está limitado por la capacidad de memoria. Esta pudiera ser la base lógica para simultanear la revisión formal y la evaluación metodológica del manuscrito, a pesar de que con anterioridad se vio como una medida radical ante las deficiencias formales.³²

En Enfermería, por ejemplo, se identificó durante una encuesta editorial de autores y editores de tres revistas académicas que los autores inexpertos en el proceso de publicación (autores con 5 o menos artículos previos, cerca de un tercio de los autores encuestados) estuvieron menos satisfechos con la revisión que los autores experimentados.³³ Además, existió especial susceptibilidad por las revisiones narrativas vagas y que no brindaban guías claras para perfeccionar el manuscrito. Este aspecto es vital cuando el dictamen es de rechazo.

En esta misma línea, un estudio anónimo de percepción de problemas éticos durante la RP detectó la revisión incompetente como el problema más frecuente de cinco aspectos principales (61,8 % de representatividad).³⁴ Que los revisores tengan la debida competencia y sean realmente pares para el acto de revisión y durante este es responsabilidad neta del consejo editorial, al designarlos en los modelos de RP convencional, al igual que la validez técnica y la pertinencia de las evaluaciones escogidas en los modelos de RP de proceso abierto. También es pertinencia de los autores cuando estos proponen revisores. Si no se verifica adecuadamente la competencia de los revisores, la RP se resiente. Es determinante en la calidad de la RP que los consejos editoriales velen por el cumplimiento de los parámetros de calidad del acto de revisión.

Se ha constatado que el entrenamiento de los revisores no influye significativamente en el resultado de la RP.²⁷ La continua inclusión de nuevos revisores no la debilitan, aunque existe insuficiente soporte empírico para su uso como mecanismo que garantice la calidad de las investigaciones biomédicas.

 

ROLES DE EDITOR, REVISOR Y AUTOR

La revisión por pares se aprende mediante la práctica, y puede implementarse como método de aprendizaje desde la etapa de pregrado, incluso con periodos similares a los empleados en la práctica editorial.³⁵ Con este fin se han aplicado iniciativas para entrenar a futuros investigadores en revisión por pares, por ejemplo, mediante protocolos de evaluación de tesis de grado (BioTAP).³⁶ Los estudiantes en el programa aumentaron sus habilidades para la escritura de artículos y el pensamiento crítico, se enfocaron en identificar la necesidad del público en cada parte del texto, y se entrenaron en los estándares básicos de la redacción científica. Esta práctica puede extenderse a los editores, con una ganancia general en el proceso.³⁷ También se ha enfatizado en el entrenamiento de los autores sobre cómo responder a los señalamientos,³⁸ en aras de evitar rechazos por elementos formales y deficiencias en la comunicación.

Durante la RP, los editores no pueden dar por atendidos los errores de mayor envergadura. Varios estudios han detectado una menor tendencia a detectar errores fundamentales por los revisores que aceptaban los manuscritos.^39,40 Aquí se refuerza la noción de que el editor también debe formar parte del acto de evaluación del manuscrito como un par más, para garantizar que se haya realizado con calidad la RP y modular la comunicación. El editor pudiera identificar deficiencias de mayor envergadura y sugerir a los árbitros que las atiendan direccionalmente, una vez que estos hayan dado su recomendación inicial y si no las hubieran tenido en cuenta.

También se ha demostrado que la calidad de las revisiones varía no solo entre revisores al evaluar un artículo, sino que cambia con el tiempo para un mismo revisor, y los criterios de evaluación tienden a deteriorarse lentamente.⁴¹ En una muestra de 1 499 revisores que trabajaron para la revista Annals of Emergency Medicine durante una media de 51,3 meses en un periodo de 14 años, Callaham y McCulloch identificaron que la calidad de los cuatro primeros actos de revisión es predictiva de la evolución del revisor, y que la inclusión de nuevos revisores es el paliativo grupal al deterioro de los predecesores.⁴¹

En el estudio de Resnik y otros,³⁴ además de la revisión incompetente, se identificaron por orden de relevancia los siguientes aspectos dentro de las deficiencias de la RP: parcialización, solicitud de inclusión de referencias innecesarias, comentarios de los revisores con ataques personales, y retraso de la publicación para publicar antes artículos de los editores o revisores sobre el mismo tema. Este último aspecto ha sido identificado en ciertas temáticas de mucha competencia y con estándares de investigación que evolucionan rápidamente (por ejemplo, en Biología de células madre), en las que se ha alegado este tipo de desviaciones en el accionar de los comités editoriales involucrados.⁴² Además se constató la deficiente objetividad en el análisis de alegaciones sobre ruptura de la confidencialidad durante el proceso de revisión.³⁴

La parcialización hacia el resultado exitoso es otra de las deficiencias atribuidas a la RP, que disminuye en gran medida la publicación de resultados negativos o nulos,⁴³ relevantes para el desarrollo de la ciencia. Como solución se ha propuesto recientemente un modelo llamado RP ciega al resultado,⁴⁴ que se basa en la presentación del manuscrito a los revisores en dos etapas: 1) el marco teórico, la metodología y el formato de tablas y figuras, sin los resultados, y 2) con los datos reales, para su evaluación una vez vencida la primera etapa. Deberá implementarse adecuadamente, en aras de no alargar innecesariamente el proceso de revisión, y toma ventaja de la distribución modular de la información en el futuro artículo. Por su cercanía en diseño, se pudiera integrar al modelo de Acuerdo entre pares.^1,25

Un caso muy particular lo constituyen las solicitudes de experimentos adicionales, que hacen gastar tiempo y recursos al investigador sin aportar nuevos elementos al manuscrito, salvo que sean deficiencias experimentales.²⁰ Estos experimentos no deben comprender la próxima fase del trabajo, ni afectar las conclusiones o el alcance del manuscrito sometido a evaluación, según plantea Ploegh.²⁰ No obstante, el debate persiste. Por ejemplo, Altschuler planteó que "los experimentos colaterales [sugeridos por los revisores] muchas veces son mejores que los que planean hacer los autores en etapas subsiguientes. A menudo refuerzan los resultados originales y llevan a hallazgos útiles".⁴⁵

CONTROL DE CALIDAD DE LA REVISIÓN POR PARES

Existen varios abordajes para evaluar la calidad de la RP, basados fundamentalmente en estudios de encuestas. Si bien han servido para identificar deficiencias en la RP, no se debe perder de vista que son exploratorios y no constituyen asientos de casos reales. De ahí que se recomiende llevar un control en tiempo real a nivel de cuerpos editoriales de las deficiencias que se presenten, correctamente documentados y que permitan tomar medidas efectivas para prevenirlos.⁴⁶

Gibson y otros⁴⁷ encontraron durante un estudio de percepción de autores que los autores de manuscritos rechazados retroalimentaban menos al equipo editorial sobre la calidad de la RP. Por eso, cualquier estudio de ese tipo debe evitar el sesgo al considerar opiniones de autores de trabajos rechazados, lo que no implica dejar de incluirlos. Según se demostró, los autores fueron capaces de discernir entre dos tipos de información: el procesamiento editorial y los comentarios de los revisores, siendo estos últimos los que más sensibilizan y curiosamente los más criticados por autores de trabajos rechazados.

También han existido deficiencias en los estudios que evalúan los errores durante la RP. Jefferson y otros, en el 2002,²⁷ encontraron inconsistencias metodológicas en los estudios revisados hasta ese momento que evaluaban la RP. En un análisis posterior²⁸, este mismo grupo encontró que la RP aumentó de forma demostrable la calidad general del manuscrito y su legibilidad en un número limitado de estudios. No obstante, se requieren análisis adicionales en aras de hacer generalizaciones válidas, sin que se vean limitadas por las deficiencias inherentes al modelo de RP analizado.

GESTIÓN DE LA RP

Es válido puntualizar que la gestión editorial entre editores y autores es generalmente a distancia, aunque se beneficia mucho de la interacción presencial con los autores, sobre todo en temáticas poco tratadas o de reciente aparición, y en el caso de las revistas universitarias, cuyos autores generalmente se están formando en ese rol.⁴⁸

Desde el surgimiento de las revistas científicas la gestión fue por correspondencia postal, posteriormente reemplazada por las plataformas digitales de computación y comunicaciones como facilitadoras de todos los procesos editoriales.⁴⁹ Por su amplio alcance, estas han permitido estimar el público interesado dentro del proceso general de la RP, como ejemplo más avanzado la propuesta de la Red de artículos escogidos (SPN).⁵⁰

Una de esas plataformas más notorias de pre-RP es el repositorio arXiv, fundado en 1991 por Paul Ginsparg e inicialmente desarrollado para depositar artículos de matemática, física y ciencias de la computación, que subsecuentemente incorporó otras ramas de la ciencia.^51,52 Su dinámica incluyó el depósito de los trabajos, lo cual fue aprovechado para que muchos fuesen revisados por el público lector previo a someterlos a RP, de forma similar a como ocurre en el modelo de RP de proceso abierto (RP abierta en dos etapas⁶ y SPN⁵⁰). Esto influyó en que varias revistas de los campos temáticos relacionados con el repositorio modificaran sus políticas sobre la divulgación previa al envío, lo que se ha mantenido con independencia del modelo de administración editorial que empleen (pago por acceso o de acceso abierto).

Los desarrollos computacionales derivaron en los actuales sistemas de gestión editorial en línea (también conocidos como sistemas de RP en línea,^49,53 para un enfoque histórico de su desarrollo y una lista de sistemas existentes, respectivamente). El tiempo salvado por la disminución del volumen de trabajo documental favoreció que se exigiera a los revisores el empleo de más tiempo en capacitar autores durante la interacción editorial.⁴⁹

La revista Medical Journal of Australia fue el primer intento de aprovechar todas las potencialidades de las plataformas digitales e Internet para la RP, tan temprano como en 1996.⁵⁴ Estaba compuesto por RP convencional previo a su publicación en línea y RP de proceso abierto en línea antes de publicarse en versión impresa. Esta revista publicó los reportes de los revisores junto con los artículos aceptados en una página, y los autores añadieron los cambios en base a los comentarios de los lectores para la publicación impresa.⁵⁵ Con el tiempo derivó en la variante de Comunidad de revisión, de RP de proceso abierto, con foro seguro.⁴⁹

Actualmente, además de los sistemas de gestión en línea, existen servicios comerciales de edición y pre-RP,⁵⁶ al igual que sistemas automatizados de revisión formal del manuscrito para autores y editores (por ejemplo, PaperMaker),⁵⁷ que ayudan a dar un mejor acabado previo al envío. Incluso, se ha planteado la posibilidad de delegar la RP en servicios profesionales de administración de flujo (por ejemplo, Editorial Office Ltd.⁵⁸ y JournalPrep),⁵⁹ particularmente en determinadas coyunturas editoriales.

 

IMPLICACIONES DE DIVULGAR LA REVISIÓN

Aunque no de forma absoluta, las plataformas digitales han suplantado en gran medida a las publicaciones impresas y a las revistas como vehículos de diseminación de los debates sobre la veracidad científica y el impacto de la ciencia,⁶⁰ relegándolas netamente como depósitos archivísticos de información. Este efecto está siendo contrarrestado por la creciente incorporación de los planteamientos más relevantes de los debates que ocurren en sus plataformas digitales (foros) en las secciones de Comentarios y Opiniones,⁴⁴ Cartas al editor²⁴ y Correspondencia⁴⁵ de las revistas científicas.

En otro orden, la citabilidad de los artículos científicos se ha acelerado al poder citarlos de forma independiente de la revista mediante el uso de identificadores persistentes como el DOI,⁶¹ incluso desde su divulgación para ser evaluado por RP de proceso abierto.⁶ Sin embargo, esto último implica el cuidado por parte de quien cita artículos en revisión bajo modelo de RP de proceso abierto, de citar siempre el artículo publicado y no el manuscrito en discusión (por ejemplo, RP abierta en dos etapas).⁶ Este modelo comprende la divulgación previa a su validación por la RP, pero considera que se trata de un genuino artículo científico cuando se acepte después de la RP y con los correspondientes datos bibliográficos.

Este nuevo desarrollo obliga a desechar el carácter de publicación duplicada en caso de ser rechazado un manuscrito divulgado durante la RP de proceso abierto y reenviado a una revista de RP convencional. También pudiera generar una evolución posterior de las normas bibliográficas, para reflejar el carácter de "divulgado en revisión", rechazado o no, a menos que se publique posteriormente, algo similar a lo que ocurre con la publicación primero en línea, o con la retractación.⁶² Esto añadiría un nivel de complejidad mayor en la métrica de citación, aunque pudiera ser paliado con efectividad con códigos de identificación digital (Rodríguez EG, manuscrito en preparación). Otra variante sería retirar del sitio web de la revista el manuscrito y sus revisiones, práctica establecida en la Semantic Web Journal,⁶³ o sea, "despublicar" los manuscritos rechazados o demorados en la respuesta a la revisión abierta después de un periodo de ocho semanas, de conjunto con sus revisiones. La despublicación parece ser una variante más razonable, pues evita distorsiones en la métrica de citación similar a la generada por las retractaciones.

De forma general, la RP es un proceso de aseguramiento y control de calidad del contenido de una revista, y sirve de consulta a los nuevos revisores sobre determinados patrones a considerar para evaluar adecuadamente las prácticas y resultados experimentales. En una etapa más avanzada de su implementación, el análisis de la información publicada sobre los actos de RP de un mismo tema pudiera servir para comparar diferentes escuelas de ciencia, al tener en cuenta la formación de base y calificación académica de los revisores.

 

LA REVISIÓN POR PARES COMO INDICADOR DE DESEMPEÑO CIENTÍFICO

El acto de RP permanece mayormente en el anonimato y consume gran cantidad de tiempo. Para solucionarlo se han sugerido variantes que miden la calidad del revisor y reconocen públicamente su labor, como parte de su currículo científico.⁶⁴ Se ha planteado que el cambio de RP convencional a RP de proceso abierto permitiría usar el desempeño del revisor durante la RP como otro parámetro más de evaluación de su trayectoria científica, al identificarse bajo nombre completo o identificador digital en la publicación.¹⁴ En este sentido, se suma al reciente empleo de la sección de Reconocimientos para tales fines, de conjunto con la autoría⁶⁵ y los indicadores bibliométricos que califican a los investigadores como expertos en un tema.

El uso del desempeño del revisor como parte de la trayectoria científica solo requeriría divulgar la información del proceso de revisión y el desarrollo de indicadores que midan los parámetros de la función del revisor en una misma revista y comparativamente entre revistas (por ejemplo: cantidad de revisiones en un periodo, cumplimiento de los plazos, valoraciones metodológicas y de formato, cobertura de las secciones del manuscrito, observaciones sobre los métodos estadísticos, tono de la comunicación con los autores, uso de la literatura para argumentar las observaciones). Esto también favorecería el desarrollo de estrategias para la superación de la cartera de árbitros.

No menos importante, el estudio de las respuestas de los autores permite también evaluarlos en cuanto a sus habilidades para comunicarse adecuadamente y afrontar el debate científico con los revisores, más allá del convencimiento de estos o el aporte de los elementos técnicos necesarios.

Un sistema de calificación de la labor de los revisores fue reportado por Kravitz y otros,⁶⁶ quienes clasificaron a los revisores de la revista Journal of General Internal Medicine durante el periodo de junio de 2010 a junio de 2011 en Revisores y Revisores superiores. Esta última categoría estuvo determinada por 2 o más revisiones, un parámetro de calidad del desempeño nunca menor de cuatro en una escala de calidad de 1 a 6 según las valoraciones de los editores asociados, y no más de 30 días para la entrega de la revisión. En esta línea de pensamiento se ha propuesto recientemente establecer para cada revisor un índice de eficiencia de revisión, (o índice REF),⁶⁷ lo que se facilita con el empleo de los sistemas de gestión editorial en línea.

También se han desarrollado herramientas para evaluar el desempeño de los revisores, asociadas a los sistemas de gestión editorial en línea. En el caso de los modelos de RP abierta está el ejemplo de UCount,⁶⁸ una herramienta basada en el Instrumento de Calidad de Revisión (RQI)⁶⁹ previamente implementado por los editores de la British Medical Journal, y que forma parte del sistema de gestión editorial en línea e-Scripts⁷⁰ (analizado por Birukou y otros).⁷¹ El sistema permite asignar valores al acto de revisión según su calidad relativa en una escala de 5 puntos acorde con los parámetros analizados durante la RP. No obstante, recientemente se reconocieron las limitaciones del RQI para evaluar la exhaustividad de la revisión.⁷²

El uso de cualquier indicador del desempeño del revisor dependerá del consenso que exista en los sistemas de ciencia sobre su necesidad y relevancia, toda vez que la comunicación validada de los resultados investigativos descansa en la calidad del proceso de RP.⁶⁷ Esto favorecería que los revisores consideren cada vez más la invitación a revisar como un reconocimiento a su pericia y no como una sobrecarga.¹⁶

CONCLUSIONES

Indiscutiblemente, la RP se perfecciona constantemente para adecuarse a los requerimientos cambiantes de las comunidades científicas y la evolución temática de la investigación, sin afectar su calidad y propósitos. Por ende, el estudio de los flujos de reenvíos editoriales pudiera facilitar una visión más precisa de dinámicas editoriales poco caracterizadas, útiles para predecir la relevancia del resultado investigativo para los lectores una vez publicado, más allá de los indicadores basados en citación.

De igual forma, el desarrollo de indicadores de desempeño del revisor añadirá valor a la labor editorial, fuera del marco restringido de los sistemas convencionales de revisión, sumándose de esta forma a la autoría, los análisis de citas, y el acápite de Reconocimientos como avales del desempeño investigativo.

La evolución actual de la RP apunta hacia la gerencia del procesamiento de manuscritos científicos y la validación de sus datos y metadatos. En este contexto las editoriales científicas se vislumbran como centros de inteligencia informacional más allá de la evaluación convencional o intrínseca de textos científicos. Y las variantes de pre-RP y RP de proceso abierto en foros seguros pudieran reforzar la utilidad de los repositorios de manuscritos sin publicar, al disminuir sus riesgos para los autores y en dependencia de la comunidad científica de que se trate.

Agradecimientos

A los profesores del Diplomado en Gestión de Información en Salud en su edición 2011-2012, perteneciente a la Universidad Virtual de Salud (Infomed, Cuba), por el conocimiento brindado sobre el uso del modelo BIG6^TM, de cuyo ejercicio evaluativo final derivó el presente artículo de revisión. A la Dirección de Gestión y Servicios de Información (GSI) del Centro de Ingeniería Genética y Biotecnología (CIGB) de La Habana, por facilitar la participación en el diplomado y el apoyo tecnológico. A los revisores y editores que evaluaron el manuscrito, por su contribución anónima pero muy acertada.

REFERENCIAS BIBLIOGRÁFICAS

1. Rodríguez EG. La revisión editorial por pares: Roles y procesos [Internet]. RCICS. 2013 [citado 4 de abril de 2013];24(2). Disponible en: http://acimed.sld.cu/index.php/acimed/article/view/410

2. Lee KP, Schotland M, Bacchetti P, Bero LA. Association of journal quality indicators with methodological quality of clinical research articles. JAMA. 2002;287(21):2805-8.

3. Fahy K. Perceived journal quality: An indicator of research quality. Women Birth. 2008;21(3):97-8.

4. Journal of Bacteriology [Internet]. 2013 [citado 4 de abril de 2013]. Disponible en: http://jb.asm.org/content/190/1/1.full

5. Artificial DNA: PNA & XNA [Internet]. Landes Bioscience Journals. 2013 [citado 4 de abril de 2013]. Disponible en: http://www.landesbioscience.com/journals/artificialdna/guidelines/

6. Sandewall E. Maintaining live discussion in two-stage open peer review. Front Comput Neurosci. 2012;6:9.

7. Burnham JC. The evolution of editorial peer review. JAMA. 1990;263(10):1323-9.

8. Ali J. Manuscript rejection: causes and remedies. J Young Pharm. 2010;2(1):3-6.

9. Lumb PD. Conflict of interest; disclosure; peer review. J Crit Care. 2011;26(4):333-4.

10. Akst J. I hate your paper. Scientist. 2010;24:36.

11. Calcagno V, Demoinet E, Gollner K, Guidi L, Ruths D, de Mazancourt C. Flows of Research Manuscripts Among Scientific Journals Reveal Hidden Submission Patterns. Science. 2012;338(6110):1065-9.

12. Scientific Reports [Internet]. 2013 [citado 4 de abril de 2013]. Disponible en: http://www.nature.com/srep/authors/index.html

13. Sen CK. Rebound peer review: a viable recourse for aggrieved authors? Antioxid Redox Signal. 2012;16(4):293-6.

14. Pulverer B. Peer reviews: some are already public. Nature. 2011;474(7351):285.

15. Saper CB. The Neuroscience Peer Review Consortium. Neurobiol Dis. 2009;33(3):313-4.

16. Khan K. Is open peer review the fairest system? No. BMJ. 2010;341:c6425.

17. Demystifying peer review. Nat Cell Biol. 2010;12(5):413.

18. Neuroscience Peer Review Consortium. Information for authors [Internet]. 2013 [citado 4 de abril de 2013]. Disponible en: http://nprc.incf.org/authors/information-for-authors

19. Proceedings of the National Academy of Sciences of the United States of America. Editorial policies [Internet]. 2013 [citado 4 de abril de 2013]. Disponible en: http://www.pnas.org/site/authors/editorialpolicies.xhtml

20. Ploegh H. End the wasteful tyranny of reviewer experiments. Nature. 2011;472:391.

21. Waltman L, van Eck NJ, van Leeuwen TN, Visser MS, van Raan AF. On the correlation between bibliometric indicators and peer review: reply to Opthof and Leydesdorff. Scientometrics. 2011;88(3):1017-22.

22. Jackson JL, Srinivasan M, Rea J, Fletcher KE, Kravitz RL. The validity of peer review in a general medicine journal. PLoS One. 2011;6(7):e22475.

23. Parker R, editor. Response to Sandewal´s alternative to peer review. AAAS/UNESCO/ICSU Workshop on Developing Practices and Standards for Electronic Publishing in Science; Paris; 1998.

24. Young K. Rethinking peer review. CMAJ. 2010;182(3):281.

25. Loonen MP. Alternative peer review system: Peer agreement system. J Plast Reconstr Aesthet Surg. 2010;63(11):1931-2.

26. O'Dowd A. Peer review must stay as guarantee of quality, research leaders tell MPs. BMJ. 2011;342:d3656.

27. Jefferson T, Wager E, Davidoff F. Measuring the quality of editorial peer review. JAMA. 2002;287(21):2786-90.

28. Jefferson T, Rudin M, Brodney Folse S, Davidoff F. Editorial peer review for improving the quality of reports of biomedical studies. Cochrane Database of Systematic Reviews [Internet]. 2007(2); [citado 4 de abril de 2013]. Disponible en: http://www.mrw.interscience.wiley.com/cochrane/clsysrev/articles/MR000016/frame.html

29. Schroter S, Tite L, Hutchings A, Black N. Differences in review quality and recommendations for publication between peer reviewers suggested by authors or by editors. JAMA. 2006;295(3):314-7.

30. Peering into review. Nat Med. 2010;16(3):239.

31. Kadar N. Systemic bias in peer review: suggested causes, potential remedies. J Laparoendosc Adv Surg Tech A. 2010;20(2):123-8.

32. Raff M, Johnson A, Walter P. Painful publishing. Science. 2008;321(5885):36.

33. Shattell MM, Chinn P, Thomas SP, Cowling WR. Authors' and Editors' Perspectives on Peer Review Quality in Three Scholarly Nursing Journals. J Nurs Scholarsh. 2010;42(1):58-65.

34. Resnik DB, Gutierrez-Ford C, Peddada S. Perceptions of ethical problems with scientific journal peer review: an exploratory study. Sci Eng Ethics. 2008;14(3):305-10.

35. Rangachari PK. Teaching undergraduates the process of peer review: learning by doing. Adv Physiol Educ. 2010;34(3):137-44.

36. Reynolds JA, Thompson RJ, Jr. Want to improve undergraduate thesis writing? Engage students and their faculty readers in scientific peer review. CBE Life Sci Educ. 2011;10(2):209-15.

37. Freda MC, Kearney MH, Baggs JG, Broome ME, Dougherty M. Peer reviewer training and editor support: results from an international survey of nursing peer reviewers. J Prof Nurs. 2009;25(2):101-8.

38. Peternelj-Taylor C. Licking your wounds: responding to the peer review process. J Forensic Nurs. 2011;7(4):157-8.

39. Schroter S, Black N, Evans S, Godlee F, Osorio L, Smith R. What errors do peer reviewers detect, and does training improve their ability to detect them? J R Soc Med. 2008;101(10):507-14.

40. Godlee F, Gale CR, Martyn CN. Effect on the quality of peer review of blinding reviewers and asking them to sign their reports: a randomized controlled trial. JAMA. 1998;280(3):237-40.

41. Callaham M, McCulloch C. Longitudinal trends in the performance of scientific peer reviewers. Ann Emerg Med. 2011;57(2):141-8.

42. Smith A, Barrandon Y, Buckingham M, Eaves C, Enver T, Fuller M, et al. Open letter to Senior Editors of peer-review journals publishing in the field of stem cell biology | Europe's stem cell hub | EuroStemCell. EuroStemCell; 2009 [citado 4 de abril de 2013]. Disponible en: http://www.eurostemcell.org/commentanalysis/peer-review/

43. Emerson GB, Warme WJ, Wolf FM, Heckman JD, Brand RA, Leopold SS. Testing for the presence of positive-outcome bias in peer review: a randomized controlled trial. Arch Intern Med. 2010;170(21):1934-9.

44. Mirkin JN, Bach PB. Outcome-blinded peer review. Arch Intern Med. 2011;171(13):1213-4; author reply 4.

45. Altschuler EL. Peer reviews: in praise of referees (traducción de Rodríguez EG). Nature. 2011;473(7348):452.

46. Martinson EA, Piper HM, Garcia-Dorado D. How to catch a cheat: an editor's perspective on a new age of plagiarism and data manipulation. Cardiovasc Res. 2011;92(1):1-2.

47. Gibson M, Spong CY, Simonsen SE, Martin S, Scott JR. Author perception of peer review. Obstet Gynecol. 2008;112(3):646-52.

48. Li L. A different form of editor-author interaction: the approach of university journals in China. Learn Publ. 2009;22(3):187-90.

49. Tananbaum G, Holmes L. The evolution of Web-based peer-review systems. Learn Publ. 2008;21(4):300-6.

50. Lee C. Open peer review by a selected-papers network. Front Comput Neurosci. 2012;6:1.

51. Ginsparg P. The global villaje pioneers. Learn Publ. 2009;21(2):95-100.

52. DeShaw-Wilner G. Peer review: a premier member benefit. J Mich Dent Assoc. 2007;89(10):48-50.

53. E-Journal Publishing Tools & Services [citado 4 de abril de 2013]. Disponible en: http://library.queensu.ca/webir/planning/e-journal_publishing_support.htm

54. Bingham C, Coleman R. Enter the Web: an experiment in electronic research peer review. Med J Aust. 1996;164(1):8-9.

55. Bingham CM, Higgins G, Coleman R, Van Der Weyden MB. The Medical Journal of Australia Internet peer-review study. Lancet. 1998;352(9126):441-5.

56. Oxford Journals. Oxford Journals Language Services [Internet]. 2013 [citado 4 de abril de 2013]. Disponible en: http://www.oxfordjournals.org/for_authors/language_services.html

57. Rebholz-Schuhmann D, Kavaliauskas S, Pezik P. PaperMaker: validation of biomedical scientific publications. Bioinformatics. 2010;26(7):982-4.

58. Sellwood S. Editorial processing: to outsource or not? Learn Publ. 2012;25(3):225-30.

59. English Editing & Academic Peer Review. Journal Prep [Internet]. 2013 [citado 4 de abril de 2013]. Disponible en: http://www.journalprep.com/index.php

60. Davies S, Delamothe T. Revitalising rapid responses. We're raising the bar for publication. BMJ. 2005;330(7503):1284.

61. Paskin N. Digital Object Identifier (DOI®) System. Encyclopedia of Library and Information Sciences. London: Taylor & Francis; 2010. p. 1586-92.

62. Uniform Requirements for Manuscripts Submitted to Biomedical Journals [Internet]. International Committee of Medical Journal Editors; 2013 [citado 4 de abril de 2013]. Disponible en: www.ICMJE.org

63. Janowicz B, Hitzler P. Open and transparent: the review process of the Semantic Web journal. Learn Publ. 2012;25(1):48-55.

64. Ferris LE, Brumback RA. Academic merit, promotion, and journal peer reviewing: the role of academic institutions in providing proper recognition. J Child Neurol. 2010;25(5):538-40.

65. Giles CL, Councill IG. Who gets acknowledged: measuring scientific contributions through automatic acknowledgment indexing. Proc Natl Acad Sci EE.UU. 2004;101(51):17599-604.

66. Kravitz RL, Feldman MD. From the editors' desk: peer review now and in the future. J Gen Intern Med. 2011;26(12):1385-90.

67. Baveye PC. Wanted: a 'Reviewer Effectiveness Index'. Learn Publ. 2012;25(3):232-4.

68. Parra C, Birukou A, Casati F, Saint-Paul R, Wakeling JR, Chlamtac I, editors. UCount: A community-driven approach for measuring scientific reputation. Proceedings of Altmetrics11: Tracking Scholarly Impact on the Social Web; Koblenz; 2011.

69. van Rooyen S, Black N, Godlee F. Development of the review quality instrument (RQI) for assessing peer reviews of manuscripts. J Clin Epidemiol. 1999;52(7):625-9.

70. e-Scripts - Online Publication System. [Internet]. 2013 [citado 4 de abril de 2013]. Disponible en: http://escripts.icst.org/

71. Birukou A, Wakeling JR, Bartolini C, Casati F, Marchese M, Mirylenka K, et al. Alternatives to peer review: novel approaches for research evaluation. Front Comput Neurosci. 2011;5:56.

72. Vinther S, Haagen Nielsen O, Rosenberg J, Keiding N, Shroeder TV. Same review quality in open versus blinded peer review in "Ugeskrift for Læger". Dan Med J. 2012;59(8):A4479.

Recibido: 19 de octubre de 2012.
Aprobado: 29 de enero de 2013.

Lic. Ernesto G. Rodríguez. Editorial Elfos Scientiae. Centro de Ingeniería Genética y Biotecnología. Ave. 31 entre 158 y 190, Cubanacán, La Habana, Cuba. Correo electrónico: [e-mail]