Custom services
Spanish (pdf)
Article in xml format
Article references
Send this article by e-mail
Cited by SciELO 
Similars in
SciELO 
Permalink
INTRODUCCIÓN
La gestión orientada a convertir un manuscrito en un artículo científico demanda del intercambio oportuno de criterios e información entre autores, directores de publicaciones científicas y técnicas (revistas biomédicas cubanas) y especialistas expertos (árbitros) del área de conocimiento o tema que se trate. En este proceso se constituyen en figuras clave los expertos, pares de los autores.
Esta evaluación crítica mejora la presentación del informe (claridad científica y lingüística), elimina errores, evita omisiones, genera un ambiente de credibilidad de lo publicado y contribuye al prestigio de las revistas que lo practican.1
Las revistas biomédicas cubanas utilizan la revisión por pares en su forma a doble ciego, en la que la identidad del par y del autor es desconocida. Este modelo ha sido criticado por su lentitud, la escasa detección de fraude, los sesgos que pueden generar y la pérdida de tiempo y esfuerzo a la que conlleva los ciclos de revisión necesarios. Esta limitación se plantea desde la década del 80 (siglo XX).2
Desde entonces, han aparecido varias tendencias que intentan cambiar el sistema de revisión por pares, que utilizan las ventajas del acceso público a la información por vía electrónica, entre ellas: revisión abierta; arbitraje cerrado, comentarios abiertos; revisión pública, eliminación de la evaluación por pares previo a la publicación, no arbitraje y revisión tradicional con el beneficio del uso de las nuevas tecnologías.3
De estas tendencias, ha cobrado popularidad la revisión abierta (OPR, del inglés open peer review), a la que se suman las iniciativas de servidores depreprints e incluye la apertura de la información sobre las identidades de los autores y revisores, la publicación de los informes del arbitraje y una mayor participación del público en el proceso de revisión.4 Estos modelos surgieron a finales de la década del 90 (siglo XX) pero existen opiniones divergentes entre autores, directores y expertos acerca de la identidad abierta y el costo de las nuevas plataformas de administración de manuscritos que deben sostener una mayor interactividad entre todos los actores de la cadena editorial.5
Otra tendencia es el open access mega-journals (OAMJs), que realiza un arbitraje mínimo por parte del cuerpo editorial, y traslada a la etapa de pospublicación, a cargo del público, el resto de la evaluación. Es el modelo usado porPLoS ONEdesde 2006 yScientific Reports, lanzado porNatureen 2011.6
A pesar de estas tendencias e iniciativas, la revisión por pares a doble ciego se sigue considerando “el menos malo y más sostenible de todos los procedimientos de evaluación crítica de manuscritos y mejora de la evidencia científica”.1
En el ámbito internacional, se plantea que no está bien identificado el alcance de las funciones y tareas de los árbitros en el proceso de revisión por pares,7 que raramente se enseña y que durante la formación académica del profesional de nivel superior y del investigador no se ofrece adiestramiento en tal sentido,8 por otro lado, se califica al revisor de excelencia como un especialista altamente calificado, objetivo y crítico.9
Las revistas biomédicas cubanas valoran el proceso de revisión por expertos en general, destacan su importancia y abogan porque todas lo apliquen con el mayor rigor posible. Dos publicaciones abordan las características de los expertos y de su selección.10,11,12,13,14,15,16,17
La publicación que trata de la elección del árbitro,17) plantea problemas en aspectos metodológicos y de referencias bibliográficas en trabajos arbitrados recibidos para publicar. Ante estas dificultades, cabe peguntarse ¿qué conocen nuestros árbitros acerca de saber y saber hacer en la práctica del arbitraje?
El propósito de este trabajo es valorar las percepciones de expertos de revistas biomédicas cubanas en relación con características y habilidades que deben considerarse en la revisión de manuscritos.
MÉTODOS
Se realizó una investigación descriptiva entre septiembre de 2013 y diciembre de 2014, como parte del proyecto de culminación del curso para editores científicos impartido por la Editorial Ciencias Médicas.
Para la recogida de la información, se diseñó un cuestionario (anexo) validado por criterio de expertos que tenían más de cinco años como integrantes de comités editoriales, poseían formación de máster o doctor en ciencias y experiencia en la publicación de artículos científicos.
La selección por conveniencia de los árbitros se realizó a partir del criterio de 14 directores de revistas biomédicas cubanas arbitradas por pares, registradas en la biblioteca virtual electrónica SciELO Cuba, en la base de datos Scopus y certificadas por el Ministerio de Ciencia Tecnología y Medio Ambiente (CITMA), de las 21 existentes en el momento de realizarse la investigación. A cada director se le envió online el cuestionario y la petición de que seleccionara a cinco de sus árbitros que se interesaran en participar en la investigación. De 70 posibles, recibimos respuestas de 57 árbitros, que conformaron la muestra.
Se analizaron variables demográficas de los encuestados: edad, sexo y nivel académico y otras relacionadas con el proceso de arbitraje: tiempo que se ha desempeñado como árbitro de revistas científicas, disponibilidad de guía para la evaluación de los manuscritos y por quién fue creada y en qué medida se siente reconocido por su labor como árbitro de una revista científica; características que piensa que debe poseer un profesional para desempeñar la función de árbitro y habilidades que considera necesarias para hacer un buen arbitraje.
La investigación se realizó de forma anónima con respecto al árbitro participante, no así para la revista, que conocimos a través de los cuestionarios recibidos online. La información se mantuvo limitada al equipo participante en la investigación.
Los datos se ingresaron en una base de datos creada con el programa SPSS versión 15.0 en español. Los resultados se expresaron en valores absolutos y porcentajes.
RESULTADOS
De los 57 árbitros encuestados, un poco menos de la mitad, 26 (45,6 %) tienen entre 45 y 60 años, 18 (31,6 %) más de 60 años, 8 (14,0 %) menos de 45 años y 5 (8,8 %) no respondieron a la pregunta.
Participaron 29 (50,9 %) hombres y 28 (49,1 %) mujeres. Predominaron los árbitros con categoría de investigador auxiliar 18 (31,6 %), 13 (22,8 %) s investigadores titulares, 10 (17,5 %) agregados y 16 (28,1 %) no respondieron a la pregunta. Son doctores en una ciencia en particular 26 (45,6 %) árbitros, 1 (1,7 %) es doctor en ciencias y 3 (5,3 %) son máster en ciencias.
Prevalecieron los expertos, 20 (35,1 %) con más de 10 años de experiencia, 18 (31,6 %) tienen entre 6-8 años, 17 (29,8 %) menos de 5 años trabajando como árbitro y 2 (3,5 %) no respondieron la pregunta.
En relación con las variables referidas al proceso de revisión por expertos, se encontró que la disponibilidad de una guía de evaluación suministrada por la revista fue declarada por 41 (71,8 %) árbitros, 12 (21,1 %) no tienen guía. Tres (5,3 %) elaboraron su propia guía y 1 (1,7 %) no respondió la pregunta.
Solo 3 (5,3 %) árbitros declararon ser muy reconocidos por la labor que realizan y 29 (50,8 %) opinaron estar reconocidos. Se obtuvo el mismo valor referido al criterio de ser poco reconocidos o no reconocidos: 7 (12,3 %) árbitros, respectivamente; 11(19,3 %) no respondieron la pregunta.
Entre las características identificadas por los árbitros, el ser ético y responsable, estar actualizado en el tema a evaluar y ser objetivo en el dictamen, alcanzaron altos porcentajes de repuestas en la condición de indispensable para el trabajo de evaluación crítica de manuscritos (tabla 1).
Tabla 1- Importancia que tienen las características identificadas por los árbitros
*Dos árbitros no respondieron el cuestionario. Los porcentajes se calcularon para n = 55.
Ser éticos en sus críticas y hacerlas de forma constructiva y detectar errores graves de forma y de contenido, fueron habilidades identificadas por los árbitros con altos porcentajes de respuestas (tabla 2).
Tabla 2- Importancia que tienen las habilidades identificadas por los árbitros
*Dos árbitros no respondieron el cuestionario. Los porcentajes se calcularon para n = 55.
En relación con las propuestas para evitar el fraude (pregunta 10 del cuestionario) se emitieron 71 opiniones (varios árbitros aportaron más de una propuesta) que generaron tres categorías en las que se pueden integrar las respuestas: 1) constatación de la fidelidad de la fuente bibliográfica, 2) análisis crítico del contenido y la forma del artículo y 3) la notificación del fraude.
De manera singular, un árbitro reconoció no saber qué hacer y otro consideró que el fraude podía tener diferentes niveles y que estos determinarían la acción a realizar.
Las sugerencias de los árbitros en relación con las formas para mejorar las revistas (pregunta 11 cuestionario), generaron 82 opiniones. Estas versaron alrededor de dos centros de atención: 1) Las acciones con los árbitros y 2) condiciones de los manuscritos.
DISCUSIÓN
En las revistas científicas que publican artículos arbitrados, el proceso de revisión por expertos influye en su prestigio y posicionamiento en la comunidad académica. Los expertos que se seleccionan para esta tarea asumen un compromiso con los autores, directores y lectores, que lleva implícito el cumplimiento de determinada actitud ética que garantiza la satisfacción de todos y una mejor evaluación del manuscrito.
En este trabajo, algunas de las características identificas por los árbitros con altos porcentajes de respuestas (ser ético y responsable, actualizado en el tema a evaluar, objetivo en el dictamen y su entrega en el plazo fijado) aluden a esa actitud ética que debe acompañar a los expertos en su revisión de manuscritos.18
Un conjunto de habilidades entre las aquí relacionadas también conforman el saber hacer ético de los expertos (generar críticas constructivas y ser ético en ello, entregar el dictamen en el plazo establecido y declarar los conflictos de intereses).19,20
En su generalidad, los directores de las revistas asignan los árbitros más preparados en el tema del manuscrito a evaluar y precisan un plazo para el cumplimiento de la revisión. Si el experto seleccionado considera que no tiene la actualización necesaria o que no puede entregar en el plazo dado, la actitud ética y responsable es declinar la invitación para actuar como árbitro; una postura contraria mina la buena marcha de la revisión por expertos y es causa, entre otras, de su lentitud, señalada como una debilidad de este proceso por autores, directores y la comunidad científica.1,2,3,9
La objetividad en el dictamen, característica que obtuvo un alto porcentaje de respuestas, conlleva a detectar los errores y expresar las opiniones o recomendaciones de forma argumentada, desde una posición ética, pero crítica y constructiva, así como declarar el aporte realizado y el valor científico del tema propuesto. Entre las causas más comunes de insatisfacción por parte de los autores está la ausencia de críticas constructivas o el rechazo de partes o de artículos completos con explicaciones muy pobres.16
La declaración de conflictos de intereses no alcanzó altos porcentajes de respuestas y podemos resumir sobre esa base, que no fue importante para nuestros árbitros, sin embargo, contribuye a minimizar o eliminar los posibles sesgos que pudieran existir.
En las revistas biomédicas cubanas se usa generalmente el enmascaramiento a doble ciego,17 pero la comunidad académica de la Isla tiene la particularidad de no ser amplia y puede suceder que el par evaluador, con solo conocer el tema del manuscrito, detecte quienes son algunos de sus autores principales o puede ser partícipe de la línea de investigación implícita, y aparecer conflictos por relaciones personales, entre ellos, pérdida de la confidencialidad de la información, competitividad académica, nepotismo, favoritismo o amiguismo; o surgir conflictos por relaciones financieras,20) referida a la existencia de un vínculo laboral entre el médico y una empresa, o bien a la entrega de algún tipo beneficios, como pago de viajes, congresos o cursos, o algún tipo de relación económica.
No declarar estos conflictos va en contra de la honestidad y ética del experto y daña la calidad del proceso de evaluación por pares. Los directores de las revistas biomédicas tienen que estar al tanto de estos problemas y ser muy cuidadosos en el momento de decidir la asignación de árbitros y estos, si consideran que tienen alguna limitación o conflicto, deben declararlos al director de la revista y renunciar a actuar como expertos.
Otros resultados significativos se relacionan con el conocimiento en metodología de la investigación y de bioestadísticas, ambas con resultados variables en las opciones de importancia dadas. La literatura recomienda incluir de forma adicional expertos en metodología, estadísticas y epidemiología, justificado por la importancia de estos aspectos, muchas veces no valorados adecuadamente por los expertos clínicos.9 Sería interesante que los directores de las revistas biomédicas cubanas tuvieran en cuenta esta variante y anotaran sus experiencias. Algunas revistas exhortan concretamente a sus árbitros prestar atención a los aspectos metodológicos y estadísticos en los manuscritos, para evitar la publicación de trabajos con errores metodológicos graves y análisis estadísticos impropios en trabajos listos para publicar o ya publicados.21
Algunas características por su bajo porcentaje de respuestas en las cinco opciones de importancia, no se analizan en detalle, aunque hay que tenerlas en cuenta en la evaluación por expertos. Entre ellas, que el autor pertenezca a una institución de prestigio, el rechazo de manuscritos con resultados negativos, ser inquisitivo y ser altruista. Todas, de una u otra forma son condiciones que el experto debe incorporar en su práctica, porque le pueden ayudar en determinadas situaciones, por ejemplo, no dar tratamiento preferencial a autores que laboran en instituciones prestigiosas3,9 y tener presente que un resultado negativo es un resultado publicable. Ser inquisitivo implica acrecentar la actitud de investigador ante un resultado dudoso o complejo; mientras que ser altruista en la evaluación por pares es solo devolver lo que en épocas anteriores recibieron en sus evaluaciones como autores y no olvidar que el propósito final es de ayuda al autor.
En la pregunta 10 del cuestionario, en lo que concierne a la constatación de la fidelidad de la fuente bibliográfica para la detección del fraude, consideramos que es una acción necesaria a realizar por los árbitros que tiene en la actualidad importancia en la detección de referencias que pudieran proceder de editoriales depredadoras,22 más que en la detección de un fraude de otro tipo.
Los resultados alcanzados en las características y habilidades relacionadas con las fuentes bibliográficas sugieren que los árbitros encuestados tienen claridad en la importancia de revisar de forma íntegra las referencias en los manuscritos que reciben. Lo favorable sería que esta acción se reflejara en la práctica de su actividad.
Otro modo de localizar fraude fue la detección de problemas en la forma y contenido de los manuscritos. Algunos de los encuestados respondieron que una manera de hacerlo es a través de la lectura crítica del manuscrito, que, según la literatura: “Es una técnica que ofrece la oportunidad de aumentar la efectividad de nuestra lectura y adquirir las habilidades necesarias para excluir con la mayor prontitud los artículos científicos de mala calidad y aceptar aquellos otros con la suficiente calidad científica y ayudarnos en nuestra toma de decisiones”.23 Este concepto de lectura crítica, explica por sí solo la necesidad de su incorporación en la práctica de la evaluación de manuscritos. Otras maneras planteadas por los árbitros fueron: la búsqueda de cambios de formato con diferentes procesadores de texto y detectar “textos pegados”.
En la actualidad, existen programas que detectan el plagio y otras malas conductas científicas24 y también guías25) que informan y ayudan a los expertos, autores, directores y lectores en la detección del fraude.24)
El tercer aspecto de la encuesta trató sobre la notificación del fraude. Si se sospecha su existencia, es importante informarlo. Los árbitros consideraron que debe comunicarse a la editorial que publica las revistas, al consejo científico de la institución correspondiente o al director de la revista. Consideramos que todas las instancias son válidas, siempre que se compruebe que puede haber fraude, entre ellas, plagio de texto, que es el más probable en las revistas científicas.
Entre los resultados de la pregunta 12 del cuestionario, se plantearon, como acciones a realizar con los árbitros, su preparación y el uso de guías para la evaluación.
La preparación del árbitro no tuvo altos porcentajes de respuestas, a pesar de su importancia, sin embargo, en esta pregunta, plantearon que la gran mayoría de ellos, se han preparado de forma autodidactica a través de los años y que sería bueno adiestrarse mediante un curso en la temática de arbitraje y en la preparación de los candidatos a revisores, aludieron a la necesidad de recibir entrenamiento, seminarios, encuentros entre árbitros y eventos, aspectos que coinciden con lo que informa la literatura.26,27,28
El uso de guía para la evaluación, es de utilidad en la práctica de la evaluación, y sobre todo, en la estandarización de la revisión. La literatura ofrece modelos de guías, que se pueden adaptar al contexto cubano.29,30,31)
Acerca de las condiciones de los manuscritos. Los árbitros consideraron la necesidad del envío a los autores, en todas las ocasiones, de sus dictámenes. Plantean que han detectado problemas en los manuscritos publicados sobre los cuales habían hecho recomendaciones que no se consideraron.
La comunicación entre árbitros y autores mediada por los directivos de las revistas o por miembros de su comité editorial es la vía idónea, establecida para la mejora del manuscrito y, por ende, de la revista.
Otro aspecto planteado fue considerar las faltas de ortografía como elemento invalidante para la aprobación del manuscrito en cuestión. Coincidimos con esta opinión.
Las limitaciones de este estudio radican en la forma de selección de la muestra, que no permite la extrapolación de sus resultados a otros escenarios, además, el cuestionario aplicado online podría implicar la existencia de consultas entre colegas, respuestas colectivas y pérdida, por tanto, de la opinión individual, sesgo de memoria y confusión en la información. Aquí se exponen resultados significativos acerca de una temática que tiene poca presencia en las revistas biomédicas cubanas y que tienen utilidad para directores y árbitros. Consideramos que, a pesar de los inconvenientes planteados, esta aproximación a aspectos que pueden hacer reflexionar a todos los involucrados en la cadena editorial es válida desde la óptica de la investigación y mejora de la evaluación crítica de manuscritos en nuestro contexto.
Finalmente, por todo lo expuesto, podemos concluir que los árbitros encuestados reconocen aspectos fundamentales para la evaluación de los manuscritos, lo que podría influir en el resultado positivo de su labor siempre que lo asuman y apliquen en la práctica, con énfasis en aquellas características profesionales que tuvieron menores porcentajes de reconocimiento. En caso contrario, se necesitarían incentivos que favorezcan la puesta en práctica de esos aspectos.
Recomendamos que los directores de las revistas trabajen en una mejor preparación y entrenamiento de sus árbitros actuales y de los posibles a incorporar, y valorar la utilidad de preparar una guía de evaluación general de la Editorial Ciencias Médicas para árbitros que se pudiera adecuar por los comités editoriales de cada revista.
