Criterios editoriales para la evaluación científica: notas para la discusión^*

Charles Pessanha¹

RESUMEN

Se aborda el sistema de evaluación de la producción científica conocido por peer review, referee system o sistema de arbitraje, que vincula al editor científico con los evaluadores. Se hace referencia a la ética en la ciencia y se incluyen tipos de conducta antiéticas en publicaciones científicas, ejemplos de procedimientos para los evaluadores y las principales directrices permanentes del Código de Ética de la Asociación Americana de Sociología, relacionadas con la comunicación en la ciencia.

Descriptores: ARBITRAJE; PRODUCCION CIENTIFICA; EVALUACION; EDITORES; ARBITROS; ETICA PROFESIONAL; COMUNICACION CIENTIFICA.

¿Cómo evaluar la literatura científica? En un artículo clásico sobre el asunto, Pattems of evaluation in science: institutionalization, structure and functions of the referee system, Harriet Zackerman y Robert Merton¹ llaman la atención sobre la génesis del proceso de evaluación de la ciencia, con el surgimiento de las primeras revistas científicas -la Journal des Scavants en Francia, y Phiroo sophical Transactions, de la Royal Society en Inglaterra, durante enero y marzo de 1965 respectivamente-, las cuales sustituyeron las cartas, que hasta aquel entonces los científicos cambiaban entre sí para comunicar sus resultados investigativos. Con estas revistas, surge el embrión del sistema de evaluación de la producción científica por los miembros de la comunidad, identificado como peer review o referee system, también conocido como sistema de arbitraje o de revisión por pares. En Brasil, se usan generalmente varias traducciones para referee, tales como árbitro, evaluador o revisor. De acuerdo con los autores mencionados, el referee system,^** llamado desde entonces sistema de arbitraje, "vincula el uso sistemático de árbitros para asesorar la aceptación de los manuscritos que aspiran ser publicados". Este sistema no surgió de forma pronta y acabada. Como parte institucional integrante de la ciencia, ha ido evolucionando como respuesta a los "problemas concretos" con que se enfrentan los científicos en el proceso de desarrollo de la investigación y "como subproducto de la emergente organización social de los científicos".¹ La transformación del manuscrito -el texto impreso, pero sin la competente evaluación de los pares- en publicación, o sea, los manuscritos legitimados por la lectura crítica de los pares mediante la evaluación institucionalizada y firmada por revisores competentes, da inicio al proceso de evaluación.

Aunque las primeras revistas datan de la primera mitad del siglo XVII, el inicio oficial del proceso de arbitraje se dio a conocer, según Charles R. Weld, en 1753, cuando la Royal Society of London tomó la responsabilidad formal de evaluar los textos publicados. La necesidad de organizar y seleccionar el material que luego sería publicado, conllevó el surgimiento de los dos actores principales en el proceso de evaluación: el editor científico, representado por el secretario de la Sociedad, encargado de organizar la revista, y los evaluadores, representados por el Consejo de la Sociedad. La difusión de esta práctica se produjo a partir del siglo XX, después de la II Guerra Mundial, debido al crecimiento exponencial del número de investigadores, a la fragmentación de la ciencia en subdisciplinas y al desarrollo de terminologías específicas.^2,3

A pesar de su difusión y aceptación, que evidencian sus grandes ventajas, el sistema de revisión por pares sufrió una serie de críticas, motivadas por las distorsiones de su uso. Biggs, citado por Spinak destaca: a) la propensión positiva o negativa a ciertos temas por parte de los árbitros o editores puede introducir distorsiones adicionales a la publicación, debido a los conflictos de intereses y a los enfrentamientos personales, los intereses comerciales, etc; b) la evaluación aumenta innecesariamente el tiempo entre la presentación del manuscrito y su publicación; c) es posible que se emitan argumentos prejuiciados sobre minorías étnicas, sexuales, ideológicas o nacionales.³

Por otro lado, como veremos más adelante, el sistema podría ser blanco de malas conductas éticas, tanto por parte de editores como de los evaluadores. Por último, la evaluación final de los artículos, podría sencillamente contener errores de juicio o de apreciación.

Para enfrentar las distorsiones antes mencionadas, se han introducido diferentes mecanismos y procedimientos, a fin de evitarlas o minimizarlas. Se acostumbra solicitar declaraciones de compromiso de los evaluadores; enviar cuestionarios con criterios orientadores para el análisis; utilizar un mayor número de árbitros; analizar todos los criterios de los evaluadores, con el fin de posibilitar el control de uno sobre otro; garantizar a los autores la posibilidad de participar en la decisión por intermedio del editor científico, quien a su vez debe propiciar un diálogo respetuoso y profesional entre el autor y el evaluador. Además de estos requisitos, es importante garantizar el carácter confidencial del proceso. El grado de confidencialidad del sistema de arbitraje ha ido variando desde muy herméticos a muy abiertos. En este último caso, autores y evaluadores se conocen; en el otro los árbitros son anónimos y desconocidos también los nombres de los autores. En muchas ocasiones los evaluadores conocen a los evaluados, y es muy poco frecuente ya que ocurra lo contrario.

Todavía el control más importante sigue siendo la evaluación de los criterios por parte del editor científico. Los requisitos constantes de la ficha de evaluación de la revista Social Studies of Science, por ejemplo, sintetizan los criterios que más demandan los editores a los evaluadores al "proferir" su decisión (tabla 1).

Tabla 1. Ficha de evaluación de la revista Social Studies of Science

Los editores de Social Studies of Science reconocen su labor y apreciarían mucho sus comentarios en el texto anexo.

Estamos particularmente interesados en su opinión sobre:

1. la calidad y el rigor de los argumentos presentados;

2. la validez de los datos presentados;

3. la oportunidad y relevancia del artículo para la discusión de problemas en su área de investigación;

4. Usted aconsejaría:

a) rechazarlo;

b) publicarlo sin revisión;

c) publicarlo sólo después de revisiones mayores (favor especificar);

d) publicarlo después de pequeñas revisiones estilísticas o textuales (favor especificar).

Junto a estas preocupaciones que enfatizan la forma y el contenido del trabajo científico, el proceso de evaluación de la literatura científica, se ha concentrado cada vez más en el problema ético. Los casos de fraude, plagio y otras conductas inadecuadas en el proceso de la producción y comunicación de la ciencia, se repiten con frecuencia creciente en las comunidades científicas. Un gran número de trabajos sobre el problema ético en la ciencia se han publicado en los últimos años. El conocido libro de Marcel C. La Follette,² Stealing into print, está dedicado por completo a este problema. Reproduzco a continuación la tabla en que La Follette describe los principales ejemplos de la mala conducta mantenida por algunos autores, evaluadores y editores (tabla 2). Tabla 2. Tipos de conducta antiética y falsificación en publicaciones científicas y técnicas

Por parte de los autores

Presentar datos o asuntos que no existen.

Presentar documentos u objetos supuestos.

Falsificar datos reales o pruebas o datos deliberadamente distorsionados.

Utilizar ideas o texto de otras personas sin atribuirles la autoría (plagio) incluyendo la violación

Deliberada del derecho de autor (copyright). • Falsificar la autoría, omitiendo un autor.

Falsificar la autoría, incluyendo un autor que no colaboró en el trabajo.

Falsificar el status de la publicación.

Por parte de los evaluadores

Falsificar hechos o emitir avales falsos.

Atrasar la presentación del aval sin motivos razonables, con el fin de obtener ventajas personales.

Robar ideas o textos de un manuscrito que estén evaluando.

Por parte de editores, asistentes editoriales y equipo editorial

Forjar o confeccionar fraudulentamente un aval.

Mentir sobre un autor en el proceso de emisión del aval.

Robar ideas o textos de un manuscrito sometido a examen.

Por consiguiente, junto al control interno de las editoriales, las sociedades científicas y algunas revistas importantes han desarrollado códigos de ética. Estructurados de manera similar en todos los campos del conocimiento, estos códigos establecen normas de comportamiento a los investigadores en el desempeño de sus papeles como autores, evaluadores y editores. A título de ejemplo, reproduzco en el anexo 1 las directrices permanentes del Código de Ética de la Asociación Americana de Sociología, en la parte relacionada con la comunicación de la ciencia.

Junto a los códigos y consejos sobre ética de revistas y sociedades científicas, los países de mayor desarrollo científico, han sentido la necesidad de crear instituciones de carácter nacional que trasciendan a las comunidades científicas. De acuerdo con Pablo Francescutti (Francescutti P. En defensa da etica. Folma de S. Paulo, 19 jul. 1998 Caderno Mais: 13), aunque la práctica incorrecta en la investigación sea un fenómeno "relativamente nuevo", ha aumentado de manera notable el registro de transgresiones en "la ética científica desde el plagio y la falsificación de datos, hasta fraudes completos, incluyendo publicaciones de material redundante" que alcanzan cerca del 13 % de los trabajos publicados en Inglaterra.

En Estados Unidos se creó en 1990 el Comité de Integridad Científica, independiente de las comunidades académicas, cuya primera atribución consistió en "definir lo que sería la práctica incorrecta y los procedimientos que deben considerarse con posterioridad a una acusación. Sus criterios se adoptaron por la mayoría de las instituciones de investigación de los Estados Unidos". En Francia se creó en 1994 el Comité de Ética para las Ciencias del Centre National pour la Recherche Scientifique (CNRS) "como instancia consultiva independiente, con el objetivo de reflejar y debatir sobre los problemas éticos suscitados en la investigación científica", de acuerdo con el artículo firmado por su Presidenta, la historiadora Héllene Ahrweiler.⁴

Recientemente el Reino Unido fue escenario de algunos escándalos vinculados a la conducta incorrecta mantenida en las ciencias. Uno de ellos se refiere al reconocimiento público por parte de la prestigiosa British Medical Journal de "haber publicado dos artículos supuestamente fraudulentos". El comité de ética de la publicación, formado por editores de revistas académicas, reconoce la incapacidad de control de las universitades y Centros de Investigación, por lo que propusieron "la creación de un órgano nacional encargado de combatir el fraude en la investigación médica", basado en el ejemplo norteamericano y seguido por "instituciones similares en Dinamarca, Noruega, Finlandia y Australia".

Resumiendo, el tema de evaluación de la literatura científica abarca, además de los aspectos de forma y contenido, los problemas éticos. A pesar de las conocidas críticas, el sistema de arbitraje ha desempeñado y aún ejerce un papel crucial en el desarrollo de la ciencia. Recientemente, el Seminario Oxford sobre Publicación Electrónica, promovido por el International Council for Science (ICSU),⁵ ha incluido entre sus Conclusiones y Recomendaciones para las Revistas Electrónicas que "los editores de revistas deben aunar esfuerzos para mantener la calidad del contenido, mediante el sistema de la evaluación por pares".

Para J. M. Ziman⁶ "sólo es científico el trabajo publicado" pues "un artículo en una revista de buena reputación no representa meramente la opinión de su autor; lleva implícito el sello de la autenticidad científica dado a él por el editor y los evaluadores por este consultado", que representan "la base sobre la cual reposa todo proceso científico".¹

La evaluación del trabajo científico se materializa por tanto con el concurso de dos actores: el editor científico y el evaluador. Le corresponde al primero el inicio y el fin del proceso de evaluación asesorado por el segundo. El desarrollo constante de las actividades científicas ha traído consigo nuevos problemas y desafíos al mantenimiento de la integridad de la investigación científica.

Nuevos instrumentos, como códigos y consejos sobre ética, funcionan como mecanismos de control dentro de las comunidades científicas, y prescriben principios y reglas de procedimiento a los investigadores relacionados con los autores, evaluadores y editores. La magnitud de los problemas sugiere la creación de más de una instancia de control de calidad de la ciencia de mayor alcance, mediante la fundación de instituciones a nivel nacional.

REFERENCIAS BIBLIOGRÁFICAS

1. Zuckerman HQ, Merton RK. Patterns of evaluation in science: institutionalization, structure and functions of the referre system. Minerva 1971; 9(1):66-100.
2. Lafollette MC. Stealing into print: fraud, plagiarism, and misconduct in scientific publishing. Berkeley: University of California, 1992.
3. Spinak E. Diccionario enciclopédico de bibliometría, cienciometría e informetría. Caracas: Unesco, 1996.
4. Ahrweiler H. Una ética para la comunicación científica. Quark 1995;1(1):
5. International Council for Science. Seminário Oxford sobre Publicao Electronica em Ciencia. Disponivel em WWW:[http//www.bodley.ox.ac.uk/icsu].
6. Ziman J [sin título]. Information communication, knowledge 1969;224:

Abstract

It describes the evaluation system of scientific literature, known as peer review or referee system, which inolves both scientific editor and references it also discusses ethics and science and includes types of unethical conduct in scientific publishing, examples of procedures for referees, and the main directives of the Ethics Code of the American Sociological Association, referring to the communication of science.

Subject headings: ARBITRATION; SCIENTIFIC PRODUCTION; EVALUATION PUBLISHERS; REFEREES; PROFESSIONAL ETHICS; SCIENTIFIC COMMUNICATION.

Anexo

Código de Ética de la Asociación Americana de Sociología- Fragmento⁷

Publicaciones y procesos de selección

A. Problemas relativos a la autoría y al reconocimiento de créditos

1. Los sociólogos deben atribuir los respectivos créditos a todas las personas que hayan contribuido a su investigación y a las publicaciones firmadas.

La reivindicación de la autoría y el reconocimiento del crédito de otros deben ser reflejados precisamente en las contribuciones de todos los participantes principales en la investigación y en el proceso de redacción, incluyendo estudiantes, excepto cuando la autoría se haya determinado en un protocolo oficial.

2. Todos los datos o materiales extraídos literalmente de un trabajo escrito, publicado o no publicado, por otra persona, se deben identificar con claridad y atribuirse a sus autores. No debe omitir intencionalmente la referencia a ideas expuestas en la obra escrita de otras personas, aunque estas no se hayan citado palabra por palabra.

B. Autores, editores y evaluadores poseen responsabilidad profesional interdependiente en el proceso de publicación.

1. Los editores deben ser imparciales al aplicar estos patrones, sin dolo personal o ideológico.

2. Los editores de revistas deben comunicar en la mayor brevedad posible sus decisiones a los autores de los originales recibidos. Deben supervisar el trabajo de los editores asistentes y de los evaluadores, a fin de reducir los atrasos y a garantizar que los criterios sean justos.

3. El compromiso de un editor con la publicación de un ensayo debe ser respetado por la revista. Una vez aceptado, el original debe ser publicado con prontitud.

4. Cuando los editores reciben opiniones sobre originales examinados anteriormente por las mismas personas para otras revistas, se deben buscar criterios adicionales.

5. La aceptación de un original por una revista profesional, confiere a esta el derecho a la primera publicación del texto. Salvo el caso de que su política editorial admita explícitamente el envío múltiple de originales a diferentes revistas, un artículo dirigido a una revista de lengua inglesa sólo podrá enviarse a otra del mismo idioma después de recibida la decisión oficial de la primera publicación. Es evidente que se podrá retirar el artículo del proceso de evaluación en cualquier momento.

C. Participación en procesos de evaluación de artículos

Los sociólogos son solicitados con frecuencia para evaluar originales, proyectos de investigación u otros trabajos de colegas de la misma profesión.

En el ejercicio de esta tarea, los sociólogos deben atenerse a los patrones establecidos de comportamiento en diferentes circunstancias:

1. Los sociólogos deben rechazar las invitaciones que reciban para dar opiniones sobre el trabajo de otros, cuando estos estén envueltos en grandes conflictos de interés, lo que podría ocurrir por ejemplo, cuando alguien recibe alguna solicitud para opinar sobre el trabajo de profesores, amigos o colegas a los cuales les ligue un fuerte sentimiento de obligatoriedad personal, de competencia o de enemistad, o cuando la opinión no pueda ser elaborada dentro del plazo solicitado.

2. Todo material enviado para evaluar debe leerse íntegramente y analizado de modo confidencial y cuidadoso. Las opiniones se deben sustentar por razones explícitamente declaradas.

3. Cuando a los sociólogos se les solicite sus criterios de originales o libros sobre los cuales ya habían opinado, deben comunicar esta situación lo más pronto posible al editor.

se ha contemplado (ver por ejemplo La Follette, 1992), su presencia es constante en los programas de los más importantes congresos científicos internacionales. Un buen ejemplo ha sido el The International Congress on Biomedical Peer Review and Global Communications, promovido por la Journal of American Medical Association (JAMA), la British Medical Journal (BMJ) y el Project HOPE, en Praga, República Checa en 1997. Mi objetivo en el seminario que dio origen a este trabajo, ha sido sólo plantear los problemas que considero principales sobre el tema.

^* Este texto tiene como punto de partida el trabajo bajo el título editorial Criteria for the evaluation of scientific literature, presentado en el Seminario sobre Evaluación de la Producción Científica, realizado en São Paulo por el Proyecto SciELO, del 4 al 6 de marzo de 1998.
¹ Editor de datos: Revista de Ciencias Sociais, del Instituto Universitario de Investigaciones de Río de Janeiro (IUPERJ). Profesor de Ciencias Políticas de la Universidad Federal de Río de Janeiro (UFRJ).