0864-2141 0864-2141 S0864-21412016000400012 Cuba 00 12 2016 00 12 2016 30 4 361 371

ARTÍCULO ORIGINAL

 

La revisión por pares como evaluación formativa en un curso de posgrado sobre publicación científica

 

Peer review as a training assessment in a postgraduate course about scientific publication

 

 

Raúl Rodríguez Muñoz, Raidell Avello Martínez

Universidad de Cienfuegos. Cienfuegos, Cuba.

]]>  

 

RESUMEN

Introducción: los beneficios de la revisión por pares como práctica académica han sido reconocidos en el proceso de evaluación formativa.
Objetivo: el presente trabajo tiene como propósito describir una experiencia en la utilización de la revisión por pares como estrategia para la evaluación formativa. Además, se comenta las opiniones de los participantes con respecto a esta estrategia.
Desarrollo: se utilizó para alcanzar el objetivo la observación participante, la discusión grupal y un cuestionario. Como principales resultados se obtuvo que los participantes se sintieran desconfiados respecto a la aplicación de esta estrategia, sin embargo como se pudo apreciar en las respuestas del cuestionario al finalizar la tarea expresaron su satisfacción y beneficios obtenidos en el aprendizaje.
Conclusiones: la aplicación de la revisión por pares como estrategia de evaluación formativa es efectiva según criterios de los propios participantes. El impacto se evidencia en potenciales artículos y artículos coherentes con las normas y políticas de publicaciones para revistas en los cuatro grupos de publicaciones establecidos en la Educación Superior Cubana.

Palabras clave: revisión por pares; aprendizaje; coevaluación; evaluación formativa; publicación científica.

ABSTRACT

Introduction: The benefits of peer-review as an academic practice have been acknowledged in the process of training assessment. ]]> Objective: This paper is aimed at describing an experience in the use of peer-review as a strategy for training assessment. Besides, it includes comments about the participants' opinions regarding this strategy.
Development: Participant observation, group discussion and the questionnaire were used to fulfill the goal. The main results obtained are: the participants did not trust this strategy application; however, as perceived in the questionnaire answers, when the tasks were completed, they expressed their satisfaction and the benefits obtained through learning.
Conclusions: Peer-review as a strategy for training assessment is effective, according to the participants' criteria. The impact is evidenced in potential articles and publishing policy for journals from the four publication groups established in the Cuban higher education.

Key words: peer-review; learning; co-evaluation; training assessment; scientific publication.

 

 

INTRODUCCIÓN

La mayoría de los docentes universitarios están muy relacionados con el proceso de revisión por pares asociado a la publicación científica, donde se evalúa de forma crítica, trabajos de otros investigadores sugiriéndose mejoras y retroalimentación.1 La revisión por pares también denominada evaluación o arbitraje es un método empleado para evaluar los trabajos que son enviados a las revistas científicas y así validar su calidad, originalidad, factibilidad, rigor científico, etc.,todo antes de su publicación. Los beneficios de esta práctica académica han sido reconocidos también como proceso de evaluación formativa,2-5 aunque aún no es muy extendida. Es inusual, en el entorno académico, enfrentar a los participantes a una revisión crítica de los trabajos de sus iguales como modo de evaluación previa antes de enviar la versión final al profesor.6,7

Sin embargo, en los trabajos de Taras3 y Alcázar,8 se afirma la pertinencia de la evaluación por pares como una guía para un mejor logro del aprendizaje. Se destaca la existencia de las posibilidades organizativas aun cuando no siempre son definidas y exploradas con plena correspondencia a la práctica académica. Price, Handley, Millar y O'Donovan,9 afirman que los participantes se sienten muy motivados con las revisiones y retroalimentación que les proveen sus compañeros de clase y sobre todo cuando estas recomendaciones y opiniones están bien definidas y son útiles para mejorar inmediatamente el trabajo final.

]]> Es importante destacar la experiencia de Moore y Teather,10 quienes encontraron que los participantes, involucrados en un proceso de revisión por pares como evaluación del aprendizaje, se sintieron ansiosos e inseguros al inicio del proceso, sin embargo, terminaron expresando que les fue muy útil y beneficioso participar en esta actividad. Asimismo, los participantes fueron conscientes de su rol de revisor y al recibir la retroalimentación de sus iguales opinaron que recibieron diferentes perspectivas del trabajo lo cual fue provechoso para mejorar el escrito.

Dentro de este contexto, en la Universidad de Cienfuegos, Cuba, se desarrolló un curso de "publicación científica en revistas indexadas" con el objetivo de incrementar la calidad y el número de contribuciones en los tres primeros grupos de bases de datos referenciales, clasificadas por el Ministerio de Educación Superior cubano (abril de 2014), y distribuidos de la siguiente forma: grupo I (A, Web of Science y SCOPUS), grupo II (B, PASCAL, INSPEC, Copendex, Medline, Chemical Abstract, Biological Abstract, CAB Internacional y SciELO),grupo III (C, ICYT, IME, PERIÓDICA, CLASE, LILACS, AGRIS, DOAJ) y grupo IV (revistas nacionales certificadas y otras revistas extranjeras arbitradas). En esencia se propuso centrar la atención en aspectos generales que distinguen el proceso de comunicación científica, conocer el proceso de comunicación científica certificado en las revistas indexadas en el Web of Science y Scopus así como en Scielo, Redalyc, DOAJ, entre otras.

El presente trabajo tiene como propósito describir una experiencia en la utilización de la revisión por pares como estrategia para la evaluación formativa.

 

MÉTODOS

La concreción de la propuesta de revisión por pares entre los participantes en el curso, su organización y puesta en práctica se realizó en los meses de enero a marzo de 2015, en la Universidad de Cienfuegos. Se emplearon tres métodos: la observación participante, la discusión en grupo, y el cuestionario para analizar las consideraciones de los participantes con respecto a esta estrategia de evaluación.

La observación participante se aplicó para identificar demostraciones de interés, motivación y acuerdo de los participantes respecto a la distribución de los pares. Se desarrolló durante la asignación de la tarea y la discusión final de las revisiones.

Para la discusión en grupo se crearon subgrupos de 10 participantes y se reunieron con los tres docentes del curso. Se empleó en dos momentos, una en la asignación de la tarea, con el objetivo de conocer cómo se desarrollaba la misma y brindar orientaciones precisas para concluir el trabajo con éxito; la segunda, en la discusión final de las revisiones, para considerar la apreciación de los participantes respecto a la utilidad de la evaluación formativa por pares, la segunda discusión grupal se aplicó posterior al cuestionario.

El cuestionario impreso con nueve preguntas se aplicó al concluir el curso, cuatro de ellas abordan temas generales del curso, siguiendo una escala Likert de cinco valores; después se plantea una solicitándose criterios sobre la revisión por pares, luego un bloque de tres preguntas siguiendo una escala Likert de cinco valores, y una pregunta abierta (anexo).

Los participantes, con respecto al nivel de formación estaban distribuidos de la siguiente forma: 12 doctores en ciencias, 36 másteres y 19 graduados universitarios. Los profesores estaban distribuidos con categorías docentes dispares: 6 titulares,12 auxiliares,20 asistentes,27 instructores y dos adiestrados para un total de 67 participantes, docentes de la Universidad de Cienfuegos, Universidad de Ciencias Médicas y centros universitarios municipales.

]]> Organización de la revisión por pares

El sistema de evaluación por pares se planificó en lo inicial como cumplimento de la evaluación final consistente en la presentación del artículo ante los grupos.Un problema metodológico estaba a la vista. ¿Cómo seleccionar o distribuir los pares dentro del grupo?

La primera idea de organización fue una distribución formal consistente en otorgar, por grado científico, la distribución de los artículos. El resultado fue la inquietud e inconformidad dentro de los participantes y por consiguiente cambio de opinión de los propios autores en busca de mayor representatividad y acuerdo.

Debido a las inquietudes e inconformidad por parte de los participantes durante el debate sobre la organización, se propuso por los docentes una segunda variante, conformar pares según temáticas afines sin apreciar el grado científico o categoría docente. Los pares se cruzaron los trabajos (dúos de pares) de manera que un par evaluó el trabajo de otro dúo según la temática, ya que la mayoría de los trabajos fueron elaborados por dúos de participantes. Como apoyo a la revisión e intercambio entre los pares se facilitó el blogs del Curso con acceso de todos los participantes.

 

RESULTADOS

Observación participante

Se pudo apreciar que la mayoría de los participantes mostraron estar de acuerdo, con respecto a la selección por temáticas y aleatoria, lo cual se consideró adecuado teniéndose en cuenta la complejidad del fenómeno y de cualquier proceso de evaluación que se planifique con acuerdo de los participantes y docentes.

Asimismo se pudo apreciar que los participantes se sintieron motivados de manera general a evaluar el trabajo de su compañero. Algunos mostraron más interés en la opción de los pares agrupados por temáticas, sin embargo hubo criterios en contra, favoreciéndose la distribución por experiencia profesional y grado científico.

Discusión grupal

]]> En ambos momentos, se reporta una coincidencia respecto a la observación; las opiniones de los participantes destacan la importancia de formar los pares de revisión ateniéndose a la temática, de modo que sólo 19 expresó que los Doctores en Ciencias debían ser revisados por sus homólogos, alegándose que este tipo de formación favorece la comprensión y un análisis más a tono; algo que difiere de los que no han alcanzado el grado. Tres de cada seis participantes (50 %) consideró oportuno una combinación entre experiencia profesional y formación académica. Estos resultados son válidos para próximas ediciones del curso.

Además, en las discusiones, se suministró ayudas y facilitó información a los participantes acerca de la evaluación por pares, mientras en la discusión final se reveló la satisfacción y aprendizaje logrados para construir artículos científicos.

Cuestionario

Los resultados de las cuatro primeras preguntas, referidas a la retroalimentación del curso y sus temáticas, revelan coherencia en el sistema de conocimientos. Un resultado importante es que se afirma la posibilidad de obtener habilidades en la redacción del resumen, palabras claves y demás partes del artículo.

Es una relación equilibrada nótese que en la figura 1 existe una proporción entre las respuestas a la interrogante dos, tres y cuatro lo cual significa que los participantes logran identificar los aspectos esenciales que caracterizan el proceso de comunicación científica en las revistas indexadas en el Web of Science y Scopus. Es significativo en los resultados que se revelan aquí, el retorno de la información, cuando se comparó con la pregunta tres, la cual hace referencia a la revisión hecha por sus compañeros en el abstract, las palabras claves y nota curricular, evidenciándose que la revisión por pares en la dinámica seguida para el "arbitraje" recibe al mismo tiempo evaluaciones tanto muy positivas como muy negativas. En este sentido para romper el empate entre los pares actúa el profesor del curso con opiniones desde la teoría de construcción textual.

 

Los resultados de la figura 1 expresan que la revisión por pares, permite mejorar la presentación del trabajo, su claridad científica y lingüística, eliminar errores, evitar omisiones e introducir lógica interna al considerar explicaciones y alternativas que el par revisor muestra.

Al preguntar a los participantes sobre la utilidad del proceso de revisión por pares como una estrategia de evaluación formativa (pregunta 5), el 85 % de los participantes la consideró útil y muy útil, un 10 % lo consideró no muy útil e inútil, sólo un 5 % no tuvo criterios.

Acerca de que aspecto fue considerado más útil, en la tabla se muestran los resultados permitiéndose su comparación.

]]> Al contrastar los resultados resumidos en la tabla analizamos que pocos participantes mantienen su posición de no estar seguros con la revisión por pares, como ocurre en la experiencia descrita por Mulder y colaboradores,1 sin embargo es una tendencia en el estudio realizado respecto a los criterios de la utilidad y los niveles de satisfacción, ya que de un total de 67 participantes, 63 plantean sentirse con plena satisfacción. Un dato incoherente con el resto de la información es que uno de los participantes marcó "No estoy seguro (a)" en la pregunta correspondiente; en opinión de los investigadores puede estar dada su preocupación por que su trabajo estuviese a disposición en el blog, abierto a la interpretación de otros pares.

El "anónimo simple" y en general del "anónimo del evaluador", es el objetivo de la construcción para los pares del curso, pues aumenta la libertad para la crítica y el intercambio crítico durante las clases siguientes, momento en que deben rendir la información sobre los artículos revisados. El intercambio en la clase para explicar los resultados de la evaluación donde no hubo interacción previa devela una nueva perspectiva para las revisiones científicas de los pares, deberían ser abiertas en los dos sentidos proporcionando información en tiempo real para las mejoras en los artículos.

La anterior afirmación se logra con el 95 % de afirmación positiva al considerar útil y muy útil el proceso de revisión por pares, en la figura 2 se puede apreciar.

Nótese que en la siete y ocho advierten la mejora en los trabajos y que están satisfechos con el buen trabajo de revisión, los participantes precisan en un 100 % que las revisiones por pares son una herramienta de aprendizaje.

Comentarios de los participantes

La interrogante nueve ¿Por favor, exprese comentarios sobre el proceso de revisión llevado a cabo?, mostró comentarios significativos. Al dar tratamiento a los datos en particular hay dos comentarios recurrentes en los cuales coinciden 52 participantes, claro, con términos diferentes pero igual expresión, que resaltamos a continuación: