ARTÍCULO ORIGINAL

 

La revisión por pares como evaluación formativa en un curso de posgrado sobre publicación científica

 

Peer review as a training assessment in a postgraduate course about scientific publication

 

 

Raúl Rodríguez Muñoz, Raidell Avello Martínez

Universidad de Cienfuegos. Cienfuegos, Cuba.

 

 

---

RESUMEN

Introducción: los beneficios de la revisión por pares como práctica académica han sido reconocidos en el proceso de evaluación formativa.
Objetivo: el presente trabajo tiene como propósito describir una experiencia en la utilización de la revisión por pares como estrategia para la evaluación formativa. Además, se comenta las opiniones de los participantes con respecto a esta estrategia.
Desarrollo: se utilizó para alcanzar el objetivo la observación participante, la discusión grupal y un cuestionario. Como principales resultados se obtuvo que los participantes se sintieran desconfiados respecto a la aplicación de esta estrategia, sin embargo como se pudo apreciar en las respuestas del cuestionario al finalizar la tarea expresaron su satisfacción y beneficios obtenidos en el aprendizaje.
Conclusiones: la aplicación de la revisión por pares como estrategia de evaluación formativa es efectiva según criterios de los propios participantes. El impacto se evidencia en potenciales artículos y artículos coherentes con las normas y políticas de publicaciones para revistas en los cuatro grupos de publicaciones establecidos en la Educación Superior Cubana.

Palabras clave: revisión por pares; aprendizaje; coevaluación; evaluación formativa; publicación científica.

---

ABSTRACT

Introduction: The benefits of peer-review as an academic practice have been acknowledged in the process of training assessment.
Objective: This paper is aimed at describing an experience in the use of peer-review as a strategy for training assessment. Besides, it includes comments about the participants' opinions regarding this strategy.
Development: Participant observation, group discussion and the questionnaire were used to fulfill the goal. The main results obtained are: the participants did not trust this strategy application; however, as perceived in the questionnaire answers, when the tasks were completed, they expressed their satisfaction and the benefits obtained through learning.
Conclusions: Peer-review as a strategy for training assessment is effective, according to the participants' criteria. The impact is evidenced in potential articles and publishing policy for journals from the four publication groups established in the Cuban higher education.

Key words: peer-review; learning; co-evaluation; training assessment; scientific publication.

---

 

 

INTRODUCCIÓN

La mayoría de los docentes universitarios están muy relacionados con el proceso de revisión por pares asociado a la publicación científica, donde se evalúa de forma crítica, trabajos de otros investigadores sugiriéndose mejoras y retroalimentación.¹ La revisión por pares también denominada evaluación o arbitraje es un método empleado para evaluar los trabajos que son enviados a las revistas científicas y así validar su calidad, originalidad, factibilidad, rigor científico, etc.,todo antes de su publicación. Los beneficios de esta práctica académica han sido reconocidos también como proceso de evaluación formativa,^2-5 aunque aún no es muy extendida. Es inusual, en el entorno académico, enfrentar a los participantes a una revisión crítica de los trabajos de sus iguales como modo de evaluación previa antes de enviar la versión final al profesor.^6,7

Sin embargo, en los trabajos de Taras³ y Alcázar,⁸ se afirma la pertinencia de la evaluación por pares como una guía para un mejor logro del aprendizaje. Se destaca la existencia de las posibilidades organizativas aun cuando no siempre son definidas y exploradas con plena correspondencia a la práctica académica. Price, Handley, Millar y O'Donovan,⁹ afirman que los participantes se sienten muy motivados con las revisiones y retroalimentación que les proveen sus compañeros de clase y sobre todo cuando estas recomendaciones y opiniones están bien definidas y son útiles para mejorar inmediatamente el trabajo final.

Es importante destacar la experiencia de Moore y Teather,¹⁰ quienes encontraron que los participantes, involucrados en un proceso de revisión por pares como evaluación del aprendizaje, se sintieron ansiosos e inseguros al inicio del proceso, sin embargo, terminaron expresando que les fue muy útil y beneficioso participar en esta actividad. Asimismo, los participantes fueron conscientes de su rol de revisor y al recibir la retroalimentación de sus iguales opinaron que recibieron diferentes perspectivas del trabajo lo cual fue provechoso para mejorar el escrito.

Dentro de este contexto, en la Universidad de Cienfuegos, Cuba, se desarrolló un curso de "publicación científica en revistas indexadas" con el objetivo de incrementar la calidad y el número de contribuciones en los tres primeros grupos de bases de datos referenciales, clasificadas por el Ministerio de Educación Superior cubano (abril de 2014), y distribuidos de la siguiente forma: grupo I (A, Web of Science y SCOPUS), grupo II (B, PASCAL, INSPEC, Copendex, Medline, Chemical Abstract, Biological Abstract, CAB Internacional y SciELO),grupo III (C, ICYT, IME, PERIÓDICA, CLASE, LILACS, AGRIS, DOAJ) y grupo IV (revistas nacionales certificadas y otras revistas extranjeras arbitradas). En esencia se propuso centrar la atención en aspectos generales que distinguen el proceso de comunicación científica, conocer el proceso de comunicación científica certificado en las revistas indexadas en el Web of Science y Scopus así como en Scielo, Redalyc, DOAJ, entre otras.

El presente trabajo tiene como propósito describir una experiencia en la utilización de la revisión por pares como estrategia para la evaluación formativa.

 

MÉTODOS

La concreción de la propuesta de revisión por pares entre los participantes en el curso, su organización y puesta en práctica se realizó en los meses de enero a marzo de 2015, en la Universidad de Cienfuegos. Se emplearon tres métodos: la observación participante, la discusión en grupo, y el cuestionario para analizar las consideraciones de los participantes con respecto a esta estrategia de evaluación.

La observación participante se aplicó para identificar demostraciones de interés, motivación y acuerdo de los participantes respecto a la distribución de los pares. Se desarrolló durante la asignación de la tarea y la discusión final de las revisiones.

Para la discusión en grupo se crearon subgrupos de 10 participantes y se reunieron con los tres docentes del curso. Se empleó en dos momentos, una en la asignación de la tarea, con el objetivo de conocer cómo se desarrollaba la misma y brindar orientaciones precisas para concluir el trabajo con éxito; la segunda, en la discusión final de las revisiones, para considerar la apreciación de los participantes respecto a la utilidad de la evaluación formativa por pares, la segunda discusión grupal se aplicó posterior al cuestionario.

El cuestionario impreso con nueve preguntas se aplicó al concluir el curso, cuatro de ellas abordan temas generales del curso, siguiendo una escala Likert de cinco valores; después se plantea una solicitándose criterios sobre la revisión por pares, luego un bloque de tres preguntas siguiendo una escala Likert de cinco valores, y una pregunta abierta (anexo).

Los participantes, con respecto al nivel de formación estaban distribuidos de la siguiente forma: 12 doctores en ciencias, 36 másteres y 19 graduados universitarios. Los profesores estaban distribuidos con categorías docentes dispares: 6 titulares,12 auxiliares,20 asistentes,27 instructores y dos adiestrados para un total de 67 participantes, docentes de la Universidad de Cienfuegos, Universidad de Ciencias Médicas y centros universitarios municipales.

Organización de la revisión por pares

El sistema de evaluación por pares se planificó en lo inicial como cumplimento de la evaluación final consistente en la presentación del artículo ante los grupos.Un problema metodológico estaba a la vista. ¿Cómo seleccionar o distribuir los pares dentro del grupo?

La primera idea de organización fue una distribución formal consistente en otorgar, por grado científico, la distribución de los artículos. El resultado fue la inquietud e inconformidad dentro de los participantes y por consiguiente cambio de opinión de los propios autores en busca de mayor representatividad y acuerdo.

Debido a las inquietudes e inconformidad por parte de los participantes durante el debate sobre la organización, se propuso por los docentes una segunda variante, conformar pares según temáticas afines sin apreciar el grado científico o categoría docente. Los pares se cruzaron los trabajos (dúos de pares) de manera que un par evaluó el trabajo de otro dúo según la temática, ya que la mayoría de los trabajos fueron elaborados por dúos de participantes. Como apoyo a la revisión e intercambio entre los pares se facilitó el blogs del Curso con acceso de todos los participantes.

 

RESULTADOS

Observación participante

Se pudo apreciar que la mayoría de los participantes mostraron estar de acuerdo, con respecto a la selección por temáticas y aleatoria, lo cual se consideró adecuado teniéndose en cuenta la complejidad del fenómeno y de cualquier proceso de evaluación que se planifique con acuerdo de los participantes y docentes.

Asimismo se pudo apreciar que los participantes se sintieron motivados de manera general a evaluar el trabajo de su compañero. Algunos mostraron más interés en la opción de los pares agrupados por temáticas, sin embargo hubo criterios en contra, favoreciéndose la distribución por experiencia profesional y grado científico.

Discusión grupal

En ambos momentos, se reporta una coincidencia respecto a la observación; las opiniones de los participantes destacan la importancia de formar los pares de revisión ateniéndose a la temática, de modo que sólo 19 expresó que los Doctores en Ciencias debían ser revisados por sus homólogos, alegándose que este tipo de formación favorece la comprensión y un análisis más a tono; algo que difiere de los que no han alcanzado el grado. Tres de cada seis participantes (50 %) consideró oportuno una combinación entre experiencia profesional y formación académica. Estos resultados son válidos para próximas ediciones del curso.

Además, en las discusiones, se suministró ayudas y facilitó información a los participantes acerca de la evaluación por pares, mientras en la discusión final se reveló la satisfacción y aprendizaje logrados para construir artículos científicos.

Cuestionario

Los resultados de las cuatro primeras preguntas, referidas a la retroalimentación del curso y sus temáticas, revelan coherencia en el sistema de conocimientos. Un resultado importante es que se afirma la posibilidad de obtener habilidades en la redacción del resumen, palabras claves y demás partes del artículo.

Es una relación equilibrada nótese que en la figura 1 existe una proporción entre las respuestas a la interrogante dos, tres y cuatro lo cual significa que los participantes logran identificar los aspectos esenciales que caracterizan el proceso de comunicación científica en las revistas indexadas en el Web of Science y Scopus. Es significativo en los resultados que se revelan aquí, el retorno de la información, cuando se comparó con la pregunta tres, la cual hace referencia a la revisión hecha por sus compañeros en el abstract, las palabras claves y nota curricular, evidenciándose que la revisión por pares en la dinámica seguida para el "arbitraje" recibe al mismo tiempo evaluaciones tanto muy positivas como muy negativas. En este sentido para romper el empate entre los pares actúa el profesor del curso con opiniones desde la teoría de construcción textual.

 

Los resultados de la figura 1 expresan que la revisión por pares, permite mejorar la presentación del trabajo, su claridad científica y lingüística, eliminar errores, evitar omisiones e introducir lógica interna al considerar explicaciones y alternativas que el par revisor muestra.

Al preguntar a los participantes sobre la utilidad del proceso de revisión por pares como una estrategia de evaluación formativa (pregunta 5), el 85 % de los participantes la consideró útil y muy útil, un 10 % lo consideró no muy útil e inútil, sólo un 5 % no tuvo criterios.

Acerca de que aspecto fue considerado más útil, en la tabla se muestran los resultados permitiéndose su comparación.

Al contrastar los resultados resumidos en la tabla analizamos que pocos participantes mantienen su posición de no estar seguros con la revisión por pares, como ocurre en la experiencia descrita por Mulder y colaboradores,¹ sin embargo es una tendencia en el estudio realizado respecto a los criterios de la utilidad y los niveles de satisfacción, ya que de un total de 67 participantes, 63 plantean sentirse con plena satisfacción. Un dato incoherente con el resto de la información es que uno de los participantes marcó "No estoy seguro (a)" en la pregunta correspondiente; en opinión de los investigadores puede estar dada su preocupación por que su trabajo estuviese a disposición en el blog, abierto a la interpretación de otros pares.

El "anónimo simple" y en general del "anónimo del evaluador", es el objetivo de la construcción para los pares del curso, pues aumenta la libertad para la crítica y el intercambio crítico durante las clases siguientes, momento en que deben rendir la información sobre los artículos revisados. El intercambio en la clase para explicar los resultados de la evaluación donde no hubo interacción previa devela una nueva perspectiva para las revisiones científicas de los pares, deberían ser abiertas en los dos sentidos proporcionando información en tiempo real para las mejoras en los artículos.

La anterior afirmación se logra con el 95 % de afirmación positiva al considerar útil y muy útil el proceso de revisión por pares, en la figura 2 se puede apreciar.

Nótese que en la siete y ocho advierten la mejora en los trabajos y que están satisfechos con el buen trabajo de revisión, los participantes precisan en un 100 % que las revisiones por pares son una herramienta de aprendizaje.

Comentarios de los participantes

La interrogante nueve ¿Por favor, exprese comentarios sobre el proceso de revisión llevado a cabo?, mostró comentarios significativos. Al dar tratamiento a los datos en particular hay dos comentarios recurrentes en los cuales coinciden 52 participantes, claro, con términos diferentes pero igual expresión, que resaltamos a continuación:

• Provechosa para lograr la publicación, enmendándose los comentarios de mis compañeros.
• Ayuda a mejorar mi artículo, previene determinar donde se cuenta con fallas y las relaciones entre las diferentes partes del artículo.

Por ser una interrogante abierta en la que se pudo expresar lo muy estricto personal, es importante para la contrastación de las interrogantes 2, 3, 4, 5, el ser provechosa y la expresión ayuda a mejorar mi artículo se confirma en el 77 % de los participantes, los cuales se sienten seguros con la evaluación formativa organizada por pares.

 

DISCUSIÓN

Al tener en cuenta que todos los participante perciben la revisión por pares como muy provechosa, expresado en los resultados de los métodos aplicados, se puede afirmar que la evaluación por pares eleva el deseo de publicar de los autores y les fuerza a realizar cambios que no habían introducido previo por descuido o ignorancia y reafirma el aprendizaje.

Son varios los beneficios que se le atribuyen a la revisión por pares como estrategia de evaluación formativa.^1,11-16 Por ello se pretendió corroborar estos planteamientos evaluándose los resultados derivados de la experiencia de evaluación por pares llevada a cabo en un curso de postgrado en la Universidad de Cienfuegos.

Los resultados concuerdan con los planteamientos de Strang¹⁶, Liu ZF y Lee,¹⁷, por ello se considera que la evaluación por pares como implementación de la evaluación formativa, ayuda al profesor a compartir el tiempo dedicado a la evaluación y con ello contribuir a la formación del estudiante adicionándole mayor responsabilidad. En correspondencia con esta afirmación, al finalizar el curso las evaluaciones estuvieron en acuerdo con la calidad de los trabajos y es evidente que se alcanzó más responsabilidad en los participantes, teniéndose en cuenta que más del 90 % expresó criterios favorables respecto a la revisión de los trabajos de sus pares.

Al comparar las opiniones con los resultados de las preguntas cerradas, la revisión logra identificarse como un proceso educativo en el que el evaluador comparte ideas propias con el autor sobre todo cuando discrepa, como también sugieren Moore y Teather¹⁰ y, en este sentido, es un poderoso instrumento de avance para el aprendizaje y además, los artículos quedan en mejor condición para aportar a la ciencia objeto de contribución.

La aplicación de la revisión por pares como estrategia de evaluación formativa es efectiva según criterios de los propios participantes. El impacto se advierte en potenciales y artículos coherentes con las normas y políticas de publicaciones para revistas en los cuatro grupos de publicaciones establecidos en la Educación Superior Cubana.

La aplicabilidad de la metodología empleada permite afirmar que la ventaja de utilizar los pares en la formación de habilidades de construcción textual y la revisión de artículos es superior a estrategias tradicionales de presentación individual de artículos en los grupos de participantes.

Otro elemento significativo está en que luego de la asignación de la tarea el acceso a los recursos y la interacción en el sitio y blog del curso aumentó, lo cual sugiere que los participantes requirieron mayor información para lograr la preparación y así evaluar de una manera efectiva.

 

CONSIDERACIONES FINALES

Para este tipo de curso de posgrado la revisión por pares es necesaria, constituye un ejercicio educativo, una defensa del futuro autor (identificándose sus propios errores) y del futuro lector (identificándose los trabajos sin calidad) sin dudas, una ayuda en la toma de decisión del profesor sobre las evaluaciones finales del curso.

Se pudo constatar que la revisión por pares en cursos de posgrado sirve para asumir una postura constructiva respecto a los trabajos devenidos en publicaciones científicas para revistas indexadas.

Declaración de Conflicto de Intereses

Los autores declaran no tener conflictos de intereses.

ANEXO

ENCUESTA A ESTUDIANTES DEL CURSO PUBLICACIONES CIENTÍFICAS EN REVISTAS INDEXADAS

La formación de habilidades en la construcción de un artículo científico acorde a las revistas de los grupos I, II, III y IV es de vital importancia para la Universidad y en formación profesional del profesor de la Educación Superior. Es por ello, que se les solicita su ayuda para mejorar el curso y valorar su aporte profesional. Le pedimos su cooperación y seguridad en dar respuesta a las siguientes preguntas:

Marque con una X en el caso solicitado.

1. ¿Considera suficiente el conocimiento adquirido en su formación como docente de la Educación Superior respecto a la publicación de artículos científicos?

__Muy de acuerdo __De acuerdo __No tengo criterio __En desacuerdo __Muy en desacuerdo

2. Consideración de que los pares realizaron un buen trabajo en la revisión.

__Muy de acuerdo __De acuerdo __No tengo criterio __En desacuerdo __Muy en desacuerdo

3. Creo que mejoré el trabajo como fruto de la revisión hecha por mis compañeros.

__Muy de acuerdo __De acuerdo __No tengo criterio __En desacuerdo __Muy en desacuerdo

4. Presentación de los aspectos fundamentales para la construcción del artículo científico.

__Muy de acuerdo __De acuerdo __No tengo criterio __En desacuerdo __Muy en desacuerdo

5. Considero que fue más útil:

__ Escribiendo revisiones para mis compañeros

__ Recibiendo revisiones para mis compañeros

__ Escribiendo/Recibiendo

__ No estoy seguro (a)

6. Como herramienta de aprendizaje, considera el proceso de revisión por pares.

Muy útil Útil No tengo criterio No muy útil Inútil

7. Considero que los pares realizaron un buen trabajo en la revisión.

Muy útil Útil No tengo criterio No muy útil Inútil

8. Creo que mejoré el trabajo como fruto de la revisión hecha por mis compañeros.

Muy útil Útil No tengo criterio No muy útil Inútil

9. Por favor, exprese comentarios sobre el proceso de revisión llevado a cabo.

 

REFERENCIAS BIBLIOGRÁFICAS

1. Mulder RA, Pearce J, Baik C. Peer review in higher education: Student perceptions before and after participation. Active Learning in Higher Education. 2014;15(2):157-71.

2. Boud D. Sustainable assessment: Rethinking assessment for the learning society. Studies in Continuing Education. 2000;22(2):151-67.

3. Taras M. Do unto others or not: Equity in feedback for undergraduates. Assessment & Evaluation in Higher Education. 2006;31(3):365-77.

4. Gibson PA, Dunning PT. Creating quality online course design through a peer-reviewed assessment. Journal of Public Affairs Education. 2012;18(1):209-28.

5. Li L, Liu X, Zhou Y. Give and take: A re-analysis of assessor and assessees roles in technology-facilitated peer assessment. British Journal of Educational Technology. 2012;43(3):376-84.

6. Seery N, Canty D, Phelan P. The validity and value of peer assessment using adaptive comparative judgment in design driven practical education. International Journal of Technology & Design Education. 2012;22(2):205-26.

7. Tejada R. La revisión por pares iguales: un instrumento de innovación educativa. Cuaderno de Pedagogía Universitaria. 2014;2(4):20-4.

8. Alcázar CA. La evaluación por pares en el proceso de enseñanza-aprendizaje en las ciencias sociales. Curso: "Evaluación de competencias en el proceso de enseñanza-aprendizaje" (4ª edición). Universidad de Granada; 2013.

9. Price M, Handley K, Millar J, O'Donovan B. Feedback: All that effort, butwhat is the effect? Assessment & Evaluation in Higher Education. 2010;35(3):277-89. doi:dx.doi.org/10.1080/02602930903541007

10. Moore C, Teather S. Engaging students in peer review: Feedback as learning. Issues in Educational Research. 2013 [Consultado 19 Mar 2015];23(2). Disponible en: http://clt.curtin.edu.au/events/conferences/tlf/tlf2013/refereed/moore.html

11. Falchikov N. Improving Assessment through Student Involvement: Practical Solutions for AidingLearning. London: Routledge Falmer; 2005.

12. Rinaudo M, Cristina A, Chiecher A. Motivación y uso de estrategias en participantes universitarios. Universidad Nacional de Río Cuarto. Murcia, España: Servicio de Publicaciones de la Universidad de Murcia; 2003.

13. Bautista-Cerro M, Murga MÁ. La evaluación por pares: una técnica para el desarrollo de competencias cívicas (autonomía y responsabilidad) en contextos formativos no presenciales. Estudio de caso. XII Congreso Internacional de Teoría de la Educación. Universidad de Barcelona; 2011.

14. Cueva RF, Mestanza M. La evaluación científica y el sistema de revisión por pares. CSI Boletín 46; 2002.

15. Carrasco L. Aplicación de la técnica peer review en los procesos de aprendizaje y evaluación en cursos de posgrado: una experiencia en ciencias de la actividad física y del deporte. Mesa 4: "Innovación en Formación del Profesorado". Departamento de Educación Física y Deporte. Universidad de Sevilla; 2006.

16. Strang KD. Effectiveness of peer assessment in a professionalism course using an online workshop. Journal of Information Technology Education: Innovations in Practice. 2015 [Consultado 19 Mar 2015];14:1-16. Disponible en: http://www.jite.org/documents/Vol14/JITEv14IIPp001-016Strang0350.pdf

17. Liu ZF, Lee CY. Using peer feedback to improve learning via online peer assessment. Turkish Online Journal of Educational Technology. 2013;12(1):187-99.

 

 

Recibido: 22 de mayo de 2015.
Aprobado: 12 de abril de 2016.

 

 

Raúl Rodríguez Muñoz. Universidad de Cienfuegos. Cienfuegos, Cuba.