Facultad de Ciencias Médicas. Cienfuegos

Valoración de un método de evaluación final diferente en la licenciatura en enfermería

Lic. Vicia Dora Jiménez,¹ Lic. Clara Elena Lorenzo Martínez,² Lic. Zoraida Rivas Martínez,³ Lic. Osmany Becerra Peña,³ Lic. Omar Rodríguez Domínguez³ y Lic. Antonio Rodríguez Hernández³

¹ Profesora Instructora de Licenciatura en Enfermería.
² Profesora Asistente de Licenciatura en Enfermería.
³ Profesor Instructor de Licenciatura en Enfermería.

RESUMEN

Se desarrolla por primera vez en el país un método de evaluación final diferente, en el curso 1993-1994 en la Facultad de Ciencias Médicas de Cienfuegos, en la especialidad de Licenciatura en Enfermería. Se realizó un estudio descriptivo y retrospectivo y se aplicó en los 3 primeros años al 100 % de la matrícula en las asignaturas de Enfermería General II, IV y VI, con el propósito de valorar el cumplimiento de los objetivos a alcanzar en cada nivel, comparar los resultados de este método con el índice académico, pronóstico, método tradicional, calificación final e identificar los criterios de estudiantes y profesores en relación con el método. Se elaboraron los instrumentos metodológicos correspondientes pruebas de medición de conocimientos para garantizar el éxito del método. Se aplicaron encuestas a estudiantes y profesores para determinar la factibilidad del mismo. Esto nos permitió evaluar en 22 horas a 228 estudiantes, mientras que en el método tradicional se requiere de 90 horas, evaluando aproximadamente la mitad de los objetivos. Entre las ventajas de este nuevo método está evaluar un mayor número de objetivos en menor tiempo, a los estudiantes con las mismas situaciones y a los profesores. La calificación es más rápida que en el examen tradicional, por lo que resulta cualitativamente superior al método.

Descriptores DeCS: LICENCIATURA EN ENFERMERIA; EVALUACION EN ENFERMERIA/métodos; TEST DE APTITUD/métodos; EVALUACION EDUCACIONAL/métodos; ESTUDIANTES DE ENFERMERIA; ESTUDIOS RETROSPECTIVOS; EPIDEMIOLOGIA DESCRIPTIVA; EFICIENCIA.

Dentro de la labor docente la evaluación ocupa un lugar destacado, ya que actúa como principal vía de estímulo para el estudio, desarrolla a su vez las capacidades cognoscitivas y perfecciona las habilidades.¹ (Oubiña Rodríguez J. Manual de Evaluación de Residentes de MGI. La Habana: Ciencias Médicas, 1986).

Concebirla en su sentido amplio significa utilizar un instrumento que permita establecer en diferentes momentos del proceso, la calidad con que se van cumpliendo los objetivos de la asignatura. Con la finalidad de llevar a la práctica lo anterior, valoramos la posibilidad de aplicar en la especialidad de Licenciatura en Enfermería el método de evaluación Examen Clínico Objetivamente Estructurado (OSCE), que se empleó por primera vez en el curso 1990-1991, a un grupo de 28 estudiantes de 6to. año de la carrera de medicina.²

Con este nuevo método no sólo contribuimos al análisis de la teoría sobre la evaluación, sino algo más importante, podemos determinar el grado de cumplimiento de las exigencias que nos plantea la Revolución, el Estado y la Sociedad en todo su conjunto, en la formación de los nuevos profesionales para la salud y con ello la competencia de estos para asumir sus responsabilidades, para lo cual deben tener en cuenta las peculiaridades y necesidades del estado actual y del desarrollo alcanzado en el subsistema de Atención Médica.³

El incremento de la matrícula en los cursos regulares diurnos, el no contar con los profesores idóneos en las áreas clínicas y su inestabilidad, además de limitaciones de recursos materiales actuales preocupó al claustro, de ahí la necesidad de utilizar un método que nos permitiera comparar los resultados del OSCE con el índice académico, pronóstico, método tradicional y calificación final, asimismo determinar las ventajas del OSCE sobre el método tradicional, todo lo cual nos permitirá trabajar con las dificultades detectadas y lograr un modo de actuación profesional, a la par del nivel que van alcanzando.

En busca de la solución de estos problemas nos hemos motivado a aplicarlo en las diferentes asignaturas de Enfermería General.

MÉTODOS

En el curso 1993-1994 se aplicó un nuevo método de evaluación Examen Clínico Objetivamente Estructurado (OSCE) a los 228 estudiantes matriculados en los 3 primeros años de la carrera y se trabajó sobre dicho universo.

Se realizó un estudio descriptivo y retrospectivo al efectuarse el análisis de las diferentes variables, índice académico, pronóstico de calificación, resultados evaluativos del método tradicional y se compararon con el OSCE.

Se comparan los resultados evaluativos del método tradicional con el OSCE; para este análisis teníamos 2 alternativas, comparar los mismos estudiantes con diferentes asignaturas, o las mismas asignaturas con estudiantes diferentes, y fue seleccionada la primera.

En el método tradicional se realiza un examen práctico a todos los estudiantes en el laboratorio y/o áreas prácticas y aprobado éste se aplica el examen final teórico de aproximadamente 5 preguntas, para integrar ambos exámenes más el recorrido en una nota final.

Para el OSCE se elaboraron los instrumentos metodológicos correspondientes y se estructuraron 2 bloques de preguntas por cada año. Se definieron los criterios de calificación y sus posibles variantes; para el desarrollo del mismo se trabajó en 12 secciones o locales del Hospital Clinicoquirúrgico Docente "Dr. Gustavo Aldereguía Lima" de Cienfuegos. Se tuvo en cuenta que cada sección fuera a continuación de la otra, lo que garantizó su individualidad. Fue ubicado un profesor en cada sección donde se evaluó habilidades teóricas y 2 para las habilidades prácticas.

Se decidió dar un tiempo de 6 minutos para resolver los problemas planteados, para ello se utilizó una señal sonora; además, se usaron otros recursos como pacientes, simuladores, videos, instrumentos, equipos y boletas de examen que contenían las preguntas a evaluar en cada sección, claves de respuestas y listado total de los alumnos para reflejar la evaluación individual.

Todos los estudiantes que iban a ser evaluados se reunieron en un local (Sala de espera) para evitar el contacto con los examinados.

Con el propósito de hacer un pronóstico académico de los alumnos se revisó la evaluación sistemática e índice académico, el tribunal emitió la evaluación de cada alumno en sus secciones, y una comisión integrada por el jefe de departamento y 2 profesores principales otorgó la calificación final según los criterios de calificación en las categorías de 5, 4, 3 y 2 confeccionada por el método cibernético.

Se aplicó una encuesta a los 228 estudiantes, así como a los 26 profesores que participaron en el examen, con el objetivo de conocer la factibilidad de esta nueva modalidad.

El método estadístico empleado para el análisis de los resultados fue la diferencia en porcentaje perteneciente a un mismo grupo de categorías mutuamente excluyentes. Con la lectura siguiente:

a) P 0,05 No significativo
b) P < 0,05 Significativo
c) P < 0,01 Muy significativo
d) P < 0,001 o P < 0,0001 Altamente significativo RESULTADOS

Se estableció comparación entre el índice académico acumulado y el OSCE y observamos que el 73,3 % obtuvieron calificaciones de 4 en este nuevo método, mientras que el 72,7 % tenían índices inferiores a 3, lo que resultó altamente significativo estadísticamente (P < 0,0001) (tabla 1).

TABLA 1. Comparación entre el índice académico y el OSCE. Facultad de Ciencias Médicas, Cienfuegos, 1993-1994

Asignaturas		Enfermería General II, IV, VI								Enfermería General I,III,V
	OSCE ÍNDICE ACADÉMICO
		5		4		3		2		5-4,50		4,49 - 4		3,99-3,50		3,49-3
Años	No.	No.	%	No.	%	No.	%	No.	%	No.	%	No.	%	No.	%	No.	%
1ro.	84	7	8,3	66	78,6	6	7,2	5	5,9	12	14,3	39	46,5	30	35,8	3	3,6
2do.	87	17	19,5	68	78,2	2	2,3	-	-	6	6,9	18	20,7	47	54,1	16	18,4
3ro.	57	6	10,5	33	57,8	15	26,4	3	5,3	2	3,5	17	29,9	33	57,9	5	8,8
Total	228	30	12,7	168	73,3	23	10,1	8	3,5	20	8,8	74	32,5	110	48,3	24	10,6

Se pronosticó un mayor número de nota 3 que aumentó en el OSCE a 4, no se previó nota 2; sin embargo, 8 estudiantes las obtuvieron (tabla 2). TABLA 2. Comparación entre los resultados pronósticos y los resultados obtenidos en el OSCE. Facultad de Ciencias Médicas, Cienfuegos, 1993-1994

		Asignaturas
		Enfermería General II, IV y VI OSCE								Enfermería General I, III, V Pronósticos
		5		4		3		2		5		4		3		2
Año		No.	%	No.	%	No.	%	No.	%	No.	%	No.	%	No.	%	No.	%
1ro.	84	7	8,3	66	78,6	6	7,2	5	5,9	24	28,5	48	57,1	12	14,3	-	-
2do.	87	17	19,5	68	78,2	2	2,3	-	-	6	6,9	51	58,6	30	34,5	-	-
3ro.	57	6	10,5	33	57,8	15	26,4	3	5,3	7	12,3	32	56,1	18	31,6	-	-
Total	228	30	12,7	168	73,3	23	10,1	8	3,5	37	16,2	131	57,5	60	26,3	-	-

Al comparar los resultados evaluativos entre el OSCE y el método tradicional, se observó que en el nuevo método se incrementó la nota 4 en 73,7 %, mientras que en el tradicional se obtuvo 67,5 % con esta calificación (tabla 3). TABLA 3. Comparación entre los resultados evaluativos obtenidos por el método tradicional y OSCE. Facultad de Ciencias Médicas, Cienfuegos, 1993-1994

Asignaturas	Enfermería General II, IV y VI									Enfermería General I, III, V
		OSCE								Método tradicional
		5		4		3		2		5		4		3		2
Año	.	No.	%	No.	%	No.	%	No.	%	No.	%	No.	%	No.	%	No.	%
1er.	84	6	7,1	67	79,8	6	7,1	5	6,0	40	47,6	41	48,8	3	3,6	-	-
2do.	87	17	19,5	68	78,2	2	2,3	-	-	6	6,9	63	72,4	18	20,7	-	-
3ro.	57	6	10,5	33	57,8	15	26,4	3	5,3	3	5,2	50	87,7	-	-	4	7,1
Total	228	29	12,7	168	73,7	23	10,1	8	3,5	49	21,5	154	67,5	21	9,2	4	1,8

La nota 5 en el OSCE disminuyó con relación al método tradicional, obteniendo en el primero el 12,7 % y en el tradicional el 21,5 %. El año que afectó este indicador fue el primero, en el cual las calificaciones de 5 disminuyeron de 47,6 a 7,1 %, lo cual fue altamente significativo para P < 0,0001 (tabla 4). TABLA 4. Relación existente entre el OSCE y la calificación final del curso. Facultad de Ciencias Médicas, Cienfuegos, 1993-1994

Asignaturas		Enfermería General II, IV y VI								Enfermería General I, III, V
		OSCE								Calificación final
		5		4		3		2		5		4		3		2
Año	No.	No.	%	No.	%	No.	%	No.	%	No.	%	No.	%	No.	%	No.	%
1ro.	84	7	8,3	66	78,5	6	7,1	5	5,9	25	29,7	43	51,1	11	13,1	5	5,9
2do.	87	17	19,5	68	78,2	2	2,3	-	-	12	13,8	59	67,8	16	18,4	-	-
3ro.	57	6	10,5	33	57,9	15	26,3	3	5,3	10	17,5	39	68,4	5	8,7	3	5,2
Total	228	30	13,1	167	73,2	23	10,0	8	3,5	47	20,6	141	61,8	32	14,0	8	3,5

DISCUSIÓN

Consideramos que en el OSCE los resultados son superiores al índice académico, debido a que existió una profundización en el estudio por parte de los alumnos, al enfrentarse a un método evaluativo diferente y que además, motivó la autopreparación de los docentes.

En el índice académico acumulativo inciden otras asignaturas que de forma tradicional han tenido resultados deficientes, lo que motivó un análisis de la situación y, por tanto, el perfeccionamiento del plan de estudio.

El pronóstico de nota 3 elevado, se debe en lo fundamental a que se caracterizó al estudiante por los resultados de su evaluación sistemática e índice académico, y este último era bajo.

El OSCE eleva la nota 4, ya que además de la profundización en el estudio, existen condiciones objetivas en el acto evaluativo, al garantizarse igualdad de exigencias y posibilidades para todos los estudiantes.

La comparación establecida entre los resultados evaluativos del OSCE y el método tradicional, nos dio la elevación de la nota 4 a expensas del 5, lo que consideramos se debe a una clave amplia para el 4, y una exigencia mayor para la calificación de excelente.

Los resultados de 3 son similares en ambos métodos, lo que coincide con el estudio efectuado por J.F. Rocha y otros en la aplicación de este método evaluativo en sexto año de medicina en esta provincia.⁴

La encuesta aplicada a estudiantes y profesores nos sirvió para reafirmar nuestros criterios con relación a las ventajas del método OSCE, entre las que se encuentran:

Permite evaluar un mayor número de objetivos en menor tiempo. Se examinaron 228 estudiantes en 22 horas, mientras que en el método tradicional necesitamos 90 horas para evaluar aproximadamente la mitad de los objetivos; además, veri-fica mejor el grado de preparación teórico práctica de los estudiantes.Es más justo, equitativo y confiable, ya que to-dos los estudiantes son evaluados con las mismas situaciones y profesores, garantizando igualdad de exigencias y posibilidades. La preparación previa de los estudiantes y profesores para realizar el examen fue mayor, con más calidad en el instrumento evaluativo y por tanto, en los resultados.

La calificación es más rápida que en el examen tradicional. Además este método evaluativo es más dinámico y sencillo en su aplicación y propicia una mayor interrelación entre los profesores del área clínica y básica.

La dosificación del tiempo permite acercar a los estudiantes a su modo de actuación.

El método utilizado evalúa una gama de habilidades teóricas y prácticas necesarias para el desempeño profesional y mide los aspectos fundamentales del contenido acorde con el año que cursan.

La objetividad y confiabilidad de los resultados obtenidos se garantizan desde su organización, porque su estructura es de forma tal, que el contenido del examen y los estándares requeridos del estudiante, son planificados de antemano por el colectivo de profesores. Teniendo en cuenta este estudio llegamos a diversas conclusiones.

Comparando el índice académico, el pronóstico de calificación, los resultados evaluativos del método tradicional y la calificación final con el OSCE, este último es cuanti-cualitativamente superior. El OSCE permite evaluar mayor número de objetivos en menor tiempo. Se evalúan a todos los estudiantes con las mismas situaciones y profesores. La calificación es más rápida que en el examen tradicional. Propicia mayor interrelación entre los profesores del área clínica y básica. Con el OSCE se incrementó la nota 4.

Lo expuesto nos permite plantear que la aplicación de este nuevo método de evaluación final diferente en la especialidad de Licenciatura en Enfermería resulta útil, por cuanto fortalece el modo de actuación y competencia profesional.

ANEXOS

ENCUESTA PARA LOS PROFESORES

Deseamos que responda esta encuesta con un máximo de atención, lo que ayudaría a la calidad de exámenes posteriores y a nuestro trabajo científico pedagógico.

1. ¿En cuántos exámenes de este tipo ha participado?

2. Si es el primero. ¿Recibió información previa sobre el mismo?

Sí No .

3. ¿Qué ventajas usted ve en este método sobre el tradicional?

4. ¿Qué desventajas usted ve en este método con respecto a los tradicionales?

5. ¿Qué recomendaciones usted hace con vista a mejorar este método?

6. ¿Cree que evalúa los aspectos siguientes?:

Objetivos generales de la asignatura.

Objetivos específicos de la asignatura.

Técnicas importantes de la especialidad.

Técnicas de poco valor para la especialidad.

7. ¿Consideras el tiempo dado para cada pregunta suficiente?

Sí No 8. ¿Cree usted que la preparación de los alumnos está acorde al examen?

Sí No Por qué

9. ¿Le gustaría a usted evaluarse por este método?

Sí No Por qué 10. ¿Cómo fue la preparación de los estudiantes para este método con respecto al tradicional? Igual Mayor Menor 11. ¿Qué resultado usted considera más confiable, los de este método o los del tradicional? OSCE Método tradicional 12. ¿Cuál método se considera más integral y justo? OSCE El tradicional

ENCUESTA PARA LOS ALUMNOS

Alumno de Licenciatura en Enfermería C.R.D.

CUESTIONARIO

1. ¿Cómo encontró el examen?

Fácil Difícil Igual a los demás

2. ¿Considera usted que los objetivos evaluados son específicos de la especialidad?

Sí No

3. ¿Las problemáticas evaluadas se relacionan con la práctica?

Sí No

4. ¿Recibió orientación del sistema evaluativo antes del examen?

Sí No

5. ¿Recibió ayuda por parte del profesor en el momento de contestar las preguntas del examen?

Sí No

6. Su preparación previa para este examen fue:

Mejor Menor Igual para los otros

7. El tiempo dado para responder el examen fue:

Suficiente Insuficiente Mucho

8. ¿La complejidad de las preguntas se ajustan al tiempo dado?

Sí No

9. ¿Se sintió confiado en el examen?

Sí No

10. ¿Valora la organización del examen como?

Bueno Regular Mala

11. ¿El examen le sirvió para consolidar sus conocimientos?

Sí No

12. ¿Desea evaluarse nuevamente por este método?

Sí No

13. ¿Detectó alguna ventaja o desventaja de este sistema evaluativo con respecto al tradicional?

SEÑÁLELAS.
14. Otros criterios

SUMMARY

A final different evaluation method was developed for the first time in the country during the academic course 1993-1994 at the Faculty of Medical Science of Cienfuegos in the specialty of Baccalaureate Nursing. A descriptive and retrospective study was conducted and was applied during the 3 first years to 100 % of the students in General Nursing II, IV, and VI with the aim of assess the compliance of the objectives to be attained in each level, to compare the results of this method with the academic index, prognosis, traditional methods; final mark, and to identify the criteria of students and professors in relation to the method. The corresponding methodological instruments-and tests for measuring knowledge were created to guarantee the suscess of the method. A survey was applied to students and professors in order to determine the feasibility of the method that allowed us to evaluate within 22 hours 228 students, while with the traditional method 90 hours are required for the evaluation. Among the advantages of this new method are the possibility of evaluating a greater number of objectives in a short period of time evaluating students with the same situation and professors. The final mark can be given more rapid than with the use of the traditional method; thus this new method is considered to be qualitatively superior than the traditional one.

Subject headings: EDUCATION, NURSING, BACCALAUREATE; NURSING ASSESSMENT/methods; APTITUDE TESTS/methods; EDUCATIONAL MEASUREMENT/methods; STUDENTS; NURSING RETROSPECTIVE STUDIES; EPIDEMIOLOGY; DESCRIPTIVE EFFICIENCY.

REFERENCIAS BIBLIOGRÁFICAS

1. Kazimiacrz D. La evaluación del proceso de enseñanza del CES. Rev La Educación Superior Contemporánea 1981;2(34):119-33.
2. Rocha Hernández JF, Arteaga Herrera J, Álvarez Fernández O, Quintana Galende ML, González Sánchez E. OSCE: un nuevo método evaluativo. Informe preliminar de su aplicación. Rev Finlay 1992;6(1-2):70-82.
3. Jardines Méndez JB, Oubiña Rodríguez J, Aneiros Riba R. La Educación en Ciencias de la Salud 1991;25(4):387-409.
4. Rocha Hernández JF, Arteaga Herrera J, Quintana Galende ML, Álvarez Fernández O, González Sánchez E. Un nuevo método evaluativo en la rotación de medicina interna de 6to. Rev Cubana Educ Sup 1993;13(1):95-99.

Recibido: 19 de septiembre de 1995. Aprobado: 22 de Septiembre

Lic. Vicia Dora Jiménez Álvarez. Facultad de Ciencias Médicas Cienfuegos. Calle 51 A y Ave. "5 de Septiembre, Cienfuegos, Cuba.