ARTÍCULO ORIGINAL

 

Adaptación interactiva computacional de un examen clínico objetivo estructurado para Enfermería*

 

Interactive computational adaptation of an objective structured clinical examination for nursing

 

 

MSc. Silvia Barrios Araya, MSc. Patricia Masalán Apip, Prof. Ana Cecilia Wright Navarrete

Escuela de Enfermería Pontificia Universidad Católica de Chile.

 

 

---

RESUMEN

Introducción: la evaluación de habilidades clínicas en el área de la salud ha variado a lo largo del tiempo; han surgido sistemas entre los cuales se encuentra el Examen clínico objetivo estructurado (ECOE) que evalúa competencias de la práctica clínica. Se pesquisó que los estudiantes llegan carentes de algunas destrezas cognitivas necesarias para enfrentar este tipo de evaluación. Se plantea la necesidad de contar con un examen interactivo computacional, que expone al estudiante a situaciones clínicas simuladas, que requieren de capacidades cognitivas previas al enfrentamiento de la situación real de evaluación, denominado "Examen clínico objetivo estructurado interactivo computacional" (ECOEic).
Objetivo: comparar la efectividad del examen clínico objetivo estructurado interactivo computacional y del examen clínico objetivo estructurado tradicional para el aprendizaje y evaluación de técnicas clínicas básicas de enfermería.
Métodos: estudio observacional, transversal cuasi-experimiental, 95 estudiantes de enfermería de 2do. año fueron aleatorizados a dos grupos, grupo control "ECOE" y grupo intervención "ECOEic más ECOE tradicional".
Resultados: existen diferencias significativas de las medias del rendimiento expresado en nota entre el ECOEic y el ECOE tradicional, por lo tanto existe aprendizaje, progreso en el desempeño de habilidades clínicas en los estudiantes y mejorar el rendimiento.
Conclusiones: se ha verificado la eficacia y efectividad del instrumento de evaluación creado, este podría aplicarse a través de los diferentes niveles de la carrera de Enfermería para evaluar las habilidades clínicas iniciales y/o terminales y fomentar el autoaprendizaje.

Palabras clave: examen clínico objetivamente estructurado (ECOE), competencias clínicas en enfermería, educación en enfermería.

---

ABSTRACT

Introduction: the assessment of clinical skills in the area of health has changed over time; systems have emerged including the objective structured clinical examination that assesses competencies in clinical practice is located. It was identified that students arrive devoid of some cognitive skills necessary to face this kind of evaluation. The need arises with a computer interactive examination that exposes students to simulated clinical situations that require pre- confrontation of the real situation of cognitive abilities assessment, called "computational objective structured clinical examination interactive".
Objective: to compare the effectiveness of interactive computer objective structured clinical examination and objective structured clinical examination for the basic traditional learning and assessment of clinical nursing techniques.
Methods: observational, transverse quasiexperimiental, 95 nursing students from 2nd year were randomized into two groups, control group "OSCE" and group intervention "traditional OSCE ic".
Results: there are significant difference of mean performance expressed note between the OSCE ic and the OSCE traditional, so there is learning, progress in the performance of clinical skills in students and improves performance.
Conclusions: the effectiveness and efficiency of the devised evaluative instrument have been proved, so it could be applied across the different levels of the nursing studies to assess the initial and/or final clinical skills and to encourage self-learning.

Keywords: OSCE, objective structured clinical examination, clinical skills in nursing, nursing education.

---

 

 

INTRODUCCIÓN

Hoy más que nunca, en el área de las ciencias de la salud se requiere favorecer el acercamiento a una situación clínica real, de forma tal de no poner en riesgo la integridad de las personas. Por ello, se debe contar con metodologías de aprendizaje en situaciones simuladas que permitan a los estudiantes adquirir y desarrollar competencias mínimas lo que, mirado desde una perspectiva ética, implica llegar a la clínica con destrezas para una atención directa de calidad a los usuarios.

La evaluación de habilidades y destrezas clínicas que se han desarrollado en la educación en el área de la salud ha tenido variaciones a lo largo del tiempo; durante las últimas tres décadas han surgido instrumentos y sistemas de evaluación entre los cuales se encuentra la Evaluación Clínica, Objetiva y Estructurada (ECOE - del inglés Objetive Structured Clinical Examination, OSCE),¹ que tal como lo explicita su nombre, es un procedimiento de evaluación utilizado para evaluar componentes de las competencias clínicas profesionales, que incorpora la evaluación de conocimientos, destrezas y actitudes de los estudiantes. Es además una metodología de apresto para evaluar competencias de la práctica clínica, por medio de la simulación, situación que acelera el proceso de aprendizaje y mejora la calidad de este.^2,3

La evidencia ha demostrado que existe una relación entre las experiencias clínicas de los estudiantes en cursos clínicos introductorios y de distintos niveles con sus rendimientos en el examen, puesto que el ECOE es un instrumento con una alta validez y confiabilidad (alfa de Crombach de 0.91), que predice el logro de la competencia adquirida por los individuos y la calidad del desempeño del posgraduado, al mostrar un funcionamiento variable según el nivel del entrenamiento de los participantes.^4-7 En Estados Unidos han realizado investigaciones para representar el rendimiento estudiantil general de conocimientos clinicos, con los exámenes de rendimiento clínico integral, lo que han dado correlaciones positivas.⁸

A su vez se han estudiado la variables costo y tiempo de la implementación de este examen. Respecto al costo la literatura describe variaciones y entre 31.51 € y 145,23 € por estudiante en Europa, valores que difieren por los reportados en Estados Unidos y Canadá; los que fluctúan entre 6.9 $ (USD) y 870 $ (USD) respectivamente,^9-12 esto último se podría considerar un obstáculo, sin embargo otros estudios muestran que los costos pueden ser reducidos, si se tiene en cuenta el uso racional de paciente simulado, se disminuyen los gastos en administración y secretaria y si se cuenta con la colaboración de académicos en la preparación y aplicación del examen.^13-17 En relación con el tiempo deben considerarse tres momentos, un tiempo dedicado a la planificación, otro a la aplicación del examen y uno a la corrección de pautas. En un estudio realizado en dos facultades de Medicina en Chile, se describe que para las dos primeras etapas señaladas, el tiempo ocupado fue de 4 h semanales durante 6 meses y la corrección de las pautas de evaluación les tomo aproximadamente 12 h.¹⁷

La experiencia de ECOE en Chile se ha incorporado como método de evaluación en los cursos clínicos de diferentes carreras del área de la salud. La experiencia de la Escuela de Enfermería de la Pontificia Universidad Católica, que aplica esta metodología desde el año 2002 en cursos de 1ro. y 2do años, ha evidenciado algunos problemas tales como: a) los estudiantes no han desarrollado con el nivel esperado algunas destrezas cognitivas que son necesarias para enfrentar este examen, b) el estrés de la exposición al mismo, c) el costo de implementación en relación a recursos académicos y materiales y d) la necesidad de contar con una planta física amplia y adaptada a las características de esta metodología.

Considerando lo anterior se elaboró un examen interactivo computacional, donde se expone a los estudiantes a situaciones clínicas concretas simuladas que requieren de uso de capacidades cognitivas para discriminar, secuenciar, priorizar, tomar decisiones, entre otras; las que son previas al enfrentamiento de la situación real de evaluación ECOE. Esta modalidad de examen fue denominada "ECOE interactivo computacional" (ECOEic).

Este examen ECOEic, contempla el enfrentamiento del estudiante a situaciones clínicas particulares, en tiempos específicos y que requieren de un manejo claro y preciso de los conocimientos en relación con la ejecución de un procedimiento. Pretende potenciar el desempeño de habilidades clínicas en el estudiante y mejorar su rendimiento. A su vez, permite adquirir el pensamiento crítico, desarrollar la capacidad de diferenciar, seleccionar, elegir las alternativas de solución a seguir frente a determinadas situaciones y en un tiempo determinado.

Está constituido por una base de 67 preguntas de un proceso, la elaboración de esta evaluación requirió la definición previa de los objetivos que se deseaban evaluar, los contenidos y las competencias que dan cuenta de estos logros. Enseguida, se preparó un guion, que consideraba: a) un esquema de preguntas ECOEic en una tabla donde se definan las tecnologías sanitarias a evaluar, este contenía áreas, reactivos e imagen, b) el escenario clínico para evaluar este contenido, c) el enunciado de la pregunta y las alternativas posibles de respuesta.

Luego de crear el guion, se procedió a elaborar el escenario clínico, tomar las fotografías con una cámara digital de alta resolución, mínimo 3,2 megapíxeles y finalmente se incorporaron las imágenes, enunciados de las preguntas y alternativas de la prueba en un programa computacional (EVALVIR).

Las preguntas correspondían a procedimientos de enfermería o tecnologías sanitarias de uso frecuente en el área de cuidado del adulto y del niño, 39 preguntas correspondían a valoración física como: antropometría, diagnóstico nutricional, desarrollo psicomotor (EEDP Y TEPSI), exámenes especiales (columna, pie, audición y visión) y pruebas de Piaget y 28 preguntas a habilidades procedimientales, tales como: administración de medicamentos, exámenes de laboratorio, registros de enfermería, precauciones estándar, oxigenoterapia y nebulizaciones, balance hídrico, lactancia materna, cuidados del recién nacido y lactante. De este total de banco de preguntas se seleccionaron 25 preguntas para la construcción del ECOEIC, 15 procedimentales y 10 preguntas de valoración física.

La presente investigación tiene por objetivo comparar la efectividad del examen clínico objetivo estructurado interactivo computacional y del examen clínico objetivo estructurado tradicional para el aprendizaje y evaluación de técnicas clínicas básicas de enfermería, en alumnos de segundo año de la carrera de enfermería.

 

MÉTODOS

Estudio observacional, transversal cuasi-experimiental. El universo estuvo constituido por dos cohortes de estudiantes de enfermería de segundo año, del curso ENF2201 (Referencia malla de estudio, Escuela de Enfermería PUC), y la muestra corresponde a 95 alumnos de un total de 110 (86 %) que aceptaron participar voluntariamente a través de un asentimiento, y como parte de la estrategia pedagógica del curso, mencionado en el programa.

Esta muestra fue aleatorizada a dos grupos: grupo control "ECOE tradicional" y grupo intervención "ECOEic más ECOE tradicional", el momento de aplicación fue posterior al bloque teórico y talleres y antes de la experiencia clínica.

Al grupo control compuesto por 52 estudiantes se les aplicó el ECOE tradicional y al grupo intervención integrado por 43 alumnos se les aplicó el ECOEic previo a la rendición del ECOE tradicional. Ambos grupos previamente tuvieron 8 sem de clases teóricas y talleres de demostración. Posterior a la intervención realizaron 8 sem de experiencia clínica supervisada. Una vez finalizada la experiencia los 95 alumnos rindieron el ECOEic y la prueba integradora de casos clínicos. Además, se aplicó una encuesta de opinión para evaluar la satisfacción de los estudiantes con el instrumento utilizado. Se presenta el esquema de intervención con los dos grupos estudiados y cada una de las evaluaciones aplicadas (Fig.).

Para el presente trabajo se entenderá como eficacia la capacidad que tiene el ECOEic para lograr que los estudiantes lleguen más preparados a la experiencia y también puedan responder con mejor rendimiento el ECOE tradicional. Se determinará la efectividad del ECOEic a través de la cuantificación de la meta.

Cada instrumento de evaluación utilizado en esta asignatura, ya sean pruebas teóricas, prueba de talleres, ECOEic 1, ECOE, experiencia clínica, prueba integradora y ECOEic 2, tuvo su propia calificación en relación con la puntuación obtenida y criterios de corrección en cada uno.

Importante destacar que en Chile las calificaciones se dan en notas de 1,0 al 7,0, el 1,0 es la nota mínima y 7,0 la nota máxima, el punto de corte de aprobación está dado por la nota 4,0. El porcentaje de exigencias requerido para otorgar la nota mínima de aprobación se definió previamente en el programa de estudio del curso en un 70 % de logro.

El análisis estadístico se realizó con el programa SPSS, utilizando como datos las notas obtenidas por los alumnos en las siguientes evaluaciones: promedio teórico (incluye pruebas parciales 1, 2 y 3), prueba de talleres, ECOEic 1, ECOE, experiencia clínica, prueba Integradora y ECOEic 2; a las cuales se les aplicó pruebas de estadística descriptivas.

 

RESULTADOS

El examen se organizó con 25 preguntas/estaciones de acuerdo con los principales contenidos a evaluar identificados para el curso ENF2201. Cada alumno rindió el ECOEic en 30 min, las preguntas estaban organizadas en base a habilidades cognitivas de orden superior como discriminar, combinar, reordenar, decidir, seleccionar y clasificar.

El 69 % del grupo intervención quienes rinden el ECOEic, lo lograron sobre un 70 % de rendimiento, con un promedio de nota de 4,25. Sin embargo, este mismo grupo al realizar el ECOE tradicional obtiene calificaciones promedio de nota 5,0, que son superiores al grupo control que obtuvo nota promedio de 4,5 en el ECOE tradicional (tabla 1). Los promedios de notas de las evaluaciones realizadas al grupo de intervención muestran un aumento frente al grupo control considerando que las notas del promedio teórico eran similares.

De un total de 95 estudiantes del grupo total, el 94,5 % correspondió al género femenino, cursaban el tercer semestre de la carrera de enfermería, las edades fluctúan entre los 19 y 22 años de edad con un promedio de 20,5 años.

Ambos grupos se enfrentaron a la intervención con medias de rendimiento similares en pruebas teóricas y de talleres, lo que hace pensar que los grupos son de características similares en cuanto al rendimiento.

Al hacer el análisis estadístico en el grupo intervención el ECOEic 2 tuvo resultados superiores en comparación al ECOEic 1, es así que se encuentran diferencias significativas de medias entre el ECOEic 1 y el ECOEic 2 lo que significaría que hay un aprendizaje entre ambos exámenes pero también hay diferencia significativa entre ECOE y el ECOEic 2, lo que podría significar que la experiencia clínica contribuyó también a mejorar el rendimiento en el ECOEic 2 (tabla 1).

También se hizo estudio de correlaciones, fueron estadísticamente significativas las de los pares ECOEic 1 Prueba Integradora y ECOEic 2 - Experiencia clínica.

Como antecedente general se puede señalar que la prueba integradora tuvo mejor rendimiento que las de talleres, se evidencia que hay diferencia significativa entre prueba de talleres y la prueba integradora (al final del semestre) lo que estaría dando cuenta del aprendizaje de los estudiantes.

En todas las evaluaciones el grupo GI tiene mejores calificaciones, se podría pensar que en este grupo se encontraban los mejores alumnos, sin embargo como se planteó, las notas de la teoría no muestran diferencias entre ambos grupos y la diferencia de medias en la prueba de talleres no fue estadísticamente significativa (tabla 2). Se observó homogeneidad en las notas teóricas obtenidas en ambos grupos.

Además no hay diferencia significativa de medias entre los grupos en: Prueba Talleres y ECOEic 2. Por otro lado el haber rendido el ECOEic sería un aporte al rendimiento de los estudiantes en el ECOE; esto quedaría demostrado por la diferencia significativa de medias que se dio en ambas instancias. Sin embargo, al considerar a todo el curso, hay diferencia significativa de medias en el ECOE 1 y el ECOE 2 lo que significaría aprendizaje tanto de la metodología que involucra el examen como de las habilidades a demostrar (tabla 1).

Los principales resultados de la encuesta de opinión sobre la utilidad y factibilidad del ECOEic se centraron en la calidad de las imágenes, la claridad del enunciado de la pregunta y el tipo de metodología, la evaluación fue positiva. Del total de estudiantes evaluados (n=43), un 91,3 % consideró que las instrucciones del ECOEic eran suficientes y claras asi como las preguntas fueron consideradas directas y precisas. El 100 % de los estudiantes consideró el tiempo como adecuado.

Respecto a la metodologia, el 68 % consideró las imágenes claras, adecuadas y acordes al enunciado, sin embargo consideran que podrían mejorarse. El 100 % del grupo considera la metodologia adecuada, útil y pertinente. Los estudiantes refieren comentarios tales como: "A mí personalmente me sirvió el ECOEic para la evaluación final, ya que uno podía saber con qué enfoque o qué cosas ustedes como profesoras le atribuyen más importancia". "La realización del ECOEic me sirvió mucho; encuentro que es una muy buena metodología y las preguntas acompañadas de las fotografías, nos pueden brindar un buen acercamiento a lo que es el ECOE real".

Finalmente y de acuerdo con los resultados obtenidos en el ECOEic, este puede potenciar el desempeño de habilidades clínicas en los estudiantes, mejorar el rendimiento de estos y podría ser aplicado en diferentes niveles de la carrera de Enfermería, tanto para evaluar las habilidades clínicas iniciales y/o terminales adquiridas en cada uno, como para el desarrollo de estas. En resumen, el ECOEic, es una estrategia de evaluación, que permite que el estudiante llegue a las siguientes instancias prácticas y teoricas mejor preparado y por ende obtenga un mejor resultado en su aprendizaje. Por lo tanto, con el ECOEic otorga la aproximacion necesaria para ejecutar habilidades que requieren de mayores capacidades tanto cognitivas como psicomotoras.

 

CONCLUSIONES

Con esta propuesta se enriquece el sistema actual de evaluación ya que constituye una metodología innovadora, acorde a los tiempos y a las características propias de los estudiantes de la "generación 2.0". De este modo, el programa ECOEic, provee un feedback inmediato, mantiene un alto grado de motivación y por ende, genera procesos cognitivos de apresto para la aplicación del ECOE tradicional y disminuye los niveles de estrés propios de este examen. Asimismo, se potenciaría la aplicación de este ECOE interactivo computacional (ECOEic) a través de los diferentes niveles de la carrera de Enfermería para evaluar las habilidades clínicas iniciales y/o terminales adquiridas en cada uno.

Se plantea que este sería un material disponible para autoevaluación de los estudiantes, lo que aportaría al logro de la autoeficacia y autonomía en el proceso de aprendizaje. Por otro lado, el equipo docente cree que este producto puede ser enriquecido progresivamente a través de la incorporación de nuevos escenarios de las diferentes áreas del cuidado y de diferentes grados de complejidad según tramo de la carrera.

 

REFERENCIAS BILBIOGRÁFICAS

1. Carraccio C, England R. The objective structured clinical examination: a step in the direction of competency-based evaluation. Arch Pediatr Adolesc Med [serial on the Internet]. 2000 Mar 20 [cited 2006 Nov 25];154(7):736-41. Available from: http://archpedi.ama-assn.org/cgi/reprint/154/7/736

2. Schuwirth LW, van der Vleuten CP. ABC of learning and teaching in medicine: written assessment. BMJ. 2003 Mar 22;326(7390):643-5.

3. Barrios S, Masalan MP, Cook MP. Educación en salud: En la búsqueda de metodologías innovadoras. Ciencia y Enfermería. 2011;XVII(1):57-69.

4. Kronfly Rubiano E, Ricarte Díez JI, Juncosa Font S, Martínez Carretero JM. Evaluation of the clinical competence of Catalonian medicine schools 1994-2006. Evolution of examination formats until the objective and structured clinical evaluation (ECOE)]. Med Clin (Barc). 2007 Dec 1;129(20):777-84.

5. Smith Valerie, Muldoon Kathryn, Biesty Linda. The Objective Structured Clinical Examination (OSCE) as a strategy for assessing clinical competence in midwifery education in Ireland: A critical review. Nurse Education in Practice. 2012;12(5):242-7.

6. Alevi, David. Teaching the Competencies: Using Observed Structured Clinical Examinations for Faculty Development. Am J Gastroenterol. 2010;105:973-7.

7. Malau-Aduli BS, Mulcahy S, Warnecke E, Otahal P, Teague PA, Turner R, et al. Inter-rater reliability: comparison of checklist and global scoring for OSCEs. Creative Education. 2012;3:937-42.

8. Chen HC, Teherani A, O'Sullivan P. How does a comprehensive clinical performance examination relate to ratings on the medical school student performance evaluation? Teach Learn Med. 2011 Jan;23(1):12-4. doi: 10.1080/10401334.2011.536752.

9. Palese A. The cost of the objective structured clinical examination on an Italian nursing bachelor's degree course. Nurse Education Today. 2012;2(4):422-6.

10. Abeer Selim, Ramadan Fatma, El-Gueneidy Mervat, Gaafer Maha. Using Objective Structured Clinical Examination (OSCE) in undergraduate psychiatric nursing education: Is it reliable and valid? Nurse Education Today. 2012;32(3):283-8.

11. Townsend AH, Mcllvenny S, Miller CJ, Dunn EV. The use of an objective structured clinical examination (OSCE) for formative and summative assessment in a general practice clinical attachment and its relationship to final medical school examination performance. Med Educ. 2001 May 21;35:841-6.

12. Mitchell ML, Henderson A, Groves M, Dalton M, Nulty D. The objective structured clinical examination (OSCE): optimising its value in the undergraduate nursing curriculum. Nurse Educ Today. 2009;29:398-404.

13. Walsh M, Hill Bailey P, Koren I. Objective structured clinical examination of clinical competence: an integrative review. Journal of Advanced Nursing. 2009;65(8):158-495.

14. Baid Heather. The objective structured clinical examination within intensive care nursing education. Nursing in Critical Care. 2011;16(2):99-105.

15. Bartfay W, Rombough R, House E, Leblanc R. The OSCE approach in nursing education. The Canadian Nurse. 2004;100(3):18-23.

16. Stewart Brian Kirton, Kravitz Laura. Objective Structured Clinical Examinations (OSCEs) compared with traditional assessment methods. Am J Pharm educ. 2011;75(6):111.

17. Triviño X, Vásquez AM, Mena MA, López TA, Aldunate RM, Varas PM, et al. Aplicación del examen clínico objetivo estructurado (OSCE) en la evaluación final del internado de pediatría en dos escuelas de medicina. Rev Méd Chile [serie en Internet]. 2002 Jul [citado 3 Mar 2009 ];130(7):817-24. Disponible en: http://www.scielo.cl/scielo.php?script=sci_arttext&pid=S0034-98872002000700016&lng=es

 

* Esta investigación fue financiada por Pontificia Universidad Católica de Chile a través de Fondos para el desarrollo de la docencia (FONDEDOC), bajo la mirada del proyecto MECESUP "Estrategias de Simulación Para el Desarrollo de Competencias Clínicas". 2007-2010.

 

 

Recibido: 7 de enero de 2014.
Aprobado: 20 de enero de 2014.

 

 

Silvia Cristina Barrios Araya. Escuela de Enfermería Pontificia Universidad Católica de Chile. Vicuña Mackenna 4860. Campus San Joaquín Macul. Santiago de Chile. Correo electrónico: [e-mail]