(pdf)
SciELO 
SciELO 
Permalink
Introducción
La evaluación clínica objetiva y estructurada (ECOE) es una herramienta de evaluación de competencias clínicas realizada en ambientes simulados. Esta incluye diferentes aspectos del ejercicio profesional, entre ellos, anamnesis, diagnóstico, tratamiento, seguimiento, y desarrollo de habilidades técnicas (sutura, sondaje, etcétera), de comunicación y preventivas. Ha tenido una amplia aplicación en carreras profesionales del área de la salud1) como odontología,2,3 nutrición y dietética,4,5 enfermería6,7) y en diferentes especialidades médicas.2,8
Entre las principales aplicaciones se cuenta el uso de la ECOE en la verificación de estándares mínimos para aprobar el pregrado en Medicina en Estados Unidos, Reino Unido, Canadá1) y España.9 También se utiliza en procesos de selección para posgrados, como componente de exámenes de membresía en prestigiosas asociaciones médicas y como evaluación formativa en facultades de las áreas de la salud.1
La amplia difusión de la ECOE se debe a su validez, confiabilidad y versatilidad; aspectos que permiten trascender las formas de evaluación tradicionales, caracterizadas por su subjetividad y su utilización de instrumentos no estandarizados; usualmente se centra en los conocimientos y obvia las competencias actitudinales y psicomotrices.10) A pesar de sus ventajas, se han descrito factores que afectan el desempeño de los estudiantes durante la prueba, entre ellos, la preocupación, la ansiedad y el estrés que genera; el corto tiempo; el ambiente en el que se desarrolla; y algunos cuestionamientos sobre su aporte a la práctica clínica profesional.11
Las investigaciones sobre la ECOE se han focalizado en la descripción del proceso de diseño, la ejecución y el desempeño de los estudiantes en la prueba;12,13,14) lo que relega las acepciones relacionadas con esta herramienta de evaluación. En este último punto se encuentran algunas investigaciones en España,15) Chile16) y Estados Unidos.17 Sin embargo, ninguna de ellas explicita el constructo evaluado, describe las propiedades psicométricas de la escala, ni refiere el proceso de construcción y la evaluación de su reproducibilidad y validez.
Lo anterior evidencia la disponibilidad de pocos estudios -ninguno en Colombia-, relacionados con las acepciones, percepciones y sensaciones de la ECOE en estudiantes y profesores de Medicina. La relevancia de la exploración de las acepciones radica en que reflejan la construcción social que existen alrededor del instrumento,18 mientras que las percepciones dan cuenta del juicio de los participantes sobre las diferentes etapas de la prueba19 y las sensaciones permiten conocer los aspectos corporales experimentados ante la prueba.20) Todo ello como base para brindar mayor asertividad a este recurso didáctico en la formación de médicos.
Por lo expuesto, se diseñó un estudio con el objetivo de construir una escala sobre acepciones, percepciones y sensaciones de la evaluación clínica objetiva y estructurada, para evaluar su reproducibilidad y validez en estudiantes de una facultad de Medicina de Medellín. La relevancia de la construcción y validación de escalas radica en la necesidad de disponer de instrumentos de medida que permitan recoger información de forma válida y confiable sobre atributos subjetivos que no pueden observarse ni medirse directamente,21,22,23 como medio para orientar acciones que conduzcan a mejorar las metodologías evaluativas, la aceptabilidad de los estudiantes, la motivación para el aprendizaje, la objetividad de las evaluaciones y la valoración de las intervenciones.
Métodos
La presente investigación fue una evaluación psicométrica. La población de estudio contempló la totalidad de los estudiantes y profesores de Medicina de la Universidad Cooperativa de Colombia, sede en Medellín, que participaron de la ECOE. Dado que se trató de un estudio poblacional, no se aplicó cálculo de tamaño de muestra ni muestreo. Se tomó como único criterio de inclusión ser profesor o estudiante del último año de Medicina. En total participaron 99 individuos (71 estudiantes y 28 profesores).
Se utilizó una encuesta construida a partir de la revisión de literatura. Para el control de sesgos de selección se incluyó a la totalidad de los estudiantes y profesores; y para el sesgo de información se realizó una capacitación al equipo que aplicaría las encuestas, mediante un proceso de construcción y validación riguroso del instrumento.
A los estudiantes de último año de Medicina se les aplicó una ECOE de 8 estaciones con los siguientes casos clínicos:
un caso de hipertensión arterial no controlada y dislipidemia,
hemorragia uterina anormal secundaria a una enfermedad maligna de cérvix,
niño de 3 años con otitis,
un caso de embriaguez,
tromboembolismo graso posterior a trauma de miembro inferior,
un paciente quemado,
en atención integral se solicitó la valoración de una mujer embarazada, y
un delirium mixto.
Los casos fueron diseñados por un panel conformado por la Decanatura Nacional de Medicina, el jefe de programa, el coordinador de área y los profesores. A cada estación se le asignó un tiempo de 15 minutos, de manera que toda la prueba tuvo una duración de 2 horas.
Construcción de la escala de acepciones, percepciones y sensaciones
La construcción de la escala se realizó en las tres etapas siguientes:
Revisión de literatura: con el objetivo de identificar los instrumentos utilizados en el ámbito mundial para valorar las acepciones, percepciones y sensaciones relacionadas con la ECOE. La estrategia de búsqueda y el algoritmo de selección se encuentran en otra publicación.24
Reducción de ítems: el proceso anterior evidenció que en la literatura consultada no existían estudios similares, por lo que se tomaron las investigaciones sobre la ECOE en especialidades médicas. A partir de estos estudios se construyó un banco de ítems en escala Likert de 5 niveles. Este proceso fue realizado por dos investigadores para garantizar la reproducibilidad.
La reducción de ítems se hizo con tres criterios: 1) en un análisis factorial exploratorio se eliminaron los ítems con coeficientes λ < 0,2; 2) ítems con el mismo grado de correlación con los factores extraídos; y 3) con los ítems agrupados en un componente del análisis factorial exploratorio se realizaron correlaciones de Pearson para identificar preguntas estadísticamente redundantes (correlaciones ≥ 0,8), en este caso se eliminó el ítem que presentó menor coeficiente λ.
Evaluación de la psicometría: con los ítems finales se realizó un análisis factorial exploratorio de componentes principales, tomando como criterio de extracción la presencia de valores Eigen > 1. Se generaron 5 factores, pero solo 2 presentaron 2 % y 1,2 % de la varianza explicada, por lo que al final se trabajó con 3 factores, definidos como acepciones, conformado por 12 ítems, percepciones por 11 ítems y sensaciones por 6 ítems.
Los ítems se describieron a partir de medidas de resumen. Se estableció el puntaje de cada uno de los 3 factores a partir de la sumatoria de sus ítems y su transformación a una escala de 0 (peor puntaje posible) a 100 (mejor puntaje posible); así: Escala trasformada = [(puntaje obtenido-puntaje más bajo posible)/rango posible] x 100. El puntaje transformado se describió con medidas de resumen y con el efecto piso (proporción de individuos con el puntaje más bajo) y techo (proporción de individuos con el puntaje más alto).
La reproducibilidad se evaluó con los criterios de 1) fiabilidad con el α de Cronbach, la que se tomó como satisfactoria a partir de 0,7; 2) consistencia interna, que se estableció como [número de correlaciones ítem-domino ≥ 0,4/número total de correlaciones ítem-dominio]*100; y 3) poder discriminante, que se estableció como [número de correlaciones ítem-domino que conforma mayores a las correlaciones ítem-dominio al cual no pertenece/número total de correlaciones ítem-dominio al cual no pertenece]*100.
La validez se evaluó con los siguientes criterios:
de apariencia, para establecer la aplicabilidad y aceptabilidad del instrumento,25
de contenido, a partir del cálculo de coeficientes λ de cada ítem con su dominio; por medio de un análisis factorial exploratorio, el porcentaje de éxito se estableció como [número de coeficientes λ ≥ a 0,3/número total de coeficientes λ del domino]*100,
validez predictiva con la varianza explicada por los ítems de cada dominio, y
de constructo.
Las comparaciones se realizaron con la prueba t Student, previa evaluación de los supuestos de normalidad y homocedasticidad con los estadísticos de Shapiro-Wilk y Levene. El análisis factorial exploratorio se complementó con el estadístico de Kaiser-Meyer-Olkin, la prueba de esfericidad de Bartlett y la matriz de rotación varimax.
Según la Resolución 8430 de 1993 del Ministerio de Salud de Colombia, este estudio correspondió a una investigación sin riesgo. Se respetaron los principios de la Declaración de Helsinki y se garantizó la privacidad en el manejo de la información.
Resultados
Reducción de los ítems
En el análisis factorial exploratorio se eliminaron los siguientes ítems por sus bajos coeficientes λ: ECOE es estresante (coeficientes λ = -0,115 con factor 1); ECOE es castigador (coeficientes λ = -0,020 con factor 1); Evaluación de la organización de la prueba (coeficientes λ = 0,101 con factor 2); y Evaluación de la puntualidad de la prueba (coeficientes λ = 0,193 con factor 2). Además se mostraron los siguientes ítems que presentaron coeficientes λ aproximadamente iguales con los tres factores: la fecha y hora de la ECOE fue adecuada (coeficientes λ entre 0,173 y 0,183); la ECOE le produce sensación de entusiasmo (coeficientes λ entre 0,272 y 0,283); y la ECOE le produce sensación de compromiso (coeficientes λ entre 0,267 y 0,286).
A partir de las correlaciones de Pearson se eliminaron las siguientes variables del dominio de acepciones dado que resultaban redundantes: ECOE es una estrategia para identificar deficiencias (alta correlación con “permite identificar fortalezas y debilidades”); ECOE permite evaluar destrezas (alta correlación con “permite autoevaluar teoría y práctica”); ECOE es entretenido (0,802 con “es motivadora” y 0,825 con “es agradable”); ECOE evalúa habilidad comunicativa (0,802 con “evalúa actitud profesional”); ECOE aporta al crecimiento personal; ECOE aporta al crecimiento profesional; y ECOE es útil para el aprendizaje clínico (0,935, 0,861 y 0,874, respectivamente, competencias de habilidades clínicas); ECOE estimula el autoaprendizaje (0,841 con “estimula resolución de problemas”); ECOE permite integrar conocimientos (0,922 con “permite reflexionar la práctica clínica”); ECOE posibilita evaluar cambios en el método de estudio (0,846 con “permite identificar fortalezas y debilidades”). En los dominios de percepciones y sensaciones no se hallaron ítems redundantes.
De esta forma se obtuvo la escala definitiva con los ítems que se describen en la tabla 1.
Propiedades psicométricas de la escala
En el dominio de acepciones, en un rango de 1 o 5, todos los ítems presentaron una media igual o mayor a 3, y en 9 de los 12 puntos se halló una mediana de 4. En el dominio de percepciones, el promedio de los ítems fue igual o mayor que 4,1 y en el dominio de sensaciones la frustración, decepción e impotencia presentaron una media entre 3,1 y 3,5; mientras que lo referido a ansiedad, nerviosismo y temor presentó una media entre 4,3 y 4,7 (Tabla 1). El puntaje global, en un rango entre 0 y 100, fue de 65,3 ± 23,2 para el dominio de acepciones; 83,1 ± 14,9 para el de percepciones; y 72,9 ± 23 para las Sensaciones (Tabla 2).
En cuanto a la reproducibilidad y validez de la escala se halló un Alpha de Cronbach (α) mayor que 0,70 para los tres dominios, y el porcentaje de éxito en la consistencia interna y el poder discriminante fue 100 %; el porcentaje de éxito en la validez de contenido obtuvo 100 % para los dominios de acepciones y sensaciones, y 73 % para las percepciones; en la validez predictiva se encontró que los ítems de la escala explicaban el 61 % de la variabilidad total y en la validez de constructo se halló un resultado favorable en el dominio de acepciones, dado que resultó el único en el que se hallaron diferencias estadísticas entre estudiantes y profesores, y entre quienes presentaban la evaluación por primera vez y el resto del grupo (Tabla 2).
Tabla 2 Descripción y evaluación de la reproducibilidad y validez de la escala
Nota: X: media; DE: desviación estándar; RI: rango intercuartil; Vp: Valor p.
El análisis factorial exploratorio fue satisfactorio; el estadístico de Kaiser-Meyer-Olkin, de 0,812; y la prueba de esfericidad de Bartlett resultó significativa (Vp = < 0,001); además, la matriz rotada evidenció la pertinencia de los tres dominios de la escala (Fig.).
En las observaciones realizadas a la prueba se encontró que los estudiantes se focalizaron en aspectos logísticos, entre los cuales vale destacar los siguientes:
la prueba se debería hacer en el año de internado, incluso desde semestres anteriores;
ajustar el tiempo asignado a cada estudiante, hacer una preparación previa y ampliar el tiempo de resolución del caso; y
no asignar nota o poner un porcentaje más bajo (con esto aumentaría el valor de la simulación).
Desde la perspectiva de los docentes, las respuestas se centraron en aspectos pedagógicos y didácticos, lo que indicó que el contenido del examen debería estar más acorde con el perfil epidemiológico local (casos clínicos frecuentes), y que en cada estación había que reevaluar lo esperado para el nivel de pregrado (por ejemplo, disminuir los ítems) y validar las listas de chequeo.
Discusión
En la literatura no se dispone de un estudio similar relacionado con la construcción y validación de escalas sobre la ECOE, lo cual resulta de gran relevancia dado que en la medición de fenómenos no observables como las acepciones, percepciones y sensaciones es necesario demostrar la pertinencia de los ítems elegidos para la medición del constructo, así como la reproducibilidad y validez.26
En este sentido, la escala analizada presentó una excelente reproducibilidad, lo que indicó que cumplía con las propiedades psicométricas de fiabilidad, consistencia interna y poder discriminante. La fiabilidad se evaluó con el coeficiente Alpha de Cronbach y en todos los dominios fue superior a 0,7, lo que evidenció que el instrumento era capaz de medir sin error.26 La consistencia interna se evaluó con correlaciones y en todos los dominios fue superior a 0,4, lo que puso de manifiesto que los ítems de cada dimensión presentaban homogeneidad entre ellos, es decir, medían el constructo que pretendían calcular.27) El poder discriminante se evaluó con la correlación entre los ítems de cada dimensión y el puntaje de las otras dimensiones a los cuales no pertenecían; en esta el porcentaje de éxito fue de 100 %, con lo que se comprobó que los ítems de cada dominio no estaban midiendo lo que pretendían los incluidos en las demás dimensiones.28
La validez también presentó excelentes resultados con los criterios de apariencia, contenido, predictiva y constructo. La validez de apariencia se realizó con un panel conformado por 2 médicos generales, 1 médica con posgrado en educación, los especialistas que evaluaron cada estación, 1 epidemiólogo y 10 estudiantes que presentaron la prueba, quienes determinaron la sencillez, viabilidad y aceptación del instrumento.
La validez de contenido se evaluó con el análisis factorial y las cargas factoriales fueron superiores a 0,3 en todos los ítems, lo que indicó que los ítems incluidos en el instrumento representaban adecuadamente los dominios del constructo medido.23,26,29) La validez predictiva evidenció que los ítems de la escala explicaban un porcentaje muy alto (61 %) de la variabilidad total.25) Por su parte, la validez de constructo evaluó el grado en que el instrumento reflejaba adecuadamente las acepciones, percepciones y sensaciones y, en consecuencia, discriminó grupos teóricamente distintos para el evento de interés. Teniendo en cuenta las propiedades psicométricas descritas, este instrumento se puede tomar como referencia para evaluaciones posteriores de las acepciones, percepciones y sensaciones de la ECOE.
La revisión de literatura evidenció la difusión de la ECOE como estrategia evaluativa en especialidades médicas, para comprobar competencias mínimas en profesiones del área de la salud y como criterio de admisión para algunas asociaciones médicas.1,8,30 Ello evidenció la necesidad de disponer de una herramienta que retomara las acepciones, percepciones y sensaciones de los implicados como base para el mejoramiento de su implementación, ejecución y seguimiento.
Los estudios que dan cuenta del diseño, la selección de estaciones y la valoración de la organización de la prueba, refieren el acuerdo de los estudiantes con un tiempo de 10 a 15 minutos por estación, la pertinencia de los casos para simular situaciones de la práctica clínica, y la precisión del examen para reflejar con objetividad los conocimientos y las habilidades en comparación con los métodos evaluativos tradicionales.31
Otras investigaciones sobre la aceptabilidad del examen indican que, en principio, el 25 % de los estudiantes tienen una percepción positiva, 37,1 % consideran que la calificación es más imparcial que los métodos tradicionales32 y hasta el 53 % refieren que la evaluación los pone nerviosos y ansiosos.31) La ansiedad es importante debido a que puede afectar negativamente el rendimiento de los estudiantes durante el examen, incluso se ha demostrado que quienes presentan altos niveles de ansiedad tienen hasta un 12 % de peores puntajes, pese a poseer el mismo nivel de conocimiento y tiempo de preparación.11) En contraste, otras investigaciones han descrito que la ECOE es menos estresante que los métodos evaluativos tradicionales32 y que resulta una prueba que, pese al aparente rechazo inicial por la ansiedad y preocupación que genera, con posterioridad se acepta ampliamente.33
En alusión a las competencias, se ha descrito que hasta el 92 % de los estudiantes considera que ayuda a adquirir competencias clínicas; el 89,7 %, que la prueba es útil para su formación profesional;15 y el 37 %, que debería ser utilizada con más frecuencia que otros tipos de evaluación.31) También estimula el desarrollo de habilidades comunicativas31) y, sobre la base de una aproximación hermenéutica, se concluyó que presenta pertinencia pedagógica, mejora el perfil ocupacional, la inserción laboral y el desempeño en los escenarios médicos.34
Entre las limitaciones se encuentra la baja disponibilidad de investigaciones similares, lo que dificultó la selección de los ítems y el no poder hacer una evaluación psicométrica completa, que incluyera grupos focales, evaluación test-retest, sensibilidad al cambio y validez de criterio, que constituyen líneas de trabajo para investigaciones posteriores.
Se construyó una escala sobre acepciones, percepciones y sensaciones de la ECOE en estudiantes de pregrado en Medicina, que presentó excelente reproducibilidad según los criterios de fiabilidad, consistencia interna y poder discriminante, y excelente validez de apariencia, contenido y predictiva. Esto constituye un insumo importante para la aplicación de este recurso didáctico, y por extensión la formación por competencias, en el pregrado de Medicina.
