Estructura factorial y consistencia interna del Cuestionario de Evaluación de Docentes Clínicos en el Internado de Fonoaudiología

Factorial structure and internal consistency of Clinic Teachers Assessment Questionnaire in Speech Therapy Internship

Renato Martínez Cifuentes¹, Cristhian Pérez Villalobos², Hernán León Valdés², Lorena Carmona San Martín³

¹ Universidad San Sebastián. Chile.
² Universidad de Concepción. Chile. ]]> ³ Universidad del Desarrollo. Chile.

RESUMEN

Introducción : Los estudiantes del último año de la carrera de Fonoaudiología, son supervisados en la clínica, por un tutor que ejerce un rol de profesor sin necesariamente tener formación pedagógica, y, para la evaluación de su docencia, no se dispone de un instrumento con evidencias de validez y confiabilidad.
Objetivo : Evaluar las propiedades psicométricas del "Cuestionario de evaluación de docentes clínicos (CEDC)" en el internado de la carrera de Fonoaudiología de una universidad tradicional de Concepción.
Métodos : Estudio mixto y analítico relacional, mediante encuestas. Las encuestas fueron respondidas por 43 estudiantes elegidos mediante muestreo no probabilístico por accesibilidad, quienes efectuaron 137 valoraciones empleando el CEDC, siendo evaluados 38 tutores. Se realizó consentimiento informado y se contó con autorización de la jefatura de carrera.
Resultados : Se efectuó un análisis factorial exploratorio mediante el cálculo estadístico de adecuación muestral de Kaiser-Meyer-Olkin=0,95 y la prueba de esfericidad de Bartlett c ²(325)=4092,05; p<0,001. En la estimación del número de factores se empleó el criterio de Kaiser-Guttman identificando tres factores con autovalores de 16,71, 1,23 y 1,07. Estos factores mostraron una confiabilidad con coeficientes Alfa de Cronbach de a=0,97, a=0,93 y a=0,89, y correlaciones con la nota global del tutor estadísticamente significativas y directas.
Conclusiones : El CEDC presenta evidencias de confiabilidad, validez de constructo y validez de criterio. Se compone de los factores: "Promotor de un diálogo permanente", "Promotor de condiciones para un desempeño seguro" e "Instructor de técnicas". El CEDC permitirá caracterizar a los profesores clínicos, posibilitando innovaciones pedagógicas en el internado.

Palabras clave : Psicometría, Evaluación Educacional, Docentes, Internado no Médico, Fonoaudiología.

ABSTRACT

Introduction : Final year Speech Therapy students are supervised by a tutor in the clinic, who plays a role of teacher without necessarily being qualified. There are not instruments available to evaluate if these tutors teaching is proven to be reliable. Objective: The aim is to evaluate the psychometric properties of "Clinic Teachers Assessment Questionnaire (CTAQ)" in Speech Therapy degree internships in a traditional university in Concepción.
Method : Analytical, relational and mixed studies, using surveys. The surveys were answered by 43 students who were selected using a sampling method that was not probabilistic in terms of accessibility. These students carried out 137 reviews using the CTAQ, evaluating 38 tutors. Informed consent was given and it was authorized by the person in charge of the major.
Results : An exploratory factor analysis was carried out using the Kaiser-Meyer-Olkin=0,95 statistical calculation of sampling adequacy and Bartlett's test of sphericity c²(325)=4092,05; p<0,001. The Kaiser-Guttman criterion was used when estimating the number of factors, identifying three factors with eigenvalues of 16,71, 1,23 and 1,07. These factors displayed reliability with Cronbach's alpha coefficients a=0,97, a=0,93 and a=0,89. They also displayed a direct correlation with the teacher's overall score of that were statistically significant.
Conclusions : The CTAQ shows signs of reliability and validity of design and criteria. The CTAQ displays the following factors: "promotes ongoing dialogue", "promotes conditions for safe performance" and "teaches techniques". The CTAQ allows the clinical teachers to be characterized, and enables teaching innovation in the internships.

Keywords: Psychometrics, Educational Measurement, Faculty, Internship, Non-Medical, Speech-Language Pathology.

INTRODUCCIÓN

Los estudiantes de la carrera de Fonoaudiología, cursan en el año final de su formación el Internado, en el cual efectúan rotaciones clínicas, que corresponden a cuatro períodos de práctica profesional realizados en centros de salud y establecimientos educacionales bajo la supervisión de un tutor, quien es un Fonoaudiólogo que ejerce con el interno un rol de profesor sin necesariamente tener formación pedagógica.

Esta situación es recurrente en la enseñanza en un ambiente clínico, donde muchos profesionales asumen esta tarea sin una adecuada preparación u orientación, y duplican su rol cuidando al paciente y enseñando al estudiante¹. Esto genera inquietud por la calidad del desempeño de estos tutores y por el impacto que pueden tener en la formación de los estudiantes, lo que vuelve necesario la supervisión de su quehacer mediante la aplicación de instrumentos de evaluación de su desempeño en su rol de profesor clínico que se encuentren respaldados por evidencias de su validez y confiabilidad. Sobre todo, porque el ejercicio de la enseñanza de estos profesionales ocurre en un contexto diferente al aula tradicional, siendo la clínica un ambiente de aprendizaje altamente desestructurado y complejo², donde la formación del estudiante es impulsada principalmente por las exigencias del día a día³ y por el contacto directo con pacientes reales ⁴ y sus problemas¹.

Reconociendo esta particularidad, una apropiada evaluación de la enseñanza clínica puede ayudar a las instituciones universitarias a hacer seguimiento del desempeño de quienes realizan docencia en estos contextos y puede entregar criterios de autoevaluación a los profesionales sin formación pedagógica para que se apropien de herramientas que los ayuden a desarrollar una mejor supervisión de los estudiantes y a generar mejores ambientes de aprendizaje². Más aún, cuando en la evaluación del currículum por estudiantes de distintos niveles de Fonoaudiología, los alumnos de quinto año tienen una opinión menos favorable del factor equipo docente, que los de primer y tercer año⁵.

Por este motivo, se opta por la traducción y adaptación de un instrumento de evaluación de profesores clínicos, el "Cuestionario de evaluación de docentes clínicos (CEDC)", diseñado el 2008 por Stalmeijer et al. según el modelo cognitivo de aprendizaje.

El modelo cognitivo de aprendizaje, en su marco teórico, operacionaliza cuatro dimensiones interconectadas de todo ambiente de aprendizaje: Contenido, Método, Secuencia y Sociología ⁶. De estas, el instrumento original se enfoca en los métodos de enseñanza, que se desglosan en: Modelado, Entrenamiento, Andamiaje, Articulación, Reflexión y Exploración. Los tres primeros ayudan a los estudiantes a adquirir un conjunto integrado de habilidades cognitivas y metacognitivas a través de procesos de observación y de práctica guiada; los dos siguientes promueven que los estudiantes centren sus observaciones en la resolución de problemas de expertos y en sus propias estrategias de resolución; y el último método se dirige a generar en el estudiante autonomía en la problematización y en la resolución de problemas⁷. Junto a estos seis métodos, el instrumento original también incorpora ítemes dentro de las categorías Clima general de aprendizaje y Misceláneo, con el fin de considerar otros prerrequisitos que se vinculan con un aprendizaje exitoso en un contexto clínico².

Esta alternativa fue considerada, ya que no se cuenta en la actualidad con un instrumento de evaluación del tutor en su rol de profesor clínico con evidencias de validez y confiabilidad en las carreras de Fonoaudiología de Chile.

El presente estudio, por tanto, busca aportar evidencias de validez y confiabilidad para apoyar el uso del instrumento de Stalmeijer et al. en la medición del desempeño de los profesionales de la salud que cumplen la función de docentes clínicos en la carrera de Fonoaudiología. Se entiende la confiabilidad como la precisión de una medición, o el grado en el cual las puntuaciones de un test están libres de errores de medición⁸ produciendo resultados consistentes y coherentes⁹; y la validez, cuando se cuenta evidencia de que las mediciones un test realmente apuntan al constructo que pretende medir, justificando adecuadamente las inferencias realizadas en función de sus resultados⁸.

MÉTODOS

El presente estudio es de tipo mixto y de alcance analítico relacional, realizado mediante encuestas. Las encuestas fueron respondidas por 43 estudiantes de internado de Fonoaudiología de la Universidad de Concepción del período académico 2014, elegidos mediante muestreo no probabilístico por accesibilidad. Estos efectuaron 137 valoraciones de 38 profesores clínicos. Del total de tutores, 27 eran mujeres (71,1%) y 11 eran hombres (28,9%). De las cuatro rotaciones anuales del internado, la rotación Marzo-Mayo contó con 40 valoraciones (29,2%), las rotaciones Mayo-Julio y Julio-Septiembre con 33 valoraciones cada una (24,1%) y la rotación Septiembre-Noviembre con 31 valoraciones (22,6%).

Se empleó el Cuestionario de evaluación de docentes clínicos (CEDC), que corresponde a la traducción y adaptación del instrumento de evaluación de profesores clínicos de Stalmeijer et al², efectuada por el equipo que realiza el presente estudio. El CEDC consta de 26 ítems en una escala Likert de uno a cinco; siendo uno "Muy en desacuerdo" y cinco "Muy de acuerdo", donde cada uno de estos ítems enuncia una acción efectuada por el tutor. A su vez, incorpora un ítem de valoración global del tutor como profesor clínico, en escala uno a diez.

La recolección de datos la realizó el equipo investigador dentro de las instalaciones universitarias, previo consentimiento informado de cada encuestado. También se contó con autorización institucional de la jefatura de carrera.

En el análisis estadístico de los datos, primero fueron ingresados a una planilla Excel y después se importaron y analizaron en el paquete estadístico STATA S.E 11.0.

De esta forma, en la evaluación de las propiedades psicométricas del CEDC, en primera instancia, se llevó a cabo un Análisis Factorial Exploratorio para evaluar la dimensionalidad interna empleando el método de extracción del Análisis de Eje Principal (AEP), reconocido como el más pertinente para el procesamiento de escalas compuestas^10,11. Una vez identificados los factores, se evaluó la consistencia interna de sus puntuaciones empleando el coeficiente de confiabilidad Alfa de Cronbach y la capacidad discriminativa de los ítems, a través de la correlación de cada uno de los reactivos con el total corregido del factor al que fueron asignados. Por último, se evaluó la correlación de los puntajes obtenidos por el CEDC con una pregunta única en la que se solicitaba a los estudiantes asignar una nota global, uno a diez, para el Fonoaudiólogo como profesor clínico, aplicando el coeficiente de correlación de Pearson en base a un contraste unilateral.

RESULTADOS

Posteriormente se procedió a estimar el número de factores de la escala, considerándose complementariamente tres criterios: 1) el criterio de Kaiser-Guttman o de raíz latente, 2) el criterio de contraste de caída y 3) el Análisis Paralelo de Horn. De ellos, los dos primeros son los más frecuentemente empleados para este propósito^10,12, y el último, es considerado como una herramienta más adecuada que las anteriores^12,13.

El primer criterio, de Kaiser-Guttman o de raíz latente, identificó tres factores con valores propios mayores a 1,0, y con autovalores de 16,71, 1,23 y 1,07, que explicarían el 91,97% de la varianza total de los ítems. El segundo criterio, de contraste de caída o scree test, igualmente mostró a través del gráfico de sedimentación la presencia de tres factores, tal como se refleja en la figura.

Por último, el Análisis Paralelo de Horn en base a 5000 muestras aleatorias, coincidió con la existencia de tres factores, los que presentan valores propios (16,71, 1,23 y 1,07) por sobre los valores propios obtenidos en las muestras aleatorias (1,13, 1,03 y 0,85).

Dado el acuerdo de todos los criterios en torno a la solución de tres factores, se decidió evaluar la organización de los ítems en esta estructura factorial calculando los coeficientes de configuración para cada factor, mediante AEP aplicando rotación oblicua Promax según se expone en la Tabla 1.

Tabla 1 . Matriz de configuración del CEDC en estudiantes de Fonoaudiología obtenida mediante Análisis de Eje Principal con rotación Promax

^a Las cursivas indican cargas superiores a 0,30

Las cargas factoriales exhibidas en la Tabla 1 muestran que todos los ítems presentan al menos un coeficiente de configuración sobre 0,30, que es el valor mínimo sugerido como umbral para aceptar una carga factorial como adecuada⁹. Adicionalmente, cuatro ítems presentaron cargas sobre el umbral en dos factores (ítems 2, 11, 19 y 21), lo que se denomina carga cruzada, tras lo cual se decidió asignarlo a aquellos factores con los que presentaba mayor consistencia teórica. En todos estos casos, los ítems fueron asignados al factor uno, con un único caso (ítem 2) en que el ítem presentaba una carga inferior en el factor al que fue asignado (0,357) que en el otro (0,380).

De esta manera, los factores quedaron configurados de la siguiente forma:

1) Factor I: conformado por los ítems 13, 16, 7, 18, 20, 19, 12, 17, 6, 21, 14, 15, 22, 11 y 2 (ordenados de mayor a menor carga), aludiría a la evaluación del profesor que en su cumplimiento de una enseñanza clínica genera una interacción verbal constante con el estudiante, materializada en la escucha y la consejería, estableciéndose una relación profesor-estudiante fundada en el diálogo, por lo que se le denominó Promotor de un diálogo permanente. Al analizar la consistencia interna de la escala se obtuvo un coeficiente Alfa de Cronbach de a =0,97, con correlaciones entre los ítems y el total corregido de r=0,75 (ítem 12) a r=0,91 (ítem 7).

2) Factor II: constituido por los ítems 25, 24, 23, 10, 9 y 8, que evalúan al profesor que en su cumplimiento de una enseñanza clínica genera un clima que brinda seguridad al estudiante, estableciéndose una relación profesor-estudiante fundada en el apoyo y la empatía, por lo que se denominó Promotor de condiciones para un desempeño seguro. Su confiabilidad fue de a=0,93, con correlaciones entre los ítems y el total corregido de r=0,64 (ítem 25) a r=0,84 (ítem 10).

3) Factor III: incluye los ítems 3, 26, 5, 4 y 1, que evalúan al profesor que en su cumplimiento de una enseñanza clínica genera oportunidades para el aprendizaje de procedimientos por parte del estudiante, estableciéndose una relación profesor-estudiante mediada por la aplicación de técnicas propias de la profesión, razón por la cual se denominó Instructor de técnicas. Su confiabilidad fue de a=0,89, con correlaciones entre los ítems y el total corregido de r =0,58 (ítem 1) a r=0,84 (ítem 4).

En vista que los tres factores presentaban una confiabilidad adecuada, se calculó el puntaje de éstos mediante la sumatoria de las respuestas de los sujetos a sus ítems. A partir de los puntajes resultantes se evaluó la relación entre los factores, utilizando el coeficiente de correlación de Pearson mediante un contraste unilateral, encontrándose correlaciones directas y estadísticamente significativas en los tres casos, todas mostrando una correlación intensa con tamaño del efecto grande (r> 0,05), tal como se expresa en la Tabla 2.

Tabla 2 . Correlación de Pearson entre los factores del CEDC en estudiantes de Fonoaudiología y la evaluación global del tutor

N =137; *:p<0,05; *:p<0,01; *:p<0,001

^a Coeficiente de confiabilidad Alfa de Cronbach. ^b No es posible estimar al tener un único ítem.

Finalmente, en la misma Tabla se observa la correlación de los tres factores identificados con la evaluación global del tutor, encontrándose que ésta presenta correlaciones estadísticamente significativas, directas y con tamaño del efecto grande con los tres factores de la escala, siendo mayor la correlación con el factor Promotor de un diálogo permanente que con los otros factores.

DISCUSIÓN

El CEDC presenta confiabilidades altas y coeficientes Alfa de Cronbach sobre 0,80 en todos los factores. Asimismo, muestra evidencias de su validez de constructo y validez de criterio para la evaluación de tutores de Fonoaudiología en una universidad tradicional de Chile.

Estos antecedentes, respecto de la evaluación de propiedades psicométricas del instrumento original, coinciden con la evidencia que apoya la confiabilidad y validez de constructo del instrumento. Sin embargo, la estructura factorial identificada difiere de los cinco factores propuestos por los autores originales en población Neerlandesa que se orientan a la labor del profesor clínico respecto del 1) Modelado, 2) Entrenamiento, 3) Articulación, 4) Exploración y 5) Ambiente de aprendizaje¹⁴.

En el estudio chileno fueron identificados tres factores que corresponden a 1) Promotor de un diálogo permanente, 2) Promotor de condiciones para un desempeño seguro y 3) Instructor de técnicas. Pese a la discrepancia con la propuesta original, los factores identificados logran diferenciar el ejercicio técnico del rol docente, así como su capacidad para generar un ambiente relacional y contextual que favorece el proceso de aprendizaje.

La evidencia encontrada apoya el uso del CEDC para caracterizar el ejercicio de la enseñanza que los tutores realizan en su rol de profesor clínico, no obstante, es necesario advertir, que el ejercicio de este rol está asegurado cuando existe una división de las responsabilidades de enseñanza, una duración mayor de las rotaciones y una conducta proactiva de los profesores y de los estudiantes ¹⁵. Además, es preciso señalar que si bien, las evaluaciones de los estudiantes a partir de escalas adecuadamente construidas son necesarias, no son suficientes para evaluar exhaustivamente la efectividad de la enseñanza. Por lo tanto, es vital el análisis de múltiples fuentes de evidencias que consideren las distintas decisiones, ya sean formativas, sumativas o específicas de un programa¹⁶.

Tomando aquellos resguardos, el uso del instrumento permitirá una evaluación constante de los procesos formativos en contextos clínicos, y a partir de esto posibilitará la generación de escenarios que apunten a: 1) la evaluación permanentemente la labor docente, 2) detectar oportunamente problemas en su ejercicio y brindarles posibilidades de capacitación, 3) reconocer y premiar el buen desempeño docente, estableciendo estímulos e indicadores para el reconocimiento y promoción de los profesores, 4) proporcionar apoyos para la realización, publicación y difusión de los resultados de la investigación educativa y 5) organizar foros nacionales e internacionales en educación médica¹⁷, todas estas instancias relacionadas con la innovación pedagógica, las que favorecerán la mejora continua del proceso de internado de la carrera de Fonoaudiología.

Conflicto de intereses

Los autores declaran no tener ningún conflicto de intereses.

REFERENCIAS BIBLIOGRÁFICAS

2. Stalmeijer R, Dolmans D, Wolfhagen I, Muijtjens A, Scherpbier A. The development of an instrument for evaluating clinical teachers: involving stakeholders to determine content validity. Med Teach [Internet]. 2008. [cited 2014 Ago 3]; 30(8):e272-e277. Available from: http://informahealthcare.com/doi/pdf/10.1080/01421590802258904

3. Stalmeijer R, Dolmans D, Wolfhagen I, Scherpbier A. Cognitive apprenticeship in clinical practice: can it stimulate learning in the opinion of students?. Adv in Health Sci Educ [Internet]. 2009. [cited 2015 Oct 21]; 14(4): 535-546. Available from: http://link.springer.com/content/pdf/10.1007%2Fs10459-008-9136-0.pdf

4. Fasce E, Ibáñez P. Fundamentos y práctica de la educación médica. Concepción: Editorial Universidad de Concepción; 2013. 198 p.

5. Glaría R, Carmona L, Pérez C, Parra P. Evaluación del curriculum por estudiantes de Fonoaudiología de la Universidad de Concepción, Chile. Educ Med Super [Internet]. 2016. [cited 2017 Sep 20]; 30(4):287-303. Available from: http://scielo.sld.cu/pdf/ems/v30n4/ems05416.pdf

6. Lyons K, McLaughlin J, Khanova J, Roth M. Cognitive apprenticeship in health sciences education: a qualitative review. Adv in Health Sci Educ [Internet]. 2016. [cited 2017 Sep 20]; 22(3):723-739. Available from: https://link.springer.com/article/10.1007/s10459-016-9707-4

7. Center for the Study of Reading. COGNITIVE APPRENTICESHIP:TEACHING THE CRAFT OF READING, WRITING, AND MATHEMATICS [Internet]. Champaign: University of Illinois; 1987 [cited 2015 Oct 21]. Available from: http://ocw.metu.edu.tr/pluginfile.php/9107/mod_resource/content/1/Collins%20report.pdf

8. Tornimbeni S, Pérez E, y Olaz, F. Introducción a la psicometría. Buenos Aires: Paidós; 2008. 280 p.

9. Hernández R, Fernández C, Baptista M. Metodología de la investigación. México DF: McGraw-Hill; 2010. 613 p.

10. Hair J, Black W, Babin B, Anderson R, Tatham R. Análisis multivariante. Nueva Jersey: Prentice Hall; 2005. 832 p.

11. Tabachnick B, Fidell L. Using multivariate statistics. Boston: Allyn and Bacon; 2006. 980 p.

12. Martínez R, Hernández M, Hernández M. Psicometría. Madrid: Alianza; 2006. 488 p.

13. Buja A, Eyuboglu N. Remarks on parallel analysis. Multivariate Behav Res. 1992; 27(4): 509-540.

15. Stalmeijer R, Dolmans D, Snellen-Balendong H, Van Santen-Hoeufft M, Wolfhagen I, Scherpbier A. Clinical Teaching Based on Principles of Cognitive Apprenticeship: Views of Experienced Clinical Teachers. Acad Med [Internet]. 2013. [cited 2017 Sep 20]; 88(6):861-865. Available from: http://pdfs.journals.lww.com/academicmedicine/2013/06000/Clinical_Teaching_Based_on_Principles_of_Cognitive.32.pdf

16. Berk R. Top five flashpoints in the assessment of teaching effectiveness. Med Teach [Internet]. 2013. [cited 2017 Sep 20]; 35(1): 15-26. Available from: http://www.tandfonline.com/doi/pdf/10.3109/0142159X.2012.732247

17. Pérez J, Lavalle C. La educación médica en el siglo XXI. México DF: Editoriales FT; 2008. 262 p.

Recibido: 13 de junio de 2017.
Aprobado: 12 de octubre de 2017.

Renato Martínez Cifuentes . Magíster. Profesor asistente. Escuela de Fonoaudiología, Universidad San Sebastián, Lientur 1457, Concepción, Región del Biobío, Chile. Correo electrónico: renato.martinez@uss.cl