Validación del examen de grado de la carrera de Odontología
Validation of degree exam in the carrier of Dentistry
]]>
Dra. Claudia Zenteno Hófer, Dr. Jaime Constenla Núñez, Dr. Javier Araya Gozalvo
Universidad San Sebastián, Chile.
]]>
RESUMEN
La carrera de Odontología en la Universidad San Sebastián está inserta en un currículo orientado en competencias. Por esta razón, una de las metodologías más utilizadas, desde el 1er. año de carrera, es el Aprendizaje basado en problemas, aumentando su utilización en los últimos años. Al término de la carrera, fue necesario implementar un tipo de evaluación que fuese capaz de integrar todos los conocimientos procedimentales, conceptuales y actitudinales de los alumnos, que fueran congruentes con la metodología empleada. Para este efecto se consideró el Test de triple salto (TRIPSE). Este tipo de evaluación no había sido utilizada en un examen final o de grado de una carrera del área de la salud en Chile, por lo que fue un proceso innovador. El objeto de este estudio fue determinar la validez del test de Triple Salto, como examen de grado de la carrera de Odontología y a su vez demostrar su objetividad y congruencia. Los resultados fueron determinantes para validar este tipo de evaluación, autentificando el modelo de enseñanza aprendizaje, siendo considerado como objetivo y congruente.
Palabras clave: evaluación, constructivismo, tripse, aprendizaje basado en problemas, examen de grado.
]]>
ABSTRACT
Dentistry carrier, as a carrier of health area, in San Sebastian University, its insert in a curriculum oriented in competences. For this reason one of the most used methodologies its problem-based learning (PBL), since first year of the carrier, increasing its use in the last years. In the other hand, at final years of the carrier it was necessary to establish some type of evaluation capable of integrate all knowledge of the students, which could be procedural, conceptual or attitudinal, congruent with the methodology used. These made us to choose an instrument representative of the curriculum based on competences and based on PBL methodology for the students, and it was considered the triple jump test o Tri-Partite Problem Solving Exercise (TRIPSE), as an appropriate test for the goals previously mentioned. This type of evaluation has not been used as a final exam or degree in a carrier of the health area in Chile, this made it an innovator process. The objective of this intervention was to determine the validity of TRIPSE, as a degree exam of Dentistry carrier and at the same time demonstrate its objectivity and congruence. The results were determinants to validate this type of evaluation as a genuine alternative for the teaching and learning model, also appropriate, objective and congruent.
Key words: evaluation, constructivism, TRIPSE, PBL, degree exam.
]]>
INTRODUCCIÓN
La evolución de la empleabilidad de los profesionales odontólogos a nivel institucional, que ha sido el eje fundamental del proceso de acreditación y base para la determinación del perfil del estudiante de la universidad y de la carrera, ha generado una transición de un currículo tecnológico, a uno basado en competencias. Por esta razón, las metodologías y estrategias en el proceso enseñanza aprendizaje tuvieron que ser cambiadas y una de ellas es la metodología de Aprendizaje Basado en Problemas (ABP), la cual se comenzó a aplicar desde el 1er. año, en la carrera de Odontología de la Universidad de San Sebastián (USS), a través de los cursos de Integración Básico Clínico y en 5to. año con el estudio de casos clínicos reales del Centro de Salud.1
El ABP es un proceso constructivo donde participan los estudiantes y docentes de forma individual y grupal. No busca medir el aprendizaje memorístico, sino ser capaz de pesquisar en forma constante la relevancia del trabajo y promover la adquisición de destrezas de evaluación crítica, de habilidades clínicas y de mejorar la capacidad de aprendizaje.2,3 Los estudiantes tienen la posibilidad de comprender la importancia de trabajar colaborativamente y de comprometerse con sus propios procesos de aprendizaje no como una actividad individual, sino más bien social. Si bien también la enseñanza debe individualizarse en el sentido de permitir a cada alumno trabajar con independencia y a su propio ritmo, es necesario promover la colaboración y el trabajo grupal, ya que se establecen mejores relaciones con los demás, aprenden más, se sienten más motivados, aumenta su autoestima y aprenden habilidades sociales más efectivas.4 De esta forma no se recibe el conocimiento de forma pasiva, sino que es procesado y construido activamente, en función adaptativa y, por lo tanto, permite que la persona organice su mundo experiencial y vivencial.5 Es necesario destacar que para sentir interés, el alumno necesita saber o imaginar el problema para ver qué se pretende, y así lo podrá relacionar con la comprensión de lo que la tarea implica y realizar un estudio en profundidad.6 La esencia del proceso del aprendizaje reside en que las ideas expresadas son relacionadas de modo no arbitrario, sino sustancial (no al pie de la letra) con lo que el alumno ya sabe o experimenta.7
El sistema evaluativo de esta metodología es aplicada por los alumnos a través de la presentación de casos clínicos, desarrollado virtualmente en los tres primeros años de la carrera, así como también en 4to. y 5to. de esta. Este sistema se desarrolla durante todo el período de pregrado con evaluaciones de tipo procesuales.
]]>
Sin embargo, se generó un problema al momento de evaluar en forma sumativa y terminal a estos alumnos antes de salir de la carrera, de tal manera de acreditar las competencias adquiridas con el sistema curricular imperante. La bibliografía mostró las experiencias de otras universidades y se llegó a la Prueba del Triple Salto (TRIPSE), la cual hace que el alumno se interiorice de un caso clínico real, lo desarrolle desde el punto de vista diagnóstico y de planificación de tratamiento, demostrando lo que ha aprendido en forma integral en los 6 años de estudio.
El TRIPSE o Test de Salto Triple, es una situación evaluativa oral estructurada en tres etapas (de ahí su nombre), que permiten incorporar los siguientes objetivos educacionales: comprensión de mecanismos, razonamiento clínico, destrezas de autoaprendizaje, destreza de autoevaluación y retroalimentación (Pantoja, 2002).6 Provee al estudiante y al docente de la oportunidad de simular una situación clínica real, determinando el progreso del estudiante tanto en las áreas cognoscitivas, psicomotoras como afectivas. Es un proceso que permite además, evaluar el aprendizaje autodirigido, capacidad para resolver problemas incluyendo generación de hipótesis, diagnóstico y plan de manejo.7
TRIPSE Etapa 1: Definición del Problema, comienzo de la experiencia: (30 min). El alumno con el examinador o examinadores establecen una conversación exploratoria donde el alumno identifica las áreas problemas, define en forma clara los tópicos, repasa el conocimiento ya adquirido y finalmente concreta o identifica el conocimiento necesario que debe ser adquirido.
TRIPSE Etapa 2: Búsqueda de información y estudio. El estudiante entra en un período de estudio independiente que dura 2 h y usa diferentes recursos, según sea su parecer (humanos, bibliográficos, instituciones, servicios, audiovisuales). La búsqueda de información tiene por objeto responder a las preguntas que el estudiante se haya formulado en su plan de trabajo.
TRIPSE Etapa 3: Formulación y síntesis final del problema, síntesis y retroalimentación, aplicación de la experiencia (30 min). Después de la segunda etapa, el estudiante regresa para una breve discusión acerca de su síntesis conceptual y/o formulación de planes de terapia. El estudiante con el examinador trabaja presentando nuevas ideas. Integrando el conocimiento anterior con el nuevo, diseñan un plan a seguir sobre aspectos relevantes que no fueron explorados.8
]]>
MÉTODOS
Se realizó una intervención educativa que constó de dos partes; una de ellas se realizó durante el segundo semestre del 2008 y la otra parte son actividades de proyección de la intervención original, de tal forma de ir avalando y optimizando en el tiempo lo logrado.
La primera parte tuvo las siguientes actividades:
- Rediseñar la Escala de Evaluación para medir la presencia, objetiva y acotada, de las competencias que deben ser evaluadas en el examen de grado a través del TRIPSE. ]]>
- Mejorar los casos clínicos que se entregan a los alumnos evitando así equivocaciones por estar mal entregada la información.
- Elegir los docentes de la comisión desde el punto de vista de la jerarquía académica para aunar los criterios de selección y evaluación de los casos. Además mantener siempre la misma comisión de examen.
- Realizar capacitaciones de inducción al examen de grado tanto, a los alumnos que serán sometidos a ellos como a los docentes evaluadores.
La segunda parte que fue de proyección para los años 2009 y 2010, contempló las siguientes actividades:
- Realizar frecuentemente estudio de casos con los alumnos durante el 5to. año e internado, de tal forma de mejorar sus capacidades de diagnóstico y planificación de tratamiento en forma previa al examen a modo de entrenamiento en el sistema.
- Aumentar el uso de metodología didáctica del tipo ABP en 4to. y 5to. años de la carrera y evaluar con instrumentos que sean idóneos a esta metodología, especialmente en los cursos venideros.
]]>
- Realización de análisis de congruencia entre la primera aplicación del instrumento y una segunda aplicación con la pauta corregida.
- Determinación de la opinión de alumnos y docentes con respecto al cambio efectuado (a través de nuevas encuestas).
- Establecimiento de una escala de evaluación final que sea capaz de medir las competencias deseadas para la carrera.
- Determinación de las dificultades o limitaciones que tiene este tipo de evaluación.
- Análisis de la nueva experiencia con afán de nuevas mejoras.
Esta intervención, en su fase de comprobación de la eficacia, se adscribe al paradigma cuantitativo, debido a que se intenta recoger evidencia sobre la base de la medición y se estudia la relación entre el año 2008 y 2010 desde un punto de vista estadístico.
]]>
Universo: 46 alumnos y 20 docentes además de 5 directores de carrera del área de la salud.
Muestra: Se trabajó con 6 docentes correspondientes a la segunda aplicación de la escala de evaluación y con 9 alumnos que fueron sometidos a examen de grado. Esta muestra es de tipo probabilística intencionada cuyo criterio de selección fue la disposición voluntaria a la intervención.
En cuanto a los análisis de las escalas de evaluación se utilizaron 29 escalas el año 2008 y 48 escalas el 2009, de todos los alumnos que fueron sometidos a examen de grado en esos dos años.
Instrumentos utilizados:
Se utilizaron encuestas descriptivas a través de cuestionarios de respuesta abierta y cerrada, entrevistas semiestructuradas y focus group.9 ]]>
RESULTADOS
Los resultados de esta intervención están expresados en tablas de correlación y en el alfa de Cronbach obtenidas tanto el año 2008 y 2010.10
En cuanto a la validez de constructo, la escala de evaluación del año 2010 fue construida a partir de otra escala, que fue la del año 2008 y estos ítems fueron agrupados en distintas dimensiones. La validez de constructo hace referencia a la agrupación probabilística que se hace entre estos diferentes ítems y luego su definición. Los procedimientos estadísticos aquí, apuntan a establecer probabilísticamente grupos de ítems que deberán ser definidos como dimensiones. Estas dimensiones deben ser conceptualizadas de manera consensuada para otorgar el carácter de útiles y científicamente válidos, por cuanto no existe una prueba patrón. Si los dominios se han construido teóricamente, la estadística corrobora la idoneidad de estas agrupaciones. Los grupos fueron establecidos a través de la escala y se codificaron cada uno de los ítems de manera agrupada a manera de índices. La validez de constructo hace referencia a la correlación dominio total que es la diferencia con la confiabilidad donde la correlación es el ítem total. ]]>
En el año 2008, los índices tienen correlaciones que van entre 0,2 y 0,7 lo cual indica valores bajos y altos de correlación. Esto indica que no todos los dominios tienen una buena correlación (tabla 1).
En cambio el año 2010, los índices tienen altas correlaciones con cada una de las dimensiones (tabla 2). El valor de la correlación fluctúa entre 0,5 y 0,9 llegando incluso a valores 1, pensando que el valor de la correlación varía entre 0 y 1. Todos son altos, con lo cual estamos demostrando que existe una correlación dominio total. Así, cada uno de los dominios tiene una buena correlación, altamente significativa con el resultado global de la escala.
Otra prueba que se aplicó es el alfa de Cronbach, pero ya no para evaluar los ítems si no los dominios.
Al revisar ambos resultados del alfa de Cronbach se puede decir que el del año 2010 obtuvo un resultado de 0,957 comparado con el del año 2008 que fue de 0,922. Teniendo en cuenta que el alfa de Cronbach dice que si su valor es cercano a la unidad se trata de un instrumento fiable que hace mediciones estables y consistentes y que si su valor está por debajo de 0,8 el instrumento que se está evaluando presenta una variabilidad heterogénea en sus ítems y por lo tanto nos llevará a conclusiones equivocadas, entonces se puede afirmar que este tipo de escala de evaluación es un instrumento fiable y válido como examen de grado. Así, se afirma que la escala construida el año 2010 mejoró sus valores tanto de correlaciones por ítems como por sus dimensiones por lo que tiene validez de constructo. ]]>
DISCUSIÓN
El principal aporte de esta intervención es la construcción de una escala de evaluación que guía de manera objetiva, congruente y válida la aplicación del instrumento evaluativo TRIPSE, con respecto a la metodología de aprendizaje basado en problemas que se utiliza en la carrera de odontología de la Universidad San Sebastián.
También sobre la base de los análisis de correlación y alfa de Cronbach se puede afirmar que la escala constituida para este tipo de situación evaluativa, aplicada como examen de grado de la carrera de Odontología, es válida desde el punto de vista del constructo, haciendo que la situación evaluativa del Salto Triple sea confiable y válida, lo cual da mayor seguridad en que se está evaluando de manera congruente a los alumnos, especialmente en la fase final de la carrera como lo es el examen de grado.
La confección de una Escala de Evaluación renovada para objetivizar el logro de los conocimientos, aptitudes y actitudes de los alumnos al término del proceso educativo de la carrera de Odontología, permite validar este tipo de evaluación auténtica, ya que es individual para cada alumno. Por lo tanto, las competencias que necesitan ser evaluadas al término de la carrera de Odontología es realizada en todos los alumnos, desde un enfoque edumétrico, para cada uno de los estudiantes según sus propias aptitudes en base a casos diferentes de resolución de problemas.11 Si bien es cierto, los casos clínicos son todos diferentes, igualmente tienen un grado de dificultad similar, por lo que las capacidades de resolución son individuales pero en base a las mismas probabilidades de error por parte del estudiante. Incluso se hicieron pruebas en las que se entregó el mismo caso clínico a dos estudiantes diferentes y los resultados de cada uno de ellos también fueron distintos y esto se debió principalmente a las capacidades individuales y no a la dificultad del caso. ]]>
Desde el punto de vista de la situación evaluativa, una limitación está en tener una gran variedad de casos de diferentes enfoques clínicos, es decir, de todas las especialidades clínicas representativas de la odontología general. Si bien puede considerarse una limitación, también podemos considerarlo una fortaleza ya que el examen de grado está enfocado a evaluar a odontólogos generales preparados para todos los ámbitos de la odontología.
Desde la intervención, quizás el punto en que menos se pudo influir durante los años 2008 y 2009 fue con la preparación de los docentes para efectuar una evaluación con este tipo de situación evaluativa, ya que las comisiones habían ido variando año a año, lo cual no permitía que los mismos docentes mejoraran su calibración ante el mismo instrumento. Actualmente este problema ha sido superado debido a mejoras en la calibración.
Esta intervención, al finalizar como etapa investigativa, no dejará de tener una cinemática propia al estar en constante cambio a través de los años, siempre tratando de hacerla más objetiva y válida, además de ser en sí un proceso de autoevaluación del cuerpo docente y de mejora de las prácticas pedagógicas. Con todo esto se está promoviendo un aseguramiento de la calidad de la docencia y formación en la carrera de Odontología.
REFERENCIAS BILIOGRÁFICAS ]]>
1. Vargas Purecko M de la L, Rivera Michelena N. El examen de titulación en odontología como indicador de calidad profesional en la Universidad Michoacana de San Nicolás de Hidalgo, México. México: Facultad de Odontología, Universidad Michoacana de San Nicolás de Hidalgo. La Habana: Escuela Nacional de Salud Pública; 2006.
2. Aprendizaje basado en problemas. Guías rápidas sobre nuevas tecnologías. Servicio de Innovación educativa, Universidad Politécnica de Madrid; 2008.
3. Martínez Viniegra NL, Cravioto Melo A. El aprendizaje basado en problemas. Rev Fac Med UNAM. 2002;45:185-6.
]]>
4. Neimeyer Greg J. Evaluación Constructivista. 1ra. Edición. Barcelona: Editoriales ca; 1996.
5. Carretero M. Constructivismo y Educación. Buenos Aires: Ed Aique; 2004.
6. Coll C. El Constructivismo en el aula, España: Editorial Graó; 2004.
7. Ausubel D. Psicología educativa: un punto de vista cognoscitivo. México: Trillas; 1976. ]]>
8. Pantoja M. Manual de evaluación para carreras de la salud, Temuco Chile: Ediciones Universidad de La frontera; 2002.
9. Hernández S. Metodología de la Investigación. México: Mc Graw Hill Interamericana; 2008.
10. Bernal CA. Metodología de la Investigación. 2da. edición. Colombia: Editorial Pearson; 2006.
11. Santibañez J. Manual para la evaluación del aprendizaje estudiantil, Concepción Chile. Universidad de Concepción. Dirección de Docencia Facultad de Educación Humanidades y Arte. Concepción, Chile; 1995.
]]>
Recibido: 19 de junio de 2014.
Aprobado: 23 de julio de 2014.
Claudia Zenteno Hófer. Universidad San Sebastián, Sede Concepción, Lientur #1457. Chile. Correo electrónico: farozen@vtr.net
]]>