Hospital Militar Central Universitario "Dr. Carlos J Finlay", La Habana, Cuba
Propuesta de los criterios generales de valoración en preguntas de desarrollo para los residentes de Medicina Interna de la Facultad de Ciencias Médicas "Finlay-Albarrán"
Proposal of the general criteria of assessment in questions of large answers for Internal Medicine’s residents in Medical sciences Faculty "Finlay Albarrán"
]]>
Miguel Ángel Blanco AspiazuI, Osmín Hernández AzcuyII, Jorge Jesús Llibre GuerraIII, Celia Viera MachadoIV, Sandra Cruillas MirandaV, Ariadna Méndez RosabalVI
I Doctor en Ciencias Médicas. Especialista Segundo Grado en Medicina Interna. Profesor Titular de la Universidad de Ciencias Médicas de La Habana. e.mail: aspiazu@infomed.sld.cu
II Especialista Segundo Grado en Medicina Interna. Profesor Auxiliar de la Universidad de Ciencias Médicas de La Habana. e.mail: danos@infomed.sld.cu
III Residente de Neurología. Aspirante a Investigador. Instituto de Neurología y Neurocirugía. La Habana, Cuba. e.mail: jorge.llibre@inn.sld.cu
IV Especialista en Medicina General Integral. Profesora Asistente. Escuela Latinoamericana de Medicina (ELAM). e.mail: danos@infomed.sld.cu
V Especialista en Medicina Interna. Instructora de la Universidad de Ciencias Médicas de La Habana. e.mail: scruillas@infomed.sld.cu
VI Especialista en Medicina Interna. Profesora Auxiliar de la Universidad de Ciencias Médicas de La Habana. e.mail: aspiazu@infomed.sld.cu
Introducción: en nuestro país existe un plan de estudios de la residencia de Medicina Interna que incluye exámenes de promoción con un componente teórico de preguntas de desarrollo.
Objetivo: proponer criterios generales de valoración en preguntas de desarrollo para los residentes de Medicina Interna en la Facultad de Ciencias Médicas "Finlay-Albarrán".
Material y Métodos: se realizó una investigación de desarrollo tecnológico en dos etapas: la primera, de creación de criterios generales de valoración de las preguntas; la segunda, de validación. La información procedente de los datos aparece en las tablas de resultados y su interpretación por los autores en el contenido de la discusión.
Resultados: el tipo de preguntas que predominó fueron las relacionadas con la conducta a seguir y el diagnóstico positivo. Los problemas de salud más frecuentes incluidos en las preguntas fueron las enfermedades infecciosas y crónicas no transmisibles. Los indicadores de calidad de la respuesta más relevantes lo constituyeron el grado de completamiento para el que se establecieron criterios generales, los elementos fisiopatológicos, la expresión oral del examinado, el manejo de los resultados investigativos, la actualidad en la información, así como la organización de la respuesta.
Conclusiones: se estableció la propuesta de los criterios generales de evaluación para los residentes de Medicina Interna en la Facultad de Ciencias Médicas "Finlay-Albarrán", en aras de elevar el nivel de asimilación mediante preguntas a partir de problemas conceptuales o clínicos.
Palabras clave: residencia, medicina interna, preguntas de desarrollo, indicadores de calidad, criterios generales de evaluación, validación.
ABSTRACT
Introduction: there is a plan of residents of Internal Medicine. This plan includes theoretical tests with question of large answers.
Objective: to propose general criteria of assessment to large answer questions for Internal Medicine's residents belong to the Faculty of Medical Sciences "Finlay-Albarrán". ]]>
Material and methods: we made a technological development´s research in two stages: the first one belonging to creation of general criteria of assessment of the questions; the second one of validation. Information appears in charts of the results and their interpretations are in the content of the discussion.
Results: the main questions were about the behavior following by the positive diagnoses. The more frequent problems of health were infective disease and chronic illnesses. The most relevant quality indicators of answers were the completing, physiopathology’s elements, and the student’s oral expression, the management of the researching results, the updated information and the organization of the answer.
Conclusions: it was established a proposal of the general criteria of evaluation for Internal Medicine's residents belong to the Faculty of Medical Science "Finlay-Albarrán", in order to increase the level of assimilation by means of questions about conceptual or clinical problems.
Key words: residence, internal medicine, questions of large answers, indicators of quality, general criteria of evaluation, validation.
INTRODUCCIÓN
El especialista de Primer Grado en Medicina Interna es un médico formado y preparado para trabajar en los hospitales, aunque tiene otros escenarios. 1, 2 En nuestro país se cuenta con un Plan de Residencia con un tiempo mínimo de duración de 3 años que incluye exámenes de promoción anual, los cuales tienen un componente práctico y otro teórico.
Los exámenes teóricos basados en preguntas de desarrollo tienen como desventajas las dificultades para abordar una muestra suficiente del contenido destinado para cada año de la residencia, a lo que se suma que cada residente se somete a un rigor diferente, determinado por la calidad de las preguntas y por el nivel de exigencia de cada tribunal.
La calificación total del residente, sin embargo, no depende solo de las preguntas elaboradas durante el examen teórico, pues estas solo representan 30% de su calificación para el año evaluado, por lo que el efecto de la especificidad de caso mencionada para el examen teórico no es tan grande. No obstante, es importante que en el examen teórico esté representado el mayor número posible de competencias, que el nivel de exigencia del tribunal sea lo más homogéneo posible y se mejore la calidad en las dimensiones instructiva, desarrolladora y educativa expresadas en el mismo.
]]> Esta investigación surge por la necesidad de contribuir a la estandarización del nivel de exigencia durante tales exámenes en la institución-base, donde se examinan los residentes que allí radican, pero también muchos que realizan sus exámenes estatales y proceden de otras instituciones.
OBJETIVO
Proponer los criterios generales de valoración en preguntas de desarrollo para los residentes de Medicina Interna en la Facultad de Ciencias Médicas "Finlay Albarrán".
MATERIAL Y MÉTODOS
Se realizó una investigación de desarrollo tecnológico. En la muestra se incluyeron los 10 residentes examinados al final del curso académico 2011-2012; 10 examinados al final del curso 2012-2013, y los 16 profesores que constituyeron los tribunales en ambos cursos en la Facultad de Ciencias Médicas "Finlay Albarrán", perteneciente a la Universidad de Ciencias Médicas de La Habana.
El estudio se dividió en dos etapas:
Primera etapa
Creación de criterios generales de valoración de preguntas de desarrollo para residentes de Medicina Interna en la Facultad de Ciencias Médicas "Finlay Albarrán"
]]> Los cuatro tribunales de la primera etapa del estudio fueron presididos por profesores titulares y doctores en ciencias. El resto de los profesores tenían las siguientes categorías docentes: Profesores auxiliares 4, Asistentes 3, Instructores 5, para un total de 16 docentes.Estos 16 profesores diseñaron las 120 preguntas que fueron aplicadas a los residentes en sus exámenes individuales, correspondiendo a un total de 6 preguntas por cada educando.
Se clasificaron los tipos de preguntas a partir de su contenido.
Una vez terminados los exámenes de ambos cursos se realizó entrevista colectiva a 10 profesores y 10 residentes de la especialidad para: determinar los elementos que debían constituir la respuesta, según los tipos de preguntas definidos y proponer indicadores de valoración de la calidad de la respuesta en general.
Esta entrevista también buscó la implicación de profesores y residentes, y mayor consenso en cuanto al completamiento de las respuestas.
Se priorizaron los criterios mejor argumentados tanto de profesores como de residentes en contrastación con los contenidos tratados en los libros considerados en el programa de la especialidad.
Los indicadores de valoración de la calidad de la respuesta se incorporaron a una planilla de boleta de examen para las preguntas de desarrollo propias de los exámenes de promoción y estatales de la especialidad realizados en la Facultad de Ciencias Médicas "Finlay Albarrán". Esta propuesta de instrumento se aplicó en seis exámenes de residentes de segundo año de la especialidad en el curso 2013–2014.
Segunda etapa
Validación de contenido de la propuesta.
En 6 de los 8 exámenes para el curso 2013–2014, se utilizó un instrumento consistente en la boleta de examen con los indicadores de respuesta creado. Tras todos los exámenes donde se utilizó el instrumento se aplicó una encuesta a 10 profesores; de ellos, 6 formaron parte de los tribunales y 4, no. La encuesta abordó los aspectos expresados, que fueron valorados, según escala tipo Likert con las opciones:
]]> -Completamente de acuerdo-Parcialmente de acuerdo
-Muy poco de acuerdo
Los resultados de la encuesta fueron discutidos en el colectivo de profesores de Medicina Interna con el propósito de llegar a consenso sobre los aspectos en los que no se logró acuerdo completo. De esta discusión resultó una propuesta final consensuada y aceptada por todo el colectivo de profesores de la especialidad en la facultad sede.
El procesamiento de la información fue de orden cualitativo a partir de la interpretación explicativa de resultados reflejados en las tablas estadísticas y recuadros.
Las interpretaciones que aparecen reflejadas en la discusión se enriquecieron con las relatorías de las actividades metodológicas a nivel de asignatura en pregrado y la especialidad en posgrado, realizadas como parte de esta investigación en el curso de 3 años y registradas en actas.
RESULTADOS Y DISCUSIÓN
El tipo de pregunta por su contenido más utilizada fue sobre diagnóstico, seguido de conducta a seguir, tratamiento y clasificaciones. (Tabla 1).
Preguntas referidas a los puntos de contacto o relaciones entre determinados elementos, como pueden ser medicamentos y diarreas, entidades nosológicas entre sí, etcétera, no se utilizaron. Este tipo de pregunta explora el conocimiento de los elementos implicados y permite evidenciar la visión del residente sobre las relaciones multilaterales entre fenómenos.
Un tipo de pregunta que puede centrarse en un órgano para ver su afectación por alguna enfermedad implica profundidad de conocimiento sobre la enfermedad abordada. Esta variante tampoco se utilizó.
Las preguntas que aborden directamente aspectos novedosos en determinada área del conocimiento pueden utilizarse en relación con el tema de investigación del residente o en el caso del tercer año con otros temas.
Con respecto a los problemas abordados, se destacan como los 10 más frecuentes en cada curso (tabla 2):
Si se parte de la relevancia como problema de salud puede considerarse que todos los abordados son importantes, en particular están incluidas las primeras causas de muerte de origen vascular del país y a nivel mundial. 3, 4 No se abordaron los problemas de mujeres embarazadas.
Un principio de la evaluación es su carácter sistémico lo que implica su coherencia con el resto de los componentes del proceso docente. 5 La educación en el trabajo es la forma de aprendizaje fundamental en el posgrado y tanto residentes como profesores entrevistados consideraron que es correcta la elección de preguntas sobre temas frecuentes de su práctica. Sin embargo, el residente está en formación y en su perfil laboral hay otras opciones diferentes a las del hospital donde se estén formando, por lo tanto la práctica concreta del centro de formación no debe ser ese el único criterio. Los autores consideran que los contenidos que se abordan en estos exámenes teóricos finales expresan todavía una visión limitada sobre lo que en teoría debe ser valorado en un internista en formación, pues es raro que se aborden aspectos legales y éticos, la enseñanza de la medicina y la investigación.
Por otro lado, la práctica médica habitual plantea problemas de diagnóstico o solución de los problemas de salud que contrastan mucho con una característica de todas las preguntas revisadas, a saber, su carácter puramente reproductivo. La evaluación de competencias clínicas mediante preguntas escritas implica darles carácter problémico a estas preguntas de desarrollo. Aunque los exámenes de este tipo no superan a la observación directa de las actuaciones médicas, para evaluar competencias, sí las complementan. 6
Se han señalado algunas diferencias entre el nivel de asimilación de conocimientos exigidos por la práctica clínica habitual y el de las preguntas de desarrollo que dado su formato problémico valoran a nivel de asimilación productivo. Estad diferencias son presentadas en la Tabla 3.
]]>
Estas diferencias pueden explicar en parte el rendimiento diferente de cada residente ante un examen teórico y la práctica clínica. Un examen teórico es necesario, pero no refleja de forma fiel el comportamiento del médico en la vida real. Consideramos que la memoria es lo más relevante en un examen teórico con preguntas de carácter reproductivo.
Todas las preguntas de desarrollo revisadas tienen un carácter reproductivo. Las elaboradas solicitando la conducta a seguir ante un paciente en determinada situación son tan generales que solo implican el recuerdo de lo aprendido sin necesidad de que representen una situación nueva. Por su parte la práctica clínica es más rica y requiere de mayores niveles de razonamiento que suele partir de elementos claves del caso clínico que inducen la utilización de información almacenada, valorada y seleccionada para dar soluciones a las interrogantes que sobre diagnóstico y tratamiento exija la atención del paciente.
Las preguntas que tienen como trasfondo el conocimiento de las ciencias básicas de la clínica, como las referidas a etiopatogenia y fisiopatología, buscan demostrar el conocimiento de los fundamentos de su actuación clínica.
Los autores consideran que en los exámenes teóricos se debe elevar el nivel de asimilación exigido en las preguntas mediante el planteamiento de problemas a resolver de manera que el conocimiento valorado sea más pertinente por su utilidad en la práctica.
En relación con los contenidos de las respuestas, se consideró que el grado de completamiento de las mismas debe responder al patrón considerado en la Tabla 4, en el cual se presentan las consideraciones finales que derivaron los autores de las entrevistas a profesores y residentes, así como de algunas referencias.
El colectivo de profesores y residentes consideró que el completamiento de la respuesta es el indicador más importante para valorar la calidad de una respuesta a pregunta de desarrollo.
El completamiento de la respuesta y el resto de los indicadores de calidad de la respuesta aparecen más adelante en la PLANILLA DE BOLETA Y CLAVE EVALUATIVA.
Otro de tales indicadores es la expresión oral que sugiere nivel de educación formal, de seguridad al exponer, dominio del tema al integrar la organización de la exposición con su fluidez. Por estas razones se integra en la calificación a otros indicadores.
El nivel de actualidad de la información es reconocido a partir del conocimiento sobre las preguntas utilizadas por los profesores. Contribuyen también las exposiciones de fechas de descubrimientos, de clasificaciones, conceptos, resultados de investigaciones.
]]> La organización de la respuesta indica un nivel superior de su completamiento pues es coherente con una exposición clara, comprensible de ideas que tiene el médico almacenadas ordenadamente, no de forma dispersa y sí bastante completa. Bordage propone que el conocimiento utilizado por el médico para argumentar sus propuestas diagnósticas (y de solución de problemas de salud) están organizados en cuatro formas que denomina: reducida, dispersa, elaborada y compilada. Las primeras dos se asocian a menor certeza diagnóstica y las dos últimas son propias de médicos mejores diagnosticadores. 12 La propia denominación explica la situación y una aspiración de la docencia médica en pre y posgrado es lograr que los elementos de ciencias básicas y fisiopatología estén bien elaborados y compilados. Ello contribuiría a una exposición clara y organizada de las ideas y por tanto la organización de una respuesta es reflejo de mayor nivel de competencia. La "Teoría de la planificación por etapas de las acciones mentales y los conceptos" de Petr Yakovlevich Galperin 13 toma como expresión de un alto dominio de la acción intelectual la capacidad para explicar (y ser comprendido) algo.Las argumentaciones fisiopatológicas reflejan diferencias en cuanto a nivel de competencia clínica. No solo se trata de que permitan argumentar las opciones de diagnóstico y asumirlas con mayor certeza, sino que se asocian a mayor número de hipótesis diagnósticas a valorar. 14 La nosología está precedida por la Propedéutica Clínica que relaciona los conocimientos de Ciencias Básicas en Medicina con los de Clínica. Un internista tiene como requerimiento distintivo el dominio profundo de la Semiología.
Schmidt y colaboradores han planteado que el conocimiento médico comienza por el razonamiento formal basado en fisiopatología y en la medida en que se aplica a casos clínicos concretos se va sedimentando en registros de la memoria que son evocados a veces para ofrecer argumentos fisiopatológicos pero en la medida que el médico adquiere experiencias quedan subsumidos en diagnósticos por patrones para comparar casos nuevos con los registrados. 15 Es decir se automatiza la estrategia de razonamiento clínico, pero ello no quiere decir que el cocimiento de fisiopatología deja de ser importante, pues es básico y se le echa mano cuando nos enfrentamos a casos complejos.
El manejo por los residentes de resultados de investigaciones con referencia a los resultados conclusiones y elementos del diseño metodológico, así como a los grados de evidencia y fuerza de recomendaciones indica un nivel superior de profundidad en el estudio. Los autores proponen un uso diferenciado de este indicador según se trate de preguntas no asociadas al campo de acción de la investigación del residente, donde se consideraría un indicador a considerar a favor de buena calificación si el residente incluyó este tipo de elementos en su respuesta, pero su ausencia no implicaría pérdida de puntos; o en el caso de preguntas asociadas al campo de acción de la tesis del residente donde se considerara como indicador imprescindible, cuya ausencia conduce a pérdida de puntos.
Ejemplificación con casos reales vistos. Esto puede ser útil si el residente destaca las tipicidades o atipicidades del caso. Indica experiencias clínicas significativas que reflejan enriquecimiento de argumentos en la toma de decisiones.
Reconocimiento de la individualidad en la clínica. En el caso del proceso diagnóstico se expresa por inclusión en la respuesta de formas clínicas, frecuencias de síntomas, sensibilidad, especificidad de signos, síntomas y resultados de estudios complementarios. En el caso de la decisión terapéutica se valoraría en las referencias ala individualización del tratamiento, ejemplo relación costo beneficio, riesgo beneficio, etcétera.
En cuanto a la selección de tipos de preguntas y los problemas de salud abordados en los exámenes, los autores proponen partir de varios elementos:
Un aspecto de debate colectivo fue la necesidad y el valor de incluir preguntas tipo test objetivo en estos exámenes. Se le ha señalado a este tipo de pregunta desventajas para las que se proponen medidas para aminorar dichas desventajas, por ejemplo: la advertencia de que una respuesta errada implicaría pérdida de puntuación y la añadidura de una opción que explícitamente permita expresar "No sé" (esto disminuye la adivinanza de respuestas); la solicitud de argumentar la selección (lo que haría que la pregunta fuera de desarrollo). La principal desventaja consideramos radica en la inducción de un estilo de estudio memorístico y enciclopédico, además de que al ofrecer la respuesta entre las elecciones se coloca al médico en una situación diferente a lo que exige la práctica clínica. Este último fenómeno ha sido demostrado experimentalmente por Newble y colaboradores, 16 quienes compararon preguntas de selección múltiple con preguntas de desarrollo que trataban el mismo contenido objeto de evaluación y resultó que las de selección múltiple condujeron a sobrevalorar la competencia del médico. Este sesgo es más evidente en la medida que el médico es más joven y menos competente. Tales desventajas no implican que puedan ocupar un lugar en exámenes donde priorice evaluar a nivel reproductivo mayor cantidad de materia y facilidad para evaluar mayor número de educandos por menos profesores.
Los resultados de la encuesta realizada a profesores del colectivo mostraron aceptación del formato de examen (tabla 5).
Se debe destacar que durante las actividades de preparación metodológica del colectivo de profesores de Medicina Interna en el curso 2013 – 2014 se había presentado el instrumento y argumentado su propuesta a profesores y residentes de Medicina Interna. No obstante, se demuestra la riqueza de la práctica como criterio de la verdad cuando en la discusión final sobre la aplicación práctica de la clave de evaluación los aspectos "Ejemplificación con casos reales" y "Progresión respecto a si mismo", presentes en la primera propuesta de la clave evaluativa fueron excluidos al considerar los profesores y autores que la ejemplificación con casos reales se puede incluir dentro del indicador reconocimiento de la individualidad. Por su parte al abordar la progresión del residente respecto a sí mismo en exámenes previos fue difícil y polémico el consenso ente los docentes, pues no siempre había criterios suficientes. Fueron estos los aspectos que motivaron los desacuerdos parciales de algunos docentes mostrados en la Tabla 5. Estos fueron minoría en el plano cuantitativo, pero muy importantes.
De manera que la PLANILLA DE BOLETA Y CLAVE EVALUATIVA que quedó como propuesta final fue estructurada. (Anexo)
CONCLUSIONES
Se estableció la propuesta de los criterios generales de evaluación para los residentes de Medicina Interna en la Facultad de Ciencias Médicas "Finlay-Albarrán", en aras de elevar el nivel de asimilación mediante preguntas a partir de problemas conceptuales o clínicos.
]]> RECOMENDACIONES
Aplicar esta nueva propuesta de criterios generales de evaluación para los residentes de Medicina Interna en la Facultad de Ciencias Médicas "Finlay-Albarrán", y así contribuir a la estandarización del nivel de exigencia durante tales exámenes en dicha institución.
REFERENCIAS BIBLIOGRÁFICAS
1. Espinosa Brito A. Medicina interna ¿qué fuiste, qué eres, qué serás? Rev. Cubana Med. 1999; 38(1): 79- 90.
2. Reyes BH ¿Qué es Medicina Interna? Rev. Med. Chile. 2006; 134: 1338-1344.
3. Zacca Peña E. Anuario Estadístico de Salud 2010. Dirección Nacional de Registros Médicos y Estadísticas de Salud. La Habana. 2011; 27- 91.
]]>4. Zapatero Gaviria A, Barba Martín R, Canora Lebrato J, Losa García JE, Plaza Canteli S, Marco Martínez J, et al. Mortalidad en los servicios de medicina interna. Med Clin (Barc). 2010; 134: 6-12.
5. Salas Perea RS. Educación en salud. Competencia y desempeño profesionales. Ciudad de La Habana: Editorial de Ciencias Médicas; 1999.
6. Buckley BS, Manalo M, Lapitan MCM. Medical Interns’ Knowledge and Training Regarding Urethral Catheter Insertion and Insertion Trelated Urethral Injuries in Male Patients. BMC Medical Education. 2011; 11(1): 73.
7. Peña A. Filosofía, medicina y razonamiento clínico. Med Clin (Barc). 2011;136(14):633-636.
8. Sánchez Rodríguez A. El enfermo con pluripatología: la necesidad de una atención integral coordinada. Med Clin (Barc). 2005; 125(1):12-3.
9. Montero Ruiz E, López Álvarez J. La interconsulta médica: problemas y soluciones. Med Clin (Barc). 2011; 136(11): 488-490.
10. Lifshitz A. La validación de los signos clínicos. Med Intern Mex. 2002; 18(2): 65-6.
11. Blanco Aspiazu MA, Suárez Bergado R, Fernández Camejo J, González Pérez JL, Ramírez Chávez J. Algunas reflexiones sobre el problema diagnóstico en clínica. Educ Med Super [revista en la Internet]. 2009, Dic.; 23(4): 238-244. [Citado 2014 Abr 03]; . Disponible en: http://scielo.sld.cu/scielo.php?script=sci_arttext&pid=S0864-21412009000400009&lng=es.
12. Bordage G. Elaborated knowledge: a key to successful diagnostic thinking. Acad Med. 1994; 69: 883-85.
13. Galperin PY. Introducción a la Psicología. Ciudad de La Habana: Editorial Pueblo y Educación; 1982.
14. De Bruin HBA, Schmidt GH, Rikers RMJP. The Role of Basic Science Knowledge and Clinical Knowledge in Diagnostic Reasoning: A Structural Equation Modeling Approach. Acad Med. 2005; 80: 765-773.
15. Schmidt HG, Norman GR, Boshuizen HPA. A cognitive theory on medical expertise: theory and implications. Acad Med. 1990; 65: 611- 21.
16. Newble DI, Baxter A, Elmslie RG. A comparison of multiple-choice tests and free-response tests in examinations of clinical competence. Med Educ. 1979, 13(4): 263–268.
PLANILLA DE BOLETA Y CLAVE EVALUATIVA
Recibido: 1 de diciembre de 2014.
Aprobado: 9 de marzo de 2015.
