Hospital Militar Central “Dr Luis Díaz Soto”

Evaluación de la competencia en médicos intensivistas

Dr. Rogelio Pérez Reyes1 y MSc. Marta Otero Ceballo2

Resumen

Se realizó una revisión bibliografía sobre la competencia profesional, que analizó los conceptos de competencia, evaluación y condiciones para crear instrumentos evaluativos. Se describieron los diferentes niveles de actuación profesional según el modelo de Miller. Se hizo mención a la prueba de evaluación más novedosa, el examen clínico objetivo estructurado, que es una de las metodologías más completas de las que se dispone en la actualidad, aunque no deja de señalarse que la evaluación se realiza en una situación creada y simulada. Se concluye que deben estructurarse las bases para la confección de los instrumentos evaluativos, los que medirán el grado de competente o incompetente de nuestros profesionales en ciencias médicas.

DeCS: COMPETENCIA CLINICA; COMPETENCIA PROFESIONAL; EVALUACION; CUIDADOS INTENSIVOS.

Desde finales de la década de los 70 y comienzos de los 80 en el mundo se empieza a desarrollar el análisis de la competencia y el desempeño en los profesionales.1 En la Facultad de Ciencias Médicas de Cuba comenzó en 1985 con el Programa Director de la Medicina General Integral para el Médico General Básico, por el profesor Hizasttigui.1,2

Durante todos estos años y hasta el presente se han realizado investigaciones en distintas áreas, con el fin de medir el grado de perfeccionamiento de los procesos de formación y superación de recursos humanos en los diferentes niveles (estudiantes internos y residentes).3

La necesidad de elaborar instrumentos evaluativos que midan la competencia profesional a los médicos intensivistas del Instituto Superior de Medicina Militar “Dr. Luis Díaz Soto” motivó la revisión de este tema.

Algunas consideraciones teóricas

Algunos autores han definido la competencia profesional como la conducta real del individuo durante su participación en actividad inherente al ejercicio de su profesión.3 Otros como Nagelsmith,4,5 la definen como algo más que conocimientos y habilidades. Para que la competencia sea suficiente en un profesional es necesario un amplio conocimiento y dominio de habilidades prácticas, es por esto que se toma como referente el concepto emitido por Salas,1 donde se refiere a un conjunto de conocimientos y habilidades esenciales (invariantes), así como actitudes de los educandos o candidatos. Este autor se basa en lo que el individuo “sabe” y “sabe hacer”.3 Se puede apreciar como un concepto es complementario del otro, en el primero se plantea la actividad inherentes como único indicador de la competencia.

Definir el concepto competencia profesional (CP) no es tarea fácil, Miller5-7 utiliza el esquema de la pirámide que incluye los diferentes niveles de capacitación en los que se sustenta la competencia profesional y en los que a su vez se puede desarrollar la evaluación,7 en la base de la pirámide sitúa los conocimientos que un profesional necesita para desempeñar sus tareas de manera eficaz (sabe), en el siguiente nivel de capacidad del profesional para utilizar los conocimientos con el objetivo de realizar un buen diagnóstico “sabe como”, en tercer nivel es cómo actuaría y llevaría a cabo sus funciones si se encontrara en una determinada situación. Finalmente en el vértice se sitúa la actuación, lo que exige una observación directa del profesional, su práctica habitual con pacientes y situaciones clínicas reales (hace).5 Todo se vería en la práctica cuando se recepciona un enfermo crítico donde los médicos actuarían en la toma de decisiones, aplicación de protocolos y procedimientos técnicos.

Otro elemento a definir es la evaluación en 2 aspectos, primero en el aprendizaje,8 que se encuentra en la Resolución 105 del Ministerio de Enseñanza Superior. La cual forma parte del Reglamente de Trabajo Docente Metodológico y que considera la evaluación del aprendizaje como una parte esencial del proceso de enseñanza que permite el control y la valoración de los conocimientos, habilidades y hábitos que los estudiantes adquieren como resultado del proceso docente-educacional, así como el proceso mismo de su adquisición, permite comprobar el grado en que se cumplen los objetivos propuestos, y constituye un elemento de retroalimentación y dirección del proceso docente-educativo.9-10

El otro aspecto es la evaluación de la competencia (EC), de forma general evaluación se define:1emitir un juicio del valor sobre una actividad o tarea, resultado de la comparación entre la situación observada y un patrón dado o modelos predeterminados y que se basa en mediciones.

La EC se basa en la medición con determinados procedimientos y técnicas del grado de aptitud o capacidad demostrada por el candidato para desarrollar una actividad o tarea de acuerdo con los objetivos educacionales de la especialidad. Cuando se va a evaluar la competencia clínica deben estar presentes 2 condiciones:

Primero: necesidad de realizar una comparación.
Segundo: existencia de un modelo o patrón de objeto o fenómeno evaluado.

La evaluación de la competencia tiene 2 finalidades fundamentales de carácter diagnóstico y de carácter significativo.1,5,6

La evaluación para que sea eficaz tiene que estar comprometida de los educandos, la efectividad de los profesores, los métodos y medios empleados, así como la calidad del currículum.3 De acuerdo con el propósito en que se centra la evaluación, se identifica el indicador o los indicadores, en el instrumento debe tener presente su validez en 2 direcciones, hacia el contenido (qué evaluar y su funcionalidad [cómo y dónde]).3,4

Como guía EC se hará en correspondencia a 3 preguntas:5

- ¿A quién va dirigida la prueba?
- ¿Con qué finalidad se realiza la prueba?
- ¿Cuál es el nivel de exigencia que se quiera dar al examen?

La primera pregunta se realiza con fines de precisar la población diaria, la segunda es para determinar si los participantes son adecuados o no, o si se trata de una evaluación formativa para dar información a los examinados y a las diferentes instituciones organizadoras. La última consiste en preparar una prueba en que el nivel de exigencia sea básico, ya que una prueba sencilla ayuda a entender los resultados.

Los trabajos revisados1-8 demuestran que existen elementos que deben conocer todos los actores del proceso docente-educativo, que aún es desconocido. Una forma muy útil y práctica es la continuidad de diplomados, maestrías en la educación médica. Lo que permitirán cada vez perfeccionar los instrumentos evaluativos y esto a su vez incrementarían su validez y confiabilidad. Conceptos abordados en la conferencia de evaluación por el profesor Silvio Soler a los alumnos del diplomado donde señaló como validez: En nuestra opinión evaluar es emitir un juicio, criterio del valor sobre una tarea o actividad como resultado de comparar una situación determinada.

La muestra puede ser aleatoria3 en cantidad y calidad, se considera también que debe aplicarse a un grupo piloto para analizar su eficacia y validez antes de emplearlo de forma masiva, si esto no se tiene en cuenta trae como consecuencia resultados no reales de la situación, es preciso que el instrumento tenga un contenido capaz de verificar y medir la capacidad de análisis de situaciones variantes y elementos en los participantes, sin crearles dudas en el momento de análisis.

Conceptos básicos11-14

Validez: proceso mediante el cual se obtiene información que permite apoyar las inferencias que se hacen a partir de las puntuaciones de un examen dado. Tipos de contenidos y de criterios (predictivas concurrentes).

Confiabilidad: por estabilidad de los resultados de un instrumento evaluativo (IE) ya sea al repetirlo al grupo de educandos, como al ser calificados por diferentes profesores, se refiere a la constancia de los resultados en el tiempo según los tipos de preguntas empleadas y de acuerdo con los criterios de los evaluadores, en esta pueden también influir el error de muestreo, las características del examinado y las condiciones del escenario donde se desarrolle.

Los instrumentos de evaluación deben estar en correspondencia con lo que va a evaluar, pilar fundamental en el momento de la confección, por lo tanto, los métodos serían los que miden conocimientos o habilidades intelectuales. La evaluación podrá ser oral o escrita1 y deben quedar claro patrones de aprobación de competente e incompetente.

Los instrumentos evaluativos deben cumplir con 3 requisitos:5

1. Válido: que mida realmente aquello para lo que está destinado.
2. Fiable: proporcione resultados similares cuando la medición se lleve a cabo en más de una ocasión y en las mismas condiciones.
3. Factible: que sea posible su aplicación.

Los exámenes de competencia profesional se han estado realizando en las visitas territoriales, en diferentes niveles (municipales, provinciales, nacionales) con el objetivo de determinar e identificar necesidades de aprendizaje (INA),1,3,11 son indicadores importantes para evaluar y predecir la calidad de los profesionales y especialistas, son también utilizados para la enseñanza de posgrados los que permiten trabajar con los temas donde existan mayores dificultades académicas.

Puesto que el concepto de competencia incluye diferentes elementos o dimensiones para evaluar las capacidades cognoscitivas y las complejas habilidades que la componen,11 lo más adecuado será una combinación de distintos procedimientos de medidas.12,13

Los objetivos en la evaluación de los conocimientos es una tarea difícil; en el primer nivel (familiarizarse) están las preguntas selección múltiple, porque proporcionan una amplia información; para evaluar los conocimientos básicos del segundo nivel (reproducir) se han aplicado preguntas de respuestas cortas o largas a través de exámenes orales y escritos, probablemente las más utilizadas. El tercer nivel o producir implica que el educando está preparado para aplicar el contenido ya conocido ante una situación o problema nuevo, se basa en simulaciones que intentan reproducir situaciones de la vida real en condiciones estandarizadas, ejemplo, maniquíes, enfermos simuladores, las simulaciones por ordenar y otros. El cuarto nivel o crear es el más complejo porque se informa lo que realmente hace el profesional en un medio habitual y complicado debido a cuestiones técnicas y factores relacionados con la organización.1,6,7,11,12

Una vez establecidas las bases estratégicas5,11-14 se forma un grupo de trabajo, que estará lidereado por un experto en metodología de la evaluación de la competencia, el cual será el encargado de diseñar la prueba evaluativa, que será siempre desarrollada y aprobada por consenso, lo cual facilitará la participación de todos los miembros del grupo. En primer lugar, se numeran los componentes competenciales que se perfilan en el profesional que se está evaluando, a continuación se seleccionan los casos más representativos de la profesión y por último, se escogerán los instrumentos evaluativos.

Un tipo de prueba de evaluación5,14-18 de la competencia clínica mucho más completa y compleja es el examen clínico objetivo estructurado, conocido con el acrónimo OSCE (del inglés Objetive Structured Clinica Examination) que contiene otros instrumentos además de los enfermos simuladores.5,16-22 El OSCE ha sido introducido en diferentes universidades de todo el mundo, en la actualidad es un procedimiento calificado por la inmensa mayoría de los autores, es muy útil para la evaluación de la competencia como se evidenció en la V y VI Conferencia de Ottawa celebrada en Dundee, Escocia, en septiembre de 1992 y en Toronto, Canadá, en junio de 1994 respectivamente.1,6,11,21,22

El OSCE22 proporciona una mayor valoración de la competencia clínica por medio de una serie de estaciones cuyo número está en dependencia de la gama de habilidades y las áreas de contenidos a ser evaluados, el tiempo requerido para cada estación, el tiempo total disponible, los recursos y facilidades existentes para su organización y el número de educandos a examinar;1 participan varios examinadores que comprueban un amplio rango de habilidades a todos los educandos, hacen las mismas tareas, un mismo examinador califica a todos en una misma estación, se estandarizan los criterios de calificación mediante listas de comprobación y escalas de calificación y la parte escrita se realiza mediante preguntas objetivas cerradas.

Como parte del diplomado se conoció el tipo de test que constituye un paso previo al diseño de una prueba evaluativa. Han de fijarse las bases estratégicas del proyecto evaluativo respondiendo 3 preguntas5,13 que se mencionaron con anterioridad.

Al analizar OSCE se aprecia que el método actualmente es el más completo y aceptado mundialmente, hasta el momento de la revisión realizada5,15,22,23 la desventaja es que trata de una situación simulada1,5,15,16 y nuestra actuación es en la práctica diaria del profesional donde demuestra realmente lo que hace.

A modo de conclusión se debe destacar que para realizar una evaluación de la competencia, primero se deben estructurar las bases para la confección de los instrumentos evaluativos, los que medirán el grado de competencia o incompetencia de los profesionales en ciencias médicas.

Summary

A bibliographic review of professional competence was made and concepts of competence, evaluation and conditions to create evaluative tools were analyzed. The different levels of professional performance were described according to Miller´s model. Reference was made to the newest evaluation test, the objective structured clinical examination, which is one of the most complete methodologies at present, although it is made clear that the evaluation is carried out under a created and simulated situation. It is concluded that the bases for making the evaluative tools that will measure the competence or incompetence of our medical sciences professionals should be structured.

Subject headings: CLINICAL COMPETENCE; PROFESSIONAL COMPETENCE; EVALUATION; INTENSIVE CARE.

Referencias bibliográficas

1. Salas Perea RS. Competencia y desempeño profesional: En: Educación y Salud. La Habana: Ciencias Médicas; 1999:117-9.
2. Ilizastigui F, Calvo I, Douglas R. El programa director de la Medicina General Integral para el médico General Básico. La Habana: Ministerio de Salud Pública; 1985:29-31.(Folleto).
3. Sierra Prohenza E del C. La evaluación del desempeño profesional en los procesos pedagógicos del perfeccionamiento. Rev Educ Sup 1992;6(2):75-81.
4. Nagelsmith L. Competence and emvolvig concept. Contin Educ Nurs 1995;26:245-8.
5. Pulpon Segura AM, Sola Pola M, Martínez Carretero JM, Gilpert Magarrolas R. Evaluar la competencia clínica. Rev Rol Enf 1999;22(6):475-8.
6. Salas Perea RS, Santos T, Cabrera J. Consideración sobre la competencia y el desempeño profesional y su evaluación, La Habana: MINSAP; 1992. (Folleto).
7. Myller G. The assessment of clinical skills competence, performance. Acd Med 1990;65:63-7.
8. Neira Fernández M. La evaluación de la educación en el trabajo en las especialidades de Educación Médica Superior. Rev Cubana Educ Med Sup 1989;1-2:19-20.
9. Vicerrectoría de Posgrado: Indicaciones para el trabajo de terminación de residentes. ISCMH, 1998. Salas Perea RS. El proceso de enseñanza, aprendizaje: su esencia. Educ Med Sup 1992;6(1):3-16.
10. Resolución rectorial No. 205/88. Anexo 1. Guía para la confección de protocolos de investigación. ISCMH, 1988:8-9.
11. Salas Perea RS, Aneiros Rivas R, Hatim Ricardo A. La evaluación de la competencia clínica de los educandos mediante inspecciones integrales en la educación médica superior. Rev Cubana Educ Med Sup 1996;1:19-25.
12. Martínez JM. El paciente simulado y formación continuada en atención primaria de salud. Formación médica continuada en atención primaria. Rev Rol Enf 1997;4(3):147-49.
13. Blay C. La evaluación de la competencia profesional: ¿Están cambiando los tiempos? Rev Rol Enf 1999;22(6):475-8.
14. Grup. de formacio avaluacio de la competencia clínica. IES. Guía pel desenvolupament de projects avaliutisus de la competencia profesional. Barcelona: 1996:10-12.
15. Barmble K. Nurse practituiner education: Enchacing performance through use of the objetive structured clinical assessment. J Nurs Educ 1994;32:59-65.
16. Dowell BMC, Nardini DL, Negley SA. White JE. Evaluating clinica perfomance using simulated patient J Nurs Educ 1994; 23:37-49.
17. Salas Perea RS, Santos T, Cabrera J. Consideraciones sobre la competencia y el desempeño profesional y su evaluación. La Habana: Ministerio de Salud Pública; 1992. (Folleto).
18. Katz FM, Snow R. Evaluación del rendimiento de los trabjadores de la Salud. Ginebra: Organización Mundial de la Salud; 1981. (Cuaderno de Salud Pública No.72).
19. Ilizastegui F. La educación médica y las necesidades de la salud poblacional. La Habana: Ministerio de Salud Pública; 1993.
20. Kane MT. The assessment of Profesional Clinical. Evaluation & The Health Profesional. J Nurs Educ 1992;15(2):163-82.
21. Rainberry P, Grava-Gubins I, Khan S. Reliability and validity of oral examination in family medicine. En: Hear IR, Harden RM, eds, Further Developments in Assessing Clinical Competence. Montreal: Can- Heal Publicatio; 1987;399-405.
22. Harden RM. The objetive Structured Clinical Examination (OSCE). En: Hart IR, Harden RM, eds. Further Developments uin Assessing Clinical Competence. Montreal: Can-Heal Publications; 1987;99-110.
23. Harden RM, Cairncross RG. Silf-Assessment of Objetive Structured Clinical Examination (OSCE). Rev Rol Ent 1980;5(2):187-96.
    

Recibido: 14 de enero de 2003. Aprobado: 13 de febrero de 2003.
Dr. Rogelio Pérez Reyes. Hospital Militar Central “Dr Luis Díaz Soto” Avenida Monumental, Habana del Este, CP 11700, Ciudad de la Habana, Cuba.

1 Especialista de I Grado en Medicina Interna. Instructor.
2 Profesora Instructora.