ARTÍCULO ORIGINAL

Instrumento para la evaluación de habilidades en cirugía laparoscópica básica

 

Instrument for the evaluation of skills in basic laparoscopic surgery

 

 

Dra. C. Rosalba Roque González, Dr. C. Rafael Torres Peña, Dra. C. Irene Barrios Osuna, Dr. Miguel Ángel Martínez Alfonso, Dr. Javier Barreras González, Dr. José Manuel Hernández Gutiérrez

Centro Nacional de Cirugía de Mínimo Acceso. La Habana, Cuba.

 

 

---

RESUMEN

Introducción: el desarrollo de los programas de entrenamiento en cirugía laparoscópica básica requiere de instrumentos evaluativos que permitan evaluar si el educando adquiere las competencias necesarias para realizar los procedimientos laparoscópicos básicos.
Objetivo: diseñar y validar un instrumento para la evaluación de habilidades en cirugía laparoscópica básica.
Métodos: se diseñó un instrumento evaluativo, y para su validación fue aplicado a 69 educandos que pasaron el entrenamiento en procederes laparoscópicos básicos I, en el laboratorio de entrenamiento del Centro Nacional de Cirugía de Mínimo Acceso durante enero 2008 hasta diciembre del 2010.
Resultados: se obtuvo un coeficiente alfa de Cronbach de 0,8 (buena confiabilidad). El análisis factorial muestra la presencia de dos factores principales: Disección del triángulo de Calot y grapado del conducto cístico.
Conclusiones: a partir del análisis factorial y la confiabilidad aplicada al instrumento evaluativo, se obtuvo un instrumento válido el cual pudiera concretarse a dos dimensiones fundamentales: disección del triángulo de Calot y grapado del conducto cístico.

Palabras clave: cirugía laparoscópica, validación, instrumento evaluativo, habilidades.

---

ABSTRACT

Introduction: the development of training programs in basic laparoscopic surgery requires evaluative instruments that allow assessing whether the student acquires the necessary competencies for performing basic laparoscopic procedures.
Objective: to design and to validate an instrument for the skill assessment in basic laparoscopic surgery.
Methods: an evaluative instrument was designed; it was applied for validation in 69 students who passed the basic laparoscopy procedure training I at the training laboratory of the National Center of Minimal Access Surgery from January 2008 to December 2010.
Results: the Cronbach's alpha coefficient was 0.8 (good reliability). The factor analysis revealed two principal factors: Calot triangle dissection and grapping of cystic conduct.
Conclusions: based on the factorial analysis and the reliability applied to the evaluative instrument, a valid instrument was obtained, which may be materialized in two fundamental dimensions: Calot triangle dissection and grapping of the cystic conduct.

Key words: laparoscopic surgery, validation, evaluative instrument, skills.

---

 

 

INTRODUCCIÓN

El desarrollo tecnoló­gico y la velocidad de progresión en la aplicación clínica de la cirugía mínimamente invasiva han conllevado a un desafío en­ el sistema clásico de enseñanza de la cirugía, puesto que a la trasmisión de conocimientos sobre una técnica quirúrgica se ha añadido la adquisición de nue­vas habilidades, como la coordinación ojo-mano y la vi­sualización del campo quirúrgico en monitores.^1-3

La enseñanza basada en la simulación, forma parte de los métodos que permiten de manera escalonada, iniciar al educando por las habilidades básicas, lo cual es posible realizar en simuladores físicos (pelvitrainers) pasando luego a entrenar habilidades avanzadas en un proceso quirúrgico completo en el quirófano.^4-6

En el Centro Nacional de Cirugía de Mínimo Acceso, la especialidad de Cirugía General cuenta con programas docentes basados en el entrenamiento con pelvitrainers, por lo que se hace necesario como parte del proceso enseñanza aprendizaje, contar con un instrumento de evaluación que permita verificar si los estudiantes han adquirido la preparación requerida conforme con los objetivos propuestos en los programas de entrenamiento (función de comprobación de la evaluación) y disponer además de una herramienta para medir la calidad del proceso docente educativo.⁷ Contar con un instrumento de evaluación permitirá al claustro de profesores del centro, tener una herramienta para el mejoramiento de la calidad educativa.

Partiendo de la importancia que tiene la evaluación sistemática de las competencias en el proceso de formación de los profesionales de la salud, y la necesidad social de incorporar profesionales capacitados en las técnicas mínimamente invasivas, se plantea como objetivo general de este estudio diseñar y validar un instrumento para la evaluación de habilidades en cirugía laparoscópica básica y como objetivos específicos: determinar la confiabilidad y la validez de constructo del instrumento diseñado para la evaluación de habilidades en cirugía laparoscópica básica.

 

MÉTODOS

Concepción general de la investigación

Se realizó una investigación evaluativa bajo el paradigma cuantitativo en función del objetivo del estudio.

Procedimiento

A partir de la revisión bibliográfica⁸ en relación con sistemas de evaluación utilizados por otros centros que tienen instrumentos validados y los objetivos propuestos en el entrenamiento respecto a las competencias que debe alcanzar el educando, sumado a la experiencia del claustro de profesores, expertos en estas técnicas y en la enseñanza en simuladores fijos; el instrumento evaluativo (IE) quedó estructurado en 5 dimensiones y 19 ítems. Se detallan a continuación: colocación de trocares (4 ítems), disección del triángulo de Calot (7 ítems), exéresis de la vesícula (3 ítems), posición del cirujano (1 ítem), manejo de la cámara (4 ítems), que constituyen los conocimientos y las habilidades fundamentales para poder realizar la técnica quirúrgica (Colecistectomía laparoscópica).

Las evaluaciones de cada ítem fueron recogidas en una escala tipo Likert de cinco categorías: 1 "muy mal", 2 "mal", 3 "regular", 4 "bien" y 5 "muy bien".

Para verificar la validez del contenido se sometió el instrumento a juicios de expertos, tanto para los aspectos relacionados con la técnica quirúrgica como lo docente.

Se aplicó el IE diseñado, a los 69 educandos que participaron en los entrenamientos en procedimientos laparoscópicos básicos I durante enero 2008 hasta diciembre del 2010 en el CNCMA.

Cada uno de los expertos que son profesores del entrenamiento realizó la evaluación a los educandos. A la evaluación final se le aplicó la media ponderada, lo que permitió medir cuantitativamente el resultado final de la competencia en cada educando. La evaluación se realizó en el Laboratorio de Entrenamiento del Centro Nacional de Cirugía de Mínimo Acceso.

 

Técnica de procesamiento y análisis de los datos

Los datos obtenidos fueron vaciados a una planilla Excel, para ser exportados al programa estadístico SPSS versión 11.5, donde se realizó el análisis factorial correspondiente. El coeficiente alfa de Cronbach fue el procedimiento utilizado para calcular la confiabilidad del instrumento, ya que requiere una sola administración, teniendo en cuenta la ventaja que se aplica a la medición y se calcula el coeficiente, el que produce valores que oscilan entre 0 y 1, correspondiendo a 1 la máxima confiabilidad.^9,10 En este caso se consideraron adecuados valores de alfa > 0,7. Se determinó la consistencia interna del instrumento a través de un análisis factorial, lo que permitió determinar la correlación interna entre los ítems de cada dimensión, identificando aquellos relevantes y representativos de lo que cada dimensión quiere medir.

 

RESULTADOS

Análisis de los ítems

Tasa de omisión. Los ítems presentaron una baja tasa de omisión (0,4 %), lo cual indica que el lenguaje, la redacción y longitud del instrumento fueron adecuados para la muestra a la que estaba dirigida y para los profesores que evaluaron.

Fiabilidad: Consistencia interna.

Se encontró una correlación positiva en los ítems relacionados con la disección del triángulo de Calot y la exéresis de la vesícula, sus valores oscilaron entre 0,79 y 0,85, no fue así con el resto de los ítems que presentaban muy bajas correlaciones y afectaban negativamente la confiabilidad de los indicadores.

En la tabla 1 se muestran los resultados de los índices de homogeneidad de los ítems (o correlación ítem-total rectificada, es decir, sin tener en cuenta para el total el ítems en cuestión). Los valores de dichos índices oscilaron entre 0,79 y 0,85, entre un mínimo de 0,22 y un máximo de 0,47, estando el valor medio en 0,32.

Para valorar la fiabilidad que proporcionan las mediciones del instrumento se ha usado el método basado en la consistencia interna: coeficiente alfa de Cronbach.

El coeficiente alfa de Cronbach ha dado como resultado un valor de 0,83, considerado como aceptable.⁹

Validez de constructo⁹

El análisis factorial (AF) se realizó para todas las dimensiones por separado, incluyendo los 19 ítems que los integraban.

Al realizar el análisis de la existencia o no de correlación en las dimensiones: A. Colocación de trócares, D. Posición del cirujano y E. Manejo de la cámara, el resultado del Determinante R fue 0, por lo que en estos no se aplicó el análisis factorial.

Se realizó el análisis factorial (AF), a los 14 ítems restantes. Este análisis se llevó a cabo con el análisis de componentes principales y rotación Varimax.

El análisis de componentes principales muestra la presencia de dos factores:

El factor 1: nombrado Disección del triángulo de Calot, quedó integrado por 5 ítems y reagrupa ítems de los indicadores disección del triángulo de Calot y exéresis de la vesícula.

El factor 2: Grapado del conducto cístico, quedó conformado por 4 ítems y refiere a ítems del indicador disección del triángulo de Calot y del indicador exéresis de la vesícula.

Así, al indagar sobre el contenido de los ítems y la solución factorial, se podría señalar que el primer factor evalúa la habilidad del educando para realizar de forma correcta la disección del triángulo de Calot, paso muy importante dentro de la técnica quirúrgica, donde existe un porcentaje elevado de cometer lesiones iatrogénicas de la vía biliar, que elevan de manera significativa la morbilidad y mortalidad de los pacientes.

En cambio, el segundo factor, que explica un 66, 87 % de la varianza, evalúa la ligadura y corte del conducto, habilidades estas relacionadas con la disección y extracción de la vesícula biliar de su lecho (tabla 2).

Todos estos resultados avalan algunos de los índices propuestos en la literatura⁹ para considerar una concepción unidimensional del constructo que se mide.

 

DISCUSIÓN

De las 5 dimensiones diseñadas en el instrumento el análisis factorial confirmatorio identificó un total de 2 dominios diferentes, en los cuales se expresan una alta consistencia interna entre ítems, lo que confirma la representatividad de ellos con la dimensión a evaluar.

Por otra parte el instrumento evaluativo resultó confiable para medir por los expertos las habilidades que los educandos adquieren en la realización de procederes laparoscópicos básicos en vísceras, pero fundamentalmente en los ítems que evalúan la técnica propiamente, no fueron así las habilidades en relación con la introducción de trócares, posición del cirujano y manejo de la cámara, esto puede estar en relación con el tipo de simulador utilizado que no permite discriminar la habilidad en cada educando, porque en general no hay variación en cuanto a la evaluación realizada por los profesores.

Por otro lado, es importante señalar la importancia de las dimensiones que se definen a evaluar en el instrumento, ya que ellas orientan el proceso de aprendizaje de los estudiantes y lo que se espera en relación con la adquisición de habilidades que contribuyan al desarrollo de competencias, tanto genéricas como específicas en los futuros profesionales de la salud, se hace necesario cautelar que en los instrumentos de evaluación se consideren tanto aspectos de proceso, como resultado de dichos aprendizajes.^11-15

Respecto a su utilización, este puede ser empleado en procesos de recertificación de profesionales, capacitación e investigación relacionados con los procederes laparoscópicos. Entre las ventajas del instrumento está su fácil comprensión, lo que es confirmado por los bajos porcentajes de omisión obtenidos en el mismo (0,4 %). Tiene además un bajo costo en términos del uso de materiales y de la facilidad en su administración.

Los resultados obtenidos en el proceso de validación hacen necesario seguir indagando sobre el instrumento a fin de proponer nuevos estudios relacionados con este.

A partir del análisis factorial y la confiabilidad aplicada al instrumento evaluativo se obtuvo un instrumento válido el cual pudiera concretarse a dos dimensiones fundamentales: disección del triángulo de Calot, conformado por 5 ítems (aprehensión bacinete, realización de la endoligadura, aprehensión de la vesícula, exposición de la vesícula para la disección, exposición adecuada del triángulo de Calot) y grapado del conducto cístico, conformado por 4 ítems (calidad de la divulción, empleo correcto de la corriente monopolar, grapado del conducto cístico, corte del conducto cístico).

Se recomienda aplicar el instrumento diseñado en otros centros donde se realicen entrenamientos de este tipo para evaluar su efectividad en la práctica docente. También diseñar instrumentos válidos y confiables para la medición de las habilidades quirúrgicas en otros tipos de entrenamientos impartidos en el CNCMA.

 

REFERENCIAS BIBLIOGRÁFICAS

1. Usón J, Sánchez FM, Pascual S, Climent S. Formación en cirugía laparoscópica paso a paso (4ta. ed.). Cáceres: Centro de Cirugía Mínimamente Invasiva Jesús Usón; 2010.

2. Fried GM, Feldman LS. Objective assessment of technical performance. World J Surg. 2008;32:156-60.

3. Jaffer A, Bednarz B, Challacombe B, Sriprasad S. The assessment of surgical competency in the UK. Int J Surg. 2009;7:12-5.

4. Gumbs AA, Hogle NJ, Fowler DL. Evaluation of resident laparoscopic performance using global operative assessment of laparoscopic skills. J AmColl Surg. 2007;204:308-13.

5. Dankelman J. Surgical Simulator Design and Development. World J Surg. 2008; 32:149-55.

6. Gómez-Fleitas M. La necesidad de cambios en la formación y la capacitación quirúrgica: un problema pendiente de resolver en la cirugía endoscópica. Cir Esp. 2005;77(1):3-5.

7. González Pérez M. La evaluación del aprendizaje. Tendencias y reflexión crítica. Educ Med Super. 2000;XX(1):47-62.

8. Justo Janeiro JM. Sistemas de evaluación de destreza en cirugía endoscópica. Asociación Mexicana de Cirugía Endoscópica. 2007;8(2):90-6.

9. Salas Perea RS. Calidad de los instrumentos evaluativos. La Habana: CENAPEM; 1998.

10. Meliá JL. Teoría de la Fiabilidad y la Validez. 2001. Valencia: Cristóbal Serrano. Disponible en: http://www.uv.es/psicometria

11. Aggarwal R, Crochet P, Dias A, Misra A, Ziprin P, Darzi A. Development of a virtual reality training curriculum for laparoscopic cholecystectomy. Br J Surg. 2009;96:1086-93.

12. Boodle JF, Kaufmann SJ, Bisson D, Nathanson B, Binney DM. Value and face validity of objective structured assessment of technical skills (OSATS) for work based assessment of surgical skills in obstetrics and gynaecology. Med Teach. 2008;30:212-6.

13. Kundhal PS, Grantcharov TP. Psychomotor performance measured in a virtual environment correlates with technical skills in the operating room. Surg Endosc. 2009;23:645-9.

14. Larson JL, Williams RG, Ketchum J, Boehler ML, Dunnington GL. Feasibility, reliability and validity of an operative performance rating system for evaluating surgery residents. Surgery. 2005;138:640-7.

15. Leong JJ, Nicolaou M, Atallah L, Mylonas GP, Darzi AW, Yang GZ. HMM assessment of quality of movement trajectory in laparoscopic surgery. Comput Aided Surg. 2007;12:335-46.

 

 

Recibido: 15 de marzo de 2012.
Aprobado: 30 de marzo de 2012.

 

 

Rosalba Roque González. Centro Nacional de Cirugía de Mínimo Acceso. Párraga  No. 215 entre Vista Alegre y San Mariano. Víbora, 10 de Octubre. La Habana, Cuba. Correo electrónico: [e-mail]