Validez y fiabilidad de prueba diagnóstica en entrenamiento sobre procedimientos laparoscópicos básicos
Validity and reliability of diagnostic testing in training on basic laparoscopic procedures
Dra. C. Irene Barrios Osuna, Dra. Maricela Morera Pérez, Dra. C Rosalba Roque González, Dr. C Rafael Torres Peña, Jorge Pereira Fraga, Ana Bertha López Milhet
]]> Centro Nacional de Cirugía de Mínimo Acceso. La Habana, Cuba.
RESUMEN
Introducción: la falta de uniformidad en las competencias de cirugía mínimamente invasiva motivó la utilización de la evaluación diagnóstica para determinar los conocimientos previos que poseen los educandos de posgrado sobre este tema.
Objetivo: constatar la validez y fiabilidad de los resultados que se obtuvieron con la prueba diagnóstica del entrenamiento "Intensivo en procedimientos laparoscópicos básicos”.
Métodos: se exploraron los niveles cognoscitivos de las dimensiones: sutura laparoscópica, disección del Triangulo de Calot en la colecistectomía laparoscópica, tratamiento de la litiasis coledociana y Apendicectomía Laparoscópica. Se aplicó un test de Verdadero o Falso a especialistas en Cirugía General, Pediátrica y Coloproctología. Se utilizó la consulta a expertos como fuente de evidencia de validez de contenido de la prueba y la fórmula de Kuder-Richardson 20 para determinar su coeficiente de fiabilidad.
Resultados: se consideró apropiada la validez en la definición precisa del universo de contenido que se deseaba medir. El 75 % de los ítems no se diseñaron apropiadamente por lo que no se acreditó la validez en el grado de suficiencia del ámbito que se deseaba evaluar.
Conclusiones: no se constató la validez y fiabilidad de los resultados que se obtuvieron con la prueba diagnóstica del entrenamiento "Intensivo en procedimientos laparoscópicos básicos". Se perfeccionó el instrumento de evaluación diagnóstica de dicho entrenamiento a partir del análisis de la validez y fiabilidad de los resultados obtenidos.
Palabras clave: evaluación diagnóstica, cirugía laparoscópica, prueba diagnóstica, validez, fiabilidad, validez de contenido.
ABSTRACT
]]> Introduction: the lack of uniformity in basic skills of laparoscopic surgery led to the use of diagnostic assessment to determine prior knowledge level by graduate students.Keywords: diagnostic assessment, laparoscopic surgery, diagnostic testing, validity, reliability, content validity.
INTRODUCCIÓN
La cultura que sobre la evaluación poseen los profesores de la educación médica superior no siempre reconoce la importancia de la dimensión diagnóstica de los procesos evaluativos; los métodos tradicionales de evaluación y sobre todo su utilización como calificación predominan aún en muchos de ellos.1-4
]]> Es conocida la falta de uniformidad en los conocimientos y experiencia práctica que presentan los residentes de cirugía en procederes laparoscópicos.5-12 De los programas de estudio y de las condiciones de desarrollo de la cirugía mínimamente invasiva que existan en los hospitales depende, en buena medida, el grado de dominio que posean los residentes de esta temática y es variado el aprendizaje informal o experiencial que ellos y los especialistas puedan adquirir en los servicios de cirugía.13El sistema de evaluación utilizado en los programas de posgrado del Centro Nacional de Cirugía de Mínimo Acceso (CNCMA) amplió su tipología al incorporar, junto a la evaluación formativa y sumativa, la evaluación diagnóstica como un recurso que permite determinar los conocimientos previos que poseen los educandos sobre las temáticas de cirugía mínimamente invasiva al inicio de los diferentes programas. Por ejemplo, la utilización de pruebas diagnósticas ha permitido detectar las dificultades de los estudiantes al identificar el instrumental ideal para realizar una disección, al determinar las fuentes de energía que se pueden utilizar en la cirugía laparoscópica para la hemostasia en las especialidades quirúrgicas y particularmente en urología también se han detectado equivocaciones en las preguntas relacionadas con el abordaje lumboscópico o la retroperitoneoscopia, que es una vía de abordaje más afín con esta especialidad.10,14
La mejora continua del proceso docente educativo incluye la valoración de la calidad de estas pruebas para optimizar los diagnósticos que de ellas se obtienen. El objetivo de este trabajo fue constatar la validez y fiabilidad de los resultados obtenidos con la prueba diagnóstica del "Entrenamiento Intensivo en procedimientos laparoscópicos básicos".
MÉTODOS
Se realizó una investigación de desarrollo (evaluación de tecnología) en el Centro Nacional de Cirugía de Mínimo Acceso durante los años 2012 y 2013. Se aplicó la prueba diagnóstica del "Entrenamiento Intensivo en procedimientos laparoscópicos básicos" a 54 alumnos matriculados en dicho entrenamiento que cumplieran con el siguiente criterio de selección: ser especialistas en Cirugía General, Pedriática o Coloproctología.
A partir de la escala de G. Miller15 que versa sobre 4 niveles de competencia profesional se determinó explorar los niveles cognoscitivos de esta escala (saber y saber cómo). El test abarcó cuatro dimensiones temáticas: sutura laparoscópica, disección del Triangulo de Calot en la colecistectomía Laparoscópica, tratamiento de la litiasis coledociana y Apendicectomía Laparoscópica las cuales fueron seleccionadas por su correspondencia con los temas del programa docente.
El Profesor Principal del entrenamiento diseñó una prueba de respuesta estructurada o test objetivo con 12 ítems de respuesta alternativa (verdadero o falso), 3 por cada dimensión temática.
Se utilizó la consulta a expertos como fuente de evidencia de validez de contenido. Se seleccionaron 4 expertos teniendo en cuenta su experiencia asistencial y docente. Se consideraron como tales profesores de cirugía con más de siete años en el ejercicio de la docencia y con siete años como mínimo de experiencia en los procederes quirúrgicos laparoscópicos.
Para determinar si la prueba medía lo que se pretendía y si representaba el universo de contenido que se deseaba medir se aplicó a los expertos un cuestionario para evaluar los siguientes aspectos de cada ítem de verdadero o falso de la prueba diagnóstica:
]]> · comprensibles (adecuados para medir los conocimientos de los especialistas a los cuales está dirigido)· componentes claramente definidos (si inequívocamente puede clasificarse como verdadera o falsa la aseveración que se presenta)
· suposiciones básicas justificables (si está relacionado con los objetivos del programa).
Además se recogieron sus observaciones y recomendaciones.
Para las respuestas se utilizó una escala de cuatro categorías: Mucho, Suficiente, Poco y Nada. Se consideró que los ítems que en alguno de los aspectos evaluados obtuvieran una calificación por los expertos de menos del 70 % en la categoría "Mucho" tendrían que ser analizados y mejorados.
Se realizó un Taller de expertos donde mediante la técnica de discusión grupal se analizaron los resultados de la calificación dada por los mismos a los ítems de la prueba diagnóstica además de sus observaciones y recomendaciones.
Para determinar el coeficiente de fiabilidad se utilizó la fórmula de Kuder-Richardson 20 (para ítems dicotómicos, respuesta 1 o 0):
]]> Se consideró un coeficiente R ≥ 0,70 como aceptable. Se realizó el análisis de la consistencia interna de la prueba en general y dentro de cada dimensión.
Toda la información obtenida de la aplicación de los cuestionarios fue utilizada exclusivamente por los investigadores para la evaluación del instrumento, guardando la debida confidencialidad sobre la procedencia de las opiniones utilizadas.
RESULTADOS
La fiabilidad de los exámenes es un aspecto importante porque se interpreta y utiliza habitualmente como un control de calidad y se estima que siempre es bueno que un test de conocimientos tenga una fiabilidad alta.
La prueba diagnóstica se evaluó mediante el análisis de consistencia interna (coeficiente R Kuder-Richardson 20), la cual se llevó a cabo con una única aplicación, se empleó la modalidad del análisis de homogeneidad de los ítems, el resultado obtenido fue de 0,6632, por lo que se calificó de no aceptable la consistencia interna de la prueba diagnóstica.
Cuando se analizó la consistencia interna de cada dimensión, solamente la que exploró la disección del triángulo de Calot (tabla), obtuvo un valor del coeficiente aceptable, por lo que se consideró que la consistencia interna al interior de las dimensiones fue baja.
DISCUSIÓN
]]> En el caso de los exámenes docentes la primera condición para evaluar los mismos debe ser su validez.16En las respuestas al cuestionario aplicado los expertos detectaron la necesidad de realizar cambios a 9 de los 12 ítems de verdadero o falso, aportaron 7 observaciones, propusieron 6 preguntas y una dimensión distinta para incluir: la técnica del neumoperitoneo. Como resultado de la discusión grupal con todos los expertos sobre las calificaciones, observaciones y recomendaciones expresadas se mantuvieron las mismas dimensiones, conservaron su diseño original 3 ítems, se eliminaron 8 y se modificó 1.
En el Taller los expertos aportaron valoraciones diferentes sobre los dos aspectos en que se basa la validez de contenido: la definición precisa del dominio y el grado de suficiencia con que ese dominio se evalúa.17
No hubo consenso entre los expertos para incluir una dimensión sobre la técnica del neumoperitoneo por no considerar adecuado el tratamiento del tema en este entrenamiento. En consecuencia se consideró que las dimensiones que se exploran en esta prueba son las adecuadas y se corresponden con el ámbito que abarca el programa docente al cual tributa el diagnóstico, lo cual confirma la validez de contenido en la definición precisa del dominio que se deseaba medir. Sin embargo, el grado de suficiencia con que ese dominio se evalúa no fue adecuado constatando que nueve ítems del total (75 %) no están diseñados apropiadamente, por lo que no se acreditó la validez en el grado de suficiencia con que se evalúa el ámbito que se deseaba medir. Como resultado del proceso de validación de la prueba diagnóstica se obtuvo una nueva versión con un total de 16 ítems,4 por cada dimensión temática.
CONCLUSIONES
No se constató la validez y fiabilidad de los resultados que se obtuvieron con la prueba diagnóstica del entrenamiento "Intensivo en procedimientos laparoscópicos básicos". Se perfeccionó el instrumento de evaluación diagnóstica de dicho entrenamiento a partir del análisis de la validez y fiabilidad de los resultados obtenidos.
REFERENCIAS BIBLIOGRÁFICAS
1. Reyes García CI, Sosa Moreno F, Marchena Gómez R, Marchena Gómez J. Sistema de evaluación en las prácticas clínicas de la titulación de Medicina. FEM [revista en la Internet]. 2013 [consultado 09 Oct 2013];16(1):7-11. Disponible en: http://scielo.isciii.es/scielo.php?script=sci_arttext&pid=S2014-98322013000100003&lng=es
2. López Pastor VM. El papel de la evaluación formativa en el proceso de convergencia hacia el E.E.E.S. Análisis del estado de la cuestión y presentación de un sistema de intervención. Rev Interuniv profr [Revista en la Internet]. 2006 [consultado 04 Oct 2013];20(3):93-119. Disponible en: http://www.redalyc.org/articulo.oa?id=27411311005
3. Martínez Carretero JM. Los métodos de evaluación de la competencia profesional: la evaluación clínica objetivo estructurada (ECOE). Educ méd [revista en la Internet]. 2005 Sep [consultado 04 Oct 2013];8(S2):S18-22. Disponible en: http://scielo.isciii.es/scielo.php?script=sci_arttext&pid=S1575-18132005000600007&lng=es http://dx.doi.org/10.4321/S1575-18132005000600007 http://cff.org.br/userfiles/85%20-%20MARTINEZ%20CARRETERO%20Los%20metodos%20de%20evaluacion%20de%20la%20competencia%20profesional.pdf
4. González Pérez M. Evaluación del aprendizaje en la enseñanza Universitaria. Revista Pedagogía Universitaria [revista en la Internet]. 2000 [consultado 04 Oct 2013];5(2):54-5. Disponible en: www.sld.cu/galerias/doc/sitios/prevemi/evaluacion_aprendizaje4.doc ; http://www.seg.guanajuato.gob.mx/Ceducativa/CartillaB/6antologia/Referentes%20para%20la%20evaluaci%C3%B3n/Sobre%20 las%20dificultades%20relativas%20a%20los%20niveles%20de%20desempe%C3%B1o/Gonz%C3%A1lez%20P%C3%A9rez%20Miriam.pdf
5. Henao Ó, Escallón J, Green J, Farcas M, Sierra JM, Sánchez W, et al. Fundamentos de cirugía laparoscópica en Colombia con telesimulación: una herramienta adicional para la formación integral de cirujanos. Biomédica [revista en la Internet].2013; [consultado 27 Sep 2013];33:107-14. Disponible en: http://dx.doi.org/10.7705/biomedica.v33i1.1425 http://www.revistabiomedica.org/index.php/biomedica/article/view/1425/1706
6. Corona C, Cano I, Peláez D, Fuentes S, Tardáguila AR. Problemas actuales en la formación en cirugía mínimamente invasiva: visión de los residentes de Cirugía Pediátrica. Cir Pediatr [revista en la Internet]. 2013[consultado 27 S2013];26:25-9. Disponible en: www.secipe.org/coldata/upload/revista/2013_2_1_25_29.pdf
7. Reyes Díaz ML, Cintas Catena J, Naranjo Fernández J, Navarrete de Cárcer E, Oliva Mompeán F. Formación de un residente de cirugía general en la unidad de cirugía mayor ambulatoria de un hospital de tercer nivel. Cir May Amb. 2012;17(2):9-12.
8. Priego JP, Lobo ME, Rodríguez VG, Cabañas MJ, Peromingo FR, Fresnada MV. ¿Es adecuada la formación del residente en cirugía laparóscopica?. Rev Chil Cir [revista en la Internet]. 2008 Oct [consultado 27 Sep 2013];60(5):418-23. Disponible en: http://www.scielo.cl/pdf/rchcir/v60n5/art09.pdf
9. Bolea R, Pereyra J Jr, López D, Usandivaras J, Pereyra J, Anastasio J, et al. Aprendizaje de la colecistectomía laparoscópica en la residencia. Rev Argent Resid Cir. 2008 Abr;13(1):24-8.
]]>10. Barrios Osuna I, Roque González R, Martínez Alfonso M, González León T, Barreras González J, Anido Escobar V, et al. La evaluación diagnóstica en los programas de posgrado del Centro Nacional de Cirugía de Mínimo Acceso. Educ Med Super [revista en la Internet]. 2013 Mar [consultado 02 Oct 2013];27(1):46-53. Disponible en: http://scielo.sld.cu/scielo.php?script=sci_arttext&pid=S0864-21412013000100007&lng=es
11. Usón Gargallo J, Pérez Merino EM, Usón Casaús JM, Sánchez Fernández J, Sánchez Margallo FM. Modelo de formación piramidal para la enseñanza de cirugía laparoscópica. Cir Cir [revista en la Internet]. 2013 [consultado 2013 Oct 22];81:420-30. Disponible en: http://revistasmedicasmexicanas.com.mx/download/Cirugia%20y%20Cirujanos/2013/Sep-Oct/modelodeformacion.pdf <http://www.redalyc.org/articulo.oa?id=66228814009>
12. López Espinosa G, de la Rosa Aguirre PA, Lee Rojo SA. Modelo de la enseñanza en cirugía laparoscópica básica en residentes de cirugía general. Rev Fac Med (Méx.) [revista en la Internet]. 2013 Ago [citado 18 Nov 2013];56(4):16-23. Disponible en: http://www.scielo.org.mx/scielo.php?script=sci_arttext&pid=S0026-17422013000400003&lng=es
13. UNESCO. Directrices de la UNESCO para el reconocimiento, validación y acreditación de los resultados del aprendizaje no formal e informal [Monografía en Internet]. Alemania: Instituto de la Unesco para el aprendizaje a lo largo de toda la vida; 2012 [consultado 3 Oct 2013]. p. 10-1. Disponible en: http://unesdoc.unesco.org/images/0021/002163/216360s.pdf
14. Roque González R, Torres Peña R, Barrios Osuna I, Martínez Alfonso MA, Barreras González J, Hernández Gutiérrez JM. Instrumento para la evaluación de habilidades en cirugía laparoscópica básica. Educ Med Super [revista en la Internet]. 2012[consultado 02 Oct 2013];26(3). Disponible en: http://scielo.sld.cu/pdf/ems/v26n3/ems06312.pdf
15. Miller G. “The assessment of clinical skills/competence/performance” Academic Medicine [revista en la Internet]. 1990 Sep [cited 2013 Oct 4];65(9):63-7. Disponible en: http://winbev.pbworks.com/f/Assessment.pdf
16. Morales Vallejo P. La fiabilidad de los tests y escalas. Estadística aplicada a las ciencias sociales [monografía en la Internet]. Madrid: Universidad Pontificia Comillas; 2008 [consultado 3 Oct 2013 ]. p. 25-32. Disponible en: https://matcris5.files.wordpress.com/2014/04/fiabilidad-tests-y-escalas-morales-2007.pdf ; http://web.upcomillas.es/personal/peter/estadisticabasica/Fiabilidad.pdf
17. Cardona Moltó MC, Chiner Sanz E, Lattur Devesa A. Técnicas de evaluación psicométricas y preyectivas. En: Diagnóstico psicopedagógico. Conceptos básicos y aplicaciones. Alicante: Editorial Club Universitario; 2006. p. 74-76. Disponible en: http://www.editorial-club-universitario.es/pdf/4412.pdf
]]>
Rosalba Roque González . Centro Nacional de Cirugía de Mínimo Acceso. La Habana, Cuba. ]]>
