EDUCACIÓN MÉDICA
Perfeccionamiento de la calidad de los instrumentos evaluativos en la asignatura Metodología de la Investigación y Estadística
Improving the Assessment Instrument Quality in the Course on Research Methodology and Statistics
Gemma Margarita Ortiz Romero 1, María Emilia Rodríguez Neyra 2, Pedro Augusto Díaz Rojas 3, Kenia Cuenca Font 4
1. Máster en Educación Médica. Licenciada en Educación. Asistente. Universidad de Ciencias Médicas. Holguín. Cuba.
2. Máster en Educación Médica. Licenciada en Cibernética. Profesor Auxiliar. Universidad de Ciencias Médicas. Holguín. Cuba.
3. Máster en Educación Médica. Especialista de Segundo Grado en Histología. Profesor Titular. Universidad de Ciencias Médicas. Holguín. Cuba.
4. Licenciada en Derecho. Instructora. Universidad de Ciencias Médicas. Holguín. Cuba.
RESUMEN
Introducción: la evaluación del aprendizaje constituye una herramienta para tomar decisiones oportunas. Las insuficiencias encontradas en estudio realizado para caracterizar la calidad del examen final de Metodología de la Investigación y Estadística, curso 2010-2011 en la Universidad de Ciencias Médicas Holguín, constituyeron el punto de partida para la elaboración y puesta en práctica de un conjunto de acciones.
Objetivo: valorar las acciones implementadas en la asignatura Metodología de la Investigación y Estadística en la carrera de Medicina que permiten el perfeccionamiento de la calidad de los instrumentos de evaluación.
Métodos: se analizó correspondencia del tiempo de cada tema según plan calendario y cantidad de ítems explorados, índice de dificultad y coeficiente alfa de Cronbach en el examen final aplicado curso 2012-2013.
Resultados: las acciones implementadas influyeron positivamente en el perfeccionamiento de los instrumentos de evaluación en la referida asignatura. El análisis de la calidad del instrumento aplicado en dicho curso así lo corroboró: examen de formato mixto, correspondencia entre porcentaje de horas dedicadas a cada tema, según plan calendario y porcentaje de ítems explorados por temas, índice de dificultad del examen 0,73 clasificado de dificultad media, coeficiente Alfa de Cronbach de 0,74.
Conclusiones: la implementación de un conjunto de acciones permitió la elaboración de instrumentos evaluativos con mayor calidad y favoreció el desarrollo del proceso docente educativo de la asignatura.
Palabras clave: instrumentos de evaluación, Metodología de la Investigación, Estadística.
ABSTRACT
Introduction: Learning assessment is a tool to make timely decisions. The deficiencies found in a study conducted to characterize the quality of the final exam of Research Methodology and Statistics, 2010-2011 academic year at the University of Havana Medical Sciences, formed the a starting point for the development and implementation of a set of actions .
Objective: To assess the implemented actions in the course Methodology of Research and Statistics in the medical career that allow the improvement of assessment instrument quality.
Methods: The correspondence of time of each subject according to the schedule, number of indicators explored index of difficulty and Cronbach alpha coefficient in the final exam given during the plan year 2012-2013 was analyzed.
Results: The actions implemented positively influenced their development. The quality analysis of instrument applied in this study so confirmed: mixed format test, correlation between percentage of hours spent on each topic as timing and rate plan explored items by subject exam difficulty index 0.73, classified medium difficulty and Cronbach’s alpha coefficient of 0.74.
Conclusions: The implementation of a set of actions allowed the development of assessment instruments with higher quality and improved the development of the subject´s teaching learning process.
Keywords: assessment tools, Research Methodology, Statistics.
]]> INTRODUCCIÓN
La evaluación del aprendizaje es consustancial al desarrollo del proceso docente educativo 1, 2; se realiza sobre la base de un programa que, en virtud de la enseñanza y del aprendizaje, está constituido por un conjunto de instrumentos de evaluación 3.
Constituye una herramienta para identificar y reflexionar respecto a las fortalezas y debilidades del proceso, así como, para tomar decisiones que permitan el perfeccionamiento del sistema y con ello el éxito de los estudiantes, por tanto, se convierte en el instrumento eficaz para garantizar su continuo perfeccionamiento y la calidad de la enseñanza.
La Estadística es de obligatorio estudio en la educación universitaria, la necesidad de analizar grandes cantidades de datos recopilados de procesos experimentales para la obtención de conclusiones y la toma de decisiones sobre los fenómenos objeto de estudio hacen de las herramientas estadísticas un recurso de importancia trascendental 4.
La Metodología de la Investigación y la Estadística se convierten en herramientas para el estudiante de Medicina durante toda su formación, así como, una vez egresado en aras de dar solución a diferentes problemas propios de la profesión 5, lo que hace necesario que constantemente se compruebe en qué medida se preparan a los estudiantes en esta asignatura y si su aprendizaje se corresponde con los objetivos propuestos en los programas de estudio, que permitan la toma de decisiones para la formación exitosa de médicos competentes en el cumplimiento de las funciones plasmadas en el plan de estudio de este profesional.
Es esencial que el sistema de evaluación sea lo más sólido posible, y aumente la importancia de que los instrumentos a emplear en los controles tengan la calidad requerida y se pongan a prueba 6 para garantizar su validez y confiabilidad. Construirlos de modo sistemático, acorde con reglas claras y eficientes es condición importante para unos resultados satisfactorios y defendibles 7.
Por esta razón, en la Universidad de Ciencias Médicas de Holguín se realiza un estudio para caracterizar la calidad del examen final aplicado en la asignatura Metodología de la Investigación y Estadística en el curso 2010-2011. Los resultados arrojan insuficiencias como: 8 no se tiene en cuenta en la elaboración del instrumento el uso de preguntas con diferentes formatos (es un examen de ensayo o desarrollo), la no correspondencia entre el tiempo dedicado a cada tema según plan calendario y la cantidad de ítems explorados en cada uno, hay temas muy poco explorados en el examen, elaboración de ítems con nivel de asimilación reproductivo que no permiten discriminar entre los estudiantes con buenos y malos resultados, se obtiene el 80 % de promoción con predominio de calificaciones de dos y tres.
A partir de las insuficiencias encontradas, en el departamento de Informática Médica se elaboraron y pusieron en práctica un conjunto de acciones orientadas a Profesores, Estudiantes e Instrumentos evaluativos, que permitieran la preparación de los profesores en la elaboración de preguntas con diferentes formatos, en elementos esenciales a tener en cuenta para realizar la planeación de los exámenes para lograr el perfeccionamiento de los instrumentos de evaluación en la asignatura Metodología de la Investigación y Estadística. Al mismo tiempo fue necesario preparar a los estudiantes para resolver ejercicios elaborados con diferentes tipos de preguntas.
Después de dos cursos de puesta en práctica el conjunto de acciones se pretende valorar la influencia de las acciones implementadas en el perfeccionamiento de la calidad de los instrumentos de evaluación en la asignatura Metodología de la Investigación y Estadística en la carrera de Medicina.
]]> MÉTODOS
La presente investigación se realizó en los escenarios de la Facultad de Ciencias Médicas de Holguín. El universo estuvo constituido por el total de exámenes finales ordinarios de la asignatura Metodología de la Investigación y Estadística de los estudiantes de segundo año de la carrera de Medicina de la provincia Holguín en el curso escolar 2012-2013, del cual se seleccionó una muestra de todos los exámenes (392) de los estudiantes presentados a esta convocatoria en el municipio Holguín. Se realizó el análisis de documentos rectores de la asignatura y de la evaluación del aprendizaje. Se recogió la opinión de un grupo de especialistas sobre las acciones puestas en práctica y elementos del examen en estudio.
Para el análisis de la influencia de las acciones implementadas en el perfeccionamiento de la calidad de los instrumentos de evaluación, se utilizó el cuestionario confeccionado para el examen final ordinario de la asignatura en el curso 2012-2013, en dos momentos:
La confección del examen
Se analizó el cumplimiento de los elementos a tener en cuenta en la planeación de un instrumento evaluativo como los objetivos, contenidos, habilidades, cantidad de preguntas, formato de las preguntas. Se analizó el tiempo de cada tema en el plan calendario de la asignatura; a partir de esta información se determinó el porcentaje que representa cada uno respecto al total de horas y la cantidad de ítems a explorar en cada temática con su respectivo porcentaje respecto al total de ítems. Para corroborar esta relación se aplicó el Test de Correlación de Spearman.
Una vez aplicado y calificado el examen
En una hoja de cálculo de Microsoft Excel se tabularon los resultados del examen aplicado, se incluyeron los de cada ítem categorizados en aprobado (1) y suspenso (0), la calificación de cada pregunta y la nota final del examen, para su posterior procesamiento estadístico.
Se realizó el cálculo del índice de dificultad para cada pregunta y el examen, a través de la siguiente fórmula 9, 10:
En la cual:
Ap = Número de respuestas correctas de los ítems de la pregunta
np = Número de ítems de la pregunta
Nt = Número total de presentados en el examen
Para el análisis del examen en estudio se utilizó la escala de clasificación del nivel de dificultad determinada por los expertos en el instrumento aplicado en el curso 2010- 2011: los ítems que tuvieran una proporción de aprobados menor de 0,40 se consideran difíciles, entre 0,40 y 0,50 se consideran medianamente difíciles, entre 0,51 y 0,80 se consideran de dificultad media, entre 0,81 y 0,90 se consideran medianamente fáciles, entre 0,91 y 1,00 se consideran fáciles. Se calculó para cada pregunta y para el examen.
Se calculó además el coeficiente alfa (a) de Cronbach para el análisis de la confiabilidad del instrumento, este indicador permite determinar la consistencia interna del examen. Para el examen en estudio se consideró adecuado valores de 0,60 según lo planteado en la literatura 11, 12.
Por último se realizó el cálculo de la promoción obtenida en el presente curso escolar y se comparó con la del curso 2010 – 2011. El SPSS versión 15.0 para Windows fue utilizado para el cálculo del Alfa de Cronbach y del Test de Correlación de Spearman, con un nivel de significación de 5 %.
RESULTADOS
En el Departamento de Informática Médica de la Facultad de Ciencias Médicas de Holguín se pusieron en práctica durante dos cursos escolares un conjunto de acciones encaminadas a los estudiantes, profesores y a los instrumentos evaluativos con el fin de perfeccionar los instrumentos de evaluación que se aplican, a tono con las tendencias en la Educación Médica Superior.
]]> Después de implementadas las referidas acciones, se realizó el análisis de calidad del examen final ordinario elaborado en la asignatura Metodología de la Investigación y Estadística en el curso escolar 2012-2013. Sobre la confección del examen se evidenció que:Existió correspondencia entre el porcentaje de horas dedicadas a cada tema según plan calendario y el porcentaje de ítems explorados por temas, corroborado con el test de correlación de Spearman (r = 0,99).
Fueron explorados proporcionalmente los cuatro temas de la asignatura con sus objetivos y contenidos esenciales según el programa de estudio.
El examen fue elaborado con siete preguntas, de formato mixto, construido con cautela que permitió una adecuada correspondencia entre el formato test objetivo y de desarrollo.
Las preguntas confeccionadas permitieron la vinculación de la metodología y la estadística con situaciones de salud a las que se enfrenta el médico en la práctica de su profesión y en el desarrollo de investigaciones médicas.
Una vez aplicado y calificado el examen
Durante la calificación se demostró que los estudiantes se encontraban preparados para responder correctamente las preguntas de tipo test objetivo (selección múltiple, asociación simple y verdadera o falsa), tipología no utilizada tradicionalmente en la asignatura.
El índice de dificultad del examen (tabla I) fue de 0,73; clasificado de dificultad media, resultado que se encuentra en correspondencia con la dificultad de la mayor cantidad de preguntas; solo una (pregunta 2) clasificó medianamente difícil, correspondiente al tema Metodología de la Investigación, considerada la más difícil del examen.
Tabla I. Dificultad del instrumento evaluativo por preguntas
| ]]> Pregunta | Dificultad | Tipo de dificultad |
| 1 | 0,80 | Dificultad media |
| 2 | 0,50 | Medianamente difícil |
| 3 | ]]> 0,85 | Medianamente fácil |
| 4 | 0,77 | Dificultad media |
| 5 | 0,63 | Dificultad media |
| 6 | 0,90 | ]]> Medianamente fácil |
| 7 | 0,65 | Dificultad media |
| Examen | 0,73 | Dificultad media |
Fuente: datos del autor
El cálculo del Alfa de Cronbach por preguntas y examen (tabla II) muestra que el valor de este indicador fue de 0,74 lo cual evidenció que la coherencia interna del instrumento fue aceptable, considerado un examen confiable. Al eliminar una pregunta del examen se observó que este valor no aumentó e indicó que todas las preguntas aportaron a su confiabilidad.
Tabla II. Alfa de Cronbach por preguntas y examen
| ]]> Preguntas | Alfa de Cronbach |
| 1 | 0,71 |
| 2 | 0,72 |
| 3 | 0,70 |
| 4 | 0,71 |
| ]]> 5 | 0,71 |
| 6 | 0,72 |
| 7 | 0,69 |
| Examen | 0,74 |
Fuente: datos del autor
Se observó que solo 29 de los estudiantes (7 %) presentados al examen en el curso 2012-2013 suspendieron, la promoción obtenida fue de 93 % con predominio de calificaciones de 3 y 4 (tabla III).
]]> Tabla III. Resultados del examen. Cursos 2010-2011 y 2012-2013| Calificación | Curso 2010 - 2011 | Curso 2012 - 2013 | ||
| Cantidad estudiantes | % | Cantidad estudiantes | % | |
| 5 | 28 | ]]> 10 | 39 | 10 |
| 4 | 90 | 33 | 168 | 43 |
| 3 | 103 | ]]> 37 | 156 | 40 |
| 2 | 55 | 20 | 29 | 7 |
| Total | 276 | ]]> 100 | 392 | 100 |
Fuente: datos del autor
Al realizar el análisis comparativo con el curso 2010-2011 se evidencia que después de la puesta en práctica del conjunto de acciones en la asignatura Metodología de la Investigación y Estadística existió un aumento en los resultados docentes, unido a un incremento de su calidad.
DISCUSIÓN
La puesta en práctica del conjunto de acciones permitió realizar una adecuada planeación del examen y con ello la elaboración de instrumentos evaluativos con mayor calidad, la continua retroalimentación del proceso docente educativo, así como el papel activo de los estudiantes en este proceso, a través de su preparación sistemática, la autoevaluación y coevaluación.
Lo anterior corrobora lo expresado por diferentes autores:
"la evaluación como eslabón del proceso docente educativo que involucra al profesor, al estudiante y al conocimiento mediado por un determinado contenido, debe desarrollarse durante todo el proceso de enseñanza aprendizaje mediante la aplicación de diferentes instrumentos que aporten información continua sobre su desarrollo" 2.
]]> A su vez, los autores del presente estudio concuerdan con lo expresado por el grupo de especialistas en que se trabajó con una filosofía diferente a cursos anteriores, donde el estudiante se ve obligado a preparase más, tener mayor conocimiento e independencia en la tarea que realiza, existió mayor variedad de ejercicios, se utilizaron diferentes formatos de preguntas, las pruebas midieron los objetivos esenciales del programa, sin excederse en preguntas con cálculos innecesarios que hoy día se realizan con sistemas automatizados y permitieron evaluar mayor cantidad de contenido.Los criterios anteriores corroboran lo expuesto por Olga de Landaluce 13 en su libro Pedagogía:
"la institución docente y el proceso que en ella se desarrolla existen para satisfacer una necesidad social y la formación de profesionales competentes: encargo social que plantea la sociedad a la universidad médica cubana".
El análisis del examen final ordinario de la asignatura Metodología de la Investigación y Estadística en el curso 2012-2013 demostró que el sistemático trabajo metodológico del colectivo pedagógico sobre evaluación del aprendizaje contribuyó a que se realizara una adecuada planeación de los instrumentos evaluativos que se elaboran y que después de aplicado el examen, sus resultados evidenciaron una calidad requerida según estándares nacionales e internacionales, donde se obtuvo un índice de dificultad media del examen en correspondencia con lo expresado por Backhoff y colaboradores 9, así como, una adecuada coherencia interna según lo planteado en el proyecto de Indicaciones Metodológicas para el Planeamiento, Diseño y Control de la Calidad de los Exámenes Escritos para la Evaluación de la Competencia y el Desempeño Profesional 11 y otros autores 12.
Córica y colaboradores 14 plantean que:
"un examen que tenga dificultad media, es superior a aquellos que tengan mucha dificultad o que resulten muy fáciles. Un buen examen será aquel que sea superado por algo más de la mitad de los educandos".
Evaluar correctamente y controlar las posibilidades de error de los estudiantes para aceptar o rechazar un resultado, proporciona una medida sobre la eficacia del proceso formativo, pues permite tener resultados fiables sobre su nivel de conocimientos y de los fallos que se producen en dicho proceso.
Por todo lo anterior, los autores del presente estudio coinciden con Cordero 15 en que propiciar un perfeccionamiento en el diseño de los instrumentos de evaluación permite producir cambios para hacerlo más pertinente y que puedan impactar en la calidad de la formación.
CONCLUSIONES
La puesta en práctica del conjunto de acciones permitió que se realizara una adecuada planeación del examen, la preparación de los profesores en la elaboración de fichas de contenidos para exámenes, la elaboración de preguntas con diferentes formatos; elementos que contribuyeron a la construcción de un instrumento de evaluación con la calidad requerida.
El examen aplicado en la asignatura Metodología de la Investigación y Estadística en el curso 2012- 2013 clasificó de dificultad media y con una adecuada coherencia interna.
Un instrumento evaluativo elaborado correctamente permite comprobar el nivel de conocimientos de los estudiantes y tomar las decisiones más adecuadas para contribuir a la formación de profesionales competentes en el sistema de salud.
REFERENCIAS BIBLIOGRÁFICAS
1. Cuba. Ministerio de Educación Superior. Reglamento de Trabajo Docente y Metodológico. Resolución 210. La Habana: Ministerio de Educación Superior; 2007.
2. Ginoris Quesada O. Fundamentos didácticos de la Educación Superior cubana. La Habana: Editorial Félix Varela; 2009.
3. Pastorelli V, Laporte G, Soto A. Revisión del instrumento de evaluación del curso de producción ovino caprina. SEDICI. IV Congreso Nacional y III Congreso Internacional de Enseñanza de las Ciencias Agropecuarias. Bolivia: Universidad Nacional de La Plata.2012 [citado 11 mar 2013]. Disponible en: http://sedici.unlp.edu.ar/bitstream/handle/10915
4. Álvarez Reyes S, Pérez Santos F, Otero Diéguez A, Tamayo Carralero I. La enseñanza de la estadística en las carreras de ingeniería: una propuesta de alternativas metodológicas para el tratamiento de la distribución de Poisson. Rev Pedag Universitaria. 2011 [citado 11 feb 2013]; 16(2). Disponible en: http://cvi.mes.edu.cu/peduniv/index.php/peduniv/article/view/72/70
5. González García N, Garriga Sarría E, Rubén Quesada M, O'Farrill Mons E. Programa de la Asignatura Metodología de la Investigación y Estadística. La Habana: Editorial Ciencias Médicas; 2010.
]]>6. Salas Perea RS. La evaluación en la educación superior contemporánea. (Tesis).La paz: Biblioteca de Medicina, 2005.
7. Moreno R, Martínez RJ, Muñiz J. Calidad de los ítems de los exámenes PIR. Papeles Psicólogo.2011.[citado 12 oct 2013]; 32(3) Disponible en: http://www.redalyc.org/articulo.oa?id=77822236006
8. Ortiz Romero GM. Calidad del examen final de la asignatura Metodología de la Investigación y Estadística. Carrera de Medicina. Curso 2010-2011. (Tesis). Holguín: UCM; 2012.
9. Backhoff E, Larrazolo N, Rosas M. Nivel de dificultad y poder de discriminación del Examen de Habilidades y Conocimientos Básicos (EXHCOBA). Rev Electrón Invest Educ.2000.[citado 2 oct 2013];2(1).Disponible en: http://redie.uabc.mx/ojs/index.php/redie/article/view/15
10. Díaz Rojas PA, Leyva Sánchez E. Metodología para determinar la calidad de los instrumentos de evaluación. Rev Edu Méd Sup. 2013. [citado 10 jun 2013]; 27 (2). Disponible en: http://www.ems.sld.cu/index.php/ems/article/view/173/98
11. Cuba. Ministerio de Salud Pública. Proyecto de indicaciones metodológicas para el planeamiento, diseño y control de la calidad de los exámenes escritos para evaluación de la competencia y el desempeño profesionales. La Habana: Escuela Nacional de Salud Pública; 2001.
12. Díaz Rojas PA. Introducción a la Investigación en Ciencias de la Salud. La Habana: Escuela Nacional de Salud Pública; 2010.
13. Landaluce Gutiérrez O. Pedagogía. La Habana: Editorial Ciencias Médicas; 2011.
14. Córica JL, Hernández Aguilar ML, Holloway Creed J, Dimos C. Propuesta de indicadores de calidad para la evaluación de la calidad de las preguntas en los exámenes de opción múltiple. IV Congreso internacional virtual de educación a distancia CIVE. 2004. [citado 10 oct 2013] Disponible en: http://www.ateneonline.net/datos/91_03%20PONENCIA%20CORICA-HERNANDEZ-HOLLOWAY-DIMOU.pdf
15. Cordero Miranda Y. Necesidades de aprendizaje sobre la elaboración de instrumentos evaluativos escritos. Educ Med Sup. 2013. [citado 6 nov 2013]; 27(2). Disponible en: http://scielo.sld.cu/scielo.php?script=sci_arttext&pid=S0864-21412013000200007&lng=es&nrm=iso&tlng=es
Recibido: 6 de noviembre de 2013
Aprobado: 30 de junio de 2014
]]> MSc. Gemma Margarita Ortiz Romero. Universidad de Ciencias Médicas. Holguín. Cuba.