Caracterización del examen estatal aplicado en la carrera Licenciatura en Enfermería. Curso 2012-2013
Characterization of the state exam appliesd in the Nursing career. Academic year 2012-2013
Dayami Quiñones Gutiérrez1, Pedro Augusto Díaz Rojas2, Liset Cabrera Diéguez3, Leonor Pérez Carralero4, Yoanne Concepción Suárez5
1 Licenciada en Enfermería. Máster en Educación Médica. Asistente. Universidad de Ciencias Médicas de Holguín. Cuba. Correo electrónico: dayamiq@enfer.hlg.sld.cu
2 Doctor en Medicina. Máster en Educación Médica. Profesor Titular. Universidad de Ciencias Médicas de Holguín. Cuba. Correo electrónico: pdiaz@infomed.sld.cu ]]>
3 Licenciada en Enfermería. Máster en Educación Médica. Asistente. Universidad de Ciencias Médicas de Holguín. Cuba. Correo electrónico: lisetcd@ucm.hlg.sld.cu
4 Licenciada en Enfermería. Máster en Atención Integral al Niño. Asistente. Universidad de Ciencias Médicas de Holguín. Cuba. Correo electrónico: lpcarralero@ucm.hlg.sld.cu
5 Licenciada en Enfermería. Máster en Medicina Natural y Tradicional. Asistente. Universidad de Ciencias Médicas de Holguín. Cuba. Correo electrónico: lpcarralero@ucm.hlg.sld.cu
Fundamento: la evaluación es uno de los temas más analizados y discutidos dentro de la pedagogía moderna como categoría resultante del proceso enseñanza aprendizaje.
Objetivo: caracterizar el examen estatal ordinario de Licenciatura en Enfermería, aplicado durante el curso 2012-2013 a los estudiantes de quinto año de la carrera.
Métodos: se realizó una investigación de evaluación en la cual se emplearon métodos teóricos, empíricos y procedimientos estadísticos que permitieron la triangulación de los resultados. Se evaluó el examen estatal, se identificó la correspondencia entre el fondo de tiempo de los contenidos de la unidad curricular y su exploración en el examen, se clasificaron las preguntas y se realizó análisis de los indicadores de calidad.
Resultados: dentro de las características principales del instrumento escrito sobresalieron: no existió correspondencia entre el fondo de tiempo asignado para cada rotación y las preguntas elaboradas, no hubo relación entre el grado de dificultad esperado del cuestionario y lo real, la rotación de Enfermería Médico-Quirúrgica tuvo una mayor distribución de preguntas, este examen clasificó medianamente fácil. Predominaron las preguntas con discriminación pobre.
Conclusiones: se logró caracterizar el examen estatal ordinario de Licenciatura en Enfermería, aplicado durante el curso 2012-2013, y se concluyó que presentó coherencia interna y confiabilidad aceptable. ]]>
Background: the assessment is one of the most analyzed and discussed topic in modern pedagogy as a resulting category of the teaching-learning process.
Objective: to characterize the ordinary state exam which was applied to the fifth year students of the Bachelor of Nursing career, in the academic year 2012-2013.
Methods: it was carried out a research work on the assessment, where empiric, theoretical and statistical methods were applied; they allowed the triangulation of the results. The state exam was assessed, the correspondence between the amount of time assigned to the curricular unit and its exploration in the exam was identified, the questions were classified and the analysis of the indicators of quality was carried out.
Results: the most relevant characteristics of the exam were: there is no correspondence between the amount of time assigned to each rotation and the questions of the exam, there is no agreement between the supposed degree of difficulty of the set of questions and the real one, the medical-surgical rotation had a greater distribution of questions, this exam was classified as fairly easy. Questions with a poor discrimination were predominant.
Conclusions: the ordinary state exam of the Bachelor of Nursing career in the academic year 2012-2013 was characterized. It was concluded that it possesses a good internal coherence and an acceptable reliability.
DeCS: Evaluation, teaching, learning, research.
INTRODUCCIÓN ]]>
En el proceso enseñanza aprendizaje ocurren acciones sistematizadas e interrelacionadas del profesor y los estudiantes, con el fin de lograr los objetivos, durante la apropiación de los contenidos planificados, que adquieren una forma individual y específica en cada clase, en dependencia de la labor de cada profesor, quienes tienen sus rasgos y características propias.La evaluación es uno de los temas más analizados y discutidos dentro de la pedagogía moderna como categoría resultante del proceso enseñanza aprendizaje1.
La calidad de los instrumentos evaluativos y de los tests de rendimiento es tema de estudio de investigadores dedicados a la medición de atributos personológicos. La construcción de un instrumento evaluativo absolutamente confiable es prácticamente imposible en la realidad académica, ya que nunca pueden abarcar todo el conocimiento que se pretende medir, sino solo una parte, por tanto, siempre subyace el "error de muestreo de contenido".
En la medida en que más extensa sea la muestra del conocimiento incluida en el instrumento evaluativo, menor será el error de muestreo; pero no se puede inferir que mientras más extenso sea el instrumento necesariamente será más confiable, ya que otros factores pueden afectar esta condición, tales como: la duración del examen, la fatiga, la tensión psíquica y el deseo de terminar de los examinados2-4.
La Carta de Ottawa en 1986 determina que este proceso tiene tanta importancia como los objetivos y los resultados. Se inicia una etapa de cambios de concepción y se introduce la evaluación de criterios, formativa e integral como un proceso global, la que se opone a la clásica evaluación normativa.
En el sistema de educación médica superior cubano, la evaluación del aprendizaje implica el control y la valoración de los conocimientos, habilidades y hábitos, así como de los modos de actuación que los estudiantes adquieren a través del proceso docente educativo, de acuerdo con los objetivos de cada asignatura, estancia o rotación en particular y del plan de estudio en general5.
En la práctica, en ocasiones se encuentran en los instrumentos evaluativos preguntas que no están acordes con los objetivos a evaluar, ejercicios y problemas que no se corresponden con los niveles de asimilación propuestos ni se relacionan con el tipo de control empleado, y se han observado incluso diferencias de criterios entre los profesores al calificar los instrumentos evaluativos, todo lo cual crea desconfianza entre los estudiantes sobre sus resultados.
Toda esta situación real demuestra que tanto el personal docente como los estudiantes, no valoran ni comprenden en toda su magnitud la importancia, el papel y las funciones de la evaluación del aprendizaje dentro del proceso docente educativo en general y de enseñanza aprendizaje en particular.
El aprendizaje es toda actividad del estudiante cuyo resultado es la formación y la adquisición de nuevos conocimientos, habilidades, hábitos y modos de actuación, así como el perfeccionamiento de los que ya se poseían.
El examen estatal es práctico y escrito, por lo que el estudiante está expuesto a la posibilidad de ser evaluado acerca de cualquiera de los conocimientos y habilidades que aparecen en el programa de la rotación o en el modelo del profesional6. ]]>
La Resolución 210/2007 del Ministerio de Educación Superior plantea en uno de sus artículos que control del proceso docente educativo es parte del contenido del trabajo metodológico y una de sus funciones7.La evaluación constituye un componente esencial de todos los procesos que se ejecutan. El aporte de esta investigación se sustenta en que el conocimiento de la calidad de la planeación de los exámenes estatales permite realizar acciones que garanticen elevar la calidad de los educandos, y perfeccionar el proceso enseñanza aprendizaje, por lo que los autores se trazaron como objetivo: caracterizar la calidad del examen estatal ordinario de Licenciatura en Enfermería aplicado a estudiantes de quinto año de la Facultad de Enfermería de Holguín.
MÉTODOS
Se realizó un estudio de evaluación, en el campo del proceso enseñanza aprendizaje, cuyo objeto de análisis fue la calidad del examen estatal aplicado en el quinto año de la carrera de Licenciatura en Enfermería en el 2012-2013 en la Facultad de Enfermería de Holguín. El universo con el cual se trabajó estuvo constituido por 316 exámenes estatales ordinarios aplicados.
Para el desarrollo de la investigación se emplearon métodos teóricos, empíricos y procedimientos estadísticos.
Dentro de los teóricos se utilizaron el análisis-síntesis, deducción-inducción, abstracción y generalización para la interpretación de los resultados, además se establecieron los criterios para definir los intervalos del índice de dificultad y clasificar las preguntas según los contenidos temáticos de las disciplinas.
Dentro de los métodos empíricos se realizó la revisión documental del Plan Calendario, la Resolución 210/20077 y el propio examen estatal, el registro de datos primarios por la guía de resultados académicos aplicada a cada instrumento. Se aplicó la entrevista a especialistas, para llegar a consenso y clasificar el índice de dificultad que debe caracterizar las preguntas del examen.
Dentro del procesamiento de los datos para el análisis de calidad de los instrumentos se realizó la caracterización de los exámenes, se determinó la correspondencia entre el fondo de tiempo de los contenidos de las rotaciones y su exploración en preguntas del examen y se exploraron los indicadores de calidad de los instrumentos.
Al evaluar los indicadores de calidad de los instrumentos se calculó el Índice de dificultad, se evaluó la determinación de los intervalos para la clasificación de las preguntas según su Índice de dificultad, la distribución de preguntas según el Índice de dificultad pronóstico y el obtenido en el examen, el Índice de dificultad estimado para las preguntas y el examen, el coeficiente de Correlación del punto biserial (rpbis) preguntas y la confiabilidad de preguntas de los exámenes. ]]>
Como procedimientos estadísticos generales se utilizaron el análisis de frecuencias simple y la prueba de correlación de rangos de Spearman.
RESULTADOS Y DISCUSIÓN
Caracterización de los exámenes
Estuvo conformado por 40 preguntas, se exploraron las rotaciones de Enfermería Ginecobstétrica, Pediátrica, Médico-Quirúrgico y Familiar y Social.
Los tipos de preguntas empleados se muestran a continuación:
Correspondencia entre el fondo de tiempo de los contenidos de las rotaciones y su exploración en preguntas del examen
La correspondencia del tiempo dedicado según el plan calendario (P1) de la asignatura a cada rotación y la cantidad de preguntas que exploran estos contenidos en el examen, se muestran en la tabla 1.
Las rotaciones de Enfermería Ginecobstétrica, Enfermería Pediátrica y Enfermería Médico- Quirúrgica tiene un fondo de tiempo de 458 horas que representan el 24,75 %, a la rotación de Enfermería Familiar y Social se le asignaron 476 horas (25,72 %).
Los resultados de esta tabla expresan que no existe correspondencia entre el fondo de tiempo asignado para cada rotación y las preguntas elaboradas.
Los autores coinciden con Díaz Rojas5 cuando plantea que debe encontrarse una proporción adecuada de preguntas en función del tiempo que se le asignó al tratamiento del contenido.
La rotación de Enfermería Médico-Quirúrgica tuvo mayor cantidad de preguntas (35 %) seguida de Enfermería Ginecobstétrica (27,5 %) Enfermería Pediátrica (20 %) y Enfermería Familiar y Social (17,5 %).
Se constató y así se manifiesta en la tabla que el índice de dificultad del examen fue de 0,86, por lo que se considera un examen medianamente fácil. ]]>
Tuvieron mayores dificultades las rotaciones de Enfermería Médico-Quirúrgica y Enfermería Ginecobstétrica con valores de 0,76.Indicadores de calidad de los instrumentos. Índice de dificultad. Determinación de los intervalos para la clasificación de las preguntas según su Índice de dificultad.
Los resultados de la entrevista a especialistas a partir de su información brindada permitieron clasificar el índice de dificultad por consenso, que debe caracterizar las preguntas del examen que quedó de la siguiente forma:
Además atendiendo a la clasificación de los tipos de preguntas, se constató que predominaron las de complemento simple y las de asociación. ]]>
Distribución de las preguntas según el Índice de dificultad pronóstico y el obtenido en el examenEn la tabla 2 se refleja la distribución de las preguntas esperadas y observadas según su grado de dificultad de acuerdo a la escala establecida por el criterio de especialistas.
El comportamiento difiere en el porcentaje de las preguntas esperadas y las reales. Hubo predominio de las preguntas clasificadas como fáciles (62,5 %).
Ya se había hecho referencia al hecho de que el examen tuvo una dificultad de 0,86, lo que está en relación con la cantidad de preguntas fáciles y difíciles que están presentes. Aumentan significativamente las preguntas fáciles (62,5 %) y disminuyen las preguntas difíciles (2,5 %).
El índice de dificultad es un indicador que mide validez8. No se tuvo en cuenta el Índice de dificultad esperado en la planeación de las preguntas del examen. El predominio de preguntas fáciles puede estar influenciado por la disminución del grado de complejidad en la elaboración de estas por parte de los docentes o en una mejor preparación de los estudiantes que repercute en mejores resultados.
La clasificación de las preguntas según rotaciones del programa y comportamiento del Índice de dificultad se muestran en la tabla 3.
En el examen del curso 2012-2013, de las 40 preguntas confeccionadas la rotación de Enfermería Médico-Quirúrgica tiene una mayor representación (35,0 %), los autores consideran válido destacar que aporta el mayor número de preguntas difíciles (22,5 %).
Las preguntas relacionadas con la rotación de Enfermería Familiar y Social son las de menor dificultad, porque tienen menor representación (17,5 %). En este curso el porciento general de preguntas fáciles es del 15 %.
Determinación de la correlación del punto biserial (rpbis) por preguntas ]]>
Al analizar los resultados obtenidos de la agrupación de las preguntas según curso escolar, a partir de la discriminación, se destacó que 50 % discrimina pobremente; 27,5 % discrimina regularmente; tiene buen poder discriminativo el 15 %; 5 % discrimina excelente, y solo 2,5 % discrimina de forma negativa.Este aspecto es necesario tomarlo en consideración, ya que si el 50 % discrimina pobremente, trae por consecuencia que el examen no diferencia entre el desempeño de estudiantes muy buenos, buenos y regulares, aspecto que afecta no solo el rendimiento sino también el carácter educativo de la evaluación.
Determinación de la confiabilidad de preguntas de los exámenes
Los resultados del coeficiente alfa de Cronbach por grupos de preguntas y para el examen mostraron que este último tiene una coherencia interna de 072, con confiabilidad aceptable, resultado similar a los establecidos por la Comisión Nacional de Evaluación de la Competencia y el Desempeño del Ministerio de Salud Pública que propone valores superiores a 0.609.
González et al10 analizan la validez del instrumento Course Experience Questionnaire (CEQ) y Gargallo et al11 elaboran y validan un cuestionario de evaluación de estrategias de aprendizaje a partir de los tipos de preguntas. En el caso que se presenta en esta investigación, los resultados son bastante similares a los encontrados por este grupo de autores, se aprecia que las preguntas de asociación (á = 0,59), de complemento simple (á = 0,64) y de selección múltiple (á = 0,54) aportan consistencia interna al examen, pues al eliminarla, el coeficiente alfa de Cronbach del examen disminuye. Las preguntas de ensayo corto (á = 0,74), verdadero y falso (á = 0,73) y complemento agrupado (á = 0,74) no aportan consistencia interna al examen, al eliminarlas el coeficiente del examen aumenta.
CONCLUSIONES
No existe correspondencia entre el fondo de tiempo asignado para cada rotación y las preguntas elaboradas, prevalecieron las preguntas fáciles. La rotación de Enfermería Médico-Quirúrgico tuvo una mayor cantidad de preguntas en el examen, el cual fue clasificado como medianamente fácil. Predominaron las preguntas con discriminación pobre, a predominio de la rotación Enfermería Médico-Quirúrgica, con mayor número de preguntas y mayor dificultad. El examen tiene coherencia interna y demuestra que su confiabilidad es aceptable.
REFERENCIAS BIBLIOGRÁFICAS ]]>
1. Zacarias Osorio R. Metodología para la evaluación de la calidad del aprendizaje en la asignatura Enfermería Pediátrica y Comunitaria de la Facultad de Enfermería "Arides Estévez Sánchez". [Tesis]. Universidad de Ciencias Médicas: Holguín; 2012.
2. Vélaz de Medrano C, Vaillant D. Aprendizaje y desarrollo profesional docente. España: OEI; 2009.
3. Carneiro R, Toscano JC, Díaz T. Los desafíos de las TIC para el cambio educativo. España: OEI; 2009.
4. Cabrera Diéguez L. Caracterización de las competencias laborales genéricas por los profesionales de enfermería y sus empleadores en relación con su preparación para el desempeño profesional. Municipio Holguín. 2012. [Tesis]. Universidad de Ciencias Médicas: Holguín; 2012.
5. Díaz Rojas PA, Leyva Sánchez E. Metodología para determinar la calidad de los instrumentos de evaluación. Educ Med Super [Internet]. 2013 [citado 20 Jun 2015];27(2):[aprox. 16 p.]. Disponible en: http://scielo.sld.cu/scielo.php?script=sci_arttext&pid=S0864-21412013000200014&lng=es
6. Suárez Fuentes RR. Programa de la asignatura práctica preprofesional. Carrera: Licenciatura en Enfermería. Plan de Estudio D. Disciplina Enfermería. La Habana: Ministerio de Educación Superior; 2010.
7. Ministerio de Educación Superior. Resolución No. 210/07. Reglamento para el Trabajo Docente y Metodológico. La Habana: MINSAP; 2007.
8. Sánchez Hernández E, Medina Pavón M, Rodríguez García M, Vega Van Der Meer L, de la Torre Vega G. Indicadores de calidad para un examen teórico de la especialidad de medicina general integral. MEDISAN [Internet]. 2015 [citado 15 Jun 2015];19(2):[aprox. 7 p.]. Disponible en: http://scielo.sld.cu/scielo.php?script=sci_arttext&pid=S1029-30192015000200002&lng=es
9. Soler Cárdenas SF, Soler Pons L. Usos del coeficiente alfa de Cronbach en el análisis de instrumentos escritos. Rev Med Electrón [Internet]. 2012 [citado 12 Jun 2014];34(1):[aprox. 6 p.]. Disponible en: http://scielo.sld.cu/scielo.php?script=sci_arttext&pid=S1684-18242012000100001&lng=es
10. González C, Montenegro H, López L. Análisis de confiabilidad y de validez del instrumento Course Experience Questionnaire (CEQ). Educ Educ [Internet]. 2012 [citado 15 Jun 2014];15(1):[aprox. 14 p.]. Disponible en: http://educacionyeducadores.unisabana.edu.co/index.php/eye/article/view/1903/2714
11. Gargallo B, Suárez Rodríguez JM, Pérez Pérez C. El cuestionario CEVEAPEU. Un instrumento para la evaluación de las estrategias de aprendizaje de los estudiantes universitarios. RELIEVE [Internet]. 2009 [citado 12 Jun 2014];15(2):[aprox. 20 p.]. Disponible en: http://www.uv.es/RELIEVE/v15n2/RELIEVEv15n2_5.htm
Recibido: 9 de febrero de 2015. ]]> Aprobado: 22 de noviembre de 2015.
Dayami Quiñones Gutiérrez. Universidad de Ciencias Médicas de Holguín. Cuba. Correo electrónico: dayamiq@enfer.hlg.sld.cu ]]>