ARTÍCULO DE POSICIÓN O ENSAYO
Enfermedades de la evaluación
Diseases of the evaluation
Dr. C. Miguel Ángel Blanco Aspiazú,I Dr. Tomás Lázaro Rodríguez Collar,I Lic. Odalys Blanco Aspiazú,II Dr. Lázaro Hernández DíazIII
]]>
I Hospital Militar Central "Carlos J. Finlay". La Habana, Cuba.
II Instituto de Ciencias Básicas y Preclínicas "Victoria de Girón". La Habana, Cuba.
III Escuela Nacional de Salud Pública. La Habana, Cuba.
RESUMEN
Introducción: los desajustes de la evaluación son frecuentes en la práctica docente y las publicaciones suelen referirse a lo considerado como normal.
Objetivo: ofrecer opiniones como punto de partida para reflexiones en los colectivos docentes como parte del trabajo metodológico.
Métodos: se parte del análisis individual de la secuencia del proceso evaluativo y se enriquece con la revisión de la literatura y discusión grupal.
Resultados: se refieren desajustes asociados a la selección de contenidos, elaboración y aplicación de los instrumentos de evaluación, calificación, retroalimentación y reinicio del proceso. ]]>
Conclusiones: aunque se prioriza el aprendizaje, las enfermedades de la evaluación pueden impactar en el éxito de este. El enfoque nosológico aportado es un recurso expresivo para destacar la importancia del proceso evaluativo y establecer puntos de mira para la reflexión.
Palabras clave: evaluación.
ABSTRACT
Introduction: Imbalances of evaluation are frequent in the teaching practice and the publications considered this issue as normal.
Objective: To provide several opinions as a starting point for further reflections on the part of the teaching staff, as part of the methodological work.
Methods: Individual analysis of the sequence of the evaluation process, as a basis, reinforced with the literature review and the group discussion.
Results: Imbalances associated to the selection of contents, the wording and application of evaluation, the grading and feedback instruments and the restart of the process.
Conclusions: Although learning is given priority, the imbalances in the evaluation may hinder the success of this process. The offered nosological approach is an expressive resource to underline the importance of the evaluation process and to set some targets for reflection.
Keywords: evaluation.
INTRODUCCIÓN
La evaluación consiste en emitir un juicio de valor sobre la calidad con que se logran determinados objetivos. Es el único componente no personal del proceso docente educativo que tiene carácter procesal, característica que lo distingue de las formas de organización de la enseñanza, los métodos, los objetivos, los contenidos y los medios.
Si consideramos la falta de aprendizaje como la muerte académica de un estudiante, es posible asumir que, entre las enfermedades que pueden conducirlo a no aprender lo suficiente, están las de la evaluación.
Aunque existen publicaciones nacionales que abordan lo que puede considerarse normal o saludable,1,2 los autores consideran oportuno hacer referencia a desajustes que afectan este proceso y que pueden ser punto de partida para reflexión en colectivos docentes como parte del trabajo metodológico. ]]>
MÉTODOS
Para esta investigación, de corte cualitativo, se cumplió la siguiente secuencia de tareas:
1. Análisis ordenado individual, por cada autor, de la secuencia propuesta por la Licenciada Miriam González Pérez para un ciclo evaluativo.3
- Establecimiento de los objetivos.
- Delimitación y caracterización del contenido a evaluar.
- Elaboración de los instrumentos para la recogida de información.
- Aplicación de los instrumentos.
- Procesamiento y análisis de dicha información.
]]> - Interpretación y expresión en un juicio evaluativo.- Retroinformación y toma de decisiones derivadas de él.
- Aplicación de las decisiones y valoración de sus resultados.
- Recircular en un ciclo ascendente y progresivo.
2. Discusión grupal y registro de las ideas en cada paso.
3. Enriquecimiento de las opiniones con revisión de literatura obtenida por vías formales e informales, sobre la evaluación del aprendizaje.
DESARROLLO
- Establecimiento de los objetivos. ]]>
- Delimitación y caracterización del contenido a evaluar.Se tomaron estos dos pasos en conjunto por la estrecha relación entre objetivos de aprendizaje y contenidos a evaluar.
La evaluación se relaciona con el resto de los componentes del proceso docente y, en la medida que esta relación sea más coherente, mayor será el carácter sistémico de la evaluación.
La definición de lo que implica evaluar atendiendo a objetivos de aprendizaje requiere partir de la estructura de estos. En su enunciado el objetivo incluye como elementos: la habilidad, el conocimiento, el nivel de generalidad, de asimilación y las condiciones de estudio.
El conocimiento, definido en el objetivo, es precisamente el que debe ser objeto de evaluación. Los programas de asignatura traen definidos los contenidos, sin embargo, todos no tienen igual pertinencia. Los criterios de selección del contenido a evaluar son diversos. Una enfermedad de la evaluación sería la elección de contenidos que no sean los más pertinentes.
El criterio más importante es la vinculación a problemas de salud. Los contenidos que representan los problemas de salud más graves, más frecuentes, de mayor valor causal respecto a otros problemas de salud y que, por demás, está en manos del futuro médico de atención primaria afrontarlos con acciones de prevención, curación y de ser necesario rehabilitación, son los contenidos más pertinentes. Por ejemplo, en propedéutica clínica los contenidos asociados a las enfermedades cerebrovasculares son de alta pertinencia. En urología el relacionado con hiperplasia prostática. ]]>
Otro criterio que sigue al anterior en la definición del contenido a evaluar, es su ubicación en la zona de desarrollo próximo. Este concepto puede aplicarse tanto a individuos como a colectivos, y se utiliza en sentidos diferentes según se trate evaluación frecuente, parcial o final.
Las evaluaciones frecuentes realizadas a cada estudiante halan al estudiante con preguntas de niveles de asimilación y generalidad crecientes, para ello es imprescindible que el profesor cuente con un diagnóstico de cada estudiante.
Una evaluación parcial es colectiva y si el docente a través de evaluaciones frecuentes, identifica contenidos vencidos por todos sus estudiantes no es necesario comprobar su dominio en un examen parcial, pues estos cumplen una función principalmente formativa. Vale más seleccionar contenidos ubicados en la zona de desarrollo próximo grupal, es decir, aquel que es de dominio parcial por el colectivo de estudiantes. Por otra parte ese contenido que el profesor conoce, que por razones diversas, no es dominado por todo el colectivo de estudiantes no debe ser objeto de evaluación, sino de aprendizaje. Valga reiterar que se prioriza el aprendizaje y por ende la evaluación formativa.2 Estas inferencias sobre ubicación de contenido se reflejan en el cuadro. Entiéndase que se basa en los resultados de evaluaciones frecuentes y la observación aguda del profesor, además tiene evidentemente un componente subjetivo inevitable. Por tanto lo importante es comprender la idea.
Este criterio de selección de contenido para un examen parcial siempre será hipotético, pero se puede comprobar a posteriori mediante el análisis del poder discriminante de las preguntas.4
Otra situación es el examen final cuya función es certificativa, más que formativa y la selección del contenido responde a objetivos generales de la asignatura, no a su ubicación en zona de desarrollo próximo. En este examen es donde adquieren mayor importancia las preguntas problémicas para integrar conocimientos.
]]>
Es posible y frecuente que exista contenido relevante que no se aborda en una evaluación parcial y puede retomarse en el trabajo de control siguiente, integrándolo al contenido propio de este último a través de diagnóstico diferencial. En este sentido se asume el principio de solidez del conocimiento. Por ejemplo, la disnea y el edema que pueden ser producidos por varios síndromes ubicados en temas diferentes y pueden abordarse con preguntas sobre diferencias entre el edema de origen cardiovascular y renal o disnea, debida al síndrome de asma bronquial y de insuficiencia cardiaca izquierda.
Otro criterio de selección de contenido es su vivencia práctica durante la educación en el trabajo, lo que implica vinculación cognitivo afectiva y en alguna medida, formación del criterio de que la disciplina y el estudio a partir de vivencias prácticas son importantes para el estudiante. En este sentido un síndrome abordado en una discusión de caso colectiva puede ser objeto de evaluación.
La evaluación limitada a aspectos cognitivos, es sin lugar a dudas incompleta. Habilidades, pero también cualidades éticas y morales, forman parte de contenidos importantes a evaluar. La esfera volitivo afectiva, en particular valores, es difícil de evaluar pero no imposible. Exige una amplia interacción del profesor con sus estudiantes.
- Elaboración de los instrumentos para la recogida de información
Otra enfermedad de la evaluación consiste en no evaluar con el formato que exige la habilidad y nivel de asimilación (familiarización, reproducción, aplicación o creativo) que el objetivo de aprendizaje expresa. Esta entidad se puede denominar formato de examen incoherente con el objetivo.
Por ejemplo, un objetivo como: argumentar la necesidad de estudios complementarios en pacientes con síndrome de inflamación articular, propone la acción de argumentar, en la cual se manifiestan muchos procedimientos lógicos del pensamiento, tales como análisis y síntesis, deducción e inducción, abstracción y concreción. Por tanto siempre sería un ejercicio teórico por su contenido y no es imprescindible el recurso paciente; es suficiente un examen teórico con caso problémico. ]]>
Otro objetivo como demostrar el dominio del procedimiento auscultación del área cardiaca central, no se puede explorar con examen escrito, sino con un paciente. La pretensión de dejar esto en el plano de la teoría no satisface a la práctica como criterio de la verdad.
En el caso de la evaluación de los valores y actitudes se pueden aplicar cuestionarios a colegas de trabajo o estudio a pacientes o autoaplicados,5 o mejor aún, observar la actitud diaria del estudiante en la interacción con su profesor en actividades curriculares y extracurriculares, durante las cuales se lleva registro de participación y disciplina. En las actividades docentes del día a día se evidencian actitudes como la solidaridad, el humanismo, la ayuda a compañeros en desventaja, la disposición para el trabajo grupal. El propio acto de discusión del examen con el estudiante es una oportunidad para valorar aspectos como la autocrítica, la autosuficiencia, en particular si se aplica autoevaluación.6
- Aplicación de los instrumentos
Se trata de la ejecución del examen sea teórico o práctico, ambos muy bien normados por lo que, en este caso, la enfermedad más relevante es el fraude muchas veces facilitado por descuidos desde el diseño del instrumento de evaluación escrito, su custodia y la propia ejecución del examen. Puede considerarse al fraude como consecuencia de otras enfermedades que lo preceden y se agrupan como descuidos del profesor.
- Procesamiento y análisis de dicha información.
La enfermedad aquí es el efecto del halo que expresa la influencia en la relación profesor-estudiantes, de factores ajenos a ella, en la calificación del examen. Para esto se ha sugerido evaluar inicialmente todas las primeras preguntas, luego todas las segundas y así sucesivamente, siempre ocultando el nombre del alumno, aunque la letra puede hacer esto inevitable. Otra opción es la evaluación por otros docentes. Realmente si se aplica con rigor una clave bien elaborada esta enfermedad no aparece. ]]>
- Interpretación y expresión en un juicio evaluativo.
El igualitarismo en la valoración del contenido se refiere a darle igual valor en la clave de evaluación, a contenidos de relevancia diferente. Esto se debe resolver al elaborar la clave, pues la tabla de decisiones, tal y como está normada, es necesariamente esquemática.
La clave evaluativa busca que el profesor evalúe bajo iguales criterios a cada estudiante pues existen exigencias posteriores en términos de promedios o índices académicos. La clave debe ser objetiva y por tanto concreta, no abierta, no ambigua. Debe corresponder con la pregunta en cuanto a contenido y a la acción solicitada, en este sentido utilizar iguales verbos. Explicar, argumentar, mencionar, describir y otras. Su enfermedad correspondiente es clave evaluativa mal elaborada.
La clave no tiene que ser un documento secreto fuera del alcance del estudiante una vez concluido el examen. No hay razones morales, ni legales para esa actitud. La clave es parte del instrumento de evaluación. Una posible causa del ocultamiento de las claves evaluativas a un estudiante, es el abuso de poder a través de la evaluación, aunque este tiene variadas formas. Si a pesar de que esta ha sido revisada por encumbrados profesores o metodólogos, en el momento de la retroalimentación del estudiante se detecta algún defecto real de la clave, hay que reconocer el error y mostrar la modestia, honradez y justicia necesarias. Esto hace crecer la imagen del docente ante el estudiante. Por tanto, en tal caso, la enfermedad más importante no es la clave mal elaborada, sino el abuso del poder.
- Retroinformación y toma de decisiones derivadas de él.
Ausencia de retroalimentación. La evaluación que no retroalimente a cada uno de los componentes del proceso docente no cumple su función formativa. Si se parte de las funciones de la evaluación se debe considerar que no solo se evalúa al educando, también el profesor y el proceso docente. ]]>
El profesor se graduó, pero se evalúa cada día a partir de los resultados de sus estudiantes. Sin dejar de reconocer el valor del estudiante en los resultados, como fundamental, los malos resultados evaluativos de un colectivo pueden reflejar también el mal desempeño del profesor. Un ejemplo hipotético de resultados negativos en 15 estudiantes de 16, obliga a buscar la causa de este signo para, una vez hecho el diagnóstico, resolver sus causas. Los posibles diagnósticos se ubicarían en un proceso docente mal ejecutado (no mal diseñado), un instrumento de evaluación mal confeccionado, problemas de los docentes y, en último lugar, problemas de los estudiantes. Lo esperado es la combinación de causas.
- Aplicación de las decisiones y valoración de sus resultados.
En la reunión de la asignatura, siguiente a la ejecución de un examen, se deben tomar decisiones derivadas de la retroalimentación acerca de cada uno de los componentes del proceso docente relacionados con los malos o buenos resultados. Se definen acciones, responsables y el plazo de ejecución. A esto se le debe dar el seguimiento con la frecuencia necesaria. La enfermedad consiste en no concreción de la retroalimentación.
- Recircular en un ciclo ascendente y progresivo.
En este paso que vemos como reinicio y enlace de ciclos, se manifiesta también el carácter de proceso de la evaluación y puede verse desde varias perspectivas.
Desde el exterior de una unidad curricular se distinguen la evaluación preliminar, del proceso y la diferida. ]]>
La evaluación preliminar tiene dos variantes, evaluación de admisión y de diagnóstico.
La de admisión es un paso crítico que en el caso de ciencias médicas incluye exámenes de ingreso y entrevistas. Estos exámenes adolecen de lo que ya denominamos elección de contenidos poco pertinentes, en este caso para las carreras de ciencias médicas.7 Sin embargo, el problema de selección de contenido en este caso tiene que ver con ser un examen común a muchas carreras y con que el contenido relacionado con las de ciencias médicas en la enseñanza preuniversitaria es insuficiente.8
Existe, sin embargo, una evaluación de carácter diagnóstico que debe realizarse. No siempre la evaluación tiene que consistir en un examen escrito, las primeras actividades docentes permiten obtener este tipo de información, aunque no sea estrictamente preliminar. La evaluación diagnóstica ayuda a planificar el proceso docente. La evaluación diagnóstica no se limita a aspectos cognitivos, sino que debe incluir otras estructuras sicológicas como la motivación del estudiante respecto a la asignatura y la carrera en general, su estrategia de aprendizaje, sus potencialidades físicas y síquicas para enfrentar la nueva asignatura.3 En tal sentido los proyectos de trabajo educativo a nivel de brigada parten de estas informaciones. Una enfermedad del proceso evaluativo relacionada con este aspecto es la ausencia o mala evaluación diagnóstica.
La evaluación del proceso puede ser formativa y certificativa, que veremos más adelante.
La evaluación diferida se puede realizar después de concluida la asignatura, y permite ver qué se ha retenido o enriquecido con asignaturas posteriores. Puede tener fines investigativos, por ejemplo comparar dos diseños curriculares en pregrado, o la competencia en posgrado.9 El intervalo de tiempo impone sesgos en tal tipo de evaluación, además de los que dependan de los instrumentos evaluativos utilizados. ]]>
Ya desde el interior del propio proceso docente de una asignatura se distinguen la evaluación formativa y la certificativa. La primera incluye las evaluaciones frecuentes y parciales y la certificativa es la evaluación final.
Las evaluaciones frecuentes permiten diagnosticar cómo marcha el proceso y en consecuencia retroalimentar la actividad del docente en función de enfatizar determinadas áreas que son diferentes para cada estudiante, pues cada uno tiene un ritmo de aprendizaje diferente y particularidades en la forma de adquirir el conocimiento. Por otro lado educan al compulsar al estudiante a estudiar por compromiso moral en su grupo. La evaluación frecuente exige un patrón de evaluación adaptado como un traje a la medida a cada estudiante, integrando lo cognitivo y afectivo a nivel individual. Pueden expresar enfermedad los excesos y defectos en la frecuencia e intervalo de las evaluaciones. Los excesos agotan y los defectos no informan ni compulsan a estudiar. Una enfermedad derivada de pocas evaluaciones frecuentes es el finalismo y con él, el estrés.
El estrés del estudiante asociado a la evaluación se da en tres momentos principales, tal como destacan Román Collazo y otros10 durante la preparación para la evaluación, especialmente cuando se asocia a finalismo, durante el propio examen, más si es práctico, y cuando van a conocer su calificación.
Las evaluaciones parciales también tienen carácter formativo pero reúnen más contenido. Muchas enfermedades mencionadas se le asocian.
La evaluación final difiere de las frecuentes y parciales en que su propósito fundamental es certificar el aprendizaje alcanzado al terminar la asignatura, aunque cumple también el resto de las funciones. La selección de contenidos que no responden a los objetivos generales de la asignatura es una enfermedad propia de este tipo de evaluación. Pero interesa más destacar en este momento como enfermedad a la evaluación final mecanicista por desconocer o desatender la evaluación por tendencias11 y las ventajas y desventajas de diferentes formatos de examen.
]]>
Evaluar por tendencias implica ver la evolución del estudiante y no el cálculo del promedio de sus calificaciones. Cada estudiante requiere ver su evaluación en comparación con el resto de su grupo, pero fundamentalmente compararlo con el mismo. Una calificación final no puede descansar solo en los resultados de un examen que tiene lugar un día. Un ejemplo ilustrativo es un examen práctico en el que influyen las características del paciente, las características del profesor y la situación psicológica ese día, del evaluado. Son múltiples los factores temporales y permanentes, específicos y generales, que influyen en una evaluación.12
Los exámenes finales pueden ser teóricos, prácticos o mixtos. En el caso particular del examen práctico clínico puede asumirse el formato del examen clínico tradicional, el examen clínico estructurado por objetivo o el mini examen clínico. Las ventajas y desventajas de los dos primeros son más conocidas en nuestro medio,13 por lo que solo se destaca el formato de miniexamen clínico14 por su utilidad para evaluar por tendencias.
El miniexamen clínico se caracteriza por no consistir en un solo acto evaluativo, sino en varios que se van realizando a lo largo de una unidad curricular, por ejemplo, Propedéutica o Medicina Interna en pregrado o el año de la especialidad Medicina Interna en posgrado. Se realizan durante las propias actividades de educación en el trabajo, abordando secuencialmente varios aspectos prácticos que completan el todo. Cada acto evaluativo termina con calificación y retroalimentación, de manera que se vincula la evaluación formativa y se evita ofrecer la calificación final solo sobre la base del último acto evaluativo práctico.
Una secuencia de aspectos a evaluar en posgrado es:
- Entrevista médica.
- Examen físico.
]]> - Cualidades humanísticas.- Juicio clínico.
- Consejo médico.
- Organización y eficiencia.
- Competencia general.
CONCLUSIONES
Aunque evaluar no es más importante que el propio aprendizaje, sin duda la evaluación ocupa un lugar relevante dentro de la didáctica, y puede impactar en la mortalidad en el plano académico (no aprender). Las enfermedades mencionadas en este artículo reflejan vivencias de los autores y, seguramente, de los lectores. Este enfoque nosológico es solo un recurso expresivo para destacar la importancia del proceso evaluativo, y un punto de mira para la reflexión en colectivos de asignatura y departamentos docentes.
REFERENCIAS BIBLIOGRÁFICAS ]]>
1. Salas Perea RS. Educación en salud. Competencia y desempeño profesionales. La Habana: Editorial Ciencias Médicas; 1999.
2. Borroto Cruz R, Salas Perea Ramón S. El reto por la calidad y la pertinencia: la evaluación desde una visión cubana. Educ Med Super [revista en la Internet]. 1999 Jun [citado 26 Feb 2012];13(1):70-9. Disponible en: http://scielo.sld.cu/scielo.php?script=sci_arttext&pid=S0864-21411999000100011&lng=es
3. González Pérez, Miriam. La evaluación del aprendizaje: tendencias y reflexión crítica. Educ Med Super. 2001;15(1):85-96.
4. Carrazana Lee A, Salas Perea RS, Ruiz Salvador AK. Nivel de dificultad y poder de discriminación del examen diagnóstico de la asignatura Morfofisiología Humana I. Educ Med Super [revista en la Internet]. 2011 Mar [citado 26 Feb 2012 ];25(1):103-14. Disponible en: http://scielo.sld.cu/scielo.php?script=sci_arttext&pid=S0864-21412011000100010&lng=es
5. Sugar LM, Catton PA, Tellett SE, Rothman AI. Assesment of resident's professional attitudes and behaviors. Annals RSPSC. 2000;33(5):305-9.
6. Ríos Muñoz Daniel E. Sentido, criterios y utilidades de la evaluación del aprendizaje basado en problemas. Educ Med Super [revista en la Internet]. 2007 Sep [citado 27 Feb 2012];21(3). Disponible en: http://scielo.sld.cu/scielo.php?script=sci_arttext&pid=S0864-21412007000300004&lng=es
7. Pérez Valdivia J, Dorrego Silva A, Martínez Hernández LR, Carrete Aties D, Rosales Quintana D. Vías de ingreso y nivel de preparación de estudiantes que optan por carreras de ciencias médicas. Rev Ciencias Médicas [revista en la Internet]. 2007 Dic [citado 09 Mar 2012];11(5):190-5. Disponible en: http://scielo.sld.cu/scielo.php?script=sci_arttext&pid=S1561-31942007000500018&lng=es
8. Pérez Valdivia J, Martínez Hernaed R, González López I, Padrón Navales CI, Mújica Pérez P. Pertinencia de la preparación preuniversitaria en la asignatura Biología de los estudiantes que optan por carreras de ciencias médicas. Rev Ciencias Médicas [revista en la Internet]. 2005 Dic [citado 09 Mar 2012 ];9(4):44-56. Disponible en: http://scielo.sld.cu/scielo.php?script=sci_arttext&pid=S1561-31942005000400007&lng=es
]]>
9. Perdomo Victoria I, Caraballoso Hernández M, Durañones Rodríguez L. Evaluación de la competencia profesional de los especialistas de higiene y epidemiología. Educ Med Super [revista en la Internet]. 2003 Jun [citado 27 Feb 2012];17(2). Disponible en: http://scielo.sld.cu/scielo.php?script=sci_arttext&pid=S0864-21412003000200004&lng=es
10. Román Collazo CA, Hernández Rodríguez Y, Ortiz Rodríguez F. La evaluación del aprendizaje como evento estresante mayor del proceso enseñanza aprendizaje en una universidad médica. 2010;5(1):22-8.
11. Parra Vigo IB. Modelo didáctico para contribuir a la dirección del desarrollo de la competencia didáctica profesional de la educación en formación inicial [tesis doctoral]. La Habana: Instituto Superior Pedagógico Enrique José Varona (ISPEJV); 2002.
12. Crombach L. Test reliability: Its meaning and determination. Psychometrika. 1947;12:1-16. ]]>
13. Tapia Villanueva RM, Núñez Tapia RM, Salas Perea RS, Rodríguez-Orozco AR. El examen clínico objetivo estructurado como herramienta para la evaluación de competencias clínicas del internadode pregrado. Educ Med Super [revista en la Internet]. 2008 Mar [citado 26 Feb 2012];22(1). Disponible en: http://scielo.sld.cu/scielo.php?script=sci_arttext&pid=S0864-21412008000100005&lng=es
14. Norcini JJ, Blank LL, Duffy FD, Fortna GS. The Mini-CEX: A Method for Assessing Clinical Skills. Ann Intern Med. 2003;138(6):476-81.
Recibido: 20 de noviembre de 2012.
Aprobado: 4 de diciembre de 2012. ]]>
Miguel Ángel Blanco Aspiazú. Facultad de Ciencias Médicas Finlay Albarrán. Hospital Militar Central "Carlos J. Finlay". La Habana, Cuba. Correo electrónico: aspiazu@infomed.sld.cu ]]>
