Preguntas de emparejamiento ampliado como herramienta de evaluación y recurso didáctico

Extended matching questions as an assessment tool and a didactic resource

Dr. C. Arturo Teodoro Menéndez Cabeza; M. Sc. Dary Puertas Quiroga

Universidad de Ciencias Médicas de Camagüey. Camagüey, Cuba.

RESUMEN

DeCS: PREGUNTAS DE EXÁMENES; EVALUACIÓN; EDUCACIÓN MÉDICA; ENCUESTAS Y CUESTIONARIOS; LITERATURA DE REVISIÓN COMO ASUNTO.

ABSTRACT

Background: higher medical education needs the utilization of assessment tools and didactical resources that promote logical reasoning in students. In the publication on assessment of the National Board of Medical Examiners of United States there is a whole section devoted to extended matching questions. There is no available information in Cuban scientific publications regarding the use of this modality in higher medical education.
Objective: to describe the characteristics of extended matching questions as an assessment tool and a didactic resource  to develop logical reasoning in medical sciences students.
Methods: narrative review on extended matching questions in undergraduate and graduate medical education. A search was carried out in the data bases PubMed/Medline, PubMed Central and Google Academic using as descriptors extended matching question and extended matching item, and also with the same terms in Spanish in SciELO Cuba, SciELO Regional and in Redined, a data base of the Ministry of Education and Culture of Spain. ]]> Development: the definition, structure, requisites, attributes and applications of this modality of objective test questions in medical sciences are described. There is agreement in their usefulness for clinical subjects’ assessments. They are widely used in medical sciences education, undergraduate and graduate, in Anglophone countries. An analysis of their disadvantages and advantages is carried out. Among the first, the poor or null experience of faculty and the complexity and time demanded in their construction, and among the second, mainly that they require and promote logical reasoning of the students. Quality assurance in their design is emphasized.
Conclusions: extended matching questions attributes point to their usefulness as an assessment tool and as a didactic resource to promote logical reasoning in medical sciences undergraduate and graduate students.

DeCS: EXAMINATION QUESTIONS; EVALUATION; EDUCATION, MEDICAL; SURVEYS AND QUESTIONNAIRES; REVIEW LITERATURE AS TOPIC.

INTRODUCCIÓN

En las carreras de Ciencias Médicas la evaluación del aprendizaje es una práctica continua como componente esencial del proceso de enseñanza-aprendizaje. Cumple las bien conocidas funciones de retroalimentación, comprobación y control, certificación e instructiva y educativa. ¹

Según Martínez Carretero JM, ² para evaluar las competencias de un profesional en formación, los instrumentos a utilizar deben ser variados, ya que ningún método de evaluación, por sí solo, es capaz de proporcionar toda la información necesaria para juzgar la competencia o el alcance de los objetivos instructivos.

En universidades e instituciones profesionales y certificativas de muchos países, de manera fundamental los anglófonos desarrollados, se utilizan de manera amplia las preguntas de respuesta estructurada o tipo test objetivo, entre ellas las de emparejamiento ampliado. ^3-6

Es reconocida la necesidad de contar con diversas modalidades de métodos, técnicas y procedimientos que permitan una evaluación más integral de los educandos y que al mismo tiempo contribuyan a la promoción del razonamiento lógico y de las habilidades lógico-intelectuales de los futuros profesionales, de modo que se garanticen los propósitos de los programas formativos en relación con el encargo social de los mismos.

Con estos antecedentes y en base a experiencias docentes previas, se planteó describir las características de las preguntas de emparejamiento ampliado como herramienta evaluadora y recurso didáctico para el desarrollo del pensamiento lógico en estudiantes de Ciencias Médicas.

MÉTODOS

Se realizó una revisión bibliográfica no sistemática, la variante narrativa, sobre las preguntas de emparejamiento ampliado en pre y posgrado de las Ciencias Médicas. La búsqueda se ejecutó en la base de datos PubMed/Medline con los descriptores en inglés extended matching question y extended matching item, en SciELO Cuba y SciELO Regional con los mismos descriptores  traducidos al español (preguntas de emparejamiento ampliado o asociación ampliada). También en una base de datos más general como el Google Académico y en Redined, del Ministerio de Educación y Cultura de España, con los mismos términos en inglés y español.

Se seleccionaron artículos con acceso a texto completo, de revisión, documentos normativos universitarios y reportes de resultados de investigaciones educativas sobre estos tipos de preguntas publicados en los últimos 20 años. De PubMed/Medline se utilizaron 19 publicaciones, de SciELO Cuba uno, de SciELO Regional tres, de Redined uno, de Google Académico y Google tres de cada uno. Cuando en las publicaciones revisadas se encontró alguna referencia que pudiera brindar información interesante o importante sobre el tema se procedió a localizarla por medio de Google para aprovechar los vínculos que muchas publicaciones digitales ofrecen.

A partir de los elementos conceptuales revisados se tuvo en cuenta la necesidad de promover la utilización de variantes didácticas que permitan una mayor motivación y participación más activa del estudiante en su propio aprendizaje, que desarrollen en los mismos las habilidades intelectuales que van más allá de la reproducción, se describen las características de las preguntas de emparejamiento ampliado como herramienta evaluadora que contribuye a estimular el razonamiento lógico de los estudiantes durante la ejecución de diferentes formas organizativas docentes.

DESARROLLO

Las preguntas objeto de estudio son llamadas en inglés extended matching questions o extended matching items (EMQ o EMI). En español se conocen como preguntas de emparejamiento ampliado según la traducción del Manual de la Junta Nacional de Examinadores Médicos de Estados Unidos (National Board of Medical Examiners). ³ No obstante, parece adecuado denominarlas también como preguntas de asociación ampliada.

La diferencia con las de selección múltiple de complemento simple y agrupado radica en que, en este caso, se elaboran varios escenarios relacionados con un tema común y se ofrece al estudiante una lista de opciones, de la cual debe elegir la respuesta u opción correcta para cada uno de ellos. ^{4, 5}

Estructura
Tienen cuatro componentes: ^3-6
- Tema general.
- Lista de opciones.
- Oración introductoria.
- Dos o más enunciados.

El tema, solo uno, debe corresponderse con los objetivos y contenidos relevantes de la asignatura o disciplina y se deben seguir los mismos principios y requisitos de las preguntas de selección múltiple de complemento simple. En dependencia de la disciplina o área del conocimiento puede ser: una dolencia principal, una clase de medicamentos, un mecanismo fisiológico o fisiopatológico, una enfermedad o un síndrome, un síntoma/signo, una investigación de laboratorio o de otros medios diagnósticos, un diagnóstico, un tratamiento, etc.

La lista de opciones (de donde el estudiante debe seleccionar la respuesta) debe contener palabras únicas o frases muy breves, con número variable en dependencia del tema y los objetivos, ordenadas en orden alfabético, a menos que tengan un orden lógico de otra naturaleza (valores de variables de la química sanguínea, por ejemplo), con carácter homogéneo; pueden ser áreas marcadas en un gráfico, fotografía o imagen; las que involucran valores de laboratorio deben presentarse en forma tabular y las opciones irrelevantes, las distinciones sutiles y los diagnósticos poco comunes son inapropiados. No deben parecerse a un crucigrama, es importante que los ítems sean claros, no redactarlos de manera engañosa, debe haber una sola respuesta, la mejor opción para cada pregunta y tres a cuatro distractores razonables por cada respuesta.

En cuanto al número de opciones de donde el alumno debe seleccionar las respuestas, se aconseja seguir los mismos principios aplicados en las preguntas de selección múltiple de complemento simple. ^{3, 5} No obstante, debe tenerse en cuenta que se polemiza en cuanto al número adecuado de distractores en estas preguntas.

Se pueden plantear tres opciones, o sea la respuesta y dos distractores, lo que es suficiente sin afectar la validez y otros parámetros de la calidad, ¹⁴ y en otro trabajo encontrado se propone que cuatro opciones, o sea, la respuesta y tres distractores. ¹⁵ Con la información disponible es imposible ser conclusivo al respecto.

Lo importante es el trabajo serio del colectivo docente en la elaboración de los temarios, al tener en cuenta los principios didácticos, el papel rector de los objetivos ¹ e incluso el sentido común para evitar incluir distractores que hasta los estudiantes menos avanzados son capaces de identificarlos como absurdos, los llamados distractores no plausibles o no funcionales, para lo cual también se utiliza un parámetro o índice llamado eficiencia del distractor (distractor efficiency). ^16-18 En este sentido resultan interesantes los resultados de varios estudios en diferentes países, en los que se buscó la relación entre indicadores de calidad de las preguntas de selección múltiple en diferentes exámenes: Abdulghani HM, et al, ¹⁹ Tariq Saeed Mufti y Afshan Ahsan, 20 Rush BR, et al, ²¹ y Mehta, et al. ²²

En los cuatro estudios se encontró que las preguntas con mayor cantidad de distractores no funcionales tuvieron una fuerte influencia en el índice de dificultad, mientras más distractores no funcionales las preguntas de selección múltiple se respondieron con mayor facilidad. En el trabajo de Patil R, et al, ²³ sobre preguntas de selección múltiple de exámenes de asignaturas de la disciplina Medicina Comunitaria, todas con cuatro opciones, por lo tanto con tres distractores cada una, los autores encontraron que solo el 10 % de las mismas satisfacían los requerimientos ideales. Estos resultados subrayan la importancia del correcto diseño de las preguntas, en particular en el listado de opciones a seleccionar, siempre con una de las alternativas que es la respuesta (la opción correcta) y un número de distractores, dos a cuatro, funcionales.

La oración introductoria es una guía que aclara la pregunta que se presenta a los alumnos, determina la relación entre el enunciado y las opciones, por lo tanto, su redacción es esencial para que los que han sido evaluados, sepan lo que se les pregunta. ^{3, 5}

Los enunciados son los problemas o situaciones concretas para los que corresponde seleccionar la respuesta a partir del listado de opciones. Deben ser al menos dos, con una estructura y redacción similar dentro del mismo conjunto. Las viñetas de pacientes (planteamiento de un caso de un problema de salud individual, familiar, o de la comunidad) son ideales, y siempre hay que cerciorarse de que entre las opciones hay una sola respuesta o mejor opción. ^{3, 5, 6}

El contenido de cada viñeta puede ser: presentaciones prototípicas breves (para ciencias básicas o pre clínicas) o descripciones más completas y detalladas (clínicas). Por lo general se incluyen datos relevantes como la edad del paciente, el sexo, la dolencia principal y el lugar de atención médica, la historia clínica personal y los antecedentes familiares (si son relevantes), la información proveniente del examen físico y los datos de laboratorio y otros exámenes complementarios (a no ser que ser que se vaya a evaluar ese tópico, o sea, que el listado de opciones corresponde a exámenes de laboratorio a seleccionar por el estudiante). La descripción de cada paciente debe ser con estructura similar a las otras del conjunto. ^{3, 5-7}

Este tipo de preguntas ofrece una variante que puede enriquecer los cuestionarios que se aplican en los diferentes momentos evaluativos de las asignaturas de los planes de estudio de Ciencias Médicas. Al considerar sus atributos, las dificultades para su implementación y las ventajas que puede traer su utilización, el balance parece positivo. ]]> Los atributos de este tipo de preguntas, según Wilson y Case ⁴ se pueden resumir como sigue:

Atributo-Valoración
Aplicación del conocimiento-Bueno (mejor si se añade justificación de selección)
Valoración mental-Pobre a buena si se requiere la justificación
Cobertura de temas-Excelente
Confiabilidad de la calificación-Excelente
Facilidad de la calificación-Excelente
Tiempo para preparación-Moderado
Costo-Bajo (sobre todo para grandes cantidades de estudiantes)

Ventajas y desventajas ]]> Al consultar varios autores se pueden resumir las siguientes dificultades y ventajas. ^{3, 5, 7, 10}

Dificultades:
- Su confección es laboriosa.
- Poca experiencia de los docentes en la elaboración de preguntas de respuesta estructurada.
- No eliminan la posibilidad de adivinar.

Ventajas:
- Adecuadas para las preguntas con problemas reales o simulados.
- Formulación correcta que pueden promover el pensamiento lógico de los educandos. ]]> - Pueden combinarse con la justificación de la selección.
- Son de fácil calificación y evitan el subjetivismo en la misma.

En el trabajo de Eijsvogels TMH, et al, ²⁴ con estudiantes de Medicina y Ciencias Biomédicas, se concluye que las preguntas de selección múltiple son mejores para identificar estudiantes de resultados medios o bajos, mientras que las de asociación ampliada son superiores en cuanto a identificar estudiantes de excelencia.

Este tipo de preguntas parecen idóneas para las herramientas evaluativas de disciplinas clínicas y se enfatiza su doble función de evaluación y de promoción del razonamiento clínico. ^{8, 9, 12, 13} Resulta interesante en este sentido, el trabajo de Van Bruggen L, et al, ²⁵ en el que se propusieron determinar qué tipo de pregunta es preferible para las evaluaciones por computación del razonamiento clínico y llegaron a la conclusión de que, en base a su validez, confiabilidad, poder discriminatorio, su adaptabilidad a la computación y su utilidad práctica para grupos numerosos de estudiantes, los dos mejores formatos son el de preguntas de emparejamiento ampliado y el conocido como Crucigrama exhaustivo integrador (Comprehensive Integrative Puzzle, CPI).

Esta última modalidad tampoco ha tenido difusión en Cuba. Con el desarrollo que se ha logrado en las facultades en la producción de programas digitales educativos (software educativo), la disponibilidad de la Universidad Virtual de Salud en Infomed y la perspectiva de crear aulas virtuales, parece conveniente incorporar a los materiales digitales nuevas variantes de preguntas, como las que son objeto de análisis en el trabajo y otras que de manera intencional se reportan, con lo cual se lograría enriquecer las secciones de autoevaluación. Esto de manera obvia no significa de ninguna forma sustituir el decisivo papel de la educación en el trabajo, en particular en las disciplinas clínicas, en la formación de habilidades en los futuros profesionales y de las evaluaciones prácticas para evaluar las mismas. ³

También es importante considerar que para este tipo de pregunta se pueden aplicar los mismos principios de aseguramiento y control de la calidad que para otras modalidades de preguntas de respuesta estructurada. ^27-29

Según Hift RJ, ²⁶ no se dispone de evidencias de que las modalidades de preguntas de respuesta libre (ensayo o desarrollo) sean mejores que las de respuesta estructurada (tipo test objetivo) en cuanto a validez y capacidad de medir niveles cognitivos de orden superior, al menos en las evaluaciones sumativas finales, pero sería aventurado y sin fundamentación científica prescindir de diferentes variantes de preguntas a lo largo del proceso docente-educativo.

Las preguntas de un temario de examen pueden explorar distintos niveles o categorías del conocimiento, o sea, al leer cada pregunta y pensar la respuesta o solución se ponen en juego distintos procesos intelectuales. Ante una pregunta del nivel de rememoración (nivel reproductivo) se requiere de forma simple la recordación de datos aislados, mientras que, para responder preguntas de nivel de complejidad superior, como en estos tipos de preguntas bien diseñadas, el estudiante se ve ante la necesidad de interpretar datos, procesarlos para comprender la esencia y aplicar los procedimientos pertinentes, sacar conclusiones y por ultimo tomar decisiones. De esa forma se cumplen varias de las funciones de la evaluación y de forma particular la instructiva. ¹

Contar con una herramienta de este tipo, a utilizar junto al resto de los métodos, técnicas y procedimientos evaluadores, tanto en las evaluaciones frecuentes como parciales y finales, así como en los modelos y estrategias didácticas a aplicar en las diferentes formas de organización de la enseñanza y en la amplia variedad de recursos para el aprendizaje, es un valor agregado que bien aprovechado debe redundar en beneficio del aprendizaje de los profesionales en formación. Esto significa trabajo colectivo de aseguramiento de la calidad de los instrumentos evaluativos desde su concepción, al pasar por la decisión del tipo de cuestionario a aplicar en base a los objetivos, contenidos relevantes, tipo de evaluación, su diseño, su aplicación y el análisis posterior que permita tomar las medidas correctivas pertinentes. ^27-30

Se realizó una revisión de tipo narrativa sobre la modalidad de preguntas tipo test objetivo llamada pregunta de emparejamiento ampliado. Estas preguntas poseen atributos que apuntan a su utilidad como recurso evaluativo y didáctico, junto a otras modalidades de preguntas de respuesta cerrada o abierta, para promover el razonamiento lógico, de manera especial el clínico, en los estudiantes de pre y posgrado de las Ciencias Médicas.

REFERENCIAS BIBLIOGRÁFICAS

1. Salas Perea RS. La evaluación en la educación superior contemporánea. Biblioteca de medicina Volumen XXVI, 1998. Educación en salud. Competencia y desempeño [CD-ROM]. La Habana: Editorial Ciencias Médicas; 1999.

2. Martínez Carretero JM. Los métodos de evaluación de la competencia profesional: la evaluación clínica objetivo estructurada (ECOE). Educ méd [Internet]. Sep 2005 [citado 7 Apr 2013];8(Suppl 2):[aprox. 5 p.]. Disponible en: http://scielo.isciii.es/scielo.php?script=sci_arttext& pid=S1575-18132005000600007&lng=es

3. Case SM, Swanson DB. National Board of Medical Examiners. Cómo elaborar preguntas para evaluaciones escritas en el área de ciencias básicas y clínicas. 3ra ed (revisada) [Internet]. Filadelfia, EE UU: National Board of Medical Examiners; 2006 [citado 20 Jun 2012]. Disponible en: http://www.nbme.org/pdf/iwg-sp/iwg-spanish2006.pdf

4. Wilson RB, Case SM. Extended Matching Questions: An Alternative to Multiple-choice or Free-response Questions. J Vet Med Educ [Internet]. 1993 [citado 2013 Jun 16];20:[about 3 p.]. Available from: http://scholar.lib.vt.edu/ejournals/JVME/V20-3/wilson.html

5. Centro de Desarrollo Educacional. Facultad de Medicina. Manual de Instrumentos de Evaluación. Facultad de Medicina CAS UDD. 2da ed [Internet]. Santiago de Chile: Universidad del Desarrollo; Mar 2016 [citado 12 Oct 2016]. Disponible en: http://medicina.udd.cl/cde/files/2016/04/Manual-Instrumentos-de-Evaluacion.pdf

6. Amir Z, Seng CY, Eng KH. Practical Guide for Medical Student Assessment [Internet]. Singapore: World Scientific Publishing Co. Pte. Ltd; 2006. [citado 2016 Jun 26]. Available from: http://edomsp.sbmu.ac.ir/uploads/Practical_Guide_to_Medical_Student_Assessment.pdf

7. Baird AS. The new Extended Matching Question (EMQ) paper of the MFSRH Examination. J Fam Plann Reprod Health Care [Internet].2010 [citado 2016 Jun 26];36(3):[about 3 p.]. Available from: http://jfprhc.bmj.com/content/familyplanning/36/3/171.full.pdf

8. Yau CWL, Chin HX, Tan K, Lim E, Ponnamperuma G, Tan N. Assessing the Clinical Skill of Neurological Localization Using Extended-Matching Questions. Neurology[Internet].2013 Feb 12 [citado 2016 Oct 3];80(7 Suppl.):[about 27 p.].Available from: http://www.neurology.org/content/80/7_Supplement/S27.001.short

9. American Academy of Neurology. How to Write an Extended-Matching Test Item. A Guide to Writing Multiple Choice Items. A Practical Reference for Neurology Faculty and Faculty of the AAN [Internet]. Minneapolis, MN: American Academy of Neurology Institute; 2013 [citado 2017 Jan 3]. Available from: https://www.aan.com/uploadedFiles/Website_Library_Assets/Documents/4.CME_and_Training/2.Training/4.Clerkship_and_Course_Director_Resources/4.Educational_Resources/A%20Guide%20to%20Writing%20Multiple%20Choice%20Test%20Questions.pdf
10. Brenner E, Chirculescu ARM, Reblet C, Smith C. Assessment in Anatomy. Eur J Anat [Internet].2015 [citado 2016 Oct 15];19(1):[about 19 p.].Available from: https://www.researchgate.net/publication/272748570_Assessment_in_anatomy

11. Laurent R, Wong M. Divisional Written Examinations 2015. Extended-Matching Questions [Internet]. Sídney: The Royal Australasian College of Physicians; 2015 [citado 2016 Sep 10]. Available from: https://www.racp.edu.au/docs/default-source/default-document-library/example-extended-matching-questions.pdf?sfvrsn=2

12. van der Vleuten CPM, Norman GR, Schuwirth LWT. Assessing clinical reasoning. In: Higgs J, Jones MA, Loftus S, Cristensen N, editors. Clinical reasoning in the health professions. Third ed [Internet]. Amsterdam: Elsevier Health Sciences; 2008 [citado 2017 Mar 20]. Available from: http://file.qums.ac.ir/repository/vce/edc/kft/Clinical%20Reasoning%20Assessment-%20Joy%20Higgs.pdf

13. Royal College of Paediatrics and Child Health. How to Write Questions. Booklet for MRCPCH. Theory Examinations [Internet]. London, UK: Kings Health Partners; 2016 [citado 2017 Jan 6]. Available from: http://www.rcpch.ac.uk/sites/default/files/page/How%20to%20Write%20Questions%20booklet%20SM%20version%20for%20boards%20FINAL.pdf
14. Vegada B, Shukla A, Khilnani A, Charan J, Desai C. Comparison between three option, four option and five option multiple choice question tests for quality parameters: A randomized study. Indian J Pharmacol [Internet]. 2016 Sep-Oct [citado 2017 Jan 3];48(5):[about 6 p.]. Available from: http://www.ijp-online.com/text.asp?2016/48/5/571/190757

15. Panczyk M, Rebandel H, Gotlib J. Comparison of four- and five-option Multiple-Choice Questions in Nursing Entrance Tests [Internet]. Seville, Spain: Proceedings of ICERI2014 Conference; 17th-19th November 2014 [citado 2017 Jan 3]. Available from: https://zakladdydaktyki.wum.edu.pl/sites/zakladdydaktyki.wum.edu.pl/files/264mp_comparison.pdf

16. Gajjar S, Sharma R, Kumar P, Rana M. Item and Test Analysis to Identify Quality Multiple Choice Questions (MCQs) from an Assessment of Medical Students of Ahmedabad, Gujarat. Indian J Community Med [Internet]. 2014 Jan-Mar [citado 2016 Nov 25];39(1):[about 4 p.]. Available from: https://www.ncbi.nlm.nih.gov/pmc/articles/PMC3968575/.

17. Kaur M, Singla S, Mahajan R. Item analysis of in use multiple choice questions in pharmacology. Int J Appl Basic Med Res [Internet]. 2016 Jul-Sep [citado 2016 Dec 5];6(3):[about 4 p.]. Available from: https://www.ncbi.nlm.nih.gov/pmc/articles/PMC4979297/.

18. Hingorjo MR, Jaleel F. Analysis of One-Best MCQs: the Difficulty Index, Discrimination Index and Distractor Efficiency. J Pak Med Assoc [Internet]. 2012 Feb [citado 2016 Dec 1];62(2):[about 6 p.]. Available from: http://www.jpma.org.pk/full_article_text.php?article_id=325518. Hingorjo MR, Jaleel F. Analysis of One-Best MCQs: the Difficulty Index, Discrimination Index and Distractor Efficiency. J Pak Med Assoc [Internet]. 2012 Feb [citado 2016 Dec 1];62(2):[about 6 p.]. Available from: http://www.jpma.org.pk/full_article_text.php?article_id=3255

19. Abdulghani HM, Ahmad F, Ponnamperuma GG, Khalil MS, Aldrees A. The relationship between non-functioning distractors and item difficulty of multiple choice questions: A descriptive analysis. JHS [Internet]. 2014 [citado 2016 Mar 16];2(4):[about 4 p.]. Available from: http://thejhs.org/article.asp?issn=2468-6360;year=2014;volume=2;issue=4;spage=148;epage=151;aulast=Abdulghani

20. Saeed Mufti T, Ahsan A. Effect of non-functioning distractors on difficulty index of Physiology MCQ bank at Rehman Medical College, Peshawar, KP, Pakistan. J Rehman Medical Institute [Internet]. 2015 [citado 2017 Mar 29];1(2):[about 5 p.]. Available from: http://jrmi.rmi.edu.pk/index.php/jrmi/article/view/21/49

21. Rush BR, Rankin DC, White BJ. The impact of item-writing flaws and item complexity on examination item difficulty and discrimination value. BMC Med Educ [Internet]. 2016 [citado 2017 Mar 29];16:[about 9 p.]. Available from: https://www.ncbi.nlm.nih.gov/pmc/articles/PMC5041405/.

22. Mehta M, Banode S, Adwal S. Analysis of multiple choice questions (MCQ): important part of assessment of medical students. Int J Med Res Rev Feb [Internet]. 2016 [citado 2017 Mar 29];4(2):[about 6 p.]. Available from: http://medresearch.in/index.php/IJMRR/article/view/486/818

23. Patil R, Palve SB, Vell K, Boratne AV. Evaluation of multiple choice questions by item analysis in a medical college at Pondicherry, India. Int J Community Med Public Health [Internet]. 2016 Jun [citado 2017 Mar 29];3(6):[about 4 p.]. Available from: http://www.ijcmph.com/index.php/ijcmph/article/view/493/457

24. Eijsvogels TMH, van den Brand TL, Hopman MTE. Multiple choice questions are superior to extended matching questions to identify medicine and biomedical sciences students who perform poorly. Perspect Med Educ. Springer [Internet]. 2013 Jul 11 [citado 2013 Aug 10];2(2013):[about 11 p.]. Available from: http://link.springer.com/content/pdf/10.1007%2Fs40037-013-0068-x.pdf

25. van Bruggen L, Manrique-van Woudenbergh M, Spierenburg E, Vos J. Preferred question types for computer-based assessment of clinical reasoning: a literature study. Perspect Med Educ [Internet]. 2012 Nov [citado 2016 Mar 11];1(4):[about 10 p.]. Available from: https://www.ncbi.nlm.nih.gov/pmc/articles/PMC3508269/.

26. Hift RJ. Should essays and other open-ended –type questions retain a place in written summative assessment in clinical medicine? BMC Medical Education [Internet]. 2014 [citado 2017 Jan 6];14:[about 1 p.]. Available from: http://www.biomedcentral.com/1472-6920/14/249

27. Tarrant M, Ware J, Mohammed AM. An assessment of functioning and non-functioning distractors in multiple-choice questions: a descriptive analysis. BMC Medical Education [Internet]. 2009 [citado 2016 Feb 9];9(40):[about 1 p.]. Available from: http://www.biomedcentral.com/1472-6920/14/249

28. Navarro Alemán R, Pérez Murillo GA, García Díaz V, Pérez Marqués LU, Cobas Pérez JL, Murillo Jorge G. Validación de la calidad de las preguntas en un examen final de la asignatura Morfofisiología Humana. MEDISAN [Internet]. 2013 [citado 29 Mar 2017];17(3):[aprox. 6 p.]. Disponible en: http://www.redalyc.org/articulo.oa?id=368445013008

29. Díaz Rojas P, Leyva Sánchez E. Metodología para determinar la calidad de los instrumentos de evaluación. Educ Med Super [Internet]. Jun 2013 [citado 29 Mar 2017];27(2):[aprox. 18 p.]. Disponible en: http://scielo.sld.cu/scielo.php?script=sci_arttext&pid=S0864-21412013000200014&lng=es

30. Covacevich C. Como seleccionar un instrumento para evaluar aprendizajes estudiantiles. Nota técnica del Banco Interamericano de Desarrollo 738. IDB-TN-738 [Internet]. Washington D.C.: División de Educación del Banco Interamericano de Desarrollo; 2014 [citado 29 Mar 2017]. Disponible en: https://publications.iadb.org/bitstream/handle/11319/6758/C%C3%B3mo-seleccionar-un-instrumento-para-evaluar-aprendizajes-estudiantiles.pdf

Recibido: 9 de abril de 2017
Aprobado: 24 de abril de 2017

Dr. C Arturo Teodoro Menéndez Cabeza. Doctor en Ciencias Médicas. Profesor Titular. Facultad de Ciencias Médicas. Universidad de Ciencias Médicas de Camagüey. Camagüey. Email: artemen.cmw@infomed.sld.cu