ARTÍCULO ORIGINAL

 

Análisis y discusión de los resultados del proceso de evaluación de los primeros hiperentornos de aprendizaje del proyecto Galenomedia

Analysis and discussion of assessment process results of the first learning hyper-environment of the Galenomedia project

Alina M. Ruiz Piedra^I; Freddy Gómez Martínez^II; Juan R. Gonzáles Silva^III

^IMáster en Informática en Salud. Profesora Auxiliar de Informática Médica. Centro de Cibernética Aplicada a la Medicina (CECAM). La Habana, Cuba.
^IIEspecialista de II Grado en Higiene y Epidemiología. Dirección Nacional de Ciencia y Técnica. La Habana, Cuba.
^IIIMáster en Informática en Salud. Profesor Auxiliar de Informática Médica. Facultad de Ciencias Médicas de Holguín. Holguín, Cuba.

---

RESUMEN

Se realizó un estudio descriptivo con el objetivo de analizar los resultados del proceso de evaluación de los primeros Hiperentornos de Aprendizaje del "Proyecto Galenomedia" en el curso 2008-2009. Se utilizaron como fuente de información 10 hiperentornos de aprendizaje (HEA) con sus correspondientes evaluaciones: usuaria, informática y pedagógica. Como resultado del estudio se identificaron un conjunto de deficiencias, fundamentalmente en la elaboración de las preguntas de autoevaluación y su retroalimentación, así como poco uso de las medias, contrariamente a los altos porcentajes de aprobación mostrados en las guías. Esos resultados posibilitaron la propuesta de cambios en la metodología establecida por el proyecto para la evaluación de los softwares educativos, con el fin de elevar la calidad del proceso de evaluación y por ende del software educativo a generalizar en el Sistema Nacional de Salud.

Palabras clave: Evaluación software educativo, plataformas educativas.

---

ABSTRACT

A descriptive study was conducted to analyze the results of evaluation process of the first Hyperenvironments of "Galenomedia Project" learning in the course 2008-2009. As information source ten types of Hyperenvironments (LHE) Learning with their corresponding evaluations: of user, information technology and educational were used. As study result were identified a set of deficiencies, mainly in processing of self-evaluation questions and its feedback, as well as the not much use of the means, on the contrary of the high percentages of approval showed in the guides. Those results allowed us to propose changes in the methodology established by the project for evaluation of educational softwares, to rise the quality of educational process and thus, the educational software to be generalized in the National Health System.

Key words: Educational software evaluation, educational programs.

---

 

INTRODUCCIÓN

La evaluación de un software educativo constituye una de las etapas más importantes en su desarrollo¹ (análisis, diseño, implementación, evaluación), por cuanto garantiza la calidad de la aplicación informática que se empleará como medio de enseñanza en el proceso docente-educativo. Sin embargo, aunque existe un gran volumen de información en artículos de revistas, libros o tesis doctorales por citar algunos ejemplos acerca de los criterios para evaluar un software educativo,^2-4 estudios publicados sobre sus principales deficiencias revelan⁵ que la mayoría no cumplen con estos criterios, fundamentalmente los pedagógicos;⁶ lo que retarda o incluso impide que se generalice el producto.

Antecedentes

En nuestro país el proyecto Galenomedia es el encargado de establecer la política de desarrollo de software educativo en las Ciencias de la Salud,⁷ incluyendo los procesos de generalización y actualización, con el objetivo de fortalecer su incorporación al currículo de cada especialidad con la calidad óptima. Uno de los factores que posibilita la marcha del proyecto está relacionado con el establecimiento de un programa de estudio único para cada una de sus carreras: Medicina, Estomatología, Enfermería, Tecnología de la Salud y Psicología.

El software educativo producido por Galenomedia es curricular y responde a la clasificación de hiperentorno de aprendizaje (HEA), el cual permite la mezcla armoniosa de diferentes tipologías de software: tutoriales, entrenadores, simuladores y juegos conjuntamente con otros recursos como glosarios, galerías, efemérides e información de interés entre otros. Para la implementación de un HEA se necesita una plataforma actualmente se utiliza el SADHEA⁸ "Sistema Autor para el desarrollo de Hiperentornos de Aprendizaje" elaborada por el Instituto Superior Pedagógico "José de la Luz y Caballero" de la provincia Holguín.

Características de la plataforma educativa SADHEA

El SADHEA cuenta con siete módulos que contienen la siguiente información:

- Contenido: está presente toda la materia relacionada con el tema seleccionado y puede estar organizada en forma de capítulos, epígrafes o como desee el profesor.
- Entrenador: permite el acceso a las diferentes formas de entrenamiento del conocimiento: ejercicios   interactivos, no interactivos y simuladores.
- Biblioteca Virtual: lo componen los submódulos: galerías (imágenes, sonidos, videos), glosarios (términos, hechos, personajes, teoremas), efemérides, enlaces de interés (revistas, libros, tesis, sitios o páginas web).
- Profesor: se encuentra toda la información relacionada con el programa de la asignatura o la que el docente haya decidido poner en manos del alumno para orientarlo en el proceso docente-educativo.
- Ayuda: el módulo brinda información acerca de cómo navegar en el HEA y también de su equipo de realización.
- Resultados: solo se activa en ambiente de red y brinda tanto la traza del estudiante como su historial.

La plataforma puede ser utilizada desde un ambiente de red pero también permite extraer el HEA creado hacia un CD o dispositivo de memoria externa.

MÉTODOS

Se utilizaron como fuente de información 10 hiperentornos de aprendizaje (HEA) con sus correspondientes evaluaciones: usuaria, informática y pedagógica.

Las herramientas para la evaluación del HEA se confeccionaron posteriores a una exhaustiva revisión del tema que concluyó con una propuesta inicial, enriquecida posteriormente con las opiniones de los miembros del proyecto. Consisten en tres guías que evalúan al HEA en los aspectos pedagógico, informático y usuario para cada uno de los módulos mencionados anteriormente. (Tablas)

Como responsables de estas evaluaciones y en el siguiente orden quedó establecido:

1. Evaluación pedagógica: tiene a su cargo al metodólogo del equipo Galenomedia del CEMS conjuntamente con el profesor que desarrolló la aplicación y la profesora principal de la asignatura quien ostentará una categoría docente superior a la de asistente.

2. Evaluación informática: estará a cargo del informático del equipo Galenomedia conjuntamente con el diseñador y el profesor que desarrolló el HEA.

3. Evaluación usuaria: tiene como responsables de la actividad a la metodóloga del equipo Galenomedia y al docente que elaboró el HEA, pero se aplicará a una muestra de estudiantes mayor o igual que 15 que se encuentren cursando la asignatura.

La calificación de las guías se realizará asignándole a cada aspecto el valor de uno (1) si cumple con la característica o cero (0) en caso de que no lo cumpla hasta completar toda la guía. Posteriormente se deben sumar todos los puntos dados y calcular el porcentaje que representan en relación con el total de aspectos. Se considerará aprobado aquel software que cumpla con el 70 % ó más de los puntos aquí enunciados. La evaluación metodológica e informática deben estar firmadas por sus realizadores, no así la usuaria.

Concluidas las tres evaluaciones el grupo Galenomedia del centro realizará un análisis cuantitativo de estos resultados para cada tipo de guía a fin de determinar cuáles han sido las principales deficiencias detectadas, las cuales se comunicarán por las vías establecidas permitiendo retroalimentar los restantes equipos Galenomedia e incrementar la calidad de las aplicaciones.

Como último eslabón del proceso de evaluación estará el Departamento Metodológico Nacional quien reevaluará los productos antes de aprobar su generalización.

ANÁLISIS DE LOS RESULTADOS

Sobre las bases antes expuestas se presentaron en el mes de junio los primeros 10 HEA, desarrollados por la Facultad de Ciencias Médicas (FCM) de Holguín con los siguientes resultados:

La tabla 1 muestra los porcentajes de aprobación correspondientes a cada una de las guías de evaluación para cada HEA.

Aunque están por encima del mínimo establecido para su aprobación (70 %), el análisis pormenorizado de ellos permitió la identificación de un conjunto de ítems negativos que por su frecuencia de aparición ponen a consideración de los expertos del proyecto, ciertas modificaciones en el proceso de evaluación y nuevas estrategias en la capacitación de sus integrantes (tablas 2, 3, 4).

Tabla 4. Identificación de Ítems  negativos por módulos según expertos. Guía evaluación usuaria

Evaluación usuaria
Módulos	Ítem negativos	Expertos con ítem negativo	Total	%
Contenido	Lo motiva a profundizar en el tema	37	155	23,87
	Lo motiva a utilizarlo en otros temas de interés	28	155	18,06
	Presenta elementos adicionales que lo ayuden en la comprensión del contenido (imágenes, mapas conceptuales, gráficos, etc).	1	155	0,65
Ejercicios	Las preguntas son formuladas con precisión	49	155	31,61
	Las retroalimentaciones son adecuadas y orientadoras	88	155	56,77
	Los ejemplos utilizados son claros e ilustrativos	4	155	2,58
	Las preguntas te facilitan la apropiación del contenido	1	155	0,65
Biblioteca virtual (glosario de términos)	No existen errores de gramática, ortografía, puntuación ni otros errores de uso	13	155	8,39
	El vocabulario utilizado permite la comprensión del contenido	2	155	1,29
	Las definiciones de los términos son de fácil comprensión	1	155	0,65
Biblioteca virtual (Galería imágenes)	Se corresponden los gráficos e imágenes con el contenido	1	155	0,65
	Las imágenes y gráficos utilizados te facilitan la comprensión del contenido	11	155	7,10
Biblioteca virtual (Galería de sonidos)	El sonido es usado apropiadamente para dirigir la atención, destacar ideas o aspectos claves	1	155	0,65
	El sonido utilizado te ayuda en la comprensión del contenido	1	155	0,65
Biblioteca Virtual (Galería de animaciones)	Se corresponden las animaciones con el contenido que se brinda	1	155	0,65
	Las animaciones utilizadas te facilitan la comprensión del contenido	3	155	1,94
Profesor	Se brindan artículos complementarios que apoyen el proceso de enseñanza-aprendizaje del tema	67	155	43,23
	Se brinda otro tipo de información de interés orientada a fortalecer el proceso de enseñanza-aprendizaje del tema	103	155	66,45
Ayuda	Presenta las instrucciones necesarias para el uso del hiperentorno	1	155	0,65
Consideraciones generales	Las efemérides se encuentran actualizadas	7	155	4,52
	Identifica con facilidad los módulos que componen el hiperentorno	1	155	0,65

Con la información de las tablas 2, 3 y 4 se pudo determinar que:

- Los módulos con mayor porcentaje de ítems negativos tanto para la evaluación metodológica como usuaria son: Ejercicios, Profesor y Biblioteca Virtual. Analicemos sus particularidades.

El módulo Ejercicios centra su dificultad en la elaboración de las preguntas de autoevaluación y sus retroalimentaciones, tiene este último ítem el mayor peso (88 guía usuaria-10 guía metodológica); mientras que el módulo Biblioteca Virtual la presenta en el submódulo glosario de términos, aunque de forma más generalizadora puede comentarse el poco empleo de los componentes de este módulo en los HEA, menos de un 50 %, según se observa en la figura.

El módulo Profesor también posee un gran número de ítems negativos todos relacionados con la carencia de materiales complementarios que enriquezcan el tema en cuestión.

Sin embargo, estos módulos e incluso sus ítems no tienen el mismo peso dentro del proceso de enseñanza-aprendizaje, tal es el caso del módulo ejercicios y biblioteca virtual los cuales se consideran vitales, no así el módulo profesor comparativamente. Esta situación motivará una propuesta de variación en la metodología de evaluación hasta ahora establecida.

Otros ítems señalados como negativos son: Lo motiva a profundizar en el tema (37), Lo motiva a utilizarlo en otros temas de interés (28) correspondientes al módulo contenido de la guía usuaria. Este ejemplo también evidencia el planteamiento anterior, debido a que estos ítems no son invalidantes para la generalización del HEA.

Se proponen las siguientes modificaciones para el proceso de evaluación.
- Que las guías metodológica e informática posean un 100 % de aprobación antes de aplicarse la evaluación usuaria.
- Determinar los ítems para cada módulo en la guía usuaria que invalidan la aprobación del HEA y de los ítems restantes, el porcentaje que determinará su aprobación.
- Determinar la cantidad de estudiantes que habiendo seleccionado algún ítem invalidante, anulan la aprobación del HEA.
- Definir la cantidad de componentes de la biblioteca virtual que tienen que estar presentes en el HEA debido a la importancia que tienen dentro del software para fortalecer el conocimiento.

REFERENCIAS BIBLIOGRÁFICAS

1. Abreu G. NTIC aplicadas a la Educación superior: visión y acción en la universidad Central "Marta Abreu" de las Villas. Las Villas: Universidad Central "Martha Abreu"; 2001.

2. Cañas T, Joo O, Álvarez A. Indicadores pedagógicos, Informáticos y de diseño para la evaluación de software educacionales. Disponible en: http://www.cujae.edu.cu/eventos/convencion/cittel/Trabajos/CIT023.pdf

3. Marqués P. Evaluación de Software educativo. Disponible en: http://www.pangea.org/peremarques/eva2.htm

4. Criterios para evaluar software educativo. Disponible en: http://www.iespana.es/byrong/infoeduc/ev_softw_ed.htm

5. Marrero Y. La gestión de riesgo. Disponible en: http://revista.jovenclub.cu/index2.php?option=com_content&do_pdf=1&id=168

6. Casas L, Martínez A, González R, Peña L. La didáctica de la educación médica superior utilizando software educativos. Disponible en: http://www.amc.sld.cu/amc/2008/v12n3/amc15308.htm

7. Ruiz A, Gómez F, O´Farril E. El desarrollo de software educativo en las Ciencias de la salud. Génesis y Estrategias del proyecto Galenomedia. Período 2004-2007. [citado 16 Nov 2009]. Disponible en: http://www.cecam.sld.cu/pages/rcim/revista_15/articulos_pdf/galenomedia.pdf

8. Ruiz A, Gómez F, González JR, Hernández R. El Sadhea como estrategia del proyecto Galenomedia para desarrollar hiperentornos de aprendizaje. Ponencia presentada en la Convención Informática 2009. [citado 16 Nov 2009]. Disponible en: http://informatica2009.sld.cu/Members /alinarp/201cel-sadhea-como-estrategia-del-proyecto-galenomedia-para-desarrollar-hiperentornos -de-aprendizaje-201c/

Recibido: 10 de junio de 2010.
Aprobado: 25 de junio de 2010.

Ing. Alina M. Ruiz Piedra. Centro de Cibernética Aplicada a la Medicina (CECAM). Calle 146 esq. 31. Playa. La Habana, Cuba. Teléfono: 2711354. Correo electrónico: [e-mail]