Servicios personalizados
Español (pdf)
Articulo en XML
Referencias del artículo
Enviar articulo por email
Citado por SciELO 
Similares en
SciELO 
Permalink
Introducción
La integración de las tecnologías de la información y las comunicaciones en la esfera educativa adquiere cada vez mayor importancia en todo el mundo. Como resultado de esta integración se han incorporado otros métodos y procedimientos educativos, así como espacios de enseñanza-aprendizaje más dinámicos, flexibles e interactivos.
En la educación universitaria se ha generado un cúmulo significativo y variado de medios y materiales digitales, los cuales se caracterizan por la virtualización, la heterogeneidad, la reutilización, la accesibilidad, la interactividad y su amplia proliferación. En este sentido, resulta de vital importancia el empleo de adecuados instrumentos de evaluación que garanticen la calidad de estos recursos educativos digitales (RED), tanto desde el punto de vista didáctico como tecnológico.
Figueroa, Paladines, y Paladines (2020), han demostrado con buenos resultados cómo el uso de los recursos digitales favorece el desarrollo de la capacidad de análisis de los estudiantes universitarios. De igual forma autores como Urbina (2019) han puesto en práctica el uso de objetos de aprendizaje como estrategia para mejorar el rendimiento académico en cursos del área de ingeniería.
No existe un consenso definitivo sobre la definición de RED actualmente, por lo cual se han utilizado diferentes nombres al referirse a ellos. Entre los nombres más comunes aparecen: objeto digital de aprendizaje, material digital de aprendizaje, material educativo electrónico, recurso digital, recurso educativo digital, objeto de aprendizaje, objeto educativo u objeto digital educativo (Vargas, 2017).
Según Rabajoli (como se citó en Montero, Ricardo y García, 2020) los RED “son aquellos productos digitales, incluyendo sus eventuales servicios asociados, diseñados explícitamente para ser utilizados en contextos educacionales, como apoyo a actividades de enseñanza-aprendizaje o gestión pedagógica” (p.3).
Por su parte, la UNESCO (como se citó en López, 2016) define a los RED como “cualquier material que ha sido creado con un propósito formativo y que se encuentra disponible en medios electrónicos” (p.81).
Según el Centro Nacional de Educación a Distancia en Cuba (CENED), la educación universitaria cubana transita por un proceso de transformación, que necesita del diseño, creación y uso de recursos educativos en formato digital con elevados niveles de calidad, para sustentar la construcción del conocimiento y el desarrollo de habilidades en los estudiantes (CENED, 2019).Con los avances tecnológicos, en la actualidad es viable la producción de medios educativos capaces de integrar de forma armónica diversos contenidos digitales (Cabero, 2016). Esto conduce también a la necesidad de que los profesores universitarios cuenten con las competencias tecnológicas requeridas según García (2020).
En tal sentido, la evaluación de los RED resulta imprescindible para cualquier modalidad educativa, pero cobra particular importancia en la Educación a Distancia por las características de su proceso de enseñanza-aprendizaje, el cual se caracteriza por la autogestión del conocimiento, el desarrollo de actividades de aprendizaje sin la presencia física del profesor, así como el aprendizaje colaborativo, flexible, dinámico e interactivo García (2020).
Aunque existen diversos instrumentos para la evaluación de RED, estos no siempre permiten realizar una evaluación integral de dichos recursos, ni se pueden utilizar con la facilidad y claridad requeridas. El procedimiento de evaluación utilizado en la mayoría de los casos, se centra en una evaluación lineal y general, que toma como base la sumatoria de las evaluaciones individuales de la totalidad de los criterios de evaluación empleados, pero no tienen en cuenta el nivel de prioridad de los criterios más significativos tanto en el orden didáctico-educativo como tecnológico.
De esta forma en la evaluación final generada por dichos instrumentos prevalece el elemento cuantitativo por encima del cualitativo, ya que, al darle la misma ponderación a la totalidad de los criterios de evaluación empleados, se ve limitado el valor cualitativo intrínseco en cada uno de los criterios de evaluación que se emplean.
Por otra parte, no siempre existe uniformidad tanto en la cantidad, como en la redacción de los indicadores que conforman los criterios de evaluación que se emplean en los diferentes instrumentos de evaluación, lo cual limita la veracidad, claridad y objetividad de las evaluaciones, tanto en el nivel individual de cada criterio como a nivel general del recurso educativo, así como una adecuada comprensión de las interioridades del instrumento por parte de los docentes durante el proceso de evaluación.
Tomando en consideración los elementos antes expuestos, el presente trabajo tiene como objetivo diseñar un instrumento para la evaluación integral de los RED en la educación a distancia.
Materiales y métodos
Para realizar el diseño del instrumento de evaluación de RED se tuvieron en cuenta los siguientes materiales e instrumentos de evaluación:
La Norma UNE 71362/2017; La ISO 9126 (International Organization for Standarization); La herramienta EVALUAREED; El instrumento LORI - AD; Herramienta HEODAR; La Norma Española de Calidad de Materiales Educativos Digitales, que se sustenta en la herramienta COdA; Developing a usability evaluation method for e-learning applications; La herramienta SREB-SCORE; El instrumento LORI (Learning Object Review Instrument); An empirical assessment of pedagogical usability criteria; Evaluating, Selecting, and Managing Learning Resources: A Guide; La herramienta LOAM y Open ECBCheck Quality Criteria for Programmes.
Se emplearon los siguientes métodos de investigación:
Análisis-síntesis: para determinar los fundamentos teórico-metodológicos que sustentan el diseño del instrumento de evaluación integral de RED que se propone.
Enfoque sistémico: para la el diseño del instrumento de evaluación desde una perspectiva sistémica, a partir de la determinación de sus componentes y relaciones.
El análisis documental: para analizar las disposiciones y normativas nacionales e internacionales sobre la evaluación de los RED.
Resultados y discusión
Como resultado de la investigación se elaboró la Tabla 1 con un resumen de los instrumentos de evaluación estudiados más notables, las normas, así como los criterios e indicadores de evaluación asociados. Se tuvo en cuenta los resultados presentados por Morales y otros, (2008, p.2); Aguilar y otros (2014, p.81); Fernández-Pampillón (2014, p.50; 2017); Adame (2019); Pinto y otros, (2012, p.93); Pinto y otros (2017, p.235); Wibawanto (2019, p.87) y Acuña (2019). Esta información sirvió de base para la realización de los análisis comparativos entre los diferentes instrumentos, cuyos resultados se tomaron en cuenta para el diseño del instrumento de evaluación integral que se propone.
La variedad y diversidad de instrumentos de evaluación analizados es una muestra de que en la actualidad no existe un instrumento único, ni con características homogéneas para ser utilizado en todos los casos y escenarios educativos. En el análisis se observan diferencias y semejanzas con relación a la tipología, estructura, composición y alcance, tanto en los criterios de evaluación como en los indicadores asociados. En todos los casos se evidencia la presencia de criterios de evaluación tanto de corte educativo-didáctico, como de corte tecnológico.
Algunos instrumentos como COdA, HEODAR, el modelo europeo Open ECB Check Quality Criteria for Programmes y la norma ISO 9126, presentan los criterios organizados por subgrupos, donde cada subgrupo delimita los componentes de orden educativo-didáctico o tecnológico. Esta forma en que se presentan y organizan los criterios de evaluación, puede brindar mayor claridad y comprensión sobre el estado de los RED para quienes evalúan, ya que, al estar delimitados dichos componentes, facilita el proceso evaluación no solo para los especialistas y expertos en la materia, sino también para los menos avezados en el tema.
Entre los criterios de evaluación de corte educativo-didáctico más empleados se evidencian: la calidad del contenido, la correcta definición de los objetivos, la autoevaluación o retroalimentación, la motivación y la adaptabilidad o flexibilidad del recurso para adaptarse a las particularidades de los estudiantes. En el orden tecnológico, se evidencian como criterios de evaluación más comunes: la usabilidad, la accesibilidad, la reusabilidad y la interactividad, aunque este último criterio también se ha asumido como un criterio de corte educativo-didáctico.
Otro de los criterios empleados es el cumplimiento con las normas de derecho de autor o propiedad intelectual, en particular se refleja en los instrumentos más actuales. Este resulta un aspecto de vital importancia, sobre todo por la gran variedad y diversidad de materiales y recursos digitales a los cuales se puede tener acceso actualmente, y que en muchos casos pueden ser compartidos, reutilizados o rediseñados de forma parcial o total, pero en otros casos no se permite su modificación, distribución o empleo con fines comerciales. Por tal motivo, es necesario tener conciencia de los tipos de licencias que existen y dejar plasmado en la composición de cada recurso el tipo de licencia que posee.
También se pudo observar que criterios compuestos como la interacción-usabilidad, y la retroalimentación-adaptación se van presentando en su forma simple en los instrumentos más actuales, lo cual, si bien amplía la cantidad de criterios a evaluar, también contribuye a disminuir la ambigüedad a la hora de analizar el cumplimiento de cada criterio por separado, así como a tener mayor claridad de la evaluación desde el punto de vista cualitativo.
Al establecer una comparación entre los indicadores asociados a criterios de evaluación comunes entre los diversos instrumentos, las diferencias son notables. Se evidencian diferencias en la cantidad, redacción y magnitud de los indicadores propuestos por cada criterio de evaluación, lo que puede influir determinantemente tanto en la evaluación de indicadores y criterios, como en la evaluación final del RED. En este sentido, el empleo de indicadores muy generales puede dificultar la realización de una adecuada evaluación al no poder identificar con objetividad y precisión los aspectos esenciales a evaluar en cada criterio según sea el caso, y, por otro lado, las diferencias en cuanto a la tipología de indicadores y la forma en que estos se presentan y redactan, pude agregar ambigüedad e imprecisión a la evaluación final de cada criterio y RED de forma general.
Otro aspecto a destacar es que en la mayoría de los instrumentos se le ha asignado el mismo nivel de importancia a la totalidad de los criterios, lo cual se puede apreciar en el procedimiento de evaluación final de los RED. En este sentido, podemos resaltar la norma ISO 9126, que, a diferencia de otros instrumentos, sí establece una diferenciación entre los criterios, especificando los de mayor y menor importancia, tanto en el orden educativo-didáctico como en el tecnológico. Este aspecto contribuye a una evaluación más integral de los RED, al tener en cuenta no solo el resultado de la sumatoria de las evaluaciones individuales de los diferentes criterios empleados (predominio del aspecto cuantitativo), sino, también el resultado particular de aquellos que tienen una mayor importancia (predominio del aspecto cualitativo).
Se pudo comprobar en las fuentes bibliográficas consultadas, que en los procedimientos utilizados en los diversos instrumentos para la evaluación final de los RED existen diferencias. En este sentido tomamos como referencia a los instrumentos LORI-AD y HEODAR. En el caso del instrumento LORI-AD, utiliza una escala de evaluación basada en cinco posibles alternativas:
1- No Aplica (NA), avalada por un puntaje inferior a 40 puntos; 2- Pobre, avalada por un puntaje entre 40-59 puntos; 3- Aceptable, avalada por un puntaje entre 60-79 puntos; 4 - Bueno, avalada por un puntaje entre 80-89 puntos y 5 - Muy bueno, avalada por un puntaje suprior a 89 puntos. La puntuación total del RED se obtiene a partir de la sumatoria de las puntuaciones individuales obtenidas en los diferentes criterios. La puntuación total de cada criterio se obtiene a partir de la sumatoria de las evaluaciones individuales de los indicadores correspondientes multiplicada por diez. Cada indicador se evalúa a partir de dos posibles perspectivas: Existe (1); No existe (0).
Mediante este procedimiento es posible obtener una evaluación final del recurso desde el punto de vista cualitativo y cuantitativo. Sin embargo, presenta como principal limitación que cada indicador solo puede ser evaluado desde dos perspectivas (Existe (1); No existe (0), lo cual limita el rango de evaluación y puede contribuir a la falta de objetividad, precisión y flexibilidad de las evaluaciones, tanto de cada indicador como de cada criterio empleado.
En el caso de la herramienta informática HEODAR, emplea una escala de evaluación basada en cinco posibles alternativas: 1 - Muy Deficiente; 2 - Deficiente; 3 - Aceptable; 4 - Alta; 5 - Muy Alta. A diferencia de la herramienta LORI-AD, esta utiliza la misma escala general para evaluar a cada uno de los indicadores, adicionando la alternativa No sabe (N/S), con la cual se amplía el rango de evaluación a nivel de indicador y contribuye al propio tiempo a una evaluación más objetiva, precisa y flexible. El resultado de cada criterio como del recurso en general se determina de forma similar a la herramienta LORI-AD. También permite obtener una evaluación desde el punto de vista cualitativo y cuantitativo del RED.
A pesar de que ambos procedimientos permiten una evaluación cuantitativa y cualitativa de los RED, estos dan mayor importancia al aspecto cuantitativo de la evaluación, ya que no tienen en cuenta el nivel de prioridad entre los criterios de evaluación empleados y por tanto el aspecto cualitativo implícito en los criterios de evaluación se ve limitado.
Tomando en consideración los aspectos antes analizados, así como las fortalezas y limitaciones identificadas en cada uno de los instrumentos de evaluación antes mencionados, los autores del presente trabajo se proponen diseñar un instrumento para la evaluación integral de RED en el contexto de la educación a distancia.
Propuesta de instrumento para la evaluación integral de red.
A continuación, se presenta el diseño de un instrumento para la evaluación integral de RED en el contexto de la educación a distancia, en el cual se tuvieron en cuenta las fortalezas y limitaciones identificadas en los instrumentos de evaluación analizados con anterioridad, así como el análisis de decisiones de múltiples criterios en entornos virtuales de aprendizaje, presentado por Kurilovas y Dagiene (2016). El instrumento tiene como propósito una evaluación integral de los RED, a partir de una combinación de resultados generales y parciales, atendiendo al nivel de prioridad de los criterios de evaluación empleados. En el mismo se realiza la delimitación de los criterios de evaluación desde tres posibles agrupaciones: educativos-didácticos, tecnológicos y organizativos, y se propone el procedimiento para la evaluación del RED. (Ver Tabla 2 y Tabla 3).
La evaluación general del RED se determina a partir de la sumatoria de las evaluaciones individuales de cada criterio entre el total de criterios evaluados. Se utiliza la misma escala de evaluación empleada para la evaluación de los indicadores.
Evaluación general de recurso (EGR) = (ID+ CC + P + AC + R + M + I + Acc + U + RU + Pd) / 11
Condiciones necesarias mínimas para que el RED obtenga una evaluación final satisfactoria:
La EGR ≥ 3
ID ≥ 4; CC ≥ 4; R ≥ 3; I ≥ 3; Acc ≥ 3 y U ≥ 3
De esta forma se logra que la evaluación final del RED sea integral, ya que no solo se tiene en cuenta la evaluación general, resultado de la sumatoria de las evaluaciones individuales de los diferentes criterios, sino también, los resultados individuales de los criterios más significativos desde el punto de vista educativo-didáctico, tecnológico y organizativo, así como desde el punto de vista cualitativo y cuantitativo.
Conclusiones
El estudio realizado permitió diseñar un instrumento para la evaluación integral de recursos educativos digitales en el contexto de la educación a distancia, el cual permitirá realizar no solo una evaluación general de los RED desde el punto de vista cuantitativo, sino que también desde el punto de vista cualitativo, teniendo en cuenta la prioridad de los criterios de evaluación de mayor relevancia, así como los componentes educativo-didácticos, tecnológicos y organizativos de dichos recursos.
El instrumento diseñado permitirá la evaluación de RED a profesores y especialistas con la facilidad y claridad necesarias, ya que tiene bien delimitados los componentes educativo-didácticos, tecnológicos y organizativos, una adecuada redacción y presentación de los criterios e indicadores de evaluación correspondientes a cada componente, así como un procedimiento flexible y preciso para la evaluación individual de cada criterio y la evaluación general y final de cada RED. De esta forma consideramos que el instrumento puede favorecer una evaluación más objetiva y precisa de los RED, y en consonancia lograr mayor calidad en los recursos elaborados, lo que resulta imprescindible para el desarrollo del proceso de enseñanza-aprendizaje a distancia.
El instrumento de evaluación propuesto puede ser empleado para la evaluación de RED, tanto en la modalidad de educación a distancia como para otras modalidades educativas, y también sienta las bases para una posible aplicación informática con iguales fines.
