SciELO - Scientific Electronic Library Online

 
vol.15 número4Normas legales y su efecto en las políticas ambientales de la provincia de coronel portillo-pucallpa, perúComparativa de modelos de detección de objetos y personas en espacios cerrados de acceso público índice de autoresíndice de assuntospesquisa de artigos
Home Pagelista alfabética de periódicos  

Serviços Personalizados

Artigo

Indicadores

  • Não possue artigos citadosCitado por SciELO

Links relacionados

  • Não possue artigos similaresSimilares em SciELO

Compartilhar


Revista Universidad y Sociedad

versão On-line ISSN 2218-3620

Universidad y Sociedad vol.15 no.4 Cienfuegos jul.-ago. 2023  Epub 12-Ago-2023

 

Artículo Original

Analizando con mineria de procesos la actividad virtual de los estudiantes durante la pandemia covid-19 en honduras

Analyzing with process mining the virtual activity of students during the covid-19 pandemic in honduras

0000-0002-0872-8181Gustavo A. Rodríguez1  *  , 0000-0001-9743-4347David Granada2  , 0000-0002-8637-6580Juan M. Vara2 

1Universidad Nacional Autónoma de Honduras

2Universidad Rey Juan Carlos. Honduras

RESUMEN

La minería de procesos es una disciplina que tiene como objetivo descubrir, monitorear y mejorar procesos de negocio a través del análisis del registro de los eventos que se encuentran almacenados en los sistemas de información. En el sector universitario, la actividad de estos procesos está soportada por algún tipo de sistema de gestión del aprendizaje (LMS) que registra automáticamente todas las acciones e interacciones de los usuarios (administradores, profesores y estudiantes). Utilizando la técnica de minería de procesos y algunas aplicaciones para la gestión y análisis de datos, se han estudiado los registros de las actividades de los estudiantes del Instituto Tecnológico Superior de Tela (ITS Tela) de la Universidad Nacional Autónoma de Honduras (UNAH), obteniendo diferentes resultados sobre el uso del Campus Virtual durante la pandemia COVID-19. Durante este tiempo, la UNAH ha capacitado a los estudiantes y docentes en los componentes de la modalidad virtual. Como resultado de este análisis, se han logrado identificar algunos cambios de comportamiento, acentuándose una tendencia hacia el alza en el acceso a la asignatura, la consulta de los foros, la realización de evaluaciones y el desarrollo en general de todo tipo de tareas en el Campus Virtual.

Palabras-clave: Minería de Procesos; Inteligencia de Negocio; LMS; Enseñanza Aprendizaje

ABSTRACT

Process mining is a discipline that aims to discover, monitor and improve business processes through the analysis of the record of events that are stored in information systems. In the university sector, the activity of these processes is supported by some type of learning management system (LMS) that automatically records all the actions and interactions of users (administrators, professors and students). The records of the activities of the students from the Instituto Tecnológico Superior de Tela (ITS Tela) of the Universidad Nacional Autónoma de Honduras (UNAH) have been studied using the process mining technique and some applications for data management and analysis. Thus, different results were obtained on the use of the Virtual Campus during the COVID-19 pandemic. During this time, the UNAH has trained students and professors in the components of the online learning mode. As a result of this analysis, it has been possible to identify some changes in behavior, highlighting a trend towards access to the online course, the consultation of forums, taking tests and the general development of all types of tasks on the Virtual Campus.

Key words: Process mining; Business Intelligence; LMS; Teaching-learning

Introducción

En la era de la información, las empresas u organizaciones están utilizando diversos sistemas informáticos para automatizar sus procesos y almacenar sus datos. Uno de los valores agregados de estos sistemas está relacionado con el aprovechamiento de toda la información histórica que se registra sobre la ejecución real de los procesos, donde se encuentran las actividades, sus ejecutores, los tiempos de inicio y finalización de cada paso y los datos asociados con cada caso. Esta información se extrae de los registros de eventos (event logs) del sistema para ser analizados, con el objetivo de generar conocimiento para que las organizaciones puedan entender, descubrir, monitorear y mejorar sus actividades. Esta técnica anteriormente descrita se denomina minería de procesos (Process Mining). De algún modo, la minería de procesos evidencia lo que está pasando en cualquier organización, frente a lo que se cree que está pasando (el proceso normativo).

La educación es un factor clave para cambiar, enriquecer y transformar la sociedad. La humanidad ha evolucionado desde los albores de la civilización a través de la educación, y ha desarrollado continuamente métodos para mejorar los procesos educativos. La educación es una parte integral del siglo XXI y los datos están en todas partes. Gracias a los avances tecnológicos es posible acceder a muchas bases de datos utilizando técnicas como la minería de procesos y la inteligencia de negocio (Business Intelligence, BI). Estas técnicas ofrecen una variedad de elementos para el manejo de los datos en cualquier sector de la sociedad, incluyendo el ámbito universitario.

En el contexto universitario de la UNAH, a través de la Vicerrectoría de Orientación y Asesoría Estudiantes (VOAE) y la Vicerrectoría Académica (VRA), cada inicio de curso académico se realiza una serie de jornadas de introducción estudiantil, eventos de bienvenida, capacitaciones de nivelación universitaria y aplicaciones de pruebas de orientación vocacional. Además, se desarrollan programas de capacitación para los estudiantes y docentes en las TICs, Campus Virtual, ofimática y software educativo, entre otros. El objetivo de capacitar a los estudiantes y docentes es fortalecer de manera integral las competencias tecnológicas y profesionales.

Con la declaración de la pandemia COVID-19 en el año 2020, las universidades han tenido el desafío de garantizar estándares de calidad en la educación superior. Ante tal emergencia sanitaria, las autoridades de la UNAH definieron e implementaron una estrategia de capacitación dirigida a más de 3.000 docentes a nivel nacional y más de 80.000 estudiantes matriculados en la UNAH. Estas capacitaciones fueron desarrolladas por la Dirección de Innovación Educativa (DIE), Dirección Ejecutiva de Gestión Tecnológica (DEGT) y el Instituto de Profesionalización y Superación Docente (IPSD) adscritas a la VRA.

En consonancia con el párrafo anterior, en el ITS Tela, como unidad académica de la UNAH y con el apoyo de sus docentes, se ha realizado una serie de seguimientos del rendimiento académico de los estudiantes matriculados en los periodos del año 2020 y 2021, lo que ha permitido identificar las necesidades particulares de formación, teniendo en cuenta el cambio de modalidad en la enseñanza a un contexto completamente virtual. Como resultado de este seguimiento, y adicional a las capacitaciones que ha impartido la UNAH a nivel nacional, en el Instituto se han impartido capacitaciones a las estudiantes con el objetivo de reforzar el manejo del Campus Virtual y el uso de dispositivos tecnológicos.

En este escenario, uno de los nuevos desafíos para la toma de decisiones está relacionado con la necesidad de poder disponer de datos sobre el comportamiento y uso del Campus Virtual por parte de los docentes y de los estudiantes, para luego analizarlos teniendo en cuenta la formación recibida y las acciones de seguimiento pedagógico realizado en el ITS Tela durante la pandemia. Para ello, en la UNAH se dispone de los registros de actividad o logs del Campus Virtual, que son susceptibles de ser explotados mediante técnicas de análisis y gestión avanzada de datos para extraer información relevante para la toma de decisiones dirigida a la mejora continua. En particular, este trabajo está centrado en la explotación de esos datos aplicando técnicas y herramientas de minería de procesos (Van Der Aalst, 2012), lo que contribuirá a disponer de una idea más clara sobre qué está pasando en cada una de las asignaturas que se imparten en las carreras técnicas del Instituto.

Como disciplina, la minería de procesos surgió hace relativamente poco tiempo (2010) con la intención de conectar la ciencia de datos y la gestión de procesos de negocio, permitiendo confrontar los datos generados por cualquier organización con sus modelos de proceso. Hoy en día, la disciplina ha alcanzado cierto nivel de madurez, lo que permite que resulte de inmediata aplicación en casi cualquier ámbito o dominio, incluyendo la educación superior, como evidencia la literatura existente al respecto (Bogarin et al., 2018).

Conceptualmente, tal y como muestra la Figura 1, la actividad de cualquier organización se desarrolla en base a algún proceso (ya sea implícito o explícito). La ejecución de ese proceso sobre los diferentes sistemas de información que utiliza la organización genera una inmensa cantidad de datos que producen una huella digital. A partir de esa huella digital, los algoritmos que implementan las herramientas de minería de procesos son capaces de reconstruir el proceso subyacente (el proceso real, que probablemente dista del proceso normativo que se pensaba que regía por completo la actividad de la organización) (Wang et al., 2012). Para ello, la herramienta sólo necesita que cada entrada o registro de los logs a analizar incluya tres datos o campos, que habitualmente se pueden encontrar en cualquier registro de eventos: un identificador único, una marca de tiempo (timestamp) y un campo que identifique la actividad o tarea a la que corresponde la entrada del registro.

Fig. 1 - Minería de Procesos. 

Los registros del Campus Virtual del ITS Tela incluyen efectivamente esos campos que se requieren para explotarlos mediante técnicas de minería de procesos e inteligencia de negocios. En efecto, cada registro incluye un identificador de usuario (alumno, docente o administrador), fecha y hora de la interacción, actividad o evento relacionado con la interacción, recurso utilizado e IP de conexión.

La investigación presentada en este trabajo está organizada en secciones, en donde se define con claridad la temática de esta. En la sección II se declaran los objetivos. En la sección III se presentan los trabajos relacionados (Estado del Arte). En la sección IV se plantea brevemente el marco metodológico. En la sección V se describe el contexto institucional. En la sección VI se presenta el entorno tecnológico de la UNAH. En la sección VII se exponen y se describen los resultados de la investigación. Y, finalmente, en la sección VIII se exponen las conclusiones.

El objetivo de esta investigación es analizar y describir el comportamiento de los estudiantes universitarios de la UNAH en el uso del Campus Virtual, aplicando herramientas de la Minería de Procesos y análisis de datos a los registros (logs) relacionados con la actividad de los estudiantes del ITS Tela. Un segundo objetivo es obtener resultados sobre la actividad virtual de los estudiantes en el uso del Campus Virtual. Y un tercer objetivo, es identificar elementos encaminados a diseñar modelos sistemáticos para el seguimiento de los estudiantes en el Campus Virtual.

Esta investigación tiene especial relevancia para las unidades directivas y académicas del Instituto, dado que estas precisan de información para tomar decisiones orientadas a definir estrategias para la mejora continua de la actividad de los docentes y, de manera particular, ¿es factible, aplicando herramientas de Minera de Procesos e inteligencia de negocio, analizar el comportamiento respecto al avance de los estudiantes en el uso del Campus Virtual, como producto de las capacitaciones recibidas por la UNAH y en concreto en el ITS Tela?

Desde su aparición a principios de los 2000, la minería de procesos ha experimentado un constante crecimiento, que en los últimos 5-6 años se ha tornado en exponencial debido al interés de la industria (Van Der Aalst, 2012).

En el contexto académico, la cantidad de trabajos en el área ha aumentado también exponencialmente, como evidencia por ejemplo el crecimiento de una serie de conferencias en minería de procesos (ICPM, International Conference on Process Mining), punto de encuentro de los investigadores en el área. Cabe destacar que, frente a lo habitual en otras disciplinas, el número de participantes que provienen de la industria (fabricantes, consultores, usuarios, etc.) es igual o superior al de académicos, lo que pone de manifiesto el mencionado interés de las empresas y organizaciones en esta nueva forma de explotar los datos que genera su actividad diaria.

En el contexto educativo, la aplicación de la minería de procesos ha dado lugar a la aparición de una nueva área de investigación dentro del campo del Educational Data Mining, conocida como Educational Process Mining (EPM) (Trcka & Pechenizkiy, 2009). Gran parte de los trabajos en el área se centran en la aplicación de técnicas de minería de procesos para analizar los logs generados durante el desarrollo de diferentes Massive Open Online Courses (MOOC), dado que es relativamente sencillo disponer de registros de actividad en estos cursos.

Muchos de estos trabajos concluyen, como era de esperar, que los MOOC son una excelente herramienta para abrir la puerta al conocimiento de forma fácilmente escalable y muy flexible, pero con altas tasas de abandono. En ocasiones, son incluso capaces de detectar patrones de comportamiento que permitirían predecir que un estudiante está cerca de abandonar el MOOC (Umer, et al., 2017), pero raramente son capaces de transformar esos resultados accionables en acciones reales. Dicho de otro modo, llegan al diagnóstico, e incluso la prescripción del tratamiento, pero no demuestran la efectividad de dicho tratamiento.

Existen también trabajos desarrollados en el contexto de la docencia reglada, que cubren muy diversas temáticas. La mayoría se centran en descubrir patrones de comportamiento en los estudiantes (Davies et al., 2021), pero también se encuentran trabajos centrados en comprobar la fiabilidad de los modelos de proceso generados (Chanifah et al., 2021) o la eficacia de un algoritmo en particular (Bogarin et al., 2018); analizar la utilidad de exámenes de libro-abierto (Majumdar et al., 2021); descubrir cómo se comportan los estudiantes de doctorado (Goel et al., 2021); comprobar si efectivamente se está ante una clase invertida o incluso estudiar los procesos administrativos de soporte a la docencia superior (Dorrer & Dorrer 2021).

Estos trabajos se enfrentan a menudo con un problema muy habitual: registros de eventos con demasiado ruido o suciedad. En estos casos, las técnicas de descubrimiento de procesos pueden generar lo que se conoce como spaghetti-like process models, que resultan demasiado complejos para poder extraer conclusiones o resultados relevantes de su análisis (Cairns et al., 2015), dando lugar incluso a la reciente aparición de trabajos que proponen formas alternativas de limpiar y/o explotar esos logs.

Asimismo, la literatura apunta a algunos de los retos en el área que deben abordarse, como el desarrollo de herramientas construidas específicamente para proyectos EPM, la mejora de los logs mediante el uso de anotaciones semánticas o similares, la generación de recomendaciones a partir de los resultados del análisis o la posibilidad de disponer de más datasets públicos que faciliten la validación de nuevos modelos teóricos herramientas (Bogarin et al., 2018).

Durante esta experiencia se han abordado algunas de esas líneas abiertas. En particular, el preprocesamiento de los registros de eventos ha permitido identificar algunas de las modificaciones que deberían implementarse en el Campus Virtual para que los logs generados por la plataforma fuesen susceptibles de análisis directamente (Wambsganss et al., 2021). Finalmente, y aunque desde el punto de vista científico pueda resultar menos atractivo, este trabajo es una de las primeras experiencias centradas en proporcionar indicadores sobre la actividad de los estudiantes en centros que se inician en la enseñanza no presencial o remota y/o centros que no venían utilizando un LMS como soporte a su actividad docente. Por supuesto, este trabajo es además la primera experiencia de aplicación de la minería de procesos en el Campus Virtual de la UNAH. Se puede considerar que esta es una importante contribución desde el punto de vista práctico, pues no sólo demuestra que es factible hacerlo en este entorno, sino que sienta las bases para extender esta práctica al conjunto de toda la oferta académica de la institución (Yassine et al., 2021).

Esta investigación se ha desarrollado en el ITS Tela de la UNAH. En el Instituto, desde el año 2012, se han venido impartiendo tres carreras técnicas destinadas fundamentalmente a producir los tipos de profesionales que más demanda la actividad económica de la región:

  1. Técnico Universitario en Microfinanzas (TUM). El propósito principal de esta formación universitaria es el de brindar un conjunto de conocimientos y herramientas para que los estudiantes puedan formar parte de la industria microfinanciera, pudiendo comprender a fondo la problemática y las necesidades de este sector, en particular en las pequeñas y medianas empresas.

  2. Técnico Universitario en Alimentos y Bebidas (TUAB). Esta formación tiene como objetivo principal proporcionar a sus estudiantes la habilidad de poder dirigir cualquier empresa de restauración, además de poder formar parte de cualquier empresa relacionada con el área de alimentos y bebidas.

  3. Técnico Universitario en Desarrollo Local (TUDL). Esta carrera se crea para cumplir con el mandato de formar profesionales que den respuesta a las problemáticas y carencias de desarrollo por las que atraviesan los territorios en todo el país de Honduras.

En lo que respecta al universo de los datos, objeto de análisis en el presente trabajo, cabe señalar que en el ITS Tela, desde el tercer Periodo Académico (PAC) del 2020 al tercer PAC 2021, se impartieron un total de 216 asignaturas virtualizadas, por los 19 docentes del centro y a 223 estudiantes en promedio por PAC. Así pues, en este trabajo se comparte la experiencia analizando los registros (huella digital) de la actividad en el Campus Virtual del ITS Tela desde el tercer periodo académico 2020 al tercer periodo académico 2021 de todas las asignaturas virtualizadas. En este punto, es conveniente aclarar que en la UNAH un curso académico está compuesto por tres periodos académicos (PAC), cada uno equivalente a quince semanas lectivas.

Materiales y métodos

El desarrollo de este trabajo se puede definir como no experimental y transversal, dado que no se manipulan variables de investigación y se efectúa la medición en un punto en el tiempo. Asimismo, este artículo se desarrolla con el enfoque cuantitativo que se fundamenta en la descripción de los fenómenos “secuencial y probatorio”, a partir del “diseño transaccional o transversal que recolectan datos en un solo momento, en un tiempo único. Su propósito es describir variables y analizar su incidencia e interrelación en un momento dado”, (Hernández-Sampieri et al., 2014).

En cuanto a la delimitación de la investigación, como ya se ha mencionado, se analizó la actividad de los estudiantes del ITS Tela que han recibido asignaturas en la modalidad virtual en el periodo que abarca desde el tercer PAC 2020 hasta el tercer PAC 2021. Durante este periodo de tiempo, 19 docentes del ITS Tela impartieron un total de 216 asignaturas virtualizadas, que fueron recibidas por 223 estudiantes en promedio por PAC. Para ello, la UNAH a través de la DIE y la DEGT ha establecido una estructura de cumplimiento mínimo exigido que debe presentar una asignatura en el Campus Virtual, la cual debe contener un conjunto de foros, actividades, contenidos, recursos de apoyo, cuestionarios y evaluaciones. Esta estructura se ha definido con el propósito de orientar a los estudiantes y a los docentes en el desarrollo de las asignaturas.

Por lo tanto, la delimitación es afín con el objetivo de poder llevar a cabo un análisis comparativo del uso y comportamiento de los estudiantes en el Campus Virtual, con especial énfasis en la estructura mínima establecida por la UNAH; entre ellos, haciendo énfasis en la sección de los foros, dada su importancia como mecanismo de consulta, retroalimentación y comunicación en general entre docentes y estudiantes durante el periodo de pandemia. La sección de los foros es un indicador de rendimiento muy relevante en el proceso de enseñanza-aprendizaje en la modalidad virtual. Es así como los resultados de este análisis permitirán a las autoridades académicas de la UNAH disponer de información para diseñar modelos de monitorización de las interacciones de los estudiantes en los elementos que conforman la estructura del Campus Virtual, para el aseguramiento de la calidad educativa.

En cuanto al contexto tecnológico, la UNAH utiliza Moodle como Sistema de Gestión del Aprendizaje (Learning Management System, LMS) en la modalidad virtual. A continuación, se expone brevemente cómo está conformado el Moodle que constituye el Campus Virtual de la Universidad, la elección de la herramienta tecnológica y método del proceso de extracción, transformación y cargar de la huella digital alojada en el Campus Virtual.

En la Figura 2 se muestran los componentes más relevantes que contiene una asignatura en el Campus Virtual. En primer lugar (a), se incluye el área de trabajo del estudiante, nombre de la asignatura, participantes, insignias, competencias, calificaciones, secciones del curso y un apartado de área personal. Un segundo bloque (b), contiene el nombre de la asignatura, la sección de foros, los contenidos y el calendario de la asignatura. En esta sección el estudiante tiene acceso a los recursos de las actividades asincrónicas, como charlas magistrales y videoconferencias. En el tercer bloque (c) el estudiante puede marcar el nivel de avance en cada uno de los apartados. Finalmente, el cuarto bloque (d) contiene las unidades con los contenidos, los recursos pedagógicos, los elementos y fechas de evaluación.

Asimismo, la Figura 2 muestra el componente de ajustes para la administración y configuración de la asignatura en el Campus Virtual, que es donde se gestionan y descargan los registros o logs que pueden ser analizados por parte del docente o de los investigadores. A este apartado el estudiante no tiene acceso.

Fig. 2 - Configuración y ajustes del Campus Virtual. 

ELECCIÓN DE LA TECNOLOGÍA

Una vez identificada la fuente de los datos, es necesario seleccionar una herramienta para su análisis. Al respecto, conviene señalar que el prolífero mercado de herramientas de inteligencia de negocio (Business Intelligence, BI) está dominado por fabricantes que se centran en el desarrollo de herramientas destinadas a la monitorización y la generación de informes, más que al análisis propiamente dicho. Sin embargo, en general, las herramientas BI existentes no ofrecen o soportan capacidades de minería de procesos, por lo que era preciso buscar una herramienta ad-hoc (Nagar, et al., 2016).

La primera opción pasaba por buscar una alternativa de libre distribución, siendo ProM, la primera herramienta de minería de procesos, probablemente la opción más popular. ProM es un entorno pensado para ser extendido en forma de plug-ins, de forma que históricamente todos los avances en el área (nuevos algoritmos, nuevas notaciones, etc.) han sido implementados en forma de plug-ins que se integraban en ProM (Van Dongen et al., 2005). El problema es que precisamente por su carácter académico, los niveles de usabilidad de ProM son muy bajos, ya que no es una herramienta pensada para un uso industrial, sino para proporcionar un laboratorio de pruebas donde desplegar los últimos avances en materia de investigación en el área.

Ahora bien, el auge de la disciplina ha provocado la aparición de una importante cantidad de soluciones comerciales en los últimos años, con unos niveles de usabilidad mucho más altos (Viner, et al., 2020) y prácticamente todas con licencias gratuitas para fines académicos y/o de investigación. Obviamente, todas estas herramientas cuentan con una curva de aprendizaje mucho menos pronunciada, lo que permite que tecnólogos no familiarizados con la disciplina puedan ponerla en práctica. Dado que existen estudios centrados en evaluar las diferentes soluciones existentes (Celik & Akçetin 2018) y, dado que el objetivo de este trabajo no es el de realizar un análisis exhaustivo de la tecnología existente, cabe mencionar que Disco fue la solución escogida, por ser una herramienta de fácil instalación y configuración, que tiene una curva de aprendizaje muy baja y que permite empezar a analizar procesos en cuestión de minutos. Así, Disco constituye una opción ideal para los investigadores de la UNAH que realizaban su primer acercamiento a la disciplina.

No obstante, en el futuro se prevé combinar el análisis de los registros de actividad con otros datos (geográficos, económicos, rendimiento académico, etc.) utilizando técnicas de BI. Para ello se utilizará Celonis, una solución que incorpora facilidades para combinar la minería de procesos con el análisis BI más tradicional, y que es el líder del mercado. Los investigadores de la Universidad Rey Juan Carlos, coautores de este trabajo, vienen trabajando con Celonis desde hace cierto tiempo y recientemente han establecido algunas líneas de colaboración con el equipo de I+D precisamente en la combinación de técnicas de BI y de minería de procesos. Una vez seleccionadas las tecnologías a aplicar para el análisis de los datos, se procede con la instalación y configuración de las herramientas.

  1. Método ETL (Extraer, Transformar y Cargar)

En este apartado se describe el proceso ETL (Extract, Transform & Load) necesario para obtener, transformar y cargar los registros del Campus Virtual para luego aplicar técnicas de minería de procesos y análisis de datos. En este caso las herramientas seleccionadas son Disco y Power BI.

b.1. Extraer los registros.

El primer paso en cualquier proyecto de minería de procesos pasa por recopilar los datos que se utilizarán durante el análisis. En este caso, esta tarea es relativamente sencilla y, sobre todo, accesible, en contraste con otros contextos donde los logs o registros de actividad están fuera del alcance de los usuarios de la plataforma, y únicamente los administradores de esta tienen acceso a tales datos. Por contra, en el Campus Virtual (o más precisamente en el Moodle sobre el que está desplegado el Campus Virtual) cualquier docente puede consultar y descargar los registros de actividad de sus estudiantes en la plataforma. Es una funcionalidad que siempre ha estado ahí, pero a la que probablemente en pocas ocasiones se le ha encontrado utilidad.

El proceso se inicia accediendo a las opciones de configuración de la asignatura, tal y como se muestra en la Figura 3. En primer lugar (1), desde el menú de ajustes, se debe seleccionar la opción de informes, donde se encuentra un acceso directo a los registros de actividad. Estos registros se pueden filtrar en base a actividades concretas para luego descargarlos (2). Por último, se selecciona el formato deseado para el fichero a descargar (3), habiendo optado por MS Excel en el contexto de este trabajo, ver figura 3

Fig. 3 - Extraer los registros del Campus Virtual. 

b.2. Transformar los datos.

En el proceso de transformación, los datos descargados necesitaron de cierto nivel de limpieza y preprocesamiento para posibilitar su análisis. Para fines de este trabajo, algunas de las tareas que se realizaron al respecto fueron:

  • Filtrado de algunas columnas innecesarias, como la descripción del evento o los componentes relacionado con la actividad del estudiante.

  • Filtrado de la actividad del administrador y de los docentes en la plataforma, que también se incluye en el registro de actividades, pero que no son objeto de este análisis, en el que sólo nos ocupa la actividad de los estudiantes.

A modo de ejemplo, la Figura 4 muestra los campos que contienen los logs de eventos que se pueden descargar desde el Campus Virtual.

Fig. 4 - Ejemplo de registros del Campus Virtual. 

b.3. Cargar los datos

Disco soporta la carga de ficheros en varios formatos, y en particular CSV y XLS, por lo que simplemente se debe seleccionar el fichero descargado (y pre-procesado) desde el Campus Virtual. A continuación, tal y como ilustra la figura 5, debe indicarse cuáles son los campos que constituyen la huella digital de cada entrada del registro. Es decir, debe indicarse qué campo se corresponde con el identificador (ID), la marca de tiempo (Timestamp) y la actividad a analizar (Activity). Opcionalmente, se pueden indicar otras columnas como recursos adicionales (Resource). Finalmente, se invoca la importación (Start Import). Ver Figura 5

Fig. 5 - Selección de campos para el análisis. 

Una vez extraídos y transformados los datos, la herramienta muestra todos los procesos en donde se cargan los eventos registrados para su posterior análisis. Para fines de orientación didáctica, la Figura 6 (a) únicamente ilustra los procesos en su conjunto sin ningún tipo de análisis. La herramienta proporciona diferentes controles para: definir el nivel de detalle de los procesos a mostrar, filtrando por ejemplo actividades o aristas en función del número de ejecuciones que las han transitado (b); utilizar distintas métricas (frecuencia o rendimiento, por ejemplo) (c); reproducir la ejecución de los eventos registrados (d); o filtrar actividades o rutas (e).

Fig. 6 - Visión general de la interfaz de Disco. 

Resultados y discusión

En esta sección se resumen algunos de los resultados más relevantes del análisis llevado a cabo sobre el uso y comportamiento de los estudiantes en el Campus Virtual, mediante técnicas de minería de procesos y de inteligencia de negocio. Tal y como se ha mencionado anteriormente, a la hora de realizar este trabajo se ha logrado disponer de todos los registros de actividad de los estudiantes en el ITS Tela en un intervalo temporal que abarca varios períodos académicos, lo que ha permitido descubrir elementos relevantes sobre la evolución, comportamiento y uso del Campus Virtual por parte de los estudiantes en diferentes periodos de tiempo.

Por lo tanto, la realización de este tipo de análisis con los datos de los estudiantes del Instituto permitió identificar una tendencia similar en todos los casos, de lo que se podría derivar que existe una correlación entre la actividad en el Campus Virtual y las capacitaciones recibidas junto a la experiencia acumulada en el uso de la plataforma por parte de los docentes y estudiantes. Evidentemente, la correlación no implica causalidad, y además se debe extender notablemente el análisis, incluyendo muchas otras variables cuyos datos ya están incluidos en los registros que proporciona la plataforma y en cuya explotación ya se ha empezado a trabajar para investigaciones futuras.

Resultados comparativos

En esta etapa inicial del análisis es importante señalar que se identificó una tendencia significativa al alza en cuanto al número de accesos al Campus Virtual por parte de todos los estudiantes en cada una de las asignaturas virtualizadas. Asimismo, se comprobó que a lo largo del curso académico 2021 también aumentaron las interacciones de los estudiantes en los foros de consulta de sus asignaturas y la realización de cuestionarios (evaluaciones) y tareas respecto al curso 2020.

Para una mejor comprensión de los resultados, a continuación, se muestra una comparativa global de la actividad de los estudiantes en todas las asignaturas virtualizadas de las carreras técnicas que se imparten en el Instituto, correspondiente al III PAC 2020 y III PAC 2021. En la Tabla 1se detallan las estadísticas de la carrera de Desarrollo Local (TUDL), en la Tabla 2 se muestran las estadísticas de la carrera de Alimentos y Bebidas (TUAB), mientras que en la Tabla 3 se pueden observar las estadísticas de la carrera de Microfinanzas (TUM).

En la carrera de TUDL se analizaron los registros de datos de los estudiantes en dos asignaturas.

Tabla 1 - Cuadro comparativo de la carrera de TUDL 

Total de interacciones al Campus Virtual III PAC 2020 III PAC 2021 Porcentaje de variación (%)
Ingresos de los estudiantes al Campus Virtual 2.225 8.633 +388%
Ingresos de los estudiantes a los foros 212 737 +348%
Ingresos de los estudiantes a los cuestionarios (evaluaciones) 157 880 +561%
Ingresos de los estudiantes a las tareas 1.004 3.688 +367%

Fuente: Elaboración propia

Asimismo, en la carrera del TUAB se analizaron los registros de datos de los estudiantes en seis asignaturas.

Tabla 2 - Cuadro comparativo de la carrera del TUAB 

Total, de interacciones al Campus Virtual III PAC 2020 III PAC 2021 Porcentaje de variación (%)
Ingresos de los estudiantes al Campus Virtual 5.833 25.461 +436%
Ingresos de los estudiantes a los foros 197 1.124 +571%
Ingresos de los estudiantes a los cuestionarios (evaluaciones) 898 1.681 +187%
Ingresos de los estudiantes a las tareas 2.004 12.476 +623%

Fuente: Elaboración propia

Por otro lado, en la carrera de TUM se analizaron los registros de datos de los estudiantes en diez asignaturas virtualizadas.

Tabla 3 - Cuadro comparativo de la carrera del TUM 

Total, de interacciones al Campus Virtual III PAC 2020 III PAC 2021 Porcentaje de variación (%)
Ingresos de los estudiantes al Campus Virtual 45.955 136.950 +298%
Ingresos de los estudiantes a los foros 2.051 15.674 +764%
Ingresos de los estudiantes a los cuestionarios (evaluaciones) 2.524 6.759 +268%
Ingresos de los estudiantes a las tareas 19.120 52.958 +277%

Fuente: Elaboración propia

A modo de ejemplo, y utilizando la herramienta de Disco, la Figura 7 muestra los diagramas de flujo que describen los procesos a los que da lugar el conjunto de registros de actividad de los estudiantes en una asignatura analizada. Ella tiene como objetivo mostrar de manera comparativa entre los terceros PAC de los años 2021 y 2021 el aumento de las diferentes interacciones y flujos de trabajo por parte de los estudiantes. No se pretende mostrar datos estadísticos del proceso, sino el aumento en cuanto al número de interacciones y actividades consultadas.

Fig. 7 - Comparativa de los diagramas de flujo de actividad de los estudiantes. 

Asimismo, se utilizó el conjunto de herramientas de Power BI para transformar y cargar todos los registros de actividad de los estudiantes en las asignaturas virtualizadas del Campus Virtual, tal y como se puede observar en la Figura 8.

Fig. 8 - Registro de datos en Power BI. 

Una vez importados estos datos, se aplicaron técnicas de inteligencia y análisis de negocio para convertir dichos datos en información. En este sentido, la Figura 9 muestra algunos de los hallazgos del análisis de todos los registros (logs) de las asignaturas virtualizadas en la plataforma Moodle de la UNAH, correspondiente a las tres carreras técnicas ofertadas en el ITS Tela durante el tercer periodo académico de los años 2020 y 2021. En este caso, y a modo de ejemplo, se muestra el resultado del total de interacciones de los estudiantes que recibieron dos asignaturas virtualizadas en la carrera de Técnico en Desarrollo Local, durante estos cursos académicos. Se puede observar un notable incremento de las interacciones totales en la misma asignatura en el periodo del 2021 respecto al 2020, pasando de 2.225 interacciones a 8.633 respectivamente.

Fig. 9 - Total de interacciones en la carrera del TDL 

Tal y como se mencionó anteriormente, la actividad de los foros es uno de los indicadores en que la UNAH ejerce una notable importancia en el proceso formativo de las asignaturas virtualizadas. En este sentido, la Figura 10 muestra el número de interacciones de esta actividad por parte de los estudiantes de la carrera de TDL, reflejando un significativo incremento al pasar de 212 interacciones en el tercer PAC 2020 a 737 interacciones en el mismo periodo de tiempo del año 2021.

Fig. 10 - Total interacciones sección de foros en la carrera de TDL. 

Conclusiones

La aplicación de técnicas de minería de procesos en el ITS Tela de la UNAH ha permitido llevar a cabo un análisis de la actividad de los estudiantes en el Campus Virtual durante el periodo actual de pandemia COVID-19. En dicho periodo, la institución universitaria ha llevado a cabo procesos de adaptación a la docencia virtual impuesta por la pandemia global.

En estos primeros análisis comparativos se han utilizado conjuntos de datos pertenecientes a una de las instituciones regionales de la UNAH, pero el siguiente objetivo es poder aplicar estas mismas técnicas a toda la actividad del Campus Virtual de la Universidad en general, lo que permitiría la creación de nuevas herramientas institucionales de monitoreo y análisis destinadas a la mejor toma de decisiones y al fortalecimiento de una cultura de mejora continua en el proceso de enseñanza-aprendizaje en la UNAH.

En este caso en concreto, la aplicación de la minería de procesos para el análisis de los registros de actividad generados por el Campus Virtual ha permitido identificar una posible correlación entre las iniciativas de capacitación de los estudiantes del ITS Tela de la UNAH y el volumen de interacciones en el LMS (Campus Virtual) que se utiliza en la institución para la enseñanza virtual.

No obstante, y más allá de los hallazgos de este análisis, algunos de los cuales han sido mostrados a modo de ejemplo en este trabajo, este tipo de proyectos piloto ponen de manifiesto que la aplicación de técnicas de minería de procesos y herramientas de inteligencia de negocio a los registros de actividad del Campus Virtual de la UNAH es un objetivo factible y relativamente sencillo. Hoy en día se cuenta con la tecnología y el conocimiento necesario para explotar los datos, evidenciando que las posibilidades son casi infinitas y el esfuerzo o coste requerido son asumibles.

Referencias bibliográficas

Bogarin Vega, A., Cerezo Menéndez, R., & Romero, C. (2018). Discovering learning processes using inductive miner: A case study with learning management systems (LMSs). Psicothema. [ Links ]

Cairns, A. H., Gueni, B., Fhima, M., Cairns, A., David, S., & Khelifa, N. (2015). Process mining in the education domain. International Journal on Advances in Intelligent Systems, 8(1), 219-232. [ Links ]

Celik, U., & Akçetin, E. (2018). Process mining tools comparison. Online Academic Journal of Information Technology, 9, 97-104. [ Links ]

Chanifah, S., Andreswari, R., & Fauzi, R. (2021). Analysis of Student Learning Pattern in Learning Management System (LMS) using Heuristic Mining a Process Mining Approach. In 2021 3rd International Conference on Electronics Representation and Algorithm (ICERA) (pp. 121-125). IEEE. [ Links ]

Davies, R., Allen, G., Albrecht, C., Bakir, N., & Ball, N. (2021). Using Educational Data Mining to Identify and Analyze Student Learning Strategies in an Online Flipped Classroom. Education Sciences, 11(11), 668. [ Links ]

Dorrer, M., & Dorrer, A. (2021). Analysis of the University's Supporting Business Processes Using Process Mining Methods. In Digital Transformation and New Challenges (pp. 43-51). Springer, Cham. [ Links ]

Goel, K., Leemans, S., Wynn, M. T., ter Hofstede, A., & Barnes, J. (2021). Improving PhD Student Journeys with Process Mining: Insights from a Higher Education Institution. In International Conference on Business Process Management (No. 19th). [ Links ]

Hernández Sampieri, R., Fernández Collado, C., & Baptista Lucio, P. (2014). Metodología de la investigación (6a. ed. --.). México D.F. McGraw-Hill. [ Links ]

Majumdar, R., Bakilapadavu, G., LIc, J., Chen, M. R. A., Flanagan, B., & Ogata, H. (2021). Analytics Of Open-Book Exams with Interaction Traces in a Humanities Course. Conference: 29th International Conference on Computers in Education. https://www.researchgate.net/publication/356388000_Analytics_of_Open-Book_Exams_with_Interaction_Traces_in_a_Humanities_CourseLinks ]

Nagar, P., Atriwal, L., Mehra, H., & Tayal, S. (2016). Comparison of generalized and big data business intelligence tools. In 2016 3rd International Conference on Computing for Sustainable Global Development (INDIACom) (pp. 3585-3588). IEEE. [ Links ]

Trcka, N., & Pechenizkiy, M. (2009). From local patterns to global models: Towards domain driven educational process mining. In 2009 Ninth international conference on intelligent systems design and applications (pp. 1114-1119). IEEE. [ Links ]

Umer, R., Susnjak, T., Mathrani, A., & Suriadi, S. (2017). On predicting academic performance with process mining in learning analytics. Journal of Research in Innovative Teaching & Learning. https://www.emerald.com/insight/content/doi/10.1108/JRIT-09-2017-0022/full/htmlLinks ]

Van Der Aalst, W. (2012). Process mining. Communications of the ACM 55, 76-83 Association for Computing Machinery (ACM). [ Links ]

Van Dongen, B. F., de Medeiros, A. K. A., Verbeek, H. M. W., Weijters, A. J. M. M., & van Der Aalst, W. M. (2005). The ProM framework: A new era in process mining tool support . In International conference on application and theory of petri nets (pp. 444-454). Springer, Berlin, Heidelberg. [ Links ]

Viner, D., Stierle, M., & Matzner, M. (2020). A Process Mining Software Comparison. [ Links ]

Wambsganss, T., Schmitt, A., Mahning, T., Ott, A., Soellner, S., Ngo, N. A., & Leimeister, J. M. (2021). The Potential of Technology-Mediated Learning Processes: A Taxonomy and Research Agenda for Educational Process Mining. In International Conference on Information Systems (ICIS). [ Links ]

Wang, J., Wong, R. K., Ding, J., Guo, Q., & Wen, L. (2012). Efficient selection of process mining algorithms. IEEE Transactions on Services Computing, 6(4), 484-496. [ Links ]

Yassine, S., Kadry, S., & Sicilia, M. A. (2021). Detecting communities using social network analysis in online learning environments: Systematic literature review. Wiley Interdisciplinary Reviews: Data Mining and Knowledge Discovery, e1431. Mehmed Kantardzic, Associate Editor and Witold Pedrycz [ Links ]

Recibido: 12 de Abril de 2023; Aprobado: 17 de Junio de 2023

*Autor para correspondencia E-mail: gustavo.rodriguez@unah.edu.hn

Los autores declaran no tener conflictos de intereses.

Los autores participaron en la búsqueda y recopilación de la información, redacción y revisión del artículo.

Creative Commons License