ARTÍCULO ORIGINAL
El análisis de datos en apoyo a la gestión de la enseñanza en la carrera Ingeniería Industrial
Data analysis as teaching management support at industrial engineering university course
Jobany José Heredia-Rico, Aida Georgina Rodríguez-Hernández, José Alberto Vilalta-Alonso
Instituto Superior Politécnico José Antonio Echeverría, Cujae. Facultad de Ingeniería Industrial. La Habana, Cuba. ]]>
RESUMEN
El desarrollo actual de la tecnología para el tratamiento de datos, facilita a las organizaciones comprender en mayor medida sus procesos y actuar de manera más efectiva sobre los mismos. Las universidades son organizaciones donde es viable utilizar esta tecnología. En el trabajo se muestran los resultados logrados al concebir y aplicar una propuesta metodológica, basada en la utilización de técnicas de análisis multivariado, para obtener información relevante sobre las características de aprendizaje de los estudiantes de Ingeniería Industrial del Instituto Superior Politécnico José Antonio Echeverría (Cujae). Mediante la aplicación de las técnicas propuestas, se caracteriza el aprendizaje de los estudiantes en cada curso y se investiga la transición del estudiante de uno a otro curso. Al considerar los aspectos recomendados en la propuesta para el uso del conocimiento extraído de los datos, se apoya a la didáctica en la dirección del proceso de enseñanza, por cuanto las acciones educativas se enfocan más en las diferencias individuales de los alumnos.
Palabras clave: análisis estadístico multivariado, educación superior, desempeño académico, gestión del conocimiento.
ABSTRACT
Current development of technologies for data analysis aids organizations understanding their processes to a greater extent and taking actions more effectively regarding such processes. Universities are organizations where the use of these technologies is viable. The work shows the design and application of a methodological proposal based on using multivariate analysis techniques in order to obtain relevant information about learning characteristics of Industrial Engineering students from Polytechnical University of Havana "José Antonio Echeverría", Cujae (in its Spanish acronym) . By means of putting into practice the suggested techniques, it is possible to characterize students learning condition at each academic year and investigate transitions from one condition to another throughout academic years. Considering recommendations given in the model for using knowledge discovered on data, it is possible to help didactics in managing teaching process because educational actions are more focused on students' individual differences.
Key words: multivariate statistical analysis, higher education, academic performance, knowledge management.
]]>
INTRODUCCIÓN
El proceso de formación en las universidades es un proceso complejo, debido a la gran variabilidad en las características de los estudiantes, que son el objeto a transformar, y a la variedad de condiciones que confluyen en el proceso para desarrollar esta transformación [1]. En el caso de la formación de ingenieros en la Facultad de Ingeniería Industrial del Instituto Superior Politécnico José Antonio Echeverría (Cujae), un primer elemento que condiciona la complejidad es la variabilidad en los conocimientos y habilidades de los estudiantes al entrar y la variabilidad de las cualidades de los profesores, quienes tienen niveles académicos y de experiencia muy disímiles: un porcentaje considerable de los profesores son muy jóvenes y otra gran parte acumula ya muchos años de trabajo. Otro elemento lo constituye la atención a otras tareas no directamente relacionadas con la formación (la investigación y las responsabilidades administrativas), las cuales incrementan el volumen y la complejidad del trabajo de los profesores y directivos [1].
En estas condiciones, los directivos del proceso deben ser capaces de usar la información que aparece durante el desarrollo del proceso, integrarla, formular esquemas para la acción y ser capaces de reunir el máximo de certidumbres para confrontar la incertidumbre [2]. Debe crearse una inteligencia organizacional que posibilite la identificación, captación y procesamiento de datos adecuados para la obtención de un modelo del proceso que facilite la toma de decisiones y la concepción de estrategias orientadoras [1]. Se deben aprovechar las propias técnicas de Ingeniería Industrial para guiar el trabajo del profesor, brindarle informaciones más completas y oportunas sobre sus alumnos, que le faciliten orientarlos de acuerdo a sus características específicas, y controlar todo el proceso de aprendizaje teniendo en cuenta esa variabilidad. El enfoque de procesos en la formación de Ingenieros Industriales requiere centrarse en el alumno, estudiar cómo se produce la transformación de los conocimientos, habilidades y otras características de entrada, en características de salida; y convertir los resultados de esos estudios en conocimientos útiles para dirigir el proceso de aprendizaje en condiciones de masividad [3]. En las universidades debe crearse una inteligencia organizacional, que gestione un aprendizaje organizacional basado en la utilización de las técnicas modernas de análisis de datos, para que todos aprendan del comportamiento de los procesos que dirigen, puedan prever sus reacciones y dominarlos [1; 4].
Esta situación, unida a la ventaja que representa para estos fines el sistema de información con que cuenta la Facultad, el cual posibilita registrar un gran volumen de datos viables de ser analizados; promueve el despliegue de una estrategia de análisis de datos para el descubrimiento y la gestión del conocimiento asociado al proceso de enseñanza, que contribuya a transformar los trabajos de dirección y a sugerir nuevos enfoques y acciones de los actores directos del proceso, para mejorar la productividad y eficacia de profesores y estudiantes. Este trabajo va encaminado a aprovechar con esos fines, la oportunidad que representa la exploración del gran conjunto de datos referentes al proceso docente, que semestre tras semestre se acumulan en la Facultad de Ingeniería Industrial, considerando la efectividad mostrada por el despliegue de este tipo de estrategias para la obtención de conocimientos útiles como apoyo a las decisiones [5; 6].
Los objetivos del trabajo consisten en mostrar los resultados alcanzados en la concepción de una propuesta metodológica para desarrollar el análisis de datos como apoyo a la gestión de la enseñanza y discutir las ventajas que representa la información obtenida a partir del análisis de datos para la didáctica.
MÉTODOS ]]>
Para aprovechar los datos como base de creación de conocimiento, se concibió una propuesta metodológica. Ésta fue adaptada a partir de otras, cuyo objetivo es emplear los datos para generar información en apoyo a las decisiones [3; 7]. La propuesta constituye una primera aproximación que se proyecta con el fin de utilizar los datos sobre el proceso docente en la dirección del mismo. En la adaptación se consideran las características de los problemas a resolver en la enseñanza de la Ingeniería Industrial en la Cujae. Se pretende que la aplicación continua de las ideas que se presentan, permita validar su utilidad en la Facultad de Ingeniería Industrial, para posteriormente validar sus beneficios en otras carreras del Instituto, e incluso en otros contextos ajenos a éste. La propuesta metodológica es genérica, pues no se especifica con detalle el "cómo" ejecutar los diferentes pasos que se presentan. La aplicación repetida también tributará a incrementar la granularidad en este sentido.
En la concepción de los aspectos incluidos dentro de cada una de estas etapas, se tuvo en cuenta la propuesta realizada por Davenport (2000), referente a diversos factores críticos a considerar al desarrollar proyectos para convertir datos de procesos en conocimiento [8]. Dentro de estas cuestiones destacan: garantizar las habilidades necesarias de las personas para el descubrimiento y la gestión del conocimiento, enmarcar el programa de mejora dentro de un contexto estratégico en la organización, atender las cuestiones culturales que puedan entorpecer el desarrollo del proyecto, gestionar los cambios en los roles organizativos de las personas involucradas y garantizar una correcta integración de la tecnología utilizada en todas las etapas de la gestión del conocimiento.
La propuesta se estructuró en las siguientes 5 etapas:
1. Caracterización del proceso a mejorar
La mejora de la gestión de un proceso está precedida por el conocimiento de las principales características de éste. En este caso, la caracterización del proceso de enseñanza es un primer paso para encontrar áreas de mejora que puedan derivarse del descubrimiento de conocimiento en los datos. Se propone incluir en esta caracterización, cuáles son los resultados del proceso, los participantes, sus responsabilidades y relaciones funcionales, y los recursos involucrados.
2. Visión estratégica y objetivos del proyecto de rediseño
Se recomienda la definición de los objetivos estratégicos del proceso, y en función de éstos, la definición de los objetivos del programa de mejora. Es necesario que los objetivos que se persiguen con el rediseño tributen a resolver problemas importantes en la organización o al menos, que ayuden a que ésta consiga ventajas estratégicas. Lograr la articulación de ambos objetivos incrementará el apoyo y el compromiso con el programa de rediseño.
3. Identificación y caracterización de las actividades de gestión a rediseñar ]]>
Para obtener los resultados en el proceso docente, deben realizarse una serie de acciones de coordinación y gestión, como por ejemplo: la confección de los grupos, la planificación del horario, la planificación y ejecución de las prácticas laborales, la confección y ejecución del proyecto educativo de cada grupo de clase, del plan de actividades metodológicas del año, y además, la gestión que requiere la propia impartición de las clases. El objetivo de esta etapa es identificar y caracterizar estas acciones. En este paso pueden ser identificadas una gran variedad de acciones y deberá seleccionarse sobre cuáles se centrará el rediseño. La caracterización debe comenzar por una descripción de la forma en que son realizadas. Posteriormente se recomienda definir en la actividad "situaciones de decisión". Lo deseado es lograr que en cada acción se hagan explícitas las decisiones que se toman y que se conciban el logro de resultados a través de decisiones. Además, deben identificarse las "necesidades de información" que tiene la actividad a mejorar, fundamentalmente la información que apoya las decisiones identificadas.4. Recogida y análisis de datos (descubrimiento del conocimiento)
Esta etapa tiene como objetivo aplicar técnicas de análisis de datos para descubrir regularidades, patrones y modelos en los datos que posibiliten incidir positivamente en la forma en que se desarrolla la gestión. Con esta etapa se satisfacen las necesidades de información de la actividad sujeta a mejora, ya que precisamente las asociaciones y modelos encontrados representan la información deseada.
En este paso se define qué objetivo específico se persigue con el análisis, de forma que al ejecutarlo e interpretar los resultados, se obtenga la información que se desea; es decir, luego de identificadas las necesidades de información, es necesario analizar si parte de esta información, puede obtenerse a partir del análisis de datos. Posteriormente deben seleccionarse y conseguirse los datos que permitan llegar a la información que se quiere. Esto implica seleccionar los elementos sobre los que se harán las mediciones y/o registro de las variables, y determinar las variables necesarias. Además, se deben seleccionar las fuentes de dónde se obtendrán los datos, y en el caso que los datos asociados con alguna variable no estén disponibles, corresponde especificar cómo se obtendrán. Seguidamente se deben seleccionar las técnicas y métodos matemáticos a utilizar, para lo cual será necesario analizar cada objetivo y definir si su logro requiere aplicar una técnica descriptiva, de asociación entre atributos nominales, de agrupamiento o clustering entre elementos, o de predicción. En dependencia de la técnica, se establecerá el tamaño de muestra necesario y los supuestos básicos a comprobar.
La creación de conocimiento a partir de los datos constituye un nuevo proceso dentro de la organización y por tanto, requiere de una infraestructura organizativa que lo soporte. De ahí que para alcanzar una aplicación organizada de las técnicas matemáticas, posibilitando el empleo de sus resultados en la dirección del proceso, es preciso también definir cómo se organizarán las personas para desarrollar esta aplicación. La organización se basa en coordinar adecuadamente el trabajo colaborativo que deben desarrollar los distintos participantes en el descubrimiento de conocimiento.
A modo de resumen, en la tabla 1 se exponen los pasos de la propuesta.
Técnicas matemáticas
En los resultados que se muestran, las técnicas de análisis multivariado utilizadas son: el análisis de componentes principales (ACP), el análisis de clusters jerárquicos y el análisis factorial de correspondencias (AFC).
El análisis de componentes principales fue realizado a partir de la matriz de correlaciones de Spearman (y no de Pearson, porque las variables originales, en este caso, las calificaciones de los estudiantes en las asignaturas, tienen escala ordinal). Utilizar correlaciones de Spearman es equivalente a realizar el análisis de componentes principales a partir, no de las calificaciones originales que, como se comentó, son ordinales; sino de las calificaciones ranqueadas. Transformaciones similares a ésta son propuestas siempre que se realice este análisis con datos ordinales [9], ya que un requisito para la validez del ACP es que las variables utilizadas sean numéricas. Como criterio técnico para determinar las componentes principales a conservar, se seleccionaron las que tuvieron autovalores mayores que 1, hasta completar el menor conjunto de componentes que logró representar un 60 % de la varianza total, por ser una aplicación de Ciencias Sociales [10].
Las componentes principales seleccionadas fueron utilizadas como variables para obtener agrupaciones de alumnos con resultados académicos similares, mediante la técnica de clusters jerárquicos, habiéndose experimentado con distancias euclidianas, distancias euclidianas cuadradas y enlaces promedio, por centroides y de Ward. Para seleccionar la cantidad óptima de clusters se consideraron 3 criterios. En primer lugar, asegurar un nivel de similaridad mínima en la solución del 80 %. También se tiene en cuenta el criterio que propone analizar de manera secuencial la solución para detectar momentos en los cuales se unen elementos que provocaban un descenso brusco en la similaridad y que por lo tanto, suponen un buen punto de corte [10; 11]. Además, se considera la suma de cuadrados correspondientes a las distancias dentro de cada grupo y al igual que la similaridad, se trata de realizar el corte en el momento que este indicador sufra un incremento importante. Con la suma de cuadrados correspondientes a las distancias dentro de cada grupo, es que se calcula la pseudo-estadística tipo F (F de Beale) [12]. A pesar de que el software con que se realiza el procesamiento (Minitab, versión 15.0) no muestra esta estadística, el análisis de la suma de cuadrados que se propone es análogo al empleo de la misma [12]. La obtención de clusters jerárquicos sólo tiene como requisito que se utilicen variables numéricas para formar los grupos [11], cuestión ésta que se cumple, pues este análisis se realiza utilizando como variables las componentes resultantes del ACP, que son de hecho variables numéricas. Además es favorable que entre las variables empleadas no exista multicolinealidad [10], cuestión que también está resuelta al utilizar como variables las componentes. ]]>
Con la finalidad de detectar tendencias en el tránsito de los estudiantes de un curso a otro, o sea, de posibles asociaciones entre la pertenencia a un cluster en primer año y la pertenencia a otro cluster en segundo; se experimentó la utilidad del análisis factorial de correspondencias. Para esto, primeramente se obtuvieron, según el método propuesto, clusters de estudiantes con los resultados docentes de segundo año (curso 2008-2009). Posteriormente se realizó un análisis de correspondencia simple, considerando como variables categóricas "el cluster de pertenencia del estudiante al final de primer año" (curso 2007-2008) y "el cluster de pertenencia del estudiante al final de segundo año" (curso 2008-2009). Con este análisis se pretenden investigar las posibles relaciones entre los perfiles de estudiantes de ambas etapas. El AFC sólo debe realizarse para estudiar la relación entre variable categóricas evaluadas sobre un número n de elementos [10; 11]. Esta condición se verifica en el estudio, ya que el AFC se aplica para conocer la relación entre las 2 variables categóricas comentadas.
RESULTADOS
1. Caracterización del proceso a mejorar
En el proceso, las entradas son los estudiantes de nuevo ingreso, los cuales poseen conocimientos, habilidades y valores que deben modificarse por la acción conjunta de los recursos del sistema educativo. Los recursos más importantes son los humanos, constituidos por los profesores, directivos (miembros de las Vicerrectorías, Decano y Vicedecanos de las Facultades) y los trabajadores de servicio. Además, los recursos materiales, donde se destacan las instalaciones, la infraestructura tecnológica y la base material de estudio. Para que la formación del alumno sea la mejor posible, los recursos deben combinarse de la forma más óptima.
La persona encargada de lograr que las metas del proceso se cumplan, es el Vicedecano Docente, apoyado por los Jefes de Año, que actúan como responsables en cada una de las etapas (años de estudio). Los participantes trabajan en varios procesos simultáneamente: un mismo profesor trabaja en procesos de formación en más de una carrera, y además en proyectos de investigación, en maestrías, entre otras funciones. El proceso es interfuncional, porque en él participan profesores provenientes de los 4 departamentos funcionales de la Facultad; pero también es interorganizacional, por la participación de profesores de casi todas las facultades del Instituto. Se vincula con varios procesos, destacando los de investigación y postgrado. La responsabilidad por el resultado es colectiva, las acciones de unos interactúan con las de otros, incrementando o disminuyendo su efecto. Es un proceso donde priman las decisiones no estructuradas, basadas en el conocimiento de los actores, incluyendo al alumno, que toma sus propias decisiones sobre la atención que le va a dar a las orientaciones recibidas. Los resultados de cada acción de los profesores dependen grandemente de las características propias del alumno, que son muy variadas, de sus motivaciones internas y de sus habilidades para aprender; en fin, de las posibilidades de desarrollo alcanzado por la persona en el momento del aprendizaje.
2. Visión estratégica y objetivos del proyecto de rediseño ]]>
Como parte del desarrollo del Sistema de Gestión de la Calidad en la Facultad estudiada, fue definido en la Política de calidad que, para el logro de la mejora continua como concepto guía en el accionar de la institución, debían lograrse los siguientes objetivos en relación al proceso docente:1. Lograr la satisfacción de los requisitos, necesidades y expectativas de los alumnos en su formación integral.
2. Desarrollar la capacidad de la Facultad de organización y desempeño de los recursos humanos de forma multidisciplinaria, cooperativa y con alianzas estratégicas entre las especialidades de la Facultad, para lograr la mejora continua de la calidad de nuestros servicios.
Los objetivos del programa de mejora son:
1. Alcanzar niveles satisfactorios de calidad con los recursos disponibles. Significa que cada estudiante rinda el máximo posible para él, que logre los mejores resultados de que sea capaz. Para ello es importante que quienes lo guían tengan una evaluación razonable de sus posibilidades y le orienten acerca de cómo aprovecharlas y estimularlas.
2. Mantener costos sociales asequibles. Éste debe ser una consecuencia del objetivo anterior, al mejorar no sólo la eficiencia académica, sino al contribuir a que aquellos que deban salir del sistema, lo hagan con la mejor preparación posible para su participación en la sociedad como trabajadores.
3. Aprovechar las Tecnologías de la Información y las Comunicaciones (TICs) como agentes de aprendizaje, es decir, que actúen como mediadoras del conocimiento para el profesor al tomar sus decisiones y que también actúen como mediación para el alumno: que el ambiente desarrollado de aprovechamiento de las tecnologías para la creación de conocimiento sobre el proceso le proporcione a los alumnos cultura y oportunidades de fortalecer su formación profesional en técnicas de dirección.
4. Contribuir al desarrollo de la inteligencia organizacional en la Facultad, mediante la concepción de un proceso de toma de decisiones que tenga como base la utilización de los datos que se conservan sobre el proceso y que permita la definición de modelos que ayuden a evaluar integralmente los resultados y el efecto que tienen los recursos empleados sobre el aprendizaje del alumno.
Los 3 primeros objetivos del programa de mejora tratan de contribuir al cumplimiento del primer objetivo que tiene la Facultad para el logro de la mejora continua. El tercer y cuarto objetivo de mejora, pretenden contribuir al logro la segunda meta establecida en la política de calidad.
3. Identificación y caracterización de las actividades de gestión a rediseñar ]]>
La gestión que requiere la impartición de las clases ha sido el centro de mejora de los estudios realizados hasta el momento. El profesor, como actor principal de la misma, se auxilia de la didáctica para dirigir científicamente esta actividad mediante la consideración de una serie categorías didácticas. Éstas son: los objetivos, el contenido, los métodos y procedimientos de enseñanza, además de los medios de enseñanza, las formas de organización y de evaluación a utilizar. El profesor debe planificar el contenido y las evaluaciones de la asignatura, además, imparte las clases en sí, que involucra el intercambio de conocimientos entre profesor y alumno, y la orientación del autoestudio. También gestiona el control del aprendizaje, lo cual incluye la ejecución de las evaluaciones planificadas y las actividades de control sistemático.4. Recogida y análisis de datos (descubrimiento del conocimiento)
Objetivos del análisis
Para obtener la información que posibilite el diagnóstico de los estudiantes, se establecen los siguientes objetivos en el análisis de datos:
1. Evaluar de forma sintética el desempeño académico de los estudiantes en el curso, con la menor pérdida posible de información cualitativa.
2. Estudiar la relación entre este desempeño y algunas características asociadas al estudiante como características demográficas (provincia y municipio de residencia, condiciones económicas, centro de procedencia y resultados en exámenes de ingreso a la universidad) y características que se asocian al alumno al transitar por sus estudios, como su motivación, las formas de estudio, la participación en actividades extracurriculares, características de los profesores, entre otras.
3. Estudiar la relación entre el desempeño académico del estudiante en cursos consecutivos.
4. Estudiar la relación entre el desempeño académico en una determinada asignatura y diversos factores, como el desempeño en otra(s) asignatura(s), el desempeño en el curso anterior y otras características del estudiante.
En el trabajo sólo se desarrollan el primer y tercer objetivos. Los resultados sobre el segundo y cuarto objetivos pueden consultarse en otros trabajos [13; 14]. ]]>
Datos
Las técnicas que aquí se explican fueron aplicadas a las calificaciones de 150 estudiantes de primer año del plan de estudios C´ (curso 2006-2007) y a 140 estudiantes del plan D, durante su primer y segundo año (cursos 2007-2008 y 2008-2009). El valor de las calificaciones fue tomado previo al examen extraordinario, tratando de caracterizar al estudiante según su resultado en laasignatura durante el período establecido. Las fuentes de datos utilizadas fueron: el sistema de información con que cuenta la Facultad (SIGENU: Sistema de Gestión de la Nueva Universidad) y los registros de calificaciones que se conservan en la secretaría docente.
Aplicación de técnicas
En este caso, el objetivo es obtener una evaluación sintética del rendimiento del estudiante en el curso con la menor pérdida posible de información cualitativa. Las técnicas para sintetizar la calidad del resultado de un alumno dependen de las formas de evaluación adoptadas. Los reglamentos cubanos para los cursos regulares contemplan la matrícula de ciertas materias predeterminadas para cada año académico, lo cual, en otros contextos ha llevado a sintetizar los resultados a través de la calificación promedio de todas las materias y del número de materias para segunda oportunidad [15], con total pérdida de la información acerca de la variabilidad de su aprendizaje en las diferentes materias.
Es por eso que para la evaluación del desempeño, se propone la obtención de "clusters de estudiantes" tomando como referencia sus calificaciones en el curso, de forma que se logren identificar las características propias de cada estudiante mediante la caracterización del cluster al que pertenece. La evaluación del rendimiento académico de un alumno a través de las características de su cluster de pertenencia, supera las tradicionalmente utilizadas que se basan en un promedio de calificaciones [15; 16], ya que con éstas se igualan resultados de estudiantes con calificaciones muy diferentes según el tipo de materia, dificultando encontrar factores explicativos para valores que esconden diferencias cualitativas. Para obtener los clusters se considera inadecuado utilizar como variables "las calificaciones de las asignaturas cursadas", entre otras razones porque al ser considerable el número de asignaturas, sería muy engorroso asignarle un significado a los clusters obtenidos [10]. Dada esta dificultad y tratando de aprovechar la correlación existente entre las diferentes calificaciones, previo al agrupamiento se propone la aplicación de un ACP para sintetizar los indicadores que reflejan los resultados docentes. Al aplicar el ACP se pretenden obtener transformaciones que sinteticen los resultados del estudiante mediante un mínimo número de variables independientes, en este caso las componentes seleccionadas. Esta técnica se aplica con tamaños de muestra (140 observaciones en un caso y 150 en otro) que satisfacen el requisito mínimo de 5 observaciones por variable, ya que se trabaja con 15 variables [10].
El ACP ha sido aplicado a las calificaciones de los estudiantes de primer año durante dos cursos (curso 2006-2007 y curso 2007-2008) y a estudiantes de segundo año durante el curso 2008-2009. A las componentes seleccionadas como significativas (cuatro en todos los cursos) se les ha asignado un significado de acuerdo con las asignaturas que las caracterizan, es decir, de acuerdo con las materias con las que más relación presentan. A continuación se muestran los resultados obtenidos al aplicar este análisis en el caso del primer año en el curso 2007-2008. Primeramente se exponen en la tabla 2 las variables (calificaciones) que forman parte de este análisis con su correspondiente distribución de frecuencia. ]]>
En las figuras 1 y 2 se muestra de forma gráfica el valor de los pesos de cada variable en cada componente para este ejemplo. Estos pesos representan de manera aproximada la correlación entre las variables y las componentes [11]. Estos resultados se analizan en la sección de discusión.Después de aplicar el ACP, las 4 componentes seleccionadas en cada uno de los casos fueron utilizadas para obtener agrupaciones de alumnos con resultados académicos similares, mediante la técnica de clusters jerárquicos. Cada uno de los clusters representa un estado diferente de aprendizaje, cuya interpretación está dada por su ubicación en los ejes de componentes principales. Así, por ejemplo, los clusters formados por alumnos con un alto valor en la primera componente y valores pequeños en las demás componentes, corresponden a estudiantes con un excelente aprendizaje en todas las materias del año. Este es, por supuesto, un subgrupo con aprendizaje superior a todos los demás. Pero no entre todos los clusters es procedente establecer una relación de tipo ordinal, ya que generalmente se encuentran varios clusters de alumnos de buen rendimiento, pero con rendimientos superiores, principalmente en ciertas materias más que en otras, o varios grupos con rendimiento medio, pero desiguales en cuanto a las materias en que mejor avanzan.
Como ejemplo de aplicación del análisis cluster, en la figura 3 se muestra el dendrograma obtenido al emplear esta técnica con las componentes seleccionadas en primer año (curso 2007-2008).
Relación entre el desempeño en primer y segundo años
Se realizó el análisis de correspondencias y se seleccionaron 2 componentes principales para representar los perfiles filas y columnas, lo que significa que se representarán los vectores asociados a estos perfiles en el plano que maximice la inercia de los puntos proyectados, con el fin de mantener la diferencia entre estos perfiles lo más similar posible a la diferencia que existe entre los mismos en los espacios originales. Con dos dimensiones se logra explicar el 72,48 % de la inercia total. En la figura 4 se muestra el denominado "ploteo simétrico de filas y columnas", en el cual la cercanía entre las categorías de una variable con las categorías de la otra, implica que son categorías que presentan mayor asociación. Cada una de las categorías de las 2 variables categóricas utilizadas en el AFC, es decir, cada uno de los clusters formados en primer y segundo años, fueron etiquetados con nombres alegóricos a las características de cada cluster. Las etiquetas (siglas) que son mostradas en la figura 4, se obtuvieron de la forma que se indica en la tabla 3.
DISCUSIÓN
Identificación y caracterización de las actividades de gestión a rediseñar
Las categorías didácticas deben definirse en función de los conocimientos, habilidades, intereses y motivaciones de cada estudiante; y de la efectividad que se valore tenga cada estrategia para cada tipo de alumno. En el desarrollo de las categorías didácticas es donde deberían acontecer las decisiones de profesores y colectivos de asignatura; en la definición de los métodos, procedimientos, medios de enseñanza y evaluación que se utilicen para lograr que los estudiantes se apropien del contenido para cumplir con los objetivos de la enseñanza. Según las características de los estudiantes a los que se enfrente el profesor, debe decidirse cómo desarrollar la retroalimentación al impartir la clase, cómo desarrollar el control del aprendizaje, cómo garantizar la atención y motivación por el estudio, y cómo y con qué medios pueden los estudiantes apropiarse del contenido de manera más activa, consciente y reflexiva.
¿Cuáles podrán ser las necesidades de información para la gestión del proceso de impartición de la docencia? Se requiere información de diversa índole, por ejemplo: información sobre los objetivos instructivos y educativos de la asignatura, las habilidades básicas a dominar, las indicaciones metodológicas y de organización, los resultados pasados de la asignatura; además se debe realizar un diagnóstico de los estudiantes que permita caracterizarlos y diferenciarlos al impartir la docencia [17]. "Antes de acometer cualquier tarea con los estudiantes ésta debe planificarse, lo que significa partir de un objetivo a alcanzar y de la información que nos proporciona el diagnóstico integral realizado, considerar los recursos necesarios, el contenido, valorar una estrategia para dar cumplimiento a ese objetivo, previendo los modos en que se evaluará su efectividad" [17: 114]. Precisamente la información necesaria para el diagnóstico será el objetivo del análisis de datos, ya que es la que fundamentalmente apoya las decisiones que han sido comentadas.
]]>
Recogida y análisis de datos (descubrimiento del conocimiento)
Observando los resultandos del ACP mostrados en la figura 1, puede comprobarse que en ese curso académico (2007- 2008), al igual que en todos los restantes, todas las asignaturas cargan en el mismo sentido en la primera componente, sintetizando como lo más característico del patrón de variabilidad, que las calificaciones de los estudiantes en todas las asignaturas tienden a variar de manera conjunta. Esto significa que, frecuentemente, un estudiante con altas (bajas) notas en una asignatura, también obtendrá altas (bajas) notas en las demás. Comportamientos como éste han sido hallados en entornos diferentes en otros estudios de rendimiento estudiantil [12], y se ha asociado a un factor denominado "capacidad general de aprendizaje del estudiante".
En todos los cursos, la segunda, tercera y cuarta componentes, reflejaron la existencia de subconjuntos de estudiantes conresultados opuestos en determinados grupos de asignaturas. Puede visualizarse en la figura 1, que en el caso de ejemplo, la segunda componente separa las asignaturas "de continuación" (que tienen un nexo fuerte con estudios anteriores) de las asignaturas que los enfrentan a conocimientos de nueva naturaleza (con perfil más técnico). Contraponiendo principalmente la Economía Política (EPCA), la Química, la Física 1, la Matemática 2 e Inglés 1 y 2 (ING 1 y 2), con la Introducción a la Ingeniería Industrial (ININD), Dibujo Básico y Aplicado, Introducción a la Ingeniería (ININ) y la Historia (HIS). Puede sorprender que Historia quede en este grupo, pero en realidad en el nuevo plan de estudios se concibe que en esta asignatura se profundice en el estudio de la Historia de localidades específicas y sus exigencias requieren de habilidades de naturaleza bastante nueva para los estudiantes.
Como se muestra en la figura 2, la tercera componente pone en contraposición los resultados de las asignaturas de Inglés (ING 1 y 2), Introducción a la Ingeniería (ININ) e Historia (HIS), con las calificaciones de las materias de Matemática 1 y 2 (MAT 1 y 2), Dibujo Aplicado (DA) y Apreciación de la Cultura y el Arte (ACA). En la cuarta componente el contraste evidente se produce entre los resultados de las asignaturas de Introducción a la Ingeniería Informática (INIF) y Apreciación de la Cultura y el Arte. No ha sido evidente caracterizar, como se hizo en la segunda componente, cada uno de los subgrupos de asignaturas que se separan en estas componentes, no obstante, esto no disminuye el valor de los resultados obtenidos, pues lo esencial es conocer que en ese año hubo subconjuntos de alumnos con resultados opuestos en estos grupos de materias.
Vale destacar que con los datos de los estudiantes de primer año, curso 2006-2007 (Plan C´), se obtuvieron resultados diferentes en la segunda y tercera componentes, pues la segunda componente separó asignaturas que requieren del estudiante más capacidad de abstracción (Álgebra, Química y Matemáticas) de aquellas que requieren más habilidades para la aplicación práctica del conocimiento (Fundamentos de Ingeniería II, Problemas Prácticos de Ingeniería Industrial e Inglés 1 y 2). Por su parte, la tercera componente expresó una contraposición entre los idiomas, las matemáticas, Física, Química y Filosofía de un lado, y los dibujos, Computación, Fundamentos de Ingeniería y Problemas Prácticos de Ingeniería Industrial del otro, estableciendo una diferencia en el aprovechamiento de los alumnos entre las materias más básicas y las más relacionadas con la profesión. Por lo tanto, los cambios en el plan de estudios también se reflejan en el ACP.
Si se observan los resultados mostrados en el dendrograma de la figura 3, puede comprobarse que la solución se obtuvo con enlace de Ward y distancia euclídea. Con esta solución se produjeron 2 grupos de alto rendimiento, 4 grupos de rendimiento medio y 2 grupos de bajo rendimiento. A su vez, las diferencias dentro de cada categoría (alto, medio y bajo rendimiento) están dadas por el tipo de materias en las que lograron mejor aprendizaje y estas diferencias se manifiestan por su posición en dirección opuesta en algunos de los ejes de componentes principales. De forma que en el grupo de alto desempeño, un primer subgrupo resultó de alto desempeño en todas las materias y el otro presenta sus mejores resultados en las asignaturas que requieren nuevas habilidades. De modo similar ocurrió con los clusters de alumnos de rendimiento medio, pues un grupo representa alumnos con sus mayores aptitudes en asignaturas de continuación; otro, estudiantes mejores en las materias de Arte e Historia, etc. Esto da excelentes oportunidades para orientar el trabajo de los profesores.
Al observar los resultados del AFC mostrados en la figura 4, se evidencia que el cluster etiquetado como 1 en primer año (el de mejores estudiantes), está asociado fundamentalmente con 2 clusters de segundo año, el 1 y el 1-IG, ambos formados también por estudiantes de alto desempeño. El otro resultado que resalta es que los grupos etiquetados como 3 y 3IF en primer año (grupos de bajo desempeño con resultados favorables sólo en algunas asignaturas), están asociados principalmente a los clusters marcados como 3 y 3+MEP en segundo año, los cuales están formados igualmente por estudiantes de bajo rendimiento. Por lo tanto, este análisis puso de relieve que las tendencias existen en el sentido esperado, es decir, los mejores al finalizar una etapa, tienden a ser los mejores al finalizar la siguiente. Similar tendencia se manifiesta entre los alumnos con dificultades. No obstante, también se detectó en la tabla de contingencia resultante de este análisis, que con carácter no excepcional, subconjuntos de alumnos transitan a un estado bastante diferente del inicial (algunos alumnos que fueron muy buenos en todas las materias en primer año, bajaron notablemente su desempeño en segundo año y viceversa), en cuyas causas es preciso profundizar el análisis, para descubrir factores que deben ser reforzados, si llevan a un estado definitivamente superior al esperado, o que deben ser contrarrestados, cuando llevan a estados inclusive muy inferiores al inicial.
Con el AFC se detectó una regularidad en el desempeño académico al pasar de primero a segundo año, por lo que esta técnica pudiera ser una vía para predecir, a finales de primer año, el comportamiento de los estudiantes en segundo. En efecto, si se determinó que la distribución condicional de las frecuencias para los clusters de segundo año no es independiente de los resultados de primero, es decir, la probabilidad de que un alumno pertenezca a determinados clusters en segundo año está influenciada por el cluster al que perteneció en primer año, pudiera utilizarse esta distribución (grupo al que pertenecerá en segundo, dado el grupo al que perteneció en primero) para, al tener el resultado del agrupamiento de los alumnos de primer año de cierto curso, pronosticar a qué conglomerado de segundo año se espera que pertenezcan. Esto facilita la toma de medidas educativas preventivas con los estudiantes que lo requieran.
Para facilitar la creación y uso del conocimiento, se contempla la creación de un Laboratorio de Análisis de Procesos, el cualtenga como un objetivo esencial la realización de prácticas profesionales de estudiantes de pregrado y posgrado, de modo que cada uno siempre esté guiado y supervisado por un profesional de mayor nivel científico y académico en el área de análisis de datos. Este Laboratorio se encarga no sólo del procesamiento de los datos, sino que una parte importante del entrenamiento que en el laboratorio se recibe, es a través de la participación en su interpretación y en la formalización de esas interpretaciones. La utilización del conocimiento obtenido en la ejecución del proceso de formación, está precedida por acciones que propicien que cada participante comprenda y comparta los objetivos y métodos que se emplearán, y que debe constituir una fase de capacitación y de involucramiento.
El etiquetado y descripción de las componentes principales, de los clusters, así como las restantes interpretaciones derivadas del análisis; deben ser realizadas bajo la dirección de los respectivos Jefes de año por los especialistas del Laboratorio, con el asesoramiento de los profesores más conocedores de cada año académico. Por las características de la Facultad, en todos los años se puede contar con profesores con amplia experiencia en la docencia del año y con conocimientos matemáticos suficientes para la tarea. Estos resultados se llevan a los colectivos de año y de disciplina, a cuyos integrantes corresponde explicar y enriquecer el análisis de causas subyacentes, convirtiéndolo en conocimiento profesional compartido.
Para lograr el éxito del análisis de datos como vía de descubrimiento de conocimiento útil, el Vicedecano Docente, el Coordinador del Laboratorio y los Jefes de año, requieren desarrollar sus habilidades de persuasión, desplegando todo el atractivo del trabajo en el equipo y minimizando sus inconvenientes. El conocimiento descubierto podrá usarse para simular nuevos entornos y evaluar los resultados más probables; la confrontación posterior con la realidad permitirá el ajuste progresivo de los modelos matemáticos encontrados y de los métodos como base para las decisiones. El Laboratorio se desempeña, pues, no como una unidad administrativa de procesamiento de datos, sino como una unidad docente y de investigación, cuyo objeto de estudio es el proceso de formación. ]]>
En la sección de resultados, al desarrollar el tercer paso de la propuesta, se comentó sobre el apoyo que puede constituir la información sobre el diagnóstico de los alumnos para el profesor al impartir la clase. Esta información también puede resultar de mucha utilidad para los profesores jefes de colectivo de año, ya que al comenzar cada semestre contarían con la evaluación de la situación de aprendizaje de cada estudiante y con su rendimiento general esperado en el semestre. Al integrar ambas informaciones, podrán perfilar las estrategias generales a seguir con cada educando. Estas estrategias incluyen acciones particulares que se proponga el colectivo realizar con los diferentes alumnos, así como la proposición de actividades, tareas y recursos de aprendizaje que favorezcan al estudiante según su perfil.
CONCLUSIONES
Se ha brindado un método para sintetizar en un solo indicador el desempeño de cada estudiante y así identificar tipos de alumnos según las materias en que tienen sus mayores habilidades o insuficiencias. Además, se han identificado las interdependencias entre los resultados de grupos de asignaturas y se ha estudiado la relación entre el desempeño académico del estudiante en un curso y el desempeño obtenido en el curso precedente. Para lograr una correcta creación del conocimiento a partir de los datos y para garantizar la oportuna utilización del mismo, se recomienda una propuesta metodológica, la cual brinda la posibilidad de planificar y ejecutar las acciones educativas con mayor atención en las diferencias individuales de los alumnos; además de dotar la gestión del proceso de un carácter más preventivo. En principio los resultados del análisis estadístico pueden ser empleados por el profesor al impartir la clase, además por el Jefe de colectivo de año. No se pretende invadir la didáctica, sino apoyarla con información valiosa extraída de los datos. ]]>
Es necesario tener en cuenta que la propuesta se aplica solamente en la Facultad de Ingeniería Industrial de la Cujae, de manera que es importante interpretar con cautela los resultados, especialmente los resultados estadísticos, evitando generalizaciones apresuradas que no sean válidas.El diagnóstico del aprendizaje que se realiza está centrado en la evaluación de los conocimientos y habilidades de los estudiantes según sus calificaciones, pero realmente la caracterización del aprendizaje abarca, además, la valoración del desarrollo del pensamiento y la formación de valores lograda por el alumno. Por lo tanto, deben conjugarse sus resultados con otras evaluaciones del proceso docente para poder juzgar la calidad del aprendizaje. Como se ha comentado, ésta es una primera aplicación de la propuesta, pero en futuras aplicaciones será necesario explicitarla aún más, especificando con más detalle qué hacer en cada paso. También debe valorarse la posibilidad de caracterizar a los estudiantes, no de forma cualitativa según su cluster de pertenencia, sino a través de indicadores cuantitativos, como pudieran ser las componentes seleccionadas en el ACP.
REFERENCIAS
1. RODRÍGUEZ, A.; VIÑA, S.; CASARES, R.; HEREDIA, J. , «Gestión de comportamientos basada en Inteligencia Organizacional», en Congreso Internacional de Información (1 al 23 abril), La Habana, Instituto de Información Científica y Tecnológica (IDICT), 2010, ISBN 978-959-234-076-3.
2. MONTEDO, U.; SZNELWAR, L., «The tacit relationship between ergonomic work analysis and the theory of complexity», en 17th World Congress on Ergonomics Beijing, IEA, 2009, [consulta: 2010-12-04]. Disponible en: <http://www.iea2009.org> ]]>
3. RODRÍGUEZ, A.; HEREDIA, J., «Rediseño de procesos de gestión de la enseñanza basado en tecnologías informativas», en Novena Semana Tecnológica: Las TIC presente y futuro La Habana, Ministerio de la Informática y las Comunicaciones (MIC), 2009, [consulta: 2010-12-04]. Disponible en: <http://www.dtic.co.cu/novenasemanatecnolgica>
4. STAÐKEVIÈIÛTE, I.; ÈIUTIENE, R., «Processes of University Organizational Intelligence: Empirical Research» Engineering economics, 2008, vol. 60, no. 5, pp. 65-71, ISSN 1392- 2785.
5. DELAVARI, N.; REZA, M., «Data Mining Application in Higher Learning Institutions» Informatics in Education, 2008, vol. 7, no. 1, pp. 31- 54, ISSN 1648-5831.
6. LUAN, J., «Data Mining and Knowledge Management in Higher Education -Potential Applications», en Annual Forum for the Association for Institutional Research Toronto (Canadá), 2002, [consulta: 2009-02-05]. Disponible en: <http://www.air2002.org>
7. DAVENPORT, T.; SHORT, J., «The New Industrial Engineering: Information Technology and Business Process Redesign» Sloan Management Review, 1990, vol. 31, no.4, pp. 11-27, ISSN 1532-9194. ]]>
8. DAVENPORT, T.; HARRIS, J.; DE LONG, D.; JACOBSON, A. , Data to Knowledge to Results: Building an Analytic Capability [en línea], Massachusetts, Institute for Strategic Change, 2000 [consulta: 2010-01-24]. Disponible en: <http://www.accenture.com/isc>
9. MANISERA, M.; VAN DER KOOIJ, A.; DUSSELDORP, E. , «Identifying the Component Structure of Satisfaction Scales by Nonlinear Principal Components Analysis» Quality Technology & Quantitative Management, 2010, vol. 7, no. 2, pp. 97-115, ISSN 1684-3703.
10. HAIR, J.; ANDERSON, R.; TATHAM, R.; BLACK, W., Análisis Multivariante, Madrid, Prentice Hall Iberia, 1999, ISBN 84-8322-035-0.
11. JOHNSON, R.; WICHERN, D., Applied Multivariate Statistical Analysis, New Jersey, Prentice Hall, 1998, ISBN 0-13-121973-1.
12. JOHNSON, D., Métodos multivariados aplicados al análisis de datos, México, D. F., International-Thomson Editores, 1998, ISBN 968-7529-90-3. ]]>
13. HEREDIA, J., «Análisis de datos en apoyo a la productividad en el proceso de formación de ingenieros», [tesis de maestría], La Habana, Instituto Superior Politécnico José Antonio Echeverría, Cujae, Departamento de Ingeniería Industrial, 2010.
14. HEREDIA, J.; RODRÍGUEZ, A., «Modelo basado en el análisis de datos como apoyo a la gestión de la enseñanza», en 15 Convención Científica de Ingeniería y Arquitectura. VI Simposio de Ingeniería Industrial y Afines (29 de nov.-3 de dic), 2010, Palacio de Convenciones de La Habana, Instituto Superior Politécnico José Antonio Echeverría, Cujae, ISBN 978-959-261-317-1.
15. MORAL, J. , «Predicción del rendimiento académico universitario» Perfiles Educativos, 2006, vol. 28, no. 113, pp. 38-63, ISSN 0185-2698.
16. CHOW, T., «Predicting End of 1st Year Performance», en Annual Forum for the Association for Institutional Research Boston, 2004, [consulta: 2009-02-24]. Disponible en: <http://www.air2004.org>
17. Colectivo de autores, Preparación Pedagógica Integral para profesores universitarios, La Habana, Félix Varela, 2003, ISBN 978-959-07-1031-5. ]]>
Recibido: 28 de marzo de 2011
Aprobado: 24 de octubre de 2011
]]>
Jobany José Heredia-Rico. Instituto Superior Politécnico José Antonio Echeverría, Cujae. Facultad de Ingeniería Industrial. La Habana, Cuba. Correo electrónico: jherediar@ind.cujae.edu.cu
]]>
]]>