Método para evaluar el aprendizaje en gestión de proyectos informáticos aplicando computación con palabras.

A method to evaluate the learning in the management of computer projects applying computer with words en inglés.

Marieta Peña Abreu^1*, Carlos Rafael Rodríguez Rodríguez^1,2, Pedro Yobanis Piñero Pérez¹

¹Universidad de las Ciencias Informáticas. Carretera a San Antonio de los Baños, Km. 2 ½. Torrens, municipio de La Lisa. La Habana, Cuba. {mpabreu, crodriguezr, ppp}@uci.cu
²Estudiante de Doctorado en la Universidad Federal de Kazán, Rusia. ]]>

*Autor para la correspondencia: mpabreu@uci.cu

RESUMEN

La evaluación del aprendizaje es una categoría rectora dentro del proceso de formación del estudiante, que permite al profesor conocer el grado de cumplimiento de los objetivos educativos e instructivos. Desarrollar la evaluación utilizando diversos métodos de manera dinámica, favorece la precisión de la evaluación y la satisfacción de los actores del proceso. El presente trabajo propone un método para evaluar el aprendizaje en la disciplina de Gestión de Proyectos, aplicando computación con palabras como una alternativa que contribuye a disminuir la incertidumbre en el proceso de evaluación. La aplicación del método apoya el desarrollo de la evaluación con un enfoque integral, donde se estimula la creatividad y capacidad de autoaprendizaje del estudiante. La utilización de la computación con palabras facilita el trabajo con múltiples actores, diversos criterios de evaluación y diferentes dominios de expresión. El método concibe la autoevaluación, la coevaluación y la heteroevaluación como enfoques complementarios en el proceso evaluativo. La validez del método se demuestra a partir de su aplicación en el Curso Básico de la Maestría de Gestión de Proyectos Informáticos de la Universidad de las Ciencias Informáticas.

Palabras clave: autoevaluación, coevaluación, computación con palabras, evaluación, gestión de proyectos, heteroevaluación, incertidumbre.

ABSTRACT

The evaluation of learning is a guiding category within the process of student training, which allows the teacher to know the degree of compliance with educational and instructional objectives. To develop the evaluation using different methods with a dynamic approach helps to improve the accuracy of the evaluation and the satisfaction of the participants in the process. This paper proposes a method to evaluate the learning in the discipline of Project Management, applying computation with words as an alternative that makes it possible to reduce the uncertainty of the evaluator when assigning a note. The application of the method contributes to developing the evaluation with an integral approach, which stimulates the creativity and self-learning capacity of the student. The use of computing with word supports works with multiple actors, different evaluation criteria, and different expression´s domains. The method recognizes self-evaluation, co-evaluation and hetero-evaluation as complementary approaches in the evaluation process. The validity of the method is demonstrated by its application in the Basic Course of the Master of Management of Computer Projects at the University of Informatics Sciences.

INTRODUCCIÓN

La Universidad como parte integrante del sistema de educación cubana mantiene el desafío de garantizar la calidad del perfeccionamiento del sistema educativo (Saborido, 2018). Se convierte en un reto para los profesionales del sector evolucionar los métodos didácticos de enseñanza con el objetivo de que el estudiante logre una mayor apropiación del conocimiento.

En la concepción tradicional de la enseñanza el actor protagonista era el profesor, mientras el estudiante solo se limitaba a escuchar, obedecer y ejecutar (Colectivos de autores, 2009). Sin embargo, en el siglo XXI se rompen esquemas para darle un valor protagónico al estudiante.

El profesional que necesita la sociedad actual debe ser capaz de formar parte de su propio proceso de enseñanza- aprendizaje y la categoría didáctica “evaluación” tiene un papel esencial. Su fin es comprobar el grado de cumplimiento de los objetivos trazados y conocer cuánto le falta al estudiante para alcanzarlos (Ministerio de Educación Superior, 2007).

La frase del Dr. Ángel Emilio Castañeda: “El mayor peligro para la educación de hoy es que pretendamos hacer los mismo que hacíamos ayer, con las herramientas de hoy”, ilustra la necesidad de utilizar herramientas revolucionarias para realizar la evaluación del aprendizaje (Herrero, Valdés, & Zilberstein, 2003). Los métodos de evaluación del aprendizaje utilizados para evaluar conocimientos asociados a la gestión de proyectos deben tener estrecha relación con los conceptos afines a esta disciplina. Con esta relación se logra que el estudiante no solo aprenda del contenido de la clase sino también de la forma en que se evalúa. Las habilidades que se deben formar en un gerente de proyecto se relacionan con el concepto de evaluar ya que debe controlar y tomar decisiones oportunamente. Evaluar en sentido general es: estimar, juzgar, apreciar, determinar el valor de algo, emitir un juicio o valor (Herrero et al., 2003).

El proceso de enseñanza aprendizaje concibe esencialmente tres formas de evaluación: la diagnóstica, la formativa y la sumativa (Palma, 2018). El presente trabajo se centra en la sumativa (final o del producto), que consiste en la valoración de los logros alcanzados por el estudiante al final de un curso. Esta tiene un estrecho vínculo con las dos formas de evaluación restantes. El método propuesto se aplica fundamentalmente para evaluar los trabajos finales de curso simulando un entorno real de toma de decisiones en la gestión de proyectos. Esta forma de evaluación tiene mayor complejidad que la frecuente, se miden criterios más globales en correspondencia con la asignatura cursada.

La evaluación se concibe desde el punto de vista cuantitativo (medir el nivel alcanzado por el estudiante) y cualitativo (cómo y cuánto ha aprendido el alumno). En la universidad es una práctica cotidiana la evaluación cuantitativa en base a una escala numérica: [5, 4, 3, 2]. Al realizarse de esta forma completamente determinista, estática y cuantificadora se limitan la interpretabilidad de los resultados y la posibilidad de perfeccionamiento continúo. Una nota justa depende de varios factores, entre ellos, la claridad de los criterios de evaluación y el nivel de conocimiento del evaluador. Este último tiene gran influencia en la calidad del proceso porque la experiencia incide en la incertidumbre que se genera al emitir la nota. Adicionalmente se hace poco uso de la autoevaluación y la coevaluación como procesos que generan enriquecimiento y reflexión en el aprendizaje (Larrea, Alonso, & Tejeda, 2017), donde no solo evalúa el profesor sino también los estudiantes como importantes decisores.

Evaluación del aprendizaje

La evaluación del aprendizaje tiene diversas funciones entre las que se encuentran la pedagógica, la innovadora, la controladora y la instructiva. Diversos autores destacan la función diagnóstica, la formativa y la sumativa como las más importantes (Fernández, 2017). Ésta última tiene la estructura de un balance y se realiza fundamentalmente después de un período de aprendizaje, en la finalización de un programa o curso. Sus objetivos son calificar en función de un rendimiento, otorgar una certificación, determinar e informar el nivel alcanzado.

Según el artículo 137 de la Resolución 210/07 (Ministerio de Educación Superior, 2007): la evaluación (…) “Se debe desarrollar de manera dinámica, en que no solo evalúe el profesor, sino que se propicie la participación de los estudiantes mediante la evaluación grupal y la autoevaluación, logrando un ambiente comunicativo en este proceso”.

Estas características resaltan la necesidad de realizar un cambio sobre el enfoque tradicional centrado solamente en la heteroevaluación (Canabal & Castro, 2012). La introducción de la autoevaluación y la coevaluación facilitan el trabajo de manera cooperativa (Ramis, Payeras, & Carrasco, 2017; Martínez, Artiles, & Paz, 2018), estableciéndose relaciones entre los miembros del equipo lo cual tiene estrecha relación con los conocimientos asociados a la gestión de proyectos.

La autoevaluación es referenciada en la literatura por diversos autores (Boud, 2000; Panadero, 2011; Thomas, Martin, & Pleasants, 2011; Opazo, Sepúlveda, & Pérez, 2017), entre otros, como una manera innovadora de dar más participación al estudiante y así cambiar las formas de enseñar. Sin embargo, para poder aplicarla se necesita de orientación por ser un concepto joven en el mundo científico (Kambourova, 2018).

Por otra parte, la coevaluación es el proceso de valoración conjunta que realizan los estudiantes sobre la actuación del grupo, atendiendo a criterios de evaluación o indicadores establecidos por consenso. Esta es una forma de evaluación en la cual los estudiantes ejercen entre ellos los roles de evaluado y evaluador. Esta forma de evaluación permite al estudiante y al profesor identificar los logros personales y grupales opinando sobre su actuación (Socarrás, 2015; López-Pastor & Pérez-Pueyo, 2017).

Finalmente, la heteroevaluación consiste en que una persona evalúa lo que otra ha realizado, es el tipo de evaluación que con mayor frecuencia se utiliza, pues el profesor es quien diseña, planifica, implementa y aplica la evaluación y el estudiante es sólo quien responde a lo que se le solicita.

Dado su carácter complementario, en el presente trabajo que se aplican los tres tipos de evaluación referidos anteriormente.

La evaluación se realiza en un entorno donde los actores que participan en el proceso tienen tanto experiencias, como percepciones diversas, lo que permite afirmar - considerando el concepto dado por (Bello & Verdegay, 2010)- que el proceso se realiza en un entorno de incertidumbre. En este caso la incertidumbre está dada fundamentalmente por el conocimiento que poseen los evaluadores.

Para afrontar el problema en cuestión se realizó un breve análisis de la computación con palabras (CWW) como una vía factible de solución. La aplicación de esta técnica en el proceso de evaluación facilita la comprensión al operarse con palabras o sentencias definidas en lenguaje natural, que pueden ser instanciadas por números, simulando el proceso cognitivo humano. Esta metodología permite fortalecer modelos de decisión en los que la información presenta imprecisión (Zulueta, 2014).

Dentro de las técnicas estudiadas se encuentran los modelos lingüísticos basados en funciones de pertenencia. Estos tienen como principal deficiencia para su aplicación en el contexto de la investigación que el resultado que se obtiene es un número borroso lo cual puede ser difícil de interpretar.

Por otra parte, los modelos lingüísticos basados en conjuntos borrosos tipo-2, el resultado que arrojan, aunque es un término lingüístico, se aproxima y se pierde información. Finalmente, el modelo lingüístico basados en 2-tuplas (Herrera & Martínez, 2000) presenta características que favorecen su aplicación para evaluar aprendizaje. Este modelo evita la pérdida de información que se produce en los modelos anteriores de CWW. Dentro de sus principales ventajas se encuentran: 1) representación continúa de la información lingüística en su dominio, 2) representación cualquier recuento de información obtenida en un proceso de agregación, 3) su modelo computacional basado en la traslación simbólica facilita los procesos de computación con palabras y 4) posee extensiones para diferentes contextos, entre ellos para la manipulación de información heterogénea.

Adicionalmente este modelo ha sido utilizado para resolver diversos problemas asociados a la Gestión de Proyectos y a la informática (Arza, 2013; Zulueta, 2014; Pérez, Leyva, Espinilla, & Estradatí, 2014; Felix, Calero, Esquivel, & Bello, 2015; Torres, 2015; Martínez, 2016; Castro, Pérez, García, & Piñero, 2016; Peña, 2017). Su aplicación permite considerar la evaluación como un proceso donde intervienen varios actores y se pueden considerar diversos criterios con diferentes pesos en entornos de incertidumbre.

MATERIALES Y MÉTODOS

En esta sección se presenta el método propuesto, detallándose las actividades que se realizan en cada una de las fases descritas en la figura 1. Asumiendo que existe un conjunto de estudiantes que participan en el desarrollo de  trabajos de curso  y que en la evaluación de esos trabajos intervienen  profesores  se diseñan las siguientes las actividades.

1. Definir proyectos a evaluar

Los proyectos (trabajos de curso) a desarrollar por los estudiantes, se recomienda que se identifiquen en la etapa inicial del curso. Las tareas evaluativas que oriente el profesor se deben desarrollar sobre la base de este proyecto para lograr una familiarización con el mismo. Los proyectos pueden estar directamente relacionados con la actividad productiva donde labore el estudiante para aplicar los conocimientos adquiridos en el curso en su entorno laboral. Además, se definen los equipos de trabajo que deben tener como mínimo dos estudiantes. Para esto se realiza una negociación entre los alumnos y el profesor en función de los roles existentes.

Figura 1. Secuencias de actividades del método propuesto

2. Definir criterios de evaluación

Los criterios de evaluación juegan un papel fundamental en el proceso evaluativo debido a que son la guía principal que tiene el estudiante para orientarse en la confección del proyecto de curso. Éstos deben considerar los principales objetivos instructivos y educativos del curso, su confección debe estar orientada por el profesor. En esta fase se propone que el profesor en conjunto con los estudiantes defina los criterios de evaluación. La participación del estudiante en el proceso garantiza un mayor compromiso con el proceso de enseñanza-aprendizaje.

3. Determinar peso de criterios de evaluación ]]>
Determinar un peso asociado a cada criterio de evaluación definido previamente está muy relacionado con la definición de rúbrica en el proceso evaluativo. Este concepto ha sido un paso importante en los estilos de evaluación del aprendizaje ya que le permite al estudiante conocer con anterioridad el rigor de la evaluación y al mismo tiempo autoevaluarse.

El peso que cada criterio tendrá en la evaluación, podrá variar de un estudiante a otro. Si se considera el recorrido del estudiante en la asignatura y el nivel en que ha desarrollado las habilidades requeridas, resulta útil poder evaluar un mismo criterio con dos niveles de importancia diferentes para dos estudiantes diferentes.

Para asignar los pesos a cada criterio se propone utilizar la matriz de comparación por pares para elementos de un mismo nivel del método Proceso de Análisis Jerárquico (AHP) (Saaty, 1990). Los profesores a través de juicio comparativo ordenan los criterios. Luego se utiliza el promedio geométrico para combinar las valoraciones. Finalmente se obtiene un vector de prioridad que cumple la propiedad .

4. Evaluar aprendizaje

Para evaluar el aprendizaje de cada uno de los estudiantes de manera individual, así como la calidad del trabajo realizado en equipos se proponen las siguientes actividades:

1. Realizar coevaluación a partir de un intercambio de roles entre los integrantes del grupo.
   En un mismo grupo existen varios equipos, por lo que antes de que el claustro emita la evaluación definitiva del proyecto, se propone que se realice una sesión de coevaluación entre equipos. Cada equipo evalúa a otro, ejecutando el rol de evaluador, siguiendo los criterios previamente establecidos. Luego, cada equipo tiene la oportunidad de mejorar los trabajos antes de la evaluación definitiva de los profesores. Aplicar coevaluación en este momento tiene múltiples ventajas para los estudiantes. El estudiante asume un rol donde tiene que tomar decisiones y poner en práctica lo aprendido en el curso. Así reafirma sus conocimientos y a la vez mejora su formación como gerente de proyecto. Para desarrollar la coevaluación se pueden utilizar las actividades diseñadas debajo para la heteroevaluación.
2. Realizar heteroevaluación por parte del claustro de profesores. ]]> Para finalizar el proceso de evaluación del curso se realiza la evaluación por parte de los profesores del claustro a cada uno de los equipos de la clase. Para realizar las actividades 1 y 2 del proceso de evaluación del aprendizaje se propone seguir una serie de actividades considerando el entorno de incertidumbre donde se desarrolla el proceso:

Actividad 1: Determinar dominio de expresión para evaluar

Para poder emitir una evaluación deben definirse los dominios en los que las preferencias se expresan. Los evaluadores podrán emitir sus valoraciones en tres dominios de expresión. La utilización de uno u otro estará condicionada -entre otros factores- por: la naturaleza de los criterios a evaluar y su nivel de conocimiento sobre el tema. Se propone en este trabajo el uso de los dominios numérico (N), intervalar (I) y lingüístico (S). Para realizar el proceso de evaluación se propone seguir el siguiente algoritmo:

Algoritmo 1: Evaluación de criterios a partir del modelo 2-tupla

Entradas:
C - listado de criterios ,
E - Conjunto de evaluadores
P - proyectos , Opinión del evaluador sobre el proyecto respecto al criterio .
D - dominio: - “numérico”

- “intervalar”
 - “lingüístico”  donde g+1 representa la cardinalidad del Conjunto de Términos Lingüísticos (CTL) . Cada término lingüístico  tiene asociada una función de pertenencia . El CTL de 5 términos (ver Figura 2).

Salidas:
X-vector de preferencias , donde indica la opinión del evaluador sobre el proyecto de acuerdo al criterio

1. Inicio
2. Para cada proyecto hacer
3. Para cada evaluador  hacer
4. Para cada criterio  hacer
5. Definir vector de preferencias según uno de los tres dominios definidos.
6. Emitir el valor  de evaluador sobre el proyecto respecto al criterio
]]> Fin del ciclo paso 4
7. Fin del ciclo paso 3
8. Fin del ciclo paso 2
9. Devolver el vector de preferencias X obtenido a partir de la evaluación.
10. Verificar concordancia de evaluadora través de coeficiente de Kendall(X)
11. Fin del algoritmo

Figura 2. Conjunto de Términos Lingüísticos utilizado para emitir evaluaciones en el dominio lingüístico.

Actividad 2: Unificación de evaluaciones individuales en un mismo dominio lingüístico

Las evaluaciones individuales emitidas por los evaluadores utilizando los dominios propuestos anteriormente deben ser unificadas en un mismo dominio. A partir de los sugerido por (Herrera, Martı́nez, & Sánchez, 2005) se unificarán sobre el dominio lingüístico. Como Conjunto Básico de Términos Lingüísticos (CBTL) se propone .

Algoritmo 2 Unificar preferencias de evaluadores

Entradas: X - vector de preferencias.  ,

Salidas: Z - vector de preferencias a partir de agregación usando 2-tuplas, Z

Inicio

Para cada una de las preferencias :

Transformar conjunto borroso  según dominio de X

Para transformar  del dominio numérico al lingüístico se emplea:

y

Para transformar  la información intervalar se utiliza la definición:

Donde  es el conjunto definido en , y y son las funciones de pertenencia asociadas con el intervalo I y el término respectivamente.

Para transformar  la información lingüística se describe en:

Donde  y son dos conjuntos difusos tal que ,  es el conjunto definido en, y  y  son las funciones de pertenencia asociadas con los términos  y respectivamente.

Considerando las definiciones de traslación simbólica y 2-tuplas, se utilizará la función de transformación:

Fin del ciclo paso 2

Fin del algoritmo

Actividad 3: Agregación de la evaluación global de cada estudiante

a. Cálculo del valor colectivo de los criterios

Para calcular el valor colectivo de cada criterio para cada estudiante, considerando las evaluaciones emitidas por los evaluadores se utiliza el operador Media Aritmética Extendida (Herrera & Martínez, 2000), que significa el punto de equilibrio del conjunto de valores.

b. Agregar el valor de los criterios para cada estudiante

Actividad 4: Interpretación de los resultados

Una vez que se tienen los valores colectivos de los criterios y la evaluación final para cada uno de los estudiantes, se está en condiciones de analizarlos y tomar las decisiones apropiadas. Para realizar el análisis se utilizarán los operadores de comparación para 2-tuplas definidos en (Herrera & Martínez, 2000). Con estos operadores es posible analizar la información de diferentes maneras, lo que ofrece facilidades para tomar la decisión final sobre la evaluación y para el trabajo docente-educativo. Algunas de esas ventajas son:

• Obtener la evaluación final integrada de cada estudiante: Cada criterio es ponderado y evaluado de manera particular para cada estudiante. Por lo que se obtiene una evaluación final del estudiante que es consistente.
• Determinar los estudiantes con mejores y peores resultados en cada una de las habilidades para orientar la atención diferenciada como parte del seguimiento profesional de la maestría.
• Determinar la evaluación global de cada trabajo de curso para orientar la investigación formativa estimulando su presentación en eventos científicos, publicación en revistas científicas y seminarios de tesis.

RESULTADOS Y DISCUSIÓN

El método se aplicó de forma experimental en el Curso Básico de Gestión de Proyectos en la 5ta Edición de la Maestría de Gestión de Proyectos Informáticos en la Universidad de Ciencias Informáticas. Se evaluó el desempeño de 108 estudiantes (en 36 equipos). Participaron en el tribunal cinco profesores miembros del claustro de la maestría. En el resto de esta sección se ejemplifican con una muestra de 8 estudiantes los resultados alcanzados. Los estudiantes sombreados con un mismo color pertenecen al mismo equipo. Se toma como ejemplo el proceso de heteroevaluación. ]]>
Para realizar el proceso de evaluación en conjunto con los estudiantes se determinaron diez criterios, en la Tabla 1 se muestran además los pesos asociados a cada criterio y el dominio en que fueron evaluados: lingüístico (L), intervalar (I) y numérico (N). Adoptando un enfoque de atención diferenciada, los cinco profesores especificaron el peso con la que debía ser evaluado cada criterio de manera particular para cada uno de los estudiantes del equipo.

Tabla 1. Importancia de los criterios en la evaluación de los ocho estudiantes analizados.

Los profesores emitieron sus evaluaciones individuales utilizando los dominios especificados. Para expresar las valoraciones en el dominio lingüístico se utilizó el CTL de 5 términos cuya semántica se define en la Figura 2.

Siguiendo lo propuesto en el método, las evaluaciones heterogéneas de los profesores fueron unificadas sobre el dominio lingüístico y transformadas a 2-tuplas. Luego se determinó la evaluación final de cada criterio y la evaluación integrada de cada estudiante. En la Tabla 2 se muestra como ejemplo el resultado de 8 estudiantes involucrados en tres de los trabajos evaluados. Se observa la evaluación integrada de los estudiantes (expresada en 2-tuplas), su orden dentro del equipo y el orden de los estudiantes analizando algunos criterios de forma individual.   

Para determinar el orden se utilizaron los operadores de comparación para 2-tuplas. Esos operadores utilizan los valores de la etiqueta lingüística y la traslación simbólica para establecer entre una pareja de 2-tuplas cual es mayor a la otra.

De esa manera, aunque los estudiantes E2 y E3 ambos tienen una evaluación de Muy Bien, el estudiante E3 es el de mejor resultado debido a que la traslación simbólica es positiva y mayor.

Tabla 2. Resultados de la evaluación de ocho estudiantes utilizando el método propuesto.

A partir de los resultados obtenidos, el colectivo de profesores puede tomar varias decisiones sobre la evaluación final de los estudiantes y sobre su seguimiento en otros cursos de la maestría. Así como en su desempeño como maestrante. Dentro de los resultados obtenidos se encuentran:

En un primer corte donde se realiza coevaluación se obtiene una propuesta de evaluación cualitativa que permite al estudiante identificar cuáles de los criterios tuvieron peores evaluaciones a partir de las sugerencias realizadas por sus compañeros y trabajar sobre las mismas.

• El estudiante E1 es el de mejor desempeño en los cinco criterios que se evaluaron asociados con el marco teórico de la investigación.
• El estudiante E3 mostró alta capacidad para el trabajo independiente, colectivo y creativo en la solución del problema y además alcanzó un alto desarrollo del pensamiento lógico, la capacidad de abstracción y el razonamiento mediante la modelación.
• El estudiante E6 se encuentra entre los tres últimos en los cinco indicadores analizados y por tanto no ha desarrollado de forma adecuada las habilidades que esos indicadores abarcan.