I. INTRODUCCIÓN
La organización de la producción en proyectos es un modelo utilizado continuamente en la actualidad por distintas esferas de la sociedad (construcción, informática, salud, etc.). Entre los factores fundamentales que influyen en el éxito de los proyectos se encuentran los relacionados con los recursos humanos y las decisiones que involucra la gestión de los mismos [1-4]. En el escenario de desarrollo de proyectos, una variable fundamental es el tiempo. En los contratos con los clientes se firman cronogramas que se deben cumplir. Es necesario entonces, que actividades importantes de apoyo como las de evaluación de competencias sean realizadas con agilidad y facilidad por los miembros de los equipos y los administradores de proyectos.
La evaluación de las competencias laborales constituye una actividad de gran importancia para lograr una adecuada gestión de los recursos humanos. De ella dependen la correcta realización de otras actividades como la evaluación de desempeño, la promoción, la remuneración y la formación [5-8].
El término competencias es definido de diferentes formas en la actualidad. En esta investigación se utiliza la definición de la Norma Cubana (NC 3000: 2007) que establece a la competencia como: “Conjunto sinérgico de conocimientos, habilidades, experiencias, sentimientos, actitudes, motivaciones, características personales y valores, basado en la idoneidad demostrada, asociado a un desempeño superior del trabajador y de la organización, en correspondencias con las exigencias técnicas, productivas y de servicios. Es requerimiento esencial que esas competencias sean observables, medibles y que contribuyan al logro de los objetivos de la organización”[9].
En la literatura sobre el tema se pueden encontrar diferentes tipos de competencias que son clasificadas de distinta manera por diversos autores[7,10,11,12]. Las que se utilizan con un mayor con más consenso son: Competencias Genéricas, denominadas también Transversales, Intermedias, Generativas o Generales y las Competencias Específicas (Técnicas o Especializadas).
Para la definición de las competencias es necesario identificar las dimensiones o pautas de conducta que las hagan observables[7]. Se propone que estas deban ser medibles o cuantificables. Si bien la definición de dimensiones que permitan observar las competencias es necesaria, no es suficiente para conocer su nivel. En este sentido la inclusión de indicadores específicos permitiría caracterizar las dimensiones y evaluar el nivel real de las competencias.
En la bibliografía relacionada con la gestión de los recursos humanos se pueden encontrar diferentes técnicas para la evaluación de las competencias [5,10,11,13]. Pudiéndose identificar tres clasificaciones generales de estas de acuerdo con el tipo de información que utilizan: basadas en la experiencia práctica (Listas de verificación, Sistemas de escalas para la observación, Incidentes críticos, Simulación y ejercicios prácticos), basadas en características y experiencias del evaluado (Tests psicológicos, Recogida de información biográfica, Entrevista de evaluación, Portafolios) y basadas en valoraciones del evaluado o de otros miembros de la organización (Autoinforme sobre comportamientos, Balance de competencias, Evaluación de 360 grados) [10]. La selección de cada una depende de las posibilidades de la organización de los objetivos de esta.
Las técnicas que se basan en las características y experiencias del evaluado interrumpen las actividades de este en el proyecto, además de las del evaluador por lo que no serían las más recomendadas en el entorno de un proyecto. Las que se basan en valoraciones del evaluado y las de otros miembros de la organización afectarían a un número mayor de personas como se puede apreciar en propuestas como [14-16]. Quedan entonces como referencia las que se basan en la experiencia práctica.
Estas técnicas basadas en la experiencia práctica, aunque mucho menos invasivas requieren de un tiempo considerable por parte de los evaluadores, por eso se presenta la necesidad de la automatización de esta actividad proponiendo técnicas semiinvasivas que utilicen las bondades de las nuevas tecnologías y aumenten la eficiencia del proceso.
Se reportan en la literatura investigaciones sobre la aplicación de técnicas formales [17-20] y de inteligencia artificial en la evaluación de competencias o del desempeño de los recursos humanos. Entre las se pueden citar las utilizan minería de datos, árboles de decisión, lógica borrosa, redes neuronales y computación con palabras[8,21-25]. Estas propuestas dan soluciones novedosas pero comparten la característica de requerir de la evaluación por expertos de determinados índices o rasgos definidos o de contar con los resultados de otras técnicas de evaluación invasivas como las abordadas anteriormente.
El objetivo del presente trabajo es proponer un modelo de evaluación de competencias laborales a partir de evidencias en proyectos que analiza las tareas de su personal. La propuesta está implementada sobre Xedro-GESPRO: una herramienta de código abierto para la dirección integrada de proyectos desarrollada en el país y utilizada por varias organizaciones desarrolladoras de proyectos de diversa índole.
II. MÉTODOS
Modelo para la evaluación de competencias
El modelo propuesto está compuesto por cuatro componentes fundamentales (figura 1). En el primero se definen las precondiciones necesarias para el funcionamiento del modelo. El segundo para clasificación de las evidencias que constituyen las tareas de los miembros de los proyectos. El tercero es el encargado de la caracterización de las competencias a través del cálculo de indicadores de eficacia y eficiencia y basándose en las evidencias que constituyen las tareas de cada miembro de un equipo de proyecto. El cuarto, último y más complejo, encargado de la evaluación del nivel real de las competencias e identificación de la brecha. La propuesta requiere un conjunto de entradas relacionadas con los recursos humanos y las tareas realizadas en el período establecido para la evaluación y como salida se obtiene la evaluación del nivel real de las competencias y el establecimiento de la brecha entre el nivel real y el nivel requerido.
Componente 1. Definición de Precondiciones
En este componente se definen las precondiciones necesarias para el funcionamiento del modelo.
Entradas
Puestos de trabajo o roles definidos para el proyecto.
Evidencias del desempeño de los miembros de los equipos de desarrollo de proyectos. Para entender qué constituyen evidencias en el ámbito de gestión de proyectos, es importante referirse al concepto de proyecto y determinar cuáles son sus invariantes. Un proyecto se presenta como un esfuerzo temporal para lograr un objetivo bien determinado, estructurado en un conjunto de tareas organizadas lógicamente, con recursos limitados y un balance entre costo, tiempo y calidad [26, 27]. Por tanto en los proyectos son invariantes la existencia de fecha de inicio y fin del proyecto y la existencia tareas como forma de organización del trabajo de los recursos humanos involucrados en los mismos. Las tareas, realizadas por los miembros de un proyecto, constituyen evidencias de su desempeño y están compuestas por los siguientes elementos que se almacenan en forma de texto [26,28].
Actividades
Definición de las competencias por puesto de trabajo y su estado ideal esperado.
Definición de las dimensiones que permitan comprobar las competencias.
Actividad 1. Definición de las competencias por puesto de trabajo y su estado ideal esperado: Para cada uno de los puestos de trabajo definidos en la actividad 1, es necesario identificar las competencias que lo caracterizan. Para esta investigación se establecen las siguientes definiciones de competencias:
Competencias genéricas para el desarrollo de software: Aquellas competencias comunes para directivos y trabajadores vinculados al desarrollo de software que les permitan la obtención de los objetivos del proyecto y de la organización.
Competencias específicas para el desarrollo de software: competencias que deben poseer de manera diferenciada directivos y trabajadores vinculados al desarrollo de software, de acuerdo con el rol que les corresponda desempeñar en cada proyecto, de forma tal que contribuyan a la obtención de los objetivos del proyecto y de la organización.
Actividad 2. Definición de las dimensiones que permitan comprobar las competencias: En esta actividad se deben definir las dimensiones de las competencias como pautas de conducta que las hacen observables[7]. Se propone que estas deben ser medibles o cuantificables. Ejemplo de una competencia definida para el rol de Administrador de bases de datos en el proceso de desarrollo de software.
Competencia: Instalar, configurar, actualizar la base de datos. Dimensiones: Instala el software de base de datos y crea bases de datos. Instala parches o service pack para la base de datos. Estructura y dispone del almacenamiento para la base de datos a nivel físico y nivel lógico.
Salidas
Componente 2. Clasificación de las Evidencias
Entradas
Conjunto de tareas de un miembro del proyecto (Histórico o en un período).
Puesto de trabajo, rol o roles de la persona en el proyecto.
Competencias y sus dimensiones establecidas para el o los roles en el proyecto.
Umbral que representa α-corte para determinar posible relación tareas-dimensiones.
Actividades
Identificación de la fecha de corte o período a evaluar y selección de las evidencias.
Tratamiento de las tareas.
Comparación de las tareas con cada una de las competencias y sus dimensiones.
Definición de la relación entre las tareas y las dimensiones utilizando el umbral definido.
Actividad 1. Identificación de la fecha de corte o período a evaluar y selección de las evidencias: En este paso se propone la utilización de dos alternativas para establecer el rango de evidencias que se tendrán en cuenta para la evaluación. Se sigue la filosofía propuesta para la evaluación en la dirección integrada de proyectos en [26]. En la primera alternativa se debe especificar la fecha de corte a tener en cuenta para hacer una evaluación acumulativa de las competencias, que tenga en cuenta todas las tareas realizadas desde el inicio del proyecto hasta la fecha de corte. En la segunda alternativa se deben especificar las fechas de inicio y fin del período en que se tomaran las evidencias para la evaluación. Finalmente se seleccionan las tareas que constituyen evidencias del período de evaluación definido en el paso anterior.
Actividad 2. Tratamiento de las tareas: Limpieza de los textos de las tareas de forma que se utilice en la comparación solo los tokens fundamentales asociados a los comportamientos identificativos de la dimensión y no preposiciones y artículos. Para efectuar esta actividad se programó una función en plpgsql que realiza automáticamente la limpieza.
Actividad 3. Comparación de las tareas cada una de las competencias: Los autores de este trabajo proponen la ecuación (1) para la comparación de la similitud entre las tareas y las competencias; basadas en los estudios de Jaccard y Coseno [29].
Tomando como base el coeficiente Coseno [29]:
Actividad 4. Definición de la relación entre las tareas y las competencias utilizando el umbral definido: En este paso se establece si la tarea está relacionada o no con la competencia, de acuerdo con los niveles de similitud calculados en el paso anterior y comparándolo con el umbral definido previamente.
1. Establecer el valor del umbral.
2. Comparar la similitud de la tarea con el umbral.
Entonces la tarea está relacionada a la competencia. Se guarda el valor de la similitud entre tarea y competencia.
Salidas
Componente 3. Caracterización de las competencias
Este componente se encarga de caracterizar las competencias de acuerdo con las evidencias obtenidas de la realización de las tareas y a través de los índices: Competencia respecto a la Eficacia, Competencia respecto a la Planificación, Competencia respecto a los Costos y Consistencia del conjunto.
Entradas
Actividades
Definición de los indicadores de eficacia, eficiencia y de consistencia para las competencias para las competencias.
Caracterización de las competencias a través de los indicadores definidos.
Actividad 1. Definición de indicadores de eficacia, eficiencia y de consistencia para las competencias: En las Normas Cubanas para la gestión de los recursos humanos son definidos indicadores que resultan útiles para la caracterización de las dimensiones de las competencias[9]. Se plantea la Eficacia como el grado en que se realizan las actividades planificadas y se alcanzan los resultados planificados. La Eficiencia es planteada como larelación entre el resultado alcanzado y los recursos utilizados [9]. Este trabajo coincide con lo planteado en [28], al establecer que los valores de variación del cronograma y variación de los costos pueden convertirse en indicadores de eficiencia para reflejar el desempeño del costo y del cronograma de cualquier proyecto. El indicador Consistencia del conjunto está referido al nivel de certidumbre existente en la evaluación ofrecida por los indicadores anteriores. Certidumbre expresada por el grado de relación entre las tareas utilizadas en las evaluaciones y la competencia.
En este paso se definen indicadores para caracterizar las competencias, de acuerdo a las evidencias obtenidas de la realización de las tareas y a través de los índices Competencia Respecto a la Eficacia, Competencia Respecto a la Planificación, Competencia respecto a los Costos y Consistencia del conjunto.
Competencia respecto a la Eficacia (CRE): Muestra la eficacia del recurso humano en una competencia. Relación entre la cantidad de tareas cerradas evaluadas de Bien o Excelente relacionadas con la competencia (CTBERC) y el total de tareas cerradas relacionadas con la competencia (CTCRC) hasta la fecha de corte dd/mm/aaaa. Adquiere valores entre 0 y 1. (Este índice está alineado con lo establecido por la Norma Cubana sobre gestión integral de capital humano, que establece la eficacia como el grado en que se realizan las actividades planificadas y se alcanzan los resultados esperados [9]).
Interpretación: cercano a 1, mejor. Se calcula según la ecuación (4):
donde:
CTCPABEC |
- Cantidad de tareas cerradas con prioridad alta evaluadas de Bien o Excelente relacionadas con la competencia. |
CTCPNBEC |
- Cantidad de tareas cerradas con prioridad normal evaluadas de Bien o Excelente relacionadas con la competencia. |
CTCPBBEC |
- Cantidad de tareas cerradas con prioridad baja evaluadas de Bien o Excelente relacionadas con la competencia. |
CTCPAC |
- Cantidad de tareas cerradas con prioridad alta relacionadas con la competencia. |
CTCPNC |
- Cantidad de tareas cerradas con prioridad normal relacionadas con la competencia. |
CTCPBC |
- Cantidad de tareas cerradas con prioridad baja relacionadas con la competencia. |
Competencia respecto a la Planificación (CRP): Muestra el rendimiento del recurso humano respecto a la planificación en una competencia. Relación entre la sumatoria de los días planificados para las tareas cerradas relacionadas con una competencia y los días dedicados a las tareas cerradas relacionadas con la competencia en la fecha de corte dd/mm/aaaa. Otra variante es tener en cuenta la misma relación pero en un periodo dd/mm/aaaa inicial, dd/mm/aaaa final.
Interpretación: CRP < 1, menor eficiencia por utilizar más tiempo; CRP =1, en tiempo; IRHF > 1, mayor eficiencia por utilizar menos tiempo del planificado. Se puede calcular utilizando una de las dos alternativas que se proponen (7) u (8):
Alternativa 1: Calcular el acumulado utilizando una fecha de corte.
Alternativa 2: Tener en cuenta solo un periodo de tiempo utilizando dd/mm/aaaa inicial, dd/mm/aaaa final.
Competencia respecto a los Costos (CRC): Muestra el rendimiento del recurso humano respecto al costo en una dimensión. Relación entre el costo planificado (CP) para las tareas del recurso humano relacionadas con una competencia y el costo real (CR) para las tareas del recurso humano relacionadas con una competencia, en la fecha de corte dd/mm/aaaa. Otra variante es tener en cuenta la misma relación pero en un periodo dd/mm/aaaa inicial, dd/mm/aaaa final.
CRC< 1, mayor costo; CRC =1, en costo; CRC> 1, menor costo.
donde:
Consistencia del conjuntoCC: Muestra el nivel de relación de las tareas con la competencia. Se va a constituir de acuerdo a la cercanía de la similitud de cada tarea del conjunto con el Coeficiente de similitud de texto establecido. Adquiere valores entre α-corte definido en la ecuación (3) y 1. Este indicador ayuda al manejo de la certidumbre de la información consultada. Representa el grado de pertenecía del resto de los indicadores a la competencia.
Interpretación: cercano a 1, mejor. Se calcula utilizando un operador compensatorio basado en el NEATOWA[30] según la Ecuación (12):
Para calcular el peso se utiliza la ecuación (13):
donde:
- Coeficiente de similitud definido en (3).
Actividad 2. Caracterización de las competencias a través de los indicadores definidos: Para la caracterización de las competencias se calculan los indicadores definidos y tomando como base relación entre las tareas y las competencias aportada por el componente 2. Las competencias de cada persona quedan representadas como se muestra en la tabla 1.
Persona | Competencias | CRE | CRP | CRC | CC |
Personai | Competencia A | CRE | CRP | CRC | CC |
Competencia B | CRE | CRP | CRC | CC | |
Competencia N | CRE | CRP | CRC | CC |
Salidas
Componente 4. Cálculo de la brecha de las competencias
Este componente se encarga de realizar la evaluación de las competencias e identificar la brecha existente entre el estado real y el estado ideal de las mismas para un rol o puesto de trabajo determinado.
Entradas
Estado ideal de las competencias, ofrecido por el componente uno de la propuesta.
Caracterización de las competencias, aportado por el componente tres de la propuesta.
Actividades
Evaluación de las competencias.
Identificación de la brecha entre el estado ideal y el estado real de las competencias.
Actividad 1. Evaluación de las competencias: Para la evaluación de las competencias se proponen dos alternativas:
Alternativa 1: Utilización de algoritmo basado en casos: permite el aprovechamiento de las experiencias previas en la organización para evaluar competencias laborales mediante el uso del modelo lingüístico basado en 2-tuplas combinada con elementos básicos de la teoría de los operadores de agregación. Su implementación posibilita aumentar la aplicabilidad y fiabilidad de esta técnica en la toma de decisiones.
Diseño de una BC que utiliza una estructura de indexación no secuencial mediante un árbol de proximidad binario.
Funciones de semejanza para la recuperación los 𝑘 casos más semejantes. Utiliza métricas de distancia como: Euclidean, Maximum, Manhattan, Canberra, Binary o Minkowski.
Modelo de representación lingüística 2-tuplas; así como los operadores de agregación asociados, fundamentado en la facilidad que brinda para evitar la pérdida de información para evaluar las distintas alternativas.
Alternativa 2: Utilización de una red neuronal multicapa: Perceptrón con conexiones FeedForward y algoritmo de aprendizaje Backpropagation, con cuatro neuronas en la capa de entrada, cuatro en la capa oculta y una en la de salida. La función de activación de la capa oculta fue tangente y de la capa de salida lineal.
Actividad 2.Identificación de la brecha entre el estado ideal y el estado real de las competencias: Debe compararse el nivel real de la competencia de un individuo con el nivel ideal requerido de esa competencia en el puesto de trabajo o rol asignado.
III. RESULTADOS
El modelo propuesto para la evaluación de competencias se integró a la herramienta de gestión de proyectos Xedro-GESPRO 13.05[28] en el módulo de gestión de recursos humanos, como se muestra en la figura 2. Actualmente esta herramienta está siendo utilizada en la Red de Centros de la Universidad de las Ciencias Informáticas, COPEXTEL y otras empresas de desarrollo de software en el país.
Para evaluar la eficiencia de la propuesta se comparan los resultados de esta con los del método de 360-grados, se selecciona este método debido a que es de los más utilizados en la bibliografía consultada y además había sido utilizado en la Red de Centros de la UCI con anterioridad. Se toma como referencia el estudio realizado por [31], donde realiza una comparación de su modelo con el método de evaluación de 360-grados. En su propuesta la autora analiza el esfuerzo para la evaluación de competencias utilizando el método de evaluación de 360 grados con una visión optimista de los recursos a utilizar y la implementación pesimista del modelo que ella propone. Los resultados de la propuesta se obtuvieron utilizando las dos variantes que se proponen para la evaluación de las competencias. Los resultados se muestran en la figura 3.
En cuanto a la eficacia de la evaluación de la propuesta con la utilización de la variante del algoritmo basado en casos se tuvo un 82 % y para la variante de la red neuronal un 98 %.
IV. DISCUSIÓN
El modelo propuesto para la evaluación de las competencias laborales constituye una herramienta de apoyo a la toma de decisiones, que no sustituye al evaluador, sino que facilita su trabajo, ofreciéndole un resumen de los datos referidos al desempeño. La propuesta sigue la filosofía de utilización de indicadores de la gestión de proyectos, se enfoca en los elementos principales de esta, calidad, costos y tiempo ajustándose además conceptos de eficacia y eficiencia establecidos en la Norma Cubana 3001 [9].
Se propone la colección semiautomática de las evidencias y la relación de las mismas con las competencias y dimensiones a través de la utilización de funciones de cálculo de similitud basadas en los estudios de Jaccard y Coseno [27]. Esta característica de la propuesta es fundamental ya que elimina la utilización de expertos que evalúen los resultados en función de las competencias o determinados indicadores, que es la variante utilizada en otras propuestas como [21,23,24].
La propuesta ofrece niveles de efectividad, aceptables y acordes a otros métodos existentes. Los resultados de efectividad que se muestran en el epígrafe anterior fueron obtenidos a través de una aplicación experimental del modelo, la utilización práctica de este ofrece retroalimentación de las evaluaciones realizadas y puede permitir el perfeccionamiento de la evaluación.
Es necesario aclarar que métodos como el de 360-grados u otros basados en las valoraciones del evaluado o de otros miembros de la organización, o solo en las características y experiencias del evaluado pueden ofrecer información más amplia y sobre más aristas de la personalidad pero son muchos más costosos en esfuerzo y tiempo. Este modelo enfoca su utilización en organizaciones orientadas a proyectos, que deben cumplir con cronogramas específicos y donde la evaluación de competencias es una tarea de apoyo que necesita ser realizada con eficiencia.
La propuesta necesita como entradas o precondiciones para su correcta aplicación que se cuente en la organización con una correcta definición de las competencias y dimensiones y que las tareas que se les asignen a los miembros de los equipos estén en correspondencia con estas. Puede sin embargo servir para identificar la existencia de divorcio entre las competencias definidas y las tareas asignadas a una persona. Identificar la situación anterior puede permitir reajustar las competencias o reasignar una persona a otro puesto de trabajo o rol.
La utilización del modelo propuesto integrado a la herramienta GESPRO, puede servir de ayuda a orientar en un mismo sentido la gestión organizacional y la evaluación del desempeño de los miembros como se sugiere en [32].
V. CONCLUSIONES
El modelo propuesto facilita la automatización del proceso de evaluación de competencias evitando la utilización de técnicas invasivas para estimar el desempeño.
Se propone la utilización de indicadores para la caracterización de las competencias en cuanto a la eficacia y eficiencia y la certidumbre de la evaluación.
Con la utilización de la propuesta integrada a la herramienta GESPRO y utilizando cualquiera de las dos técnicas de inteligencia artificial propuestas se aumenta la eficiencia en la evaluación de competencias manteniendo niveles de efectividad aceptables.
Con la utilización de las técnicas de inteligencia artificial propuestas se pueden recoger y reutilizar las experiencias de los evaluadores.