Pronóstico de éxito en la Mejora de Procesos de Software
Forecast success in Software Process Improvement
Ana Marys Garcia Rodríguez1*, Yaimí Trujillo Casañola1, Lizandra Arza Pérez1
1 Universidad de las Ciencias Informáticas. Carretera a San Antonio de los Baños, Km 21/2, Torrens, La Lisa, La Habana, Cuba.{agarcia, yaimi, lizandra}@uci.cu
RESUMEN
En el desarrollo de software se refleja una tendencia a la definición y mejora continua de los procesos, a fin de organizar estratégicamente las acciones para el logro de los objetivos de la organización. En este sentido la mejora de procesos de software ha jugado un papel fundamental, no obstante, se refleja un número considerable de fracasos, lo cual se atribuye a que no se tiene en cuenta el estado de la organización integralmente respecto a su ámbito socio-cultural. Algunas investigaciones se han enfocado en definir un modelo para la evaluación integral de una organización mediante la aplicación de un diagnóstico que considere los factores críticos que influyen en el éxito, previo al inicio de una mejora de procesos. Sin embargo, este diagnóstico no vincula la reutilización de las experiencias adquiridas en torno a los factores que influyen en la mejora, lo cual conlleva a que se dediquen recursos, tiempo y esfuerzos sin previo conocimiento de los posibles resultados a obtener. La presente investigación persigue como objetivo desarrollar un proceso para el pronóstico del éxito ante una mejora de procesos de software, tomando como referencia los factores críticos de éxito. Se desarrolla como soporte tecnológico un sistema de razonamiento basado en casos que realiza el pronóstico de éxito de las organizaciones y ofrece escenarios de mejora respecto al estado actual para un mejor pronóstico.
Palabras clave: factores críticos de éxito, mejora de procesos de software, pronóstico, razonamiento basado en casos
ABSTRACT
In software development a tendency for the definition and continuous improvement of processes in order to strategically organize actions to achieve the objectives of the organization is reflected. In this regard the software process improvement has a key role, however a significant number of failures is manifested, which is attributed to not take into account the state of the organization comprehensively about their socio–culturally environment. Some research has focused on defining a model for integral evaluation of an organization through the application of a diagnosis that considers the critical factors that influence in success, before the beginning of a process improvement. But nevertheless, this diagnosis does not bind the reuse of lessons learned about the factors that influence the improvement, which leads to engaged resources, time and effort without prior knowledge of possible results. This research aims to develop a process for the forecast of success in software process improvement, with reference to the critical success factors. A system of case-based reasoning that makes the success forecast of organizations and provides improvement scenarios over the current state to a better forecast, is developed as technological support.
Key words: case-based reasoning, critical success factors, software process improvement, success
]]>
INTRODUCCIÓN
Los beneficios que aporta la industria del software y la creciente demanda de informatización, conllevan a las organizaciones a centrarse en una competencia por posicionarse en el mercado mundial. Sin embargo, en el Chaos Manifiesto 2013 (Standish-Group, 2013), se refleja que entre el 2008 y el 2013 el promedio de proyectos exitosos fue de un 39%, alrededor del 43% presentaron problemas de retrasos y alrededor del 18% fueron fallidos. A raíz de los problemas identificados en el desarrollo de software, muchas han sido las investigaciones desarrolladas (Bauer, 1972; Boehm, 1976; Humphrey, 1995; Sommerville, 2007; Pressman, 2010) y todas convergen en la necesidad de aplicación de métodos más efectivos de ingeniería de software; siguiéndose una perspectiva sistemática, disciplinada y cuantificable, teniendo como centro el proceso y como base un enfoque de calidad (IEEE, 1990). Investigadores como Bauer (Bauer ,1972), Boehm (Boehm 1976), Humphrey (Humphrey 1995), Sommerville (Sommerville, 2007) y Pressman (Pressman, 2010), han desarrollado estudios que reflejan la necesidad de establecer un desarrollo dirigido por procesos en aras de una mayor eficiencia en el desempeño; así como lograr que los procesos implantados se desarrollen con la calidad requerida. Se sostiene que no solo es importante establecer una perspectiva dirigida a procesos desde un enfoque de calidad, sino que resulta esencial incorporar la mejora continua en dichos procesos (Mathiassen and Pouya 2003; Maturro 2010; Pressman 2010). Se destaca un auge a fortalecer la industria del software, enfocando la ingeniería y calidad de software en la integración y mejora de los procesos de software (MPS).
Muchas organizaciones, instituciones y comunidades científicas han optado por la aplicación de modelos, normas, guías y estándares en función de la mejora de procesos, que especifican qué hacer para establecer una mejora de los procesos en la organización, pero no establecen el cómo ejecutarla. Algunos estudios (Laporte and Trudel 1998; Moitra 1998; Stelzer and Mellis 1999; Cattaneo et al. 2001; Ngwenyama 2003; Allison 2010; Boas et al. 2010; Dounos and Bohoris 2010) señalan que los modelos en general son muy restringidos. De manera general los programas de mejora definidos no contemplan los aspectos sociales y las necesidades reales de las organizaciones alineadas a sus objetivos. Investigaciones (Ngwenyama 2003; Forradellas et al. 2005) sobre los resultados de la aplicación de iniciativas MPS, reflejan un gran número de fracasos que asciende a un 70%. Diversas publicaciones (Babar and Niazi 2008; Pino et al. 2008; Müller et al. 2010; Niazi et al. 2010) infieren la necesidad de cambios culturales y organizativos para el éxito de las iniciativas MPS, los cuales por lo general son complejos de abordar, conllevan a recomendaciones complicadas y demandan una gran inversión de recursos y tiempo. Varios autores aportan elementos para adaptar las iniciativas MPS a las características de las organizaciones, para ello proponen factores que influyen en el diseño y ejecución de la MPS referentes a los aspectos sociales, a partir de: literatura consultada (Dounos and Bohoris 2010), entrevistas y encuestas a consultores de MPS (Montoni and Rocha 2010), datos y experiencias acumuladas de la ejecución de MPS (Boas et al. 2010; Santos et al. 2010) y el estudio de casos (Allison 2010). El análisis en torno a los factores que influyen positiva o negativamente en la MPS, permite inferir que su uso en función de los contextos contribuye al éxito en la MPS (Dounos and Bohoris 2010; Montoni and Rocha 2010) . El contexto varía en dependencia de la organización, es por ello que los factores pueden influir positiva o negativamente en dependencia de la cultura de la misma.
En Cuba se ejecutan estrategias para fortalecer la industria cubana del software, reorganizando e industrializando sus procesos bajo los paradigmas de calidad. Una de las estrategias puestas en marcha fue el surgimiento de la Universidad de las Ciencias Informáticas (UCI), donde estudiantes y profesores tienen un rol fundamental en el desarrollo del software mediante la vinculación a centros de desarrollo. Se comienzan a dar avances respecto a la implantación de MPS habiéndose certificado 3 centros de desarrollo en el nivel 2 de madurez de CMMI-Dev 1.2 (CMMI 2011) y estableciéndose un programa de mejora (UCI 2011) como guía para la ejecución de los procesos (CALISOFT 2012). Como resultado introducido, investigadores de la UCI (Trujillo et al. 2012) han identificado en torno a la temática del fracaso de las organizaciones en la MPS, la influencia de factores críticos de éxito (FCE) que inciden en la misma. Estos FCE se encuentran agrupados en 3 indicadores: influencia del personal, influencia de la alta gerencia y características de la organización. Además, realizaron el diseño del modelo Si.MPS.Cu para valorar las organizaciones previo a la MPS (Trujillo et al. 2013) que contiene como componente esencial la evaluación del impacto de los FCE mediante la aplicación de un diagnóstico.
Actualmente se han mostrado pasos de avance en la implantación del modelo Si.MPS.Cu, diagnosticándose la totalidad de los centros de desarrollo de la UCI. Sin embargo, aún no se ha logrado establecer la alineación de la evaluación de los FCE con la reutilización de las experiencias obtenidas en la MPS. Para iniciarse en una MPS cada centro de desarrollo debe emplear recursos, tiempo y esfuerzo, sin tener en cuenta las buenas prácticas empleadas, y los resultados alcanzados por otros, donde los factores pudieran comportarse de manera similar. Esto se debe en gran medida a que resulta engorroso realizar el procesamiento cuando existe un gran número de factores que inciden sobre la MPS, lo cual requiere de la aplicación de técnicas que procesen la información para un pronóstico de éxito certero antes de la inversión en la MPS. Para ello resulta de gran utilidad el empleo de técnicas de inteligencia artificial (IA) (Russell and Norving 2003) para apoyar el proceso de toma de decisiones, entre las cuales destacan como sistemas basados en conocimiento (Peña 2006) los sistemas basados en casos (Kolodner 1993; López de Mántaras et al. 2005). El análisis anterior conduce al problema: ¿cómo valorar las organizaciones de software previo a la MPS a partir de la reutilización de las experiencias adquiridas por otras organizaciones en torno al comportamiento de los FCE? El objetivo consiste en: implementar un proceso que, a partir de la valoración de los FCE, permita elevar el nivel de reutilización de experiencias para obtener un pronóstico de éxito de las organizaciones de software previo a la MPS.
MATERIALES Y MÉTODOS
Para el desarrollo del trabajo, se aplicaron diversos métodos científicos y técnicas, entre los cuales destacan:
El método inducción-deducción para la identificación de la problemática, así como sus variantes de solución.
El método hipotético-deductivo para trazar la línea de la investigación a partir de la problemática identificada.
El método analítico-sintético para la descomposición del problema de investigación en elementos que permitan su profundización, para luego sintetizarlos en la solución propuesta.
La modelación para el desarrollo del proceso.
Los modelos de análisis cuantitativos para el procesamiento de los datos y análisis de encuestas (aplicadas en la técnica Iadov).
La estadística descriptiva para el análisis de los resultados.
RESULTADOS Y DISCUSIÓN
Proceso para pronosticar el éxito en la MPS
El proceso tiene como objetivo realizar un pronóstico de éxito a las organizaciones de desarrollo de software ante una MPS, basándose en la evaluación de los FCE propuestos en el modelo Si.MPS.Cu. El mismo refleja las cuatro fases del ciclo de vida de un sistema de razonamiento basado en casos (RBC) (ver figura 1).
]]> Fases del ciclo básico del sistema RBC para pronosticar el éxito en la MPS:Recuperación: se recuperan las experiencias de los casos semejantes al nuevo introducido desde la base de casos.
Reutilización: se realizan combinaciones entre los casos semejantes recuperados y el nuevo caso para obtener posibles escenarios de mejora.
Revisión: se ponen en práctica las acciones para alcanzar el escenario seleccionado, se inicia la MPS y se especifica el resultado obtenido. Se compara el resultado pronosticado y el real para evaluar el pronóstico.
Retención: se almacena el caso escenario aplicado por la organización y el resultado obtenido como un caso real a consultar en futuros pronósticos.
1. Introducir caso base: Se introducen los datos resultantes del diagnóstico aplicado por el modelo Si.MPS.Cu.
Fase de recuperación:
Se ejecuta el subproceso Pronosticar éxito. Ver figura 2
2. Comparar caso introducido con casos almacenados: el sistema realiza una comparación entre el nuevo caso introducido y los casos almacenados. Para ello se emplea una función de semejanza S.
Donde:
S: determina la semejanza entre un nuevo caso (caso base Oo) y un caso almacenado Ot de la base de casos. Alcanza valores entre 0 y 1, siendo 1 el valor óptimo que indica una semejanza total entre los casos O0 y Ot .
n: es el número de rasgos predictores (medidas).
Ki: es el coeficiente de ponderación del FCE al cual corresponde la medida “i” y su valor oscila entre 0 y 1, siendo 1 el valor que implica un mayor impacto o relevancia.
Se determina que un caso O0 es semejante al caso Ot si el valor de la función S >= 0,75.
es la función de comparación entre los casos O0 y Ot atendiendo al rasgo (medida) “i”. Su valor oscila entre 0 y 1, mientras más aproximación exista hacia el valor 1, mayor será la semejanza entre los casos. 
Donde:
- ]]> Xi (O0): es el valor que tiene el rasgo o medida “i” en el caso O0.
Xi (Ot): es el valor que tiene el rasgo o medida “i” en el caso Ot.
maxi: es el valor máximo que puede alcanzar el rasgo o medida “i”.
- mini: es el valor mínimo que puede alcanzar el rasgo o medida “i”.
2.1 Informar la ausencia de casos semejantes: si una vez ejecutada la actividad “Comparar caso introducido con casos almacenados” no se encuentran casos semejantes, el sistema muestra el mensaje “No se puede efectuar pronóstico, no existen casos semejantes almacenados”.
Fase de reutilización:
Calcular pronóstico de éxito del caso introducido: se determina el pronóstico de éxito del caso introducido:
Donde:
PE: es el pronóstico de éxito del caso introducido.
Cse: representa los casos semejantes recuperados con un resultado de éxito.
5. Obtener casos semejantes con pronósticos exitosos: se obtienen casos semejantes con pronósticos exitosos.
6. Obtener escenarios: se generan los posibles escenarios a aplicar por la organización, a partir de la realización de combinaciones entre los rasgos predictores (medidas) del caso base y los rasgos predictores de los casos semejantes exitosos. Las combinaciones se realizan sobre la base de mejorar los rasgos que reflejan problemas en la organización, a partir de las mejoras evidentes en los rasgos de los casos semejantes recuperados.
7. Pronosticar éxito (escenarios): se ejecuta el subproceso “Pronosticar éxito” para cada uno de los escenarios obtenidos en la actividad anterior.
8. Mostrar pronóstico de éxito (caso base y escenarios): se muestran los pronósticos de éxito referentes al caso base y a los escenarios obtenidos. Se muestra además el margen de error bajo el cual el sistema determinó el pronóstico. La ecuación para determinar el margen de error se detalla a continuación:
Donde:
Me: es el margen de error bajo el cual el sistema determinó el pronóstico.
n(pex): es la cantidad de pronósticos exitosos emitidos.
8.1 Modificar escenario: se pueden realizar modificaciones a los valores de los rasgos de algún escenario.
8.2 Pronosticar éxito (escenario modificado): si el usuario de la organización modificó los rasgos de algún escenario, se ejecuta el subproceso “Pronosticar éxito” para el escenario modificado.
8.3 Mostrar pronóstico de éxito (escenario modificado): se muestra el pronóstico de éxito para el caso escenario modificado.
9. Seleccionar escenarios a guardar: una vez brindados los escenarios de mejora, el usuario selecciona aquellos que considera pueden ser aplicados, para luego de su aplicación, proceder a la evaluación del mismo.
10. Guardar escenarios deseados: se guardan escenarios seleccionados para su posterior aplicación y evaluación.
Fase de revisión:
]]> 11. Iniciar MPS: la organización se inicia en la MPS.12. Especificar resultado obtenido y si aplicó o no algún escenario: luego de la puesta en práctica de la MPS, se especifica si se utilizó algún escenario de mejora propuesto y el resultado obtenido a partir de ello.
12.1 Si no se aplicó un escenario de mejora propuesto se ejecuta la actividad “14. Guardar como caso real”.
13. Comparar resultado real Vs. pronóstico: se ejecuta cuando se especifica que se aplicó un escenario propuesto. A partir del escenario aplicado, se establece una comparación entre el resultado obtenido y el resultado pronosticado.
13.1 Incrementar contador de éxito: si el resultado obtenido coincide con el resultado pronosticado.
13.2 Modificar resultado e incrementar contador de error: si el resultado obtenido no coincide con el pronosticado.
Fase de retención:
14. Guardar como caso real: se almacena el caso aplicado por la organización en la base de casos como un caso real a considerar en futuros pronósticos.
15. Desechar escenarios no usados: se eliminan los escenarios que la organización no aplicó.
Los valores resultantes del cálculo del pronóstico deben interpretarse al igual que en el modelo Si.MPS.Cu:
Por debajo del 60%, es No adecuado iniciar la MPS.
En el intervalo de 60% al 80 %, es Poco adecuado, pero se permite iniciar la MPS bajo riesgo.
En el intervalo de 80% al 90%, es Adecuado y se permite iniciar la MPS.
Por encima de 90%, es Muy adecuado iniciar la MPS y es el nivel ideal.
Se recomienda que la organización inicie la MPS si se obtienen resultados de Adecuado o Muy Adecuado.
]]> Implementación de la soluciónSe obtuvo como resultado el sistema Hefexto que aplica la técnica RBC para el pronóstico de éxito en la MPS. A continuación, se muestran los requisitos funcionales implementados y la arquitectura con sus componentes esenciales.
Requerimientos funcionales ver Tabla 1
Validación de la solución
El proceso de validación se constituyó por: la aplicación del método de expertos Delphi, el desarrollo de un estudio de casos y un cuasi-experimento y la aplicación de la técnica de Iadov. En la figura 4 se representan los objetivos, métodos y variables del proceso de validación. ver figura 3
Arquitectura Hefexto
Valoración de la contribución del proceso en la solución del problema de investigación
Se realizó una encuesta para obtener los criterios de los expertos. Para la selección de los expertos y el procesamiento estadístico se aplicó el método Delphi. A partir de los resultados obtenidos durante la encuesta de autovaloración se determinó que de los 13 encuestados, 8 cumplían la condición de experticia necesaria para la validación del tema. Una vez identificados los expertos se aplicó la encuesta de validación del proceso, arrojándose como resultados:
En cuanto a la relevancia del proceso, el criterio de los expertos para cada uno de los aspectos evaluados en el rango de Muy Adecuado y Bastante Adecuado fue: 100% (88,60% y 11,40% respectivamente).
En el caso de la pertinencia del proceso las evaluaciones fueron 100,00% Muy Adecuado. Los resultados obtenidos en la validación de la pertinencia del proceso se muestran a continuación.
Respecto a la coherencia, las evaluaciones para Muy Adecuado y Bastante Adecuado fueron del 100,00% (87,50% y 12,50% respectivamente).
Valoración del funcionamiento del sistema a partir de la reutilización de experiencias
Se aplicó el método estudio de casos con el objetivo de medir las dimensiones Funcionalidad y Rendimiento del sistema desarrollado. Los resultados reflejaron que el sistema cumple con las especificaciones tanto para la identificación de semejanza entre diferentes casos, como para el cálculo del pronóstico de éxito de un nuevo caso.
Se desarrolló un cuasi-experimento, teniéndose como entrada para el pronóstico, los datos del diagnóstico aplicado a 14 centros de desarrollo de la UCI en el 2012. Los resultados corroboraron que el sistema implementado tiene un efecto positivo y “Muy Adecuado” en la reutilización de experiencias para el pronóstico previo a la MPS.
]]> Valoración de la satisfacción del cliente con el sistema desarrolladoSe aplicó la técnica Iadov que permite el estudio del grado de satisfacción del personal involucrado en un proceso objeto de análisis. Los resultados de la satisfacción individual según las categorías empleadas fueron: máxima satisfacción: 90,00%; más satisfecho que insatisfecho: 10,00%; no definida: 0%. Al procesar las respuestas en el cuadro lógico de Iadov, se obtuvo un grado de satisfacción grupal de 0,90, que se traduce en una clara satisfacción con el uso del sistema. Respecto a la utilidad, hubo una concordancia de un 100,00% con la calificación “Muy Adecuado” y respecto a la aplicabilidad el 90,00% calificó como “Muy Adecuado”. Los resultados obtenidos y los criterios emitidos validan la fortaleza de la propuesta, reflejándose una opinión muy positiva respecto a la satisfacción del cliente con el sistema Hefexto, así como la consideración de que la reutilización de experiencias que realiza el mismo para ejecutar el pronóstico, resulta útil y aplicable en entornos reales.
CONCLUSIONES
Como resultados de la presente investigación se tienen:
El modelo Si.MPS.Cu permite valorar el estado de las organizaciones previo a la MPS, contiene como componente esencial la evaluación del impacto de los FCE mediante la aplicación de un diagnóstico. Sin embargo, se identifica la necesidad de implementar un componente que permita establecer la alineación de la evaluación de los FCE con la reutilización de las experiencias obtenidas por las organizaciones al iniciarse en la MPS.
A partir del análisis de la literatura en torno a las técnicas de IA se identificó que el RBC brinda el marco adecuado para la reutilización de experiencias en el contexto de la investigación.
El sistema implementado como soporte del proceso, permite valorar a las organizaciones mediante un pronóstico de éxito previo a la MPS. Para ello se retroalimenta de experiencias almacenadas en forma de casos, contribuyendo así a la reutilización de las mismas. Durante la aplicación de la técnica Iadov, se corroboró un alto nivel de satisfacción del cliente respecto a la reutilización de experiencias del sistema, su utilidad y aplicabilidad.
REFERENCIAS BIBLIOGRÁFICAS
CMMI, I. Published Appraisal Results. CARNEGIE-MELLON, 2011.
]]>MATHIASSEN, L. AND P. POUYA Managing knowledge in a software organization. Journal of Knowledge Management, 2003, 7(2).
MATURRO, G. Modelo para la gestión del conocimiento y la experiencia integrada a las prácticas y procesos de desarrollo software. Universidad Politécnica de Madrid, 2010.
PRESSMAN, R. S. Software Engineering. A Practitioner´s Approach. Edtion ed. New York: McGraw-Hil1 Companies, 2010. 870 p. Translation of: Ingeniería de Software. Un Enfoque Práctico. ISBN 978-0-07-337597-.
SANTOS, G., M. KALINOWSKI, A. R. ROCHA, G. H. TRAVASSOS, et al. MPS.BR: A Tale of Software Process Improvement and Performance Results in the Brazilian Software Industry. In Quality of Information and Communications Technology (QUATIC), 2010 Seventh International Conference on the. 2010, p. 412-417.
SOMMERVILLE, I. Software Engineering. Edtion ed.: Addison-Wesley, 2007. 840 p. ISBN 9780321313799.
STANDISH-GROUP. Chaos Manifesto 2011. 2011.
TRUJILLO, Y., A. FEBLES, G. LEÓN, Y. BETANCOURT, et al. MODELO PARA VALORAR LAS ORGANIZACIONES PREVIO A LA MEJORA DE PROCESO DE SOFTWARE. In VI Taller de Calidad en las Tecnologías de la Información y las Comunicaciones. La Habana: Informática 2013, 2013, p. 10.
UCI. Programa de Mejora. Procesos y Guías. In.: Universidad de las Ciencias Informáticas, 2011.
]]> Recibido: 15/04/2016
