ARTÍCULO ORIGINAL

                                                                                                                             

Perspectivas del Cuadro de Mando Integral personalizadas para laboratorios de pruebas de software

 

Perspectives of Balanced Scorecard custom software testing laboratories

 

 

Tayché Capote-García, Yudisbel Pérez-Moreno, Raykenler Yzquierdo-Herrera, Ailyn Febles-Estrada, Vivian Estrada-Sentí

Universidad de las Ciencias Informáticas (UCI), La Habana, Cuba

 

 

---

RESUMEN

 El outsourcing de las pruebas de software es una tendencia actual que permite a las organizaciones reducir costos, tiempos y mejorar la calidad del proceso y producto. Este principio se ha aplicado mediante factorías de pruebas de software, utilizando modelos de referencia. Estos modelos no están definidos como un modelo organizativo y no están orientados a elevar eficiencia en la ejecución de las pruebas de software. Se presenta la base de un nuevo modelo de gestión de procesos para las organizaciones que brindan servicios outsourcing de pruebas de software, conformado por la integración de las perspectivas del Cuadro de Mando Integral personalizadas, las disciplinas de las Organizaciones Inteligentes y estándares internacionales de calidad. Se define una quinta perspectiva, considerando las características de la organización. La propuesta se validó a partir de su aplicación en el laboratorio de pruebas del Centro Nacional de Calidad de Software, evidenciándose un aumento en la eficiencia de las pruebas durante cuatro años de trabajo.

 Palabras clave: pruebas de software, outsourcing, factoría de pruebas, cuadro de mando integral.

---

 ABSTRACT

The outsourcing of software testing is a current trend and enables organizations to reduce costs, time and improve the quality of process and product. Testing Factories using reference models have applied this principle. These models are not defined as an organizational model and are not aimed at increasing efficiency in the execution of software tests. In this paper is presented the basis of a new organizational model for Testing Factories, formed by the integration of the custom perspectives of the Balanced Scorecard, the disciplines of Intelligent Organizations and international quality standards. It defines a fifth perspective, considering the characteristics of the organization. The proposal was validated from its application in the test laboratory of the National Centre for Software Quality, showing increase in testing efficiency for four years of work.

 Key words: software testing, outsourcing, testing factories, perspectives of the balance scordcare.

---

 

INTRODUCCIÓN

La industria de software ha tenido un desarrollo acelerado en los últimos años, constituyendo un pilar de crecimiento económico varios países [1, 2]. En este contexto, asegurar y controlar la calidad en el proceso de desarrollo de software es esencial para alcanzar resultados superiores y ser más competitivo. Sin embargo, los defectos son la principal causa de la baja calidad de los productos software, así como del incremento de costo debido generalmente al tiempo de retrabajo requerido para su corrección [3, 4]. La complejidad de los sistemas informáticos aumenta, por lo que se requiere que las pruebas de software sean más eficientes [5-8]. En la actualidad se empieza a hacer outsourcing de actividades que necesitan de habilidades e infraestructura específica, como es el caso de las pruebas software [9-11]. Esto permite reducir costos, tiempos y mejorar tanto el proceso como la calidad del producto [12, 13]. Algunas entidades aplican el outsourcing a través de las Factorías de Pruebas de Software, que según Koomen (2006) son organizaciones cuya actividad principal consiste en proporcionar servicios de pruebas a organizaciones de desarrollo de software [14]. Estas disponen de los recursos necesarios, tanto personas como procesos e infraestructura, que permitan proporcionar y gestionar de forma eficiente los servicios ofrecidos.

Para alcanzar los beneficios del outsourcing es necesario realizar una buena gestión de los servicios proporcionados, por lo que se requiere de un modelo organizativo bien definido y que se encuentre disponible. Los modelos de referencia definen un conjunto de buenas prácticas a realizar dentro de una organización, con el objetivo de llevar a cabo una mejora de procesos. Son modelos privativos, por lo que el acceso completo a la información asociada a ellos se dificulta, así como su implementación.

Capability Maturity Model Integration (CMMI) for Development [15]: es un modelo genérico para el desarrollo y mantenimiento de las actividades aplicadas tanto a los productos software, pero que no contiene el soporte adecuado para el proceso de pruebas. Define tres áreas de proceso que solo incluyen algunas de las actividades básicas relacionadas con las pruebas, considerando que está enfocado a entidades desarrolladoras de software y no a organizaciones que brindan servicios outsourcing de pruebas de software. Por ello, este estándar no puede ser utilizado como modelo para la mejora del proceso de prueba en las organizaciones.

Testing Maturity Model Integration (TMMI) [16]: es un modelo que complementa a CMMI en el área relacionada con las pruebas de software. TMMI proporciona una guía y un marco de referencia para la mejora de estos procesos. La principal desventaja, es que no presentan una definición de los procesos, solo proporciona directrices a partir de las cuales las organizaciones deben definirlos. Puede ser utilizados como una fuente para la definición de los procesos, o como un mecanismo para la evaluación de estos una vez que ya están siendo utilizados. Este modelo no contemplan la gestión del servicio, por lo que no se adaptan completamente a las organizaciones que brindan servicios outsourcing de pruebas de software.

El modelo Test Process Improvement (TPI) [17], desarrollado por la empresa Sogeti, ha sido definido como medio para conseguir una mejora controlada y gradual del proceso de pruebas de software. Su principal utilidad es como herramienta para estructurar las acciones de mejora del proceso de pruebas y como un medio para la comunicación dentro de la organización. Sin embargo, no es en sí un modelo de procesos de prueba, ni siquiera un mecanismo que contribuya o ayude a su definición.

TPI está estrechamente ligado a la metodología Test management approach (TMap) [14], por lo que requiere que las organizaciones implementen dicha metodología. TMap, es una aproximación para la gestión de las pruebas, que considera pruebas dirigidas a resultados de productos software. Define un modelo que incluye procesos dirigidos a la gestión del servicio, los que no están definidos en detalle y no se describe la interacción entre estos.

Sanz (2012) presentó un nuevo modelo, que integra los procesos necesarios para la ejecución de las pruebas, considerando los de soporte y gestión de servicios de pruebas, para cualquier entorno organizativo [18]. Los procesos se definen de forma modular, permitiendo que cada organización implemente aquellos que se ajusten a sus necesidades de acuerdo a su tamaño y estructura organizativa. Define un marco metodológico para la mejora de las actividades de verificación y validación de productos software. Como inconveniente se puede resaltar que los procesos no están guiados por normas y estándares internacionales, que permitan la posterior acreditación y/o certificación de la organización. Varios procesos pueden ser integrados en uno solo, de manera que no se repitan actividades si se requiere desarrollar más de un tipo de pruebas de las que define.

De forma general los modelos de referencia estudiados, se enfocan en mejorar los procesos y lograr una evaluación de madurez o capacidad en la organización. La concepción de los modelos no permite sistematizar el control de la gestión de las pruebas de software, a partir de indicadores organizados por las áreas de creación de valor de la organización. No contemplan una visión colectiva en cuanto a la gestión de la entidad, ni están estandarizados los procesos. Además, no se considera lograr el aprendizaje organizacional a partir del aprendizaje individual de los miembros de la organización. En algunos casos, se contemplan elementos aislados, pero al no integrarse estas buenas prácticas, no se alinean en función de lograr un aumento de la eficiencia del proceso de pruebas de software de la organización.

Se presenta la base de un nuevo modelo para las organizaciones que brindan servicios outsourcing de pruebas de software, que permita gestionar el servicio de pruebas de software de manera eficiente. Para conformar esta base del modelo, se personalizan las perspectivas del Cuadro de Mando Integral (CMI) para una entidad que brinde servicios outsourcing de pruebas de software. Las perspectivas se consideran áreas de creación de valor para la organización. Se definen además elementos que se integran al desarrollo de estas, en función del concepto de Factoría de Pruebas Software, generalizado para las organizaciones que brindan servicios outsourcing de pruebas de software, con el fin de aumentar la eficiencia de las pruebas.

 

MÉTODOS

A partir de las principales dificultades detectadas en los modelos estudiados, se analizaron elementos relacionados con la gestión del conocimiento, la gestión de la calidad y la gestión estratégica. Estos aspectos contribuyen al logro de la eficiencia y eficacia en las entidades. Se profundizó en las disciplinas de las organizaciones inteligentes, en normas y estándares internacionales de calidad, así como en el Cuadro de Mando Integral. Se consideró en este estudio la definición asumida para las organizaciones que brindan servicios outsourcing de pruebas de software.

Inicialmente se define el concepto de Cuadro de Mando Integral y los elementos asociados a este que se tomaron en cuenta, para la correcta comprensión de la propuesta.

Cuadro de Mando Integral (CMI): Conjunto de medidas que brindan a los directivos una rápida, pero abarcadora vista del negocio. Es un instrumento o metodología de gestión que facilita la implantación de la visión y estrategia de la organización de una forma eficiente. Proporciona el marco, la estructura y el lenguaje adecuado para comunicar la misión y la estrategia, en objetivos e indicadores. Estos están organizados en cuatro perspectivas base: finanzas, clientes, procesos internos y formación y crecimiento. Las perspectivas precisadas deben ser consideradas como una plantilla, no como una obligación, deben adaptarse a las características de la organización [19-21].

De los elementos que incorpora el CMI, se consideraron para componer parte del modelo organizativo los siguientes:

• Visión de la organización, como el punto de partida para conocer hacia dónde debe llegar la organización y desarrollar el resto de los elementos.
• Las perspectivas, consideradas áreas de creación de valor o dimensiones de la organización, por lo que deben ser adaptadas a las características de esta.
• El mapa estratégico con sus objetivos por perspectivas, relacionados a través de las relaciones causa-efecto, que constituye el aporte conceptual más importante.
• Indicadores asociados a los objetivos estratégicos reflejados en el mapa, como medidas para conocer si se cumplen los objetivos.

Teniendo claros estos elementos, se partió del concepto de Factoría de Pruebas de Software abordado en la introducción, para caracterizar a las organizaciones que brindan servicios outsourcing de pruebas de software. Se definió que tienen como esencia las personas, los procesos, la infraestructura y los clientes; aspectos que deben combinarse coherentemente para lograr la eficiencia de las pruebas de software. A partir de este concepto y considerando que la acreditación y certificación de las organizaciones, esencialmente a partir de las normas ISO [22], proporcionan reconocimiento de la capacidad técnica en consonancia con las exigencias del mercado internacional, se definió la siguiente visión:

Organización acreditada y certificada a partir de normas y estándares de calidad, logrando reconocimiento nacional e internacional por proporcionar y gestionar de forma eficiente los servicios de pruebas de software, siendo garantía de resultados objetivos para los clientes.

Con claridad en la meta de la organización, se personalizaron las perspectivas del CMI y sus relaciones, quedando su representación como se muestra en la siguiente figura 1.

Las perspectivas se ordenaron como definen Kaplan y Norton (1999) en forma descendente por su capacidad de ser medidas. El desplazamiento hacia abajo entre las perspectivas representa el trasladarse de lo más objetivo a lo más subjetivo.

A continuación se precisa cómo se definió cada perspectiva representada en la figura anterior, así como los elementos que se tomaron en cuenta para su desarrollo.

Perspectiva Aprendizaje y Crecimiento

Se decidió mantener esta perspectiva como sustento de las otras, pues está encaminada al desarrollo de las personas de la organización, las cuales son fundamentales para que esta funcione.

Para desarrollar esta perspectiva se estudiaron los conceptos esenciales relacionados con las Organizaciones Inteligentes (OI). Se tomaron para la investigación las definiciones de Senge (2006) sobre estas organizaciones, esencialmente las cinco disciplinas. Dos de estas son individuales: Dominio personal y Modelos mentales; y tres grupales: Visión compartida, Aprendizaje en equipo y Pensamiento sistémico [23].  

Tomando como base estos conceptos, se definieron tres objetivos estratégicos para desarrollar la perspectiva Aprendizaje y Crecimiento, a partir de llevar a la práctica las cinco disciplinas de las OI. Estos objetivos son:

1.  Contar con un personal altamente calificado, capacitado y motivado.

2.  Transferir y transformar el conocimiento a todos los niveles (individual, grupal, organizacional e inter-organizacional).

3.  Lograr un ambiente que estimule excelencia, innovación y trabajo en equipo.

Con el fin de lograr estos objetivos, se definieron las fases para implementar las disciplinas de las organizaciones inteligentes, especificadas a continuación:

Fase 1. Evaluación del estado de la organización: Se aplicó la encuesta denominada "La prueba de la organización que aprende", tomada de Garvin (1998), con la finalidad de obtener una primera caracterización del entorno en relación al concepto de Organización que Aprende [24]. Posteriormente se aplicó otra encuesta elaborada para identificar las barreras para el aprendizaje, conocer el desarrollo de las disciplinas de las OI y el comportamiento organizacional.  

Fase 2. Definición del campo de fuerza: Se utilizó esta técnica como instrumento para analizar la situación que es preciso cambiar. Los resultados del diagnóstico se utilizaron para definir el estado actual de la organización, así como las fuerzas impulsoras y las fuerzas restrictivas. Además se definió claramente el cambio deseado hacia un estado objetivo.

Fase 3. Planificación de actividades: Fueron definidas las acciones que debe llevar a la organización desde el estado actual hasta el deseado. Se precisaron, a partir de las aptitudes que deben desarrollarse en la organización por cada disciplina, las herramientas que deben ser utilizadas para desarrollarlas. Estas herramientas son ejercicios definidos por Senge (2006), alineados a las disciplinas o introductorias al concepto de OI. Estos deben ser adaptados a la organización y aplicados a través de métodos como la encuesta y el grupo focal.

Fase 4. Ejecución: Se pusieron en práctica las herramientas, involucrando al personal a partir de la planificación realizada. Se definieron un conjunto de indicadores, a partir de los objetivos estratégicos de la perspectiva. Estos posibilitan dar seguimiento a los objetivos, así como a la aplicación de la estrategia.

Fase 5. Comprobación: Durante la ejecución fueron monitoreados los indicadores definidos. Los resultados se analizaron para lograr una mejora continua de la perspectiva, introduciendo los cambios que se requieran a partir de la redefinición del campo de fuerza.

Perspectiva Formación de roles

Esta perspectiva no está contemplada entre las base del CMI. Se propuso como una quinta perspectiva, considerando que la capacitación en el área de las pruebas de software no es suficiente. Algunos estudios consultados precisan que la mayoría de las personas con estudios universitarios en el área de informática, adquieren habilidades excepcionales para el desarrollo, pero presentan carencias en habilidades de pruebas y depuración de programas [25]. La mayor parte de las competencias son adquiridas por las personas, especialmente en las etapas de la educación superior, sobre todo aquellas ligadas al desarrollo de su profesión. Por este motivo, es importante que las organizaciones que brindan servicios outsourcing de pruebas de software, formen roles relacionados con las pruebas de software en personal externo, o que estén en proceso de adiestramiento dentro de la propia organización de manera diferenciada. Estos roles pueden ser: probador básico, probador intermedio, probador avanzado y diseñador de pruebas. Su formación debe ser en todos los casos desde una vinculación a servicios reales.

La organización debe realizar una alianza con una universidad que cuente con carreras afines. De esta forma, se capacitan estudiantes a través de prácticas profesionales o asignaturas de la carrera. Con la propuesta se benefician ambas organizaciones:

• La universidad porque se forman sus estudiantes desde la práctica, adquiriendo habilidades en las áreas de prueba en diferentes roles.
• La organización que brinda servicios outsourcing de pruebas de software porque cuenta con personal asumiendo los roles básicos, que disminuyen los costos de contratación de este y posibilita que sus trabajadores en este tiempo puedan realizar acciones para su especialización. Además, la organización podría elevar sus niveles de servicio, en función de la cantidad de estudiantes que se vinculen.

En la formación pueden integrarse profesionales de la informática a partir de la impartición de cursos de postgrado, lo que daría ganancias a la organización y aumentaría las habilidades de estos profesionales en temas relacionados con las pruebas.

Se definieron en esta perspectiva dos objetivos estratégicos:

1.  Desarrollar programas de capacitación desde la práctica, para la formación en roles.

2.  Formar estudiantes y profesionales en roles relacionados con las pruebas de software desde la práctica.

Los programas relacionados con los roles a formar, deben ser elaborados por los especialistas de la organización. Durante el desarrollo de la propuesta, se elaboró el programa del rol probador básico, llevado a la práctica con estudiantes y profesionales.

Para la formación de roles se establecieron tres actividades básicas:

Actividad 1. Planificación: Debe realizarse en función de la alianza con la universidad, precisando los horarios de asistencia de los estudiantes a las actividades de prueba, ya sea como parte de una asignatura de la carrera o como una práctica laboral. Asimismo ocurre en el caso de los cursos de postgrado que se oferten. Esta planificación debe estar alineada a la planificación de los servicios de la organización, pues la formación es desde la ejecución de estos. En consecuencia, debe precisarse en cada turno de laboratorio el producto a probar.

Dentro de esta actividad se consideran también las preparaciones para los especialistas que juegan el rol de profesor. Deben ser planificadas en función del programa de formación desarrollado y ejecutadas por los profesores de mayor experiencia.

Actividad 2. Capacitación y ejecución: Se debe desarrollar la actividad de formación desde la práctica, para lo que se definió una estructura específica de la clase, considerando las particularidades del servicio de pruebas. Se cuenta con varias actividades, entre las que se pueden destacar:

•    Preguntas comprobatorias de la clase anterior.
•    Explicación de las características del artefacto, de la herramienta a utilizar para la prueba, de las no conformidades más comunes en el tipo de artefacto a probar, negocio del proyecto y de otras herramientas para la gestión de la prueba y las no conformidades; entre otras.

Actividad 3. Evaluación del estudiante: La exanimación se realiza en cada clase, revisando que las no conformidades detectadas se corresponden con el artefacto, así como la calidad de su redacción. Además influyen en la evaluación la asistencia, puntualidad, disciplina y otras evaluaciones parciales que realice el profesor. Al final del curso el estudiante debe defender un trabajo integrador, en el que debe investigar sobre algunos tipos de prueba que ha realizado, siempre vinculándolo con la práctica que ejecutó.

Perspectiva Recursos materiales

Se modificó la perspectiva financiera del CMI por una en la que se integren todos los recursos materiales. Se tuvo en cuenta para la formación de la perspectiva, la infraestructura requerida para el desarrollo de los servicios y la formación de roles, así como lo relacionado con la parte económica de la organización. En función del tipo de organización, con fines de lucro o no, se deben definir los objetivos estratégicos. Para la propuesta se toma en cuenta las organizaciones sin fines de lucro, por lo que solo se registra lo relacionado con los costos de los servicios y el presupuesto asignado.

Una vez considerados estos elementos, se definieron los objetivos estratégicos de la perspectiva Recursos materiales, los cuales son:

1. Emplear adecuadamente los recursos tecnológicos.

2. Registrar los costos de los servicios.

3. Administrar eficazmente el presupuesto.

Perspectiva Cliente

En el caso de la Perspectiva Cliente, se consideró que es importante aumentar la calidad de los procesos internos de la organización, a partir de un aumento en el grado de satisfacción del cliente. Para ello se debe potenciar el desarrollo de acciones medibles, que contribuyan a elevar estos índices de complacencia. En función de esto, se definieron fases que permiten integrar a los procesos de la organización la perspectiva del cliente.

Se tomó como base una investigación que define una estrategia desarrollada esencialmente según los requisitos planteados en las normas ISO/IEC 9001:2008 y la ISO/IEC 9004: 2009, emitidas por la International Organization for Standardization (ISO). Estas normas especifican cómo mejorar el trabajo de las organizaciones con un enfoque hacia los clientes; conceptos alineados a la gestión del capital relacional; y buenas prácticas o métodos para medir la satisfacción del cliente [22]. Además se definieron los objetivos estratégicos de esta perspectiva, los que están alineados a la estrategia y se precisan a continuación:

1. Satisfacer las necesidades y expectativas de los clientes.

2. Generar clima de confianza y credibilidad en los clientes.

La estrategia consta de 4 fases, las cuales son:

Fase 1. Modelar el estado actual: Para esto se realizó un diagnóstico, conformado por: una entrevista a la dirección de la organización, una revisión técnica para evaluar del comportamiento de los servicios y procesos internos, una encuesta a los involucrados en los servicios y la confrontación de las evidencias anteriores. Se recogieron los resultados en un informe, que es posteriormente aprobado por la dirección de la organización.

Fase 2. Preparar a la organización para los cambios: Para acometer esta fase se necesitó capacitar al personal de la organización, en función de cómo debe ser la atención al cliente a partir del rol que desempeña. Se realizó una clasificación de los clientes, agrupándolos por categorías que permitan darles un tratamiento diferenciado. Se representó el capital relacional, precisando las relaciones que existen entre todos los involucrados en el servicio, las que generan conocimientos que se incorporan a la organización y las personas.

Fase 3. Puesta en práctica de la estrategia: Esta fase se desarrolló en la misma medida en la que se ejecutaba el proceso clave Evaluación de productos de software, tomando como base la información de las fases anteriores. En función de los conceptos precisados y el informe del diagnóstico, se consideró que una actividad importante a incorporar al proceso clase, es la selección del personal para ejecutar el servicio. Se analizaron las características de los servicios, a partir de la solicitud realizada por los clientes, para identificar las competencias y rasgos distintivos que debe tener el coordinador del servicio. Se evalúa la carga de trabajo de los especialistas que cumplen con dichas características y se selecciona uno de ellos. Se incluyó la identificación y validación de los requisitos, agrupados en cuatro categorías: requisitos del producto, requisitos del proceso, requisitos del cliente y requisitos legales. Se consideró un análisis de riesgos y su mitigación, los cuales deben ser apreciados durante la ejecución del servicio, de conjunto con la verificación de los requisitos validados. En la actividad de evaluación o cierre del proceso, se incorporaron un informe valorativo de la calidad del servicio, la aplicación de una encuesta de satisfacción del cliente y la recogida de opiniones y preocupaciones a través del libro del cliente y el buzón de quejas.

Fase 4. Modelar la situación futura: A partir de las actividades incluidas en el proceso, para lograr la mejora de este en función de la satisfacción del cliente, se obtiene información que aporta elementos importantes para la toma de decisiones de la organización. Se estableció un comité de cambios, que sesionará con la finalidad de identificar aquellas acciones que pudieran introducir mejoras en los servicios o procesos que se ejecutan, a partir del análisis de las opiniones y criterios de los clientes.

Perspectiva Procesos internos

Las perspectivas que se especificaron anteriormente, están en función de que las pruebas de software se desarrollen de forma eficiente. Por este motivo, todas influyen en la definición del proceso clave Evaluación de productos de software, y en los procesos estratégicos y de apoyo necesarios para la ejecución de este. En todos los casos los procesos se definieron a partir de lo planteado en las normas ISO/IEC 17025:2006 e ISO/IEC 9001:2008, las cuales permiten la acreditación y certificación de la organización respectivamente. Se consideró también la norma ISO/IEC 9126:2005, que define las características y subcaracterísticas de calidad que deben ser medidas en los productos de software, para determinar su calidad. En la figura 2 se representó esta perspectiva:

En la figura 2 se precisan las etapas esenciales del proceso clave Evaluación de productos y cómo los que se definen dentro de estratégicos y de apoyo, tienen interacción con este.

Los objetivos estratégicos definidos para esta perspectiva son:

1.  Garantizar con calidad y eficiencia los servicios brindados.

2.  Lograr la acreditación y certificación a partir de normas y estándares internacionales.

3.  Evaluar el cumplimiento de las características de calidad definidas en normas y estándares internacionales.

A continuación se precisan las actividades definidas por cada etapa, las que incorporan elementos de las perspectivas antes descritas, en función de integrar varias dimensiones de la organización, con el fin de lograr un aumento en la eficiencia:

Etapa 1. Inicio y planificación:

• Análisis de la solicitud del servicio.
• Selección del equipo de pruebas.
• Realización de la reunión de inicio. En esta actividad se evalúa si el servicio cumple con los criterios definidos para el inicio de pruebas. En caso de que no cumpla, se aborta el servicio y en caso de cumplir, se pasa a la etapa siguiente.

Etapa 2. Diseño:

• Montaje del entorno de ejecución del servicio.
• Diseño y outsourcing del servicio. En esta actividad se evalúa si el servicio cumple con los criterios definidos para la etapa de diseño. En caso de que no cumpla, se aborta el servicio y en caso de cumplir, se pasa a la etapa siguiente.

Etapa 3. Ejecución:

• Pruebas exploratorias iniciales.
• Iteración de prueba.
• Pruebas de integración o Prueba final.

En todas las actividades de esta fase se evalúa constantemente el cumplimiento de los criterios de criticidad. Estos criterios determinan si el servicio debe detenerse o abortarse, porque no cumple con determinados requisitos previamente definidos por cada actividad o etapa.

Etapa 4. Evaluación y cierre:

• Evaluación del servicio.
• Elaboración de documentación de cierre del servicio.
• Realización de la reunión de cierre.

Una vez desarrolladas todas las perspectivas y definidos sus objetivos estratégicos, se representaron las relaciones causa-efecto entre estos, en un mapa estratégico. Los objetivos están alineados y relacionados, en función de lograr la visión de la organización, pues son el camino para alcanzarla. Este mapa se muestra en la figura 3.

Se identificaron algunas relaciones directas, a partir de esta representación. Estas relaciones parten de la perspectiva aprendizaje y crecimiento, que tiene como base que:

Si se cuenta en la organización con personal altamente calificado, capacitado y motivado, se logra transferir y transformar el conocimiento en todos los niveles, así como que el personal se desempeñe en un ambiente que estimule la excelencia, innovación y trabajo en equipo. Esto aumenta la probabilidad de retener el mejor talento en la organización, estabilizando y fomentando su superación constante, en función de:

• Desarrollar programas de capacitación desde la práctica para la formación de estudiantes y profesionales en roles relacionados con las pruebas de software, haciendo uso eficiente de los recursos materiales, para lograr que se inserten y alineen con los procesos de la organización.
• Emplear adecuadamente los recursos tecnológicos, registrar los costos asociados a los servicios y administrar el presupuesto de la organización, garantizando la infraestructura requerida para ejecutar los procesos de prueba solicitados, vinculándolos con la formación de estudiantes y profesionales.
• Generar un clima de confianza y credibilidad de los clientes con la organización, a partir de satisfacer sus necesidades y expectativas y aumentar su grado de satisfacción, en función de aumentar la calidad de los procesos internos de la organización.

A partir de estos objetivos estratégicos y su relación, se establecieron los indicadores que deben ser medidos por cada uno. Estos permiten monitorear el desarrollo de las perspectivas, todos en función de aumentar la eficiencia y eficacia de las pruebas de software en la organización.

 

RESULTADOS

Se introdujeron las perspectivas definidas anteriormente como áreas de creación de valor en el laboratorio de pruebas del Centro Nacional de Calidad de Software (CALISOFT) de Cuba, el cual brinda servicios outsourcing de pruebas de software a entidades nacionales desarrolladoras de software.

Para esto, se comenzaron a aplicar los elementos definidos para el desarrollo de cada perspectiva, integrándose en función aumentar la eficiencia del servicio de pruebas de software. Se estableció una alianza al vincular a los estudiantes de segundo año de la Universidad de las Ciencias Informáticas (UCI), al Laboratorio Industrial de Pruebas de Software (LIPS). La formación de los estudiantes se comenzó a realizar formando el rol de probador básico, a partir impartir la asignatura Práctica Profesional, siendo los profesores especialistas del laboratorio categorizados para realizar esta función. Se vincularon algunas prácticas de asignaturas relacionadas con las pruebas de software, que conforman la Maestría de Calidad de Software de la UCI y otros cursos de postgrado afines. Todas las prácticas se desarrollaron probando proyectos reales, que en su mayoría en el momento de la prueba, se encontraban en la ejecución del servicio.

Con la aplicación de los aspectos definidos, se demostró que hubo mejora en la eficiencia de las pruebas de software, posterior a la aplicación de la propuesta realizada, a través de la realización de un diseño experimental. Los artefactos que con mayor frecuencia se prueban en el laboratorio son cuatro: Especificación de requisitos de software, Portal Web y Aplicación Web. En este caso, para la validación se considerarán los resultados de las pruebas del artefacto Aplicación Web.

Se desarrolló un cuasiexperimento con pre-prueba, post-prueba y grupos intactos. Se definen cuatro grupos y dos momentos. Cada grupo está asociado a un producto que es probado en el laboratorio, en este caso se analizan las aplicaciones web. Los momentos están asociados a antes de aplicar el modelo GEPROPS y después de aplicado. El antes (pre-prueba) considera observaciones de las pruebas realizadas durante los años 2008 y 2009, sin aplicar la propuesta. En el caso del después (post-prueba), se contemplan las observaciones correspondientes a los años 2010, 2011, 2012 y 2013, en los que se instrumentó el modelo.

De cada artefacto probado se cuenta con su tamaño, dado en función de la cantidad de casos de uso o requisitos de complejidad alta, media y baja; la cantidad de días que se demoró una iteración de prueba y la cantidad de probadores que intervinieron en esta. Con estos datos se calculó un valor V, el que representa el volumen de trabajo realizado por una persona en un día laboral. V se calcula a partir de la fórmula 1:       

                                                              

 Donde UC es la Unidad de Complejidad que se calcula mediante la siguiente expresión 2:

 

Siendo

CA: cantidad de casos de uso o requisitos de complejidad alta.

CM: cantidad de casos de uso o requisitos de complejidad media.

CB: cantidad de casos de uso o requisitos de complejidad baja.

CD: cantidad de días que demoró una iteración de pruebas.

CP: cantidad de probadores.

Para comparar las observaciones correspondientes a los dos momentos analizados (antes y después de la propuesta) se aplica el test no paramétrico de signos con rangos de Wilcoxon, evidenciándose diferencias significativas entre estos. En la figura 4 se muestran los valores V de los artefactos probados en ambos momentos:

Para entender las diferencias detectadas se realizan las comparaciones por pares utilizando el test de Mann-Whitney. Al comparar entre los años correspondientes al antes, no se obtienen diferencias significativas. Esto mismo ocurre entre los años después de aplicada la propuesta. Al realizar comparaciones por pares tomando diferentes combinaciones con un año correspondiente al antes y uno al después, se obtienen diferencias significativas. Se calculó el rango medio por año, a partir del valor V de los artefactos Aplicación web probados. Estos rangos se muestran en la siguiente gráfica, demostrando las diferencias entre los años y la tendencia ascendente de los resultados. Solo en el caso del año 2012 hubo un descenso con respecto al año anterior (2011), dado por la implicación de los especialistas más experimentados del LIPS en un proyecto priorizado del país, siendo guiado el laboratorio en su mayor parte por adiestrados de la organización. En el 2013 se manifestó un ascenso en los resultados, mostrando los valores más altos desde que se comenzó a aplicar la propuesta en el 2010. El Rango medio de los valores por año desde el 2008 al 2013 se pueden observar en la figura 5.

DISCUSIÓN

La personalización de las perspectivas del Cuadro de Mando Integral, permite definir las áreas de creación de valor de un laboratorio de pruebas que brinde servicios outsourcing. Estas perspectivas están alineadas a la definición de las organizaciones y en función de su proceso clave. Un aporte del trabajo es la definición de una quinta perspectiva para el CMI, al considerar que el proceso de formación de roles requiere una atención especial por parte de la organización. La formación de personal en el área de pruebas de software no es suficiente y la mayoría de las personas universitarias del área de la informática presentan carencias en habilidades de pruebas. Constituye una oportunidad para la organización, el contar con probadores de manera permanente y con un costo menor a si requirieran contratar personal.

La integración de algunos elementos con estas perspectivas para su desarrollo, es otra de las ventajas de este trabajo. Se consideran aspectos que aportan en función de la eficiencia de las pruebas y se integran a partir de las perspectivas personalizadas y la concepción general del CMI, en un modelo. Este modelo es un aporte importante teniendo en cuenta que la mayoría de los modelos disponibles son dependientes de metodologías desarrolladas por países capitalistas. Los modelos existentes son costosos y definen solo aspectos generales de qué hacer para que la organización mejore sus procesos y logre una evaluación de madurez. Además, no se enfocan en realizar un control de la gestión de las pruebas a partir de indicadores organizados que eleven la eficiencia de las pruebas.

 

CONCLUSIONES

1. El outsourcing de las actividades relacionadas con las pruebas de software, permite a las organizaciones reducir costos, tiempos y mejorar la calidad del proceso y el producto.

2. Las Factorías de Pruebas de Software aplican los principios del outsourcing, sin embargo, a pesar de que existen algunos modelos que definen un conjunto de buenas prácticas y un marco de referencia para mejorar los procesos de la organización, no constituyen un modelo bien definido en función de lograr eficiencia en las pruebas de software.

3. La propuesta que se realiza considera la personalización de las perspectivas del Cuadro de Mando Integral, así como su integración con las disciplinas de las Organizaciones Inteligentes y normas y estándares internacionales de calidad.

4. Como parte de la personalización de las perspectivas del Cuadro de Mando Integral, se incorporó una quinta perspectiva.

5. Esta propuesta fue aplicada en un entorno real y los datos recopilados se utilizaron en un diseño experimental, que permitió evidenciar la validez de la propuesta, al mostrar excelentes resultados.

6. Los elementos integrados demostraron el aumento de la eficiencia de las pruebas de software en la organización y fueron en ascenso durante los cuatro años de observación.

 

REFERENCIAS  

1. García FJ, Colomo R, Soto P, et al. SemSEDoc: Utilización de tecnologías semánticas en el aprovechamiento de los repositorios documentales de los proyectos de desarrollo de software. Information Research. 2011;16(4). ISSN 1368-1613

2. Santos V. La industria del software. Estudio a nivel global y América Latina. Observatorio de la Economía Latinoamericana. 2009 (116).

3. Ashwin T , Thakare V. A Customized Model on Software Quality Assurance & Reuse. International Journal Of Computer Science And ApplicationsInternational Journal Of Computer Science And Applications. 2013; 6(2):279-84. ISSN 0974-1011.

4. Boehm B. Improving software Productivity. IEEE Computer. 1987;20(9):43-57.

5. Ahmad N, Bokhari M, Quadri S, et al. The exponentiated Weibull software reliability growth odel with various testing-efforts and optimal release policy. International Journal of Quality and Reliability Management. 2008;25(2):211-35. ISSN 0265-671X.

6. Almering V, Genuchten M, Cloudt G, et al. Using software reliability growth models in practice. IEEE Software. 2007;24(6):82-8. ISSN 0740-7459.

7. Garg M, Lai RY, Huang S. When to stop testing: a study from the perspective of software reliability models. IET Software. 2011;5(3):263-73. ISSN 1751-8806.

8. Mala D, Mohan VY, Kamalapriya M. Automated software test optimisation framework – an artificial bee colony optimization-based approach. IET Software. 2010;4(5):334-48. ISSN 1751-8806.

9. Seidel A, Dias R, Miyadaira L. Proposal for a measurement model for software tests with a focus on the management of outsourced services. Journal of Information Systems and Technology Management (JISTEM ). 2012;9(2):265-84. ISSN 1807-1775.

10. Simon J, Poston R, Kettinger B. Creating Better Governance of Offshore Services. Information System Management. 2009;26(2):110-22. ISSN 1058-0530.

11. Venkatasubramanian A, Vinoline V. Software Test Factory (A proposal of a process model to create a Test Factory). International Journal of Computational Intelligence Techniques. 2010;1(1):14-9. ISSN 0976–0466.

12. Lamas E, Ferreira E, Do Nascimento M, et al. Organizational Testing Management Maturity Model for a Software Product Line. In: Seventh International Conference on Information Technology; Las Vegas, Estados Unidos: IEEE Computer Society 2010.

13. Weigelt C. The impact of outsourcing new technologies on integrative capabilities and performance. Strategic Management Journal. 2009;30(6):595-616. ISSN 0143-2095.

14. Koomen T, Van Der Aalst L, Broekman B, et al. TMap Next for result- driven testing. Nederland B.V: UTN Publishers,-Hertogenbosch; 2006. ISBN 90-72194-79-9.

16. Rasking M. Experiences Developing TMMi as a Public Model. Software Process Improvement and Capability Determination. Communications in Computer and Information Science. 2011 (155):190-3. ISSN 1865-0929.

17. Koomen T , Pol M. Test Process Improvement. Harlow, UK: Addison-Wesley; 1999. ISBN 0-201-59624-5

18. Sanz A, García, J, Saldaña J, Amescua A. A proposal of a process model to create a Test Factory. In: WOSQ 09 ICSE Workshop on Software Quality. Vancouver (Canada): IEEE; 2009. p. 65-70.

19. Norton D, Kaplan R. El Cuadro de Mando Integral: The Balanced Scorecard. Barcelona, España: Gestión 2000; 1999. ISBN 84.80.88.175.5.

20. Rodrigues P, Aibar B, Portela L. El cuadro de mando integral como herramienta de gestión estratégica del conocimiento. Perspectivas em Gestão & Conhecimento. 2012; 2(1):70-102. ISSN 2236-417X.

21. Shun C. The establishment and comparison of the balanced scorecard for profit and non-profit organizations. African Journal of Business Management. 2010;4:3005-12. ISSN 1993-8233.

22. Capote T, Brito Y, Yzquierdo R, et al. Estrategia para desarrollar la perspectiva. Procesos internos en un laboratorio de pruebas de software. Revista Cubana de Ciencias Informáticas. 2014;8(4):145-56. ISSN 2227-1899.

23. Senge P. La quinta disciplina en la práctica: estrategias y herramientas para construir la organización abierta al aprendizaje. Argentina: Granica; 2006. 594. ISBN 950-641-421-1.

24. Garvin D, Nayak P, Mayra A, et al. Aprender a aprender. HSM Management. 1998;2(9):58-64. ISSN 1415-8868.

25. Astigarraga T, Dow E, Lara C, et al. The Emerging Role of Software Testing in Curricula. In: Transforming Engineering Education: Creating Interdisciplinary Skills for Complex Global Environments. Dublín (Ireland): IEEE; 2010. 1-26.

 

Recibido: 28 de enero de 2014
Aprobado: 27de agosto de 2015

 

 

Tayché Capote-García. Universidad de las Ciencias Informáticas (UCI), La Habana, Cuba
Correo electrónico: [e-mail]