Modelo básico inicial de calidad externa para productos de software

Initial basic model of external quality for products of software

Alena González Reyes ^1*,Anaisa Hernández González ¹, Margarita André Ampuero ¹

¹Instituto Superior Politécnico José Antonio Echeverría (Cujae). Ave 114 #11901 e/ Ciclovía y Rotonda, Marianao, La Habana, Cuba. {agonzalez, anaisa, mayi}@ceis.cujae.edu.cu

RESUMEN

La calidad de un producto no es algo que se añade al final, sino que se cuida a lo largo de todo el proceso de construcción. En el software esto es especialmente cierto, puesto que es un resultado básicamente intelectual, que depende del trabajo de los profesionales especializados. Los productos software son cada vez más complejos y sofisticados. Por lo que, es de vital importancia la medición de la calidad y se resulta necesario definir un modelo o estándar capaz de evaluar la calidad interna, externa y en uso del producto de software. En este sentido se han realizado muchos trabajos que establecen propuestas de los factores cualitativos que influyen en la calidad del software, entre ellos el modelo de McCall y la ISO/IEC 9126. No obstante, resulta casi imposible evaluar todas las medidas de calidad definidas en estos modelos o estándares. En la actualidad muchas de las organizaciones no utilizan un modelo o estándar para evaluar la calidad de los productos de software y deciden evaluar algunas características de calidad. Por lo tanto, en función de iniciar un adecuado trabajo por la calidad, el objetivo de este trabajo es proponer un modelo de calidad externa para evaluar los productos de software.

Palabras clave: Modelos de calidad, Estándares de calidad, Características de calidad de los productos de software.

ABSTRACT

The quality of a product is not something that one adds at the end, but rather it takes care along the whole construction process. In the software this is especially certain, because it is a basically intellectual result that depends on the work of the specialized professionals. The software products are more and more complex and sophisticated. For that that, it is of vital importance the mensuration of the quality and it is necessary to define a model or standard able to evaluate the internal, external quality and in use of the software product.  In this sense, many works define proposals of the qualitative factors that influence in the quality of the software, among them the Pattern of McCall and the ISO/IEC 9126. Nevertheless, it is almost impossible to evaluate all the defined measures of quality in these models or standard. At the present time many of the organizations don't use a model or standard to evaluate the quality of the software products and they decide to evaluate some characteristics of quality. The objective of this work is to propose a model of external quality to evaluate the software products for those organizations that begin its work for the quality.

Key words: Quality Models, Quality Standards, Quality characteristics of software products.

INTRODUCCIÓN

En la actualidad se evidencia una revolución informática. En ese sentido, el desarrollo de software constituye un sector de capital importancia mundial, debido a que se encuentra en el centro de todas las grandes transformaciones como lo son la economía digital, la evolución de las empresas y la administración del conocimiento. Para desarrollar software competitivo se requiere de calidad. La calidad de software es una necesidad para cualquier organización cuyo objeto social se encamine al desarrollo de productos de software. Resulta necesario considerar la calidad del proceso, del producto y en uso. En este sentido, se han obtenido resultados que han contribuido al progreso de la evaluación de la calidad, a partir de la estrecha relación que existe en los conceptos mencionados anteriormente. No obstante, a pesar del avance vertiginoso de la industria del software, aún persisten deficiencias en la calidad de los productos desarrollados.

Si bien el desarrollo del software es un área que cuenta con varias décadas, la calidad del software es un tema tratado más recientemente. En los inicios del desarrollo del software, la calidad solamente centraba en la funcionalidad del producto. A medida que ha transcurrido el tiempo, se han incorporado más características y subcaracterísticas que han permitido evaluar la calidad de una forma más abarcadora. En los últimos años, la calidad del software ha evolucionado con el surgimiento de medidas de calidad. Su medición se ha hecho difícil de forma manual, de ahí que el avance en cuanto a la evaluación de la calidad en la industria del software sea limitado.

Una buena parte de las organizaciones no utilizan un modelo o estándar para evaluar la calidad de los productos de software y deciden evaluar algunas características de calidad. En las últimas décadas se han desarrollado numerosas propuestas de modelos y estándares para evaluar la calidad del producto de software. Estos brindan un conjunto amplio y diverso de características y subcaracterísticas de calidad, por lo que es difícil su selección para un determinado entorno. La mayoría no propone las medidas para evaluar el producto (JAMWAL, 2010; MORENO, BOLAÑOS y NAVIA, 2010). Otros, presentan muchas medidas a evaluar, pero resulta muy compleja la evaluación de forma manual (SCALONE, 2006).

Además, se torna complejo el proceso de selección de un determinado modelo o estándar de calidad, puesto que los análisis comparativos referidos en la bibliografía son incompletos porque la mayoría solo analizan un modelo o como máximo dos respecto a escasos criterios como son: la estructura de los modelos, las características de calidad abordadas, algunas subcaracterísticas parcialmente tratadas o no abordadas y la cantidad de características de calidad comunes a varios modelos (BANSIYA y DAVIS, 2002; SAINI, DUBEY y RANA, 2011). Otros presentan varios modelos con dos criterios (PEREIRA, 2014), fundamentalmente referidos a las características y subcaracterísticas de calidad o algunos modelos respecto a un conjunto limitado de criterios (PIATTINI, CALERO y MORAGA, 2010).

Actualmente, existen algunas herramientas que no se basan en modelos o estándares de calidad, pero evalúan un conjunto limitado de medidas de calidad. Algunas de ellas se enfocan en una tecnología y característica de calidad específica o en una tecnología y algunas características o varias tecnologías y algunas características.

Dentro de las organizaciones con áreas cuyo objeto trabajo es el desarrollo de software, se encuentra el Instituto Superior Politécnico José Antonio Echeverría (Cujae). Anterior al año 2010, no existía en el centro un área encargada de la evaluación de la calidad de los productos de software desarrollados para su posterior registro y certificación en el Ministerio de las comunicaciones (MINCOM). Con este propósito surge la Dirección de Soluciones Informáticas. Esta área contempla entre sus objetivos la evaluación de la calidad del proceso de desarrollo, la calidad interna, externa y en uso del producto de software, así como el registro y la certificación de los productos en el MINCOM. Inicialmente, el proceso de evaluación de los productos se centraba únicamente en la funcionalidad. Esto no era suficiente para valorar la calidad del producto de software. Por lo tanto, si se deseaba iniciar un adecuado trabajo por la calidad era necesario definir un modelo de calidad para evaluar la calidad externa de los productos de software, en una primera etapa.

En este trabajo se presenta el modelo de calidad externo propuesto para evaluar los productos de software que se desarrollan en la universidad.

La Industria del software desde su surgimiento ha influido notablemente en el desarrollo de las empresas. Sin embargo, según el Reporte del Caos del año 2014 (Standish Group Report CHAOS 2014) (The_Standish_Group_International, 2015) en el 43% de los casos, los proyectos de software no cumplen con el cronograma, el presupuesto o las funciones requeridas. Además, el 18% del total de los proyectos se cancelan antes de la terminación, o se entregan, pero nunca son utilizados. Por lo tanto, resulta clave garantizar una adecuada calidad tanto del proceso como del producto. En el caso del producto, existen modelos y estándares para evaluar dicha calidad, como: el Modelo de McCall, el Modelo de Boehm, el Modelo de FURPS, la norma ISO/IEC 9126 y la ISO/IEC 25010.

La propuesta de modelo de calidad externa para productos de software en organizaciones que inician su trabajo por la calidad, tuvo como punto de partida el análisis de un conjunto de modelos y estándares orientados a evaluar la calidad de los productos de software con el propósito de identificar los que han sido más utilizados o referenciados, y los aspectos que caracterizan a cada uno de ellos. A partir de la bibliografía consultada se identificaron un conjunto de criterios que sirvieron de base para realizar el análisis comparativo, entre los que se encuentran: características y subcaracterísticas de calidad abordadas, estructura, propósito, separación de elementos internos y externos, relaciones entre características de calidad, relación de las métricas con las características de calidad, tipo de proyecto al que se aplica, clasificación del modelo y tipo de calidad que evalúa. Los resultados de este trabajo se publicaron en (GONZÁLEZ, HERNÁNDEZ y ANDRÉ, 2015).

Entre los criterios que se tomaron en consideración para seleccionar el modelo o estándar de calidad más adecuado en dependencia de las características de la organización y del producto se encuentran: las características y subcaracterísticas de calidad abordadas, la estructura, el propósito, la separación de elementos internos y externos, las relaciones entre características de calidad, la relación de las medidas con las características de calidad, el tipo de proyecto al que se aplica, la clasificación del modelo y el tipo de calidad que evalúa.

Las características de calidad del producto de software más usadas por los modelos y estándares considerados son: la eficiencia, la confiabilidad, la facilidad de mantenimiento, la funcionalidad, la usabilidad y la portabilidad.

Las subcaracterísticas con mayor grado de cubrimiento por parte de los modelos y estándares de calidad son: la precisión, la tolerancia ante fallos, el rendimiento, la seguridad, la consistencia, la completitud funcional, la comprensibilidad, la documentación interna, la documentación externa, la utilización de recursos, la modularidad, la idoneidad, la facilidad de recuperación, la adaptabilidad, la facilidad de operación, la atracción, la accesibilidad, la madurez, la flexibilidad, la facilidad de diagnóstico y la capacidad de ampliación.

Después de haber realizado el análisis del estudio comparativo,  se concluyó que los estándares más completos eran la ISO/IEC 9126 (International_Organization_for_Standardization, 2002) y la ISO/IEC 25010 (International_Organization_for_Standardization, 2011), pues son estándares mixtos, con un propósito general-reutilizable, con aplicabilidad en casi todo tipo de proyecto, capaces de evaluar la calidad interna, externa y en uso.  Además, abarcan las características de calidad más utilizadas: confiabilidad, eficiencia, facilidad de mantenimiento, funcionalidad, usabilidad y portabilidad. También, contemplan las subcaracterísticas más empleadas: la precisión, la tolerancia ante fallos, el rendimiento, la seguridad, la consistencia, la completitud funcional, la comprensibilidad, la documentación interna, la documentación externa, la utilización de recursos, la modularidad, la idoneidad, la facilidad de recuperación, la adaptabilidad, la facilidad de operación, la atracción, la accesibilidad, la estabilidad, la madurez, la flexibilidad, la facilidad de diagnóstico y la capacidad de ampliación. De ellas, la ISO/IEC 9126 posee el 64% y la 25010 el 81%.

En el desarrollo de la investigación se emplearon algunos métodos teóricos como el de análisis y síntesis; utilizado en este caso para estudiar, analizar y sintetizar los conceptos, las relaciones entre ellos y los planteamientos de la literatura especializada, acerca del tema de la presente investigación. Esto posibilitó la extracción del conocimiento útil y su consolidación en conclusiones propias u opiniones críticas. Además, se aplicaron los métodos inductivos, deductivo, analogía y comparación, en la identificación de regularidades, la búsqueda de tendencias y en su generalización. De igual forma, permitió definir el conjunto de criterios para la comparación de los diferentes modelos y estándares de calidad, su ejecución y el establecimiento de los resultados en tablas integradoras.

Como parte del diagnóstico, se entrevistaron a 43 profesionales con un promedio de once años de experiencia vinculados al desarrollo de software, pertenecientes a siete organizaciones: el Centro Nacional de Calidad de Software (CALISOFT), el Complejo de Investigaciones Tecnológicas Integradas (CITI),la Empresa de Tecnologías de la Información y Servicios Telemáticos Avanzados (CITMATEL), la Empresa Productora de Software para la Técnica Electrónica (SOFTEL), la Empresa Nacional de Software (DESOFT) y la empresa de Desarrollo de Aplicaciones de Tecnologías y Sistemas (DATYS). Adicionalmente, se entrevistaron a profesionales de diferentes áreas o proyectos del Instituto Superior Politécnico “José Antonio Echeverría” (CUJAE) como: la Dirección de servicios de las tecnologías de la informática y las comunicaciones (DISERTIC), el grupo de desarrollo del Sistema de Gestión de la Nueva Universidad (SIGENU) y la Dirección de Soluciones Informáticas (DSI). Entre los objetivos de la entrevista se encontraba, determinar si las organizaciones usaban algún modelo o estándar para evaluar la calidad de los productos de software. Otro de los objetivos consistía en identificar el conjunto de características, subcaracterísticas y medidas de calidad que utilizaban, independientemente del uso o no de un determinado modelo o estándar de calidad.

El uso de los métodos sistémico y el de generalización–concreción, se encuentra matizado por la definición de un conjunto de subcaracterísticas más utilizadas que componen las características de calidad, las cuales, a su vez, forman parte de los modelos y estándares de calidad más referenciados y aplicados. En este trabajo, también se utilizó la revisión bibliográfica acerca de la evaluación de la calidad de los productos de software, los modelos y los estándares asociados a los temas existentes.

RESULTADOS

En la actualidad toda organización debe contar con un área (Laboratorio de Calidad) cuyo objetivo sea evaluar la calidad de los productos de software que se desarrollen en la entidad. Esta área no debe tener compromiso con los proyectos de desarrollo para poder emitir un juicio imparcial. Esto no niega que cada proyecto cuente con especialistas de calidad que respondan por la calidad del proyecto desarrollado. Cada área de calidad debe contar con un modelo de calidad, con herramientas capaces de evaluarlo y con un procedimiento que integre buenas prácticas en la evaluación de los productos.

La necesidad de un nuevo modelo de calidad basado en la ISO/IEC 25010, se fundamenta en el hecho de que las organizaciones necesitan un modelo de calidad actualizado, basado en el estándar ISO/IEC 25010, catalogado como el más abarcador en el capítulo anterior. Con un conjunto de características, subcaracterísticas y medidas de calidad externa que permitan evaluar al producto de software en una primera etapa.

Además, debe incorporar la experiencia en la evaluación de la calidad de los productos de software y las necesidades de las organizaciones cubanas. Igualmente, es necesario un modelo de calidad soportado en herramientas que apoyen la evaluación de sus medidas de calidad de manera automática. Este aspecto es esencial, debido a que los modelos y estándares de calidad existentes no se encuentran automatizados.

El modelo que se propone incluye las características, las subcaracterísticas, las medidas de calidad a evaluar y las herramientas a considerar para la evaluación de cada una. Se define la forma de cálculo de las medidas propuestas a través de las herramientas a utilizar, el propósito y el rango de evaluación del resultado. Además, se propone un conjunto de indicadores y criterios con vistas a realizar una valoración de la calidad a partir de las medidas. Finalmente, se muestra un procedimiento de evaluación de la calidad del producto de software.

Características, subcaracterísticas, medidas y herramientas para evaluar la calidad externa del producto software

En la Tabla 1 se presentan las características, las subcaracterísticas, las medidas de calidad que el modelo propone tomar en consideración en esta primera etapa.

La selección se fundamenta en el hecho de que estas características coinciden con las priorizadas y más empleadas por las organizaciones analizadas en el diagnóstico. Se decide postergar a una segunda etapa la evaluación de las características Compatibilidad y Portabilidad por ser las menos priorizadas por las organizaciones y por el hecho de no contar con una herramienta informática que brinde soporte al cálculo de sus medidas.

Se propone evaluar diez subcaracterísticas de las 26 asociadas a las seis características propuestas. De ellas, el 80% se corresponde con las subcaracterísticas más cubiertas por las organizaciones analizadas en el diagnóstico.

El soporte que la herramienta Test Complete y el Excel de usabilidad desarrollado en la Universidad de Alicante (MONTOTO, 2011) brindan a las medidas escogidas, fue otro criterio que se tomó en consideración para la selección. Test Complete cubre al menos una medida de las 8 características y el Excel de usabilidad todas las asociadas a estas características, que tenían poco soporte en el Test Complete.

Para cada una de estas medidas se definió, a partir del propósito y lo especificado en la ISO/IEC 9126-20 o la ISO/IEC 25025, cómo se calcula usando la herramienta que facilita este proceso y el rango de valores.

En la tabla 2 se ejemplifica con la medida cobertura de implementación funcional.

Indicadores para la determinación de la calidad del producto de software

La determinación del valor de las medidas de calidad no es suficiente para evaluar la calidad de un producto de software, es preciso definir indicadores. Los modelos o estándares de calidad existentes no establecen indicadores que permitan clasificar los valores de las medidas, subcaracterísticas y características de calidad en una escala, cuyo propósito es hacer más significativa la interpretación de los resultados obtenidos.

En la bibliografía consultada se encuentran pocos trabajos donde se publiquen los indicadores propuestos por las organizaciones para evaluar la calidad de sus productos de software. Con el propósito de definir los indicadores se analizaron un conjunto de propuestas, algunas dirigidas al software y otras de distinta naturaleza pero aplicables a sistemas informáticos, que han sido publicadas (VÁSQUEZ, PARDO, COLLAZOS et al., 2010; OLSINA, 2011; PALMA y GIL, 2013; PEÑALVA, 2014). Se tomaron en consideración también los criterios de los expertos entrevistados de las organizaciones diagnosticadas y las experiencias profesionales de las autoras de este trabajo.

Como resultado se propusieron un conjunto de cinco indicadores (Muy bueno, Bueno, Aceptable, Regular y Deficiente) y cuatro criterios de calidad (Muy buena, Buena, Aceptable y Deficiente) en función de los resultados de los indicadores para cada medida, subcaracterística y característica de calidad, con el objetivo de brindar una valoración más abarcadora y más clara de los resultados alcanzados. La propuesta de indicadores híbrida, es representada en la Tabla 3.

Se consideró necesario acotar de 0.90 a 0.94 el rango del valor Bueno e incluir un rango de 0.95 a 1, donde se indique que el resultado obtenido es Muy bueno y por lo tanto más adecuado desde el punto de vista de la calidad del producto. En la Tabla 4 se realiza una propuesta de criterios con el propósito de evaluar la calidad del producto de software. Como se observa, los productos solo son liberados si las medidas evaluadas son buenas o muy buenas.

En las columnas etiquetas como C, S, P y E se presenta:

C- Valoración de la calidad de la subcaracterística
S- Valoración de la calidad de la característica
P- Valoración de la calidad del producto
E- Estado del producto

Procedimiento de evaluación de calidad del producto de software

En la Figura 1 se muestra la propuesta de procedimiento de evaluación de la calidad de los productos de software a través de un diagrama de actividades. Es aplicable en cualquier tipo de organización que inicie su trabajo por la calidad o área de calidad, pues contiene el procedimiento común definido en el diagnóstico de las organizaciones y propone un conjunto de mejoras con vistas a evaluar no solo los resultados de la prueba sino la calidad del producto en general. Constituye una solución detallada y clara, que incorpora las mejores prácticas de las organizaciones del diagnóstico respecto a la evaluación de la calidad de los productos de software.  Define claramente las responsabilidades de cada rol identificado. Propone un incremento del nivel de organización del procedimiento de evaluación de la calidad de los productos. Incorpora un conjunto de artefactos y actividades necesarios para la evaluación, que no se utilizan o se omiten en los procedimientos de las organizaciones actualmente. Permite obtener una valoración de la calidad del producto más amplia. Las actividades del procedimiento común son de color verde. El resto son actividades incorporadas con el propósito de refinar el procedimiento utilizado actualmente por las organizaciones cubanas.

En el procedimiento participan cuatro roles:

• ]]> El Cliente que es el encargado de solicitar la evaluación de la calidad externa del producto de software. Puede ser tanto una organización externa como un jefe de proyecto de la propia entidad.

• El Jefe del área o Laboratorio de calidades el encargado de aprobar la solicitud de evaluación y de definir las características, subcaracterísticas, medidas de calidad a evaluar y tipos de prueba de conjunto con el cliente. Además, planifica la prueba, asigna el especialista para su ejecución, analiza el informe de calidad, discute los resultados con el cliente y aprueba la liberación del producto de software.

• El Especialista de calidad que es el responsable de montar el entorno necesario para la prueba, de elaborar el informe de pruebas, confeccionar el informe de calidad y el acta de liberación.

• El Programador se encarga de la ejecutar y registrar los resultados de los casos de prueba.

En la Tabla 5 se describe el contenido de cada artefacto identificado en el diagrama de actividades que describe el procedimiento propuesto.

Este procedimiento de evaluación de la calidad externa del producto de software organiza e incorpora un conjunto de artefactos, listas de chequeo, plantillas de los artefactos documentales, roles y actividades necesarios en el proceso de evaluación de la calidad. Además, agrega las mejores prácticas de las organizaciones del diagnóstico y permite obtener una valoración de la calidad del producto más amplia.

DISCUSIÓN

La aplicabilidad del modelo de calidad externa propuesto se evaluó en tres módulos de un producto informático que se había entregado para su certificación. En el análisis se utilizó la herramienta Test Complete y del Excel de usabilidad.

Análisis de los resultados de la aplicación del modelo de calidad externa definido para la evaluación un producto de software

Se ejecutaron un total de 724 casos de prueba, 323 del Módulo 1, 297 del Módulo 2 y 104 correspondientes al Módulo 3.
Para el análisis solamente se tomarán en cuenta las medidas del modelo de calidad aplicables a sistemas de escritorio, debido a que el producto de software a evaluar cumple con esta clasificación.

En las Tabla 6, Tabla 7 y Tabla 8 se muestran los resultados de las medidas de calidad para cada uno de los subsistemas evaluados.

Valoración de la calidad del sistema

A partir de los resultados obtenidos para cada una de las características de calidad de producto de software evaluado es posible emitir una valoración general de la calidad del producto de software.

La calidad del Módulo 1, es deficiente al presentar las características Usabilidad y Eficiencia del comportamiento con una valoración deficiente, dado que una de sus medidas tiene valor regular.

Por otra parte, el Módulo 3 se evalúa con una calidad deficiente al presentar la característica Fiabilidad con una valoración deficiente, dado que una de sus medidas tiene valor regular.

Al tomar en cuenta el resultado global de los tres subsistemas evaluados se obtuvo que el 52% de las medidas poseen resultados buenos o muy buenos. El 36% tenía resultados aceptables, pero no suficientes para considerar que los subsistemas poseen la calidad necesaria para que el producto pudiera ser liberado. Mientras que el 12% de las medidas eran regulares, aspecto que se traducía en una calidad deficiente e invalidante para la liberación del producto.

Por lo tanto, dado que los tres módulos tienen una calidad deficiente se concluyó que la calidad del producto es deficiente y por lo tanto no puede ser liberado para su despliegue y explotación.

Todos estos elementos se incorporaron al informe de calidad que se entregó al cliente y fueron tomados en consideración por el equipo de desarrollo, que en la siguiente entrega para la evaluación se interpretaron como buenos los resultados.

CONCLUSIONES

Resulta importante utilizar un modelo o estándar de calidad como guía para el proceso de evaluación de la calidad de los productos de software. En este sentido, se determinó el uso de la ISO/IEC 25010 dado que es el estándar de calidad más abarcador, pues presenta un conjunto de características, subcaracterísticas y medidas de calidad, actualizado y ajustado. Es un estándar mixto, aplicable en casi todo tipo de proyecto, con un propósito general-reutilizable, capaz de evaluar la calidad interna, externa y en uso.  La ISO/IEC 25023 es el estándar que se empleó para definir las medidas externas de calidad asociadas a la ISO/IEC 25010.

Tomando en cuenta los estándares ISO/IEC 25010 e ISO/IEC 25023, las características, subcaracterísticas, medidas más utilizadas por las organizaciones, así como las potencialidades de las herramientas determinadas en el diagnóstico, se propuso un modelo de evaluación de la calidad externa de los productos de software con ocho características, diez subcaracterísticas y 16 medidas de calidad. Todas son evaluadas mediante un conjunto de cinco indicadores y cuatro criterios para brindar una valoración más abarcadora y más clara de los resultados alcanzados.

Se planteó el uso de la herramienta Test Complete para evaluar 12 medidas y del Excel de usabilidad para evaluar cinco medidas del modelo, en una primera etapa.

Para la evaluación de la aplicabilidad del modelo de evaluación de la calidad externa propuesto se evaluaron tres módulos de una aplicación que se entregó para su liberación. Se determinó que la calidad de los tres módulos era deficiente y por lo tanto la calidad del sistema es deficiente, por lo que el producto de software no puede ser liberado para su despliegue y explotación. Igualmente, la aplicación del procedimiento de evaluación de la calidad externa propuesto, permitió obtener una valoración de la calidad del producto más amplia enfocada en la evaluación de las características, subcaracterísticas y medidas de calidad definidas. De esta forma, se demostró que el modelo de calidad externa para evaluar productos de software es una solución generalizable, adaptable y valiosa para cualquier organización o área, que inicie o pretenda mejorar la calidad de la evaluación de los productos de software.

REFERENCIAS BIBLIOGRÁFICAS

BANSIYA, J. y DAVIS, C. A Hierarchical Model for Quality Assessment of Object-Oriented Desings. KAIST SE LAB, 2002, 28 (1): p. 2-17.

GONZÁLEZ, A., HERNÁNDEZ, A. y ANDRÉ, M. Modelo de calidad externa para productos de software en organizaciones que inician su trabajo por la calidad. Tesis presentada en opción al título de Máster en Informática Aplicada, Instituto Superior politécnico "José Antonio Echeverría", La Habana, 2015.

International_Organization_for_Standardization. ISO/IEC 9126-1 Information Technology-Software Quality- Part 1: Quality Model. International Standard. ISO/IEC 9126-1: 2002. The International Organization for Standardization Publisher, Geneva, Switzerland. 32pp, 2002

International_Organization_for_Standardization. Software engineering - Software product Quality Requirements and Evaluation (SQuaRE) – System and software quality models. International Standard. ISO/IEC 25010:2011. The International Organization for Standardization Publisher, Geneva, Switzerland 54pp, 2011

JAMWAL, D. Analysis of Software Quality Models for Organizations. International Journal of Latest Trends in Computing, 2010, 1 (2): p. 1-5.

MONTOTO, O. C. Checklist para la revisión heurística de usabilidad v.3 beta. [En línea]. Usabilidad y calidad, 2011.[consultado enero 2015]. Disponible en: www.usableyaccesible.com

MORENO, J., BOLAÑOS, L. y NAVIA, M. Exploración de modelos y estándares de calidad para el producto de software. UIS Ingenierías. Revista de la Facultad de Ingenierías Físico Mecánicas, 2010, 9 (1): p. 41-55.  

OLSINA, L. Métricas e Indicadores: Dos conceptos claves para medición y evaluación. [En línea]. Medición de la calidad del producto de software, 2011.[consultado enero 2015]. Disponible en: http://www.ciw.cl/recursos/Charla_Metricas_Indicadores.pdf

PALMA, Y. y GIL, Y. Aspectos e indicadores para evaluar la calidad de los objetos de aprendizaje creados en la Universidad de las Ciencias Informáticas. Revista de universidad y sociedad del conocimiento, 2013, 10 (2): p. 157-168.

PEÑALVA, M. Un modelo de evaluación de la calidad de aplicaciones Web en e-government. Tesis presentada para obtener el grado de Master en Ingeniería de Software Universidad Nacional de la Plata ,La Plata, Argentina, 2014.

PEREIRA, H. Modelo de calidad de software para Desarrollo de sistemas en la Dirección General de Servicio Civil. ARANDU-UTIC, 2014, 1 (2): p. 20-26.

PIATTINI, M. G., CALERO, C. y MORAGA, M. Á. Calidad del producto y proceso software. Madrid, España, Ra-Ma Editorial,2010.665.

SAINI, R., DUBEY, S. K. y RANA, A. Analytical study of maintainability models for quality evaluation. Indian Journal of Computer Science and Engineering (IJSE), 2011, 2 (3): p. 449-455.

SCALONE, F. Estudio comparativo de los modelos y estándares de calidad del software. Tesis de maestría en calidad, Universidad tecnológica nacional, Buenos Aires, 2006.

The_Standish_Group_International. CHAOS Manifesto 2014. [En línea]. Value versus Success and Orthogonal, 2015.[Consultado el 20 de febrero de 2015]. Disponible en: http://www.versionone.com/assets/img/files/CHAOSManifesto2014.pdf

VÁSQUEZ, D., PARDO, C., COLLAZOS, C. A., et al. Modelo liviano de medidas para evaluar la mejora de procesos de desarrollo de software. Revista Ingeniería y Ciencia, 2010, 6 (12): p. 171–202.

Recibido: 15/04/2016
Aceptado: 05/05/2016