SciELO - Scientific Electronic Library Online

 
vol.17 número3Herramientas computacionales para el apoyo al diagnóstico de pacientes con Parkinson: una revisión sistemática índice de autoresíndice de assuntospesquisa de artigos
Home Pagelista alfabética de periódicos  

Serviços Personalizados

Artigo

Indicadores

  • Não possue artigos citadosCitado por SciELO

Links relacionados

  • Não possue artigos similaresSimilares em SciELO

Compartilhar


Revista Cubana de Ciencias Informáticas

versão On-line ISSN 2227-1899

RCCI vol.17 no.3 La Habana jul.-set. 2023  Epub 01-Set-2023

 

Artículo en revisión

Métodos y criterios para valorar la calidad en uso de las aplicaciones móviles para atención al ciudadano cubano.

Methods and criteria to assess the quality in the use of mobile applications for Cuban citizen services.

0000-0003-4978-6801Arlennys Susana Velázquez Hidalgo1  *  , 0000-0001-5028-541XYamilis Fernández Pérez1  , 0009-0004-9260-8001Yoandrys Silverio Pacheco Jeréz2  , 0000-0003-0253-528XYeleny Zulueta Véliz1 

1 Dirección de Educación de Posgrado. Universidad de las Ciencias Informáticas. Carretera a San Antonio de los Baños, km 2 ½, Torrens, Boyeros, CP. 19370, La Habana, Cuba. asvelazquez@uci.cu, yamilisf@uci.cu, yeleny@uci.cu

2 Dirección General de Alimentos. Universidad de las Ciencias Informáticas. Carretera a San Antonio de los Baños, km 2 ½, Torrens, Boyeros, CP. 19370, La Habana, Cuba. ypachecoj@uci.cu

RESUMEN

La industria de software en Cuba desempeña un papel crucial en la economía digital del país y en la evolución de los negocios. El aumento significativo en el uso de la telefonía móvil y acceso a internet, ha permitido un crecimiento en el desarrollo de aplicaciones que simplifican procesos y servicios de atención al ciudadano. Evaluar la calidad en uso de aplicaciones móviles es esencial para determinar la satisfacción del usuario y la competitividad de las empresas de desarrollo, así como ayudar a la toma de decisiones. La evaluación es un proceso complejo debido a la cantidad, diversidad de criterios a considerar y las múltiples relaciones existentes entre ellos; a lo cual se adiciona la complejidad de agregar dichos criterios para obtener un índice de calidad. El objetivo de esta investigación consiste en identificar los criterios a valorar y el método de solución para agregar la información y obtener un índice de calidad en uso. Se precisa modelar el proceso de evaluación de la calidad en uso de las aplicaciones móviles para la atención a los ciudadanos cubanos como un problema de toma de decisiones de selección y evaluación, y así lograr un proceso más transparente y manejable para los usuarios. Como resultado de la investigación, se determinó como criterios los definidos en el modelo de calidad en uso de la ISO/IEC 25010 y el método TOPSIS de decisión multicriterio.

Palabras-clave: aplicaciones móviles; evaluación de la calidad en uso; toma de decisiones; criterios de calidad; métodos de decisión multicriterios

ABSTRACT

The software industry in Cuba plays a crucial role in the country's digital economy and in the evolution of business. The significant increase in the use of mobile telephony and internet access has allowed a growth in the development of applications that simplify processes and citizen services. Evaluating the quality of use of mobile applications is essential to determine user satisfaction and the competitiveness of development companies, as well as to help decision making. Evaluation is a complex process due to the number and diversity of criteria to be considered and the multiple relationships between them; to which is added the complexity of aggregating these criteria to obtain a quality index. The objective of this research is to identify the criteria to be evaluated and the solution method to aggregate the information and obtain a quality index in use. It is necessary to model the evaluation process of the quality in use of mobile applications for the attention of Cuban citizens as a problem of selection and evaluation decision making, and thus achieve a more transparent and manageable process for users. As a result of the research, the criteria defined in the ISO/IEC 25010 quality in use model and the TOPSIS multi-criteria decision method were determined as criteria.

Key words: mobile applications; evaluation of quality in use; decision making; quality criteria, multi-criteria decision methods

Introducción

El desarrollo de aplicaciones móviles (apks) ha transformado las estrategias y paradigmas establecidos durante años, e incluso ha desplazado a los equipos de cómputo tradicionales como el principal medio para conectarse a Internet. Las apks instaladas en los teléfonos inteligentes se han convertido en una herramienta catalizadora de la sociedad, permitiendo a los usuarios realizar actividades y gestionar servicios desde cualquier lugar y momento. Estas no solo agilizan procesos y servicios de atención al ciudadano, sino también crean vías de comunicación directa entre las personas y les permiten controlar sus ingresos y egresos, compras, ventas y hasta la gestión de sus negocios (Ducasse et al., 2021; Espinoza et al., 2022; Martel et al., 2021).

En Cuba, después de la pandemia de COVID-19, se ha producido un aumento significativo en el uso de la telefonía móvil y el acceso a internet, con un crecimiento superior a 62% y 85%, respectivamente (I Informe Nacional Voluntario de Cuba, 2022). Esto ha influido en que la industria del software apueste por el desarrollo de aplicaciones y plataformas móviles que agilicen y faciliten procesos y servicios que antes se realizaban manualmente.

El desarrollo de las Tecnologías de la Información y las Comunicaciones (TIC) y, concretamente la industria del software, se encuentra en el epicentro de las grandes transformaciones que se llevan a cabo en el país, como la economía digital, la evolución de las empresas, la gestión del conocimiento y el sistema de gestión de Gobierno basado en ciencia e innovación. En el I Informe Nacional Voluntario presentado por Cuba ante la ONU, se expone la importancia de las TIC y la potenciación de la industria del software en la implementación de la Agenda 2030 y en la consecución de los ODS (I Informe Nacional Voluntario de Cuba, 2022). Diferentes investigaciones realizadas en este contexto, destacan el aprovechamiento efectivo y eficiente de las tecnologías emergentes para desarrollar soluciones innovadoras, que aborden las necesidades de los ciudadanos y se adapten a las últimas tendencias del mercado (Coto, 2018; Espinoza et al., 2022; Estrada, 2020; Rodríguez, 2019).

Esta nueva forma de brindar servicios al ciudadano alcanza una posición relevante en la sociedad. La satisfacción del cliente al usar una aplicación móvil y lograr sus objetivos, junto con la eficiencia y efectividad en la solución ofrecida, son elementos claves que influyen en su decisión a la hora de valorar y seleccionar una aplicación. La alta demanda de este tipo de software, la exigencia de los clientes y la competitividad, obligan a las empresas desarrolladoras a valorar la calidad en uso de sus aplicaciones.

La calidad en uso es una perspectiva significativa en este tipo de aplicaciones, pues representa lo que el usuario percibe y siente al utilizarla, cómo realiza las tareas y si logra completarlas correctamente en determinados contextos. La calidad en uso es un término ambiguo dado su carácter intangible, lo que dificulta el proceso de evaluación. Es fundamental lograr que se traduzcan los criterios de calidad en valores que puedan ser comparados e integrados.

El proceso de evaluación de la calidad es de por sí complejo, dada la cantidad, diversidad de criterios a valorar por los especialistas, probadores y usuarios finales involucrados y las múltiples relaciones existentes entre dichos criterios, a los que se le denominan criterios de calidad. A todo lo anterior se adiciona la complejidad de su agregación para obtener un índice de calidad que permita comparar y valorar aplicaciones; también la multiplicidad de tareas a desarrollar y recursos a utilizar durante su proceder.

Los criterios de calidad son aspectos o condiciones que una aplicación móvil debe cumplir para alcanzar un nivel adecuado de calidad en uso, tales como: eficiencia, funcionalidad, y grado de satisfacción de los usuarios (Jaya et al., 2018). Estos criterios se agrupan de diferentes maneras, conformando una estructura lineal o jerárquica para su mejor comprensión y utilización. Esta taxonomía se conoce como los modelos de calidad, que establecen las características deseables para el proceso de evaluación y selección de productos de software (Pérez et al., 2018). La ISO/IEC 25010 y otros autores, lo definen como una representación de la calidad a partir de características y subcaracterísticas (Cuervo et al., 2017; ISO/IEC 25022, 2016; Jaya et al., 2018; Norma Cubana, 2017; Pérez et al., 2018).

La evaluación de la calidad conlleva un proceder que, determinado los criterios, se valoran estos por diferentes expertos o usuarios a partir de sus experiencias y los resultados de las pruebas de software, además de la agregación de la información.

Dado lo anterior, la presente investigación tiene como objetivo identificar los criterios a valorar y el método de solución a emplear para agregar la información, con el fin de obtener un índice de calidad en uso que permita evaluar las aplicaciones móviles que brindan servicios al ciudadano y ayude a la toma de decisiones.

Para dar cumplimento al objetivo, en primer lugar, se analizan los modelos, las normas y estándares de calidad más utilizados en la industria, con el fin de determinar los criterios a considerar al valorar la calidad en uso de aplicaciones móviles que brindan servicios a los ciudadanos. A continuación, se clasifica el proceso de evaluación de la calidad en uso como un problema de toma de decisiones multicriterio y multiexperto. Por último, se hace una valoración de los métodos de decisión multicriterio para seleccionar el más adecuado al problema de investigación.

Métodos o Metodología Computacional

La calidad del software, se ha convertido en un tema de gran interés para la industria, dada su importancia para garantizar la satisfacción del cliente y la competitividad de las empresas de desarrollo. En los inicios del desarrollo de software, la calidad se centraba únicamente en la funcionalidad del producto. Con el tiempo, se incorporaron más características y subcaracterísticas que permitieron una evaluación más completa de la calidad (Boehm et al., 1978; Dromey, 1995; Grady & Caswell, 1987; ISO/IEC 25010, 2011; ISO/IEC 9126-1, 2001; McCall & Cavano, 1978). Es así como, la evaluación de la calidad, se tornó un proceso complejo, al requerir una combinación de enfoques técnicos y multidisciplinarios, que continúa siendo un área de investigación en constante evolución.

Los autores (Álvarez et al., 2016; Pérez et al., 2018, 2019; Sifuentes et al., 2022; Tello, 2016), han enfatizado en la importancia de evaluar la calidad de los productos de software, teniendo como finalidad mejorar cada una de sus cualidades o criterios, con el propósito de desarrollar aplicaciones cada vez más especializadas, que satisfagan las necesidades de usuarios cada vez más exigentes y conocedores del tema.

La evaluación de la calidad en uso de aplicaciones móviles que brindan servicios al ciudadano, conlleva un proceder donde primero se determinan las aplicaciones o alternativas a evaluar y el modelo de calidad a utilizar, conteniendo los criterios y subcriterios a valorar. A continuación, se evalúa cada alternativa para cada criterio por diferentes expertos o usuarios a partir de las pruebas de software realizadas a cada aplicación. Seguidamente, se agrega la información recopilada para la obtención del índice de calidad que permita comparar y seleccionar el producto según su calidad. Todo este proceder, implica modelar el proceso como un problema de toma de decisión, ya que en ambos se valoran las alternativas y concluye eligiendo una opción.

Para la selección de los criterios, se realizó el análisis de modelos, normas y estándares orientados a evaluar la calidad de los productos de software, con el propósito de identificar los que han sido más utilizados o referenciados, y los aspectos que caracterizan a cada uno de ellos, encontrando lo común y diferente de cada modelo.

El estudio de los métodos de decisiones multicriterio (MCDM, por sus siglas en inglés) y la caracterización del problema de evaluación de la calidad en uso de aplicaciones móviles, posibilitó identificar un conjunto de indicadores que sirvieron de base para realizar un análisis comparativo entre dichos métodos y seleccionar el más idóneo para la investigación.

En la investigación, se emplearon métodos teóricos como el de análisis-síntesis y el hipotético-deductivo, para definir el conjunto de criterios y los indicadores para la comparación de los diferentes métodos de decisión multicriterio; además, se utilizaron en la identificación de los métodos, en la búsqueda de tendencias y en su generalización. El uso de estos métodos para estudiar, analizar y sintetizar los conceptos, las relaciones entre ellos y los planteamientos de la literatura especializada acerca de los modelos de calidad y MCDM, posibilitó obtener detalles y elementos significativos sobre el proceso de evaluación de la calidad de los productos de software; enfocando su atención en el modelo de calidad en uso y en la utilización de métodos de decisión multicriterio.

En la etapa de diagnóstico, se emplearon métodos empíricos como la entrevista y la encuesta. La primera, para obtener información correspondiente al proceso de evaluación de la calidad en uso de las aplicaciones móviles en Cuba, haciendo énfasis en los criterios. La encuesta, sirvió para caracterizar el estado actual del proceso, y así recolectar los datos necesarios para la selección de los criterios y métodos utilizados.

Resultados y discusión

Modelos de Calidad

Los modelos de calidad se clasifican de diferentes formas, dentro de los que destacan los lineales y los jerárquicos. Los más utilizados son los jerárquicos integrales (Cuervo et al., 2017; Marcela & Constanzo, 2014; Pérez et al., 2018, 2019). La Figura 1, representa esta estructura donde se trata la calidad, desde lo general a lo particular, permitiendo la disminución de la subjetividad en la asignación de un valor, ya sea cuantitativo o cualitativo. En el nivel más alto de la jerarquía (Nivel 0), se encuentra la calidad, que se puede definir a través de una gran variedad de características. Estas se pueden descomponer en subcaracterísticas, cada una derivada en atributos de calidad que se evalúan a través de un conjunto de medidas. En el nivel más bajo de la jerarquía (Nivel 3), se hallan las medidas de calidad definidas en diferentes dominios de datos y escalas.

Fig. 1 - Estructura jerárquica de un modelo de calidad (elaboración propia). 

Entre los modelos jerárquicos integrales que evalúan la calidad del producto de software más estudiados, se pueden mencionar: McCall (McCall & Cavano, 1978), (Boehm et al., 1978), FURPS (Grady & Caswell, 1987), Dromey (Dromey, 1995), ISO 9126 (ISO/IEC 9126-1, 2001) e ISO 25010 (ISO/IEC 25010, 2011). Estos surgieron con el propósito de valorar la calidad del producto de software desde una visión más amplia, a partir de diferentes puntos de vistas y consideraciones. Numerosas han sido las investigaciones apoyadas en estos modelos para desarrollar nuevas propuestas enfocadas a la evaluación de la calidad de productos de software (Álvarez et al., 2016; Jaya et al., 2018; Moreno et al., 2010; Pérez et al., 2018; Sifuentes et al., 2022)

La presente investigación define como referente el modelo de calidad que propone la norma ISO/IEC 25010 (González et al., 2021; ISO/IEC 25010, 2011; Pérez, 2018; Reyes et al., 2015), que resume los criterios de calidad consensuados por la industria y la academia de desarrollo del software. Este estándar establece un modelo de calidad jerárquico donde se determinan las características y sub-características de calidad a tener en cuenta al evaluar las propiedades de un producto de software. En ella, se especifican ocho características para el modelo de calidad del producto y cinco para el modelo de la calidad en uso.

El modelo para la calidad en uso, establece las características de calidad: Eficacia, Eficiencia, Satisfacción, Libre de riesgo y Cobertura de contexto (Figura 2), las cuales se relacionan con el resultado de la interacción de un producto en el contexto en que se usa. Estas se subdividen en subcaracterísticas (González et al., 2021; ISO/IEC 25010, 2011; Paola et al., 2019; Pérez, 2018).

Fig. 2 - Características del Modelo de la calidad en uso según ISO/IEC 25022 (elaboración propia). 

La calidad en el uso depende no sólo de la calidad del producto del software o del sistema informático, sino también del contexto particular en el que se utiliza. El contexto de uso incluye factores de usuario, factores de tarea y factores ambientales físicos y sociales, que pueden afectar la calidad en el uso. Por tanto, las comparaciones de un producto de software o sistema sólo son válidas cuando las medidas se hacen en el mismo contexto (ISO/IEC 25022, 2016; Norma Cubana, 2017).

La ISO/IEC 25022, es una norma de medición de la calidad, que propone medidas para la perspectiva calidad en uso de las características definidas en la ISO/IEC 25010 y del proceso de evaluación. Define 38 medidas generales, que, para su empleo adecuado, requiere de un proceso de readaptación y modificación al contexto donde se utilice.

En el diagnóstico realizado para determinar el estado actual del proceso de evaluación de la calidad en uso de las aplicaciones móviles en Cuba, se efectuaron entrevistas y encuestas a directivos y especialistas con experiencia en el desarrollo de software y temas relacionados con la evaluación de la calidad de aplicaciones móviles en operación. Entre las instituciones a las que pertenecen los mismos, se encuentran: Dirección de Calidad de Software de la Universidad de las Ciencias informáticas (UCI), Centro Nacional de Calidad Software (CALISOFT), Centro de Calidad, Estándares y Seguridad (CCES) de la Empresa de Tecnologías de información para la defensa (XETID) y el proyecto Z-17, ubicado en el Parque Científico Tecnológico de La Habana.

En sus valoraciones, coinciden en la existencia de varios modelos, siendo uno de los más utilizados el de calidad propuesto por la ISO/IEC 25010; sin embargo, en ningún caso se ejecuta la valoración de la calidad en uso.

Esta situación, deriva en una insuficiente retroalimentación a los directivos sobre los niveles de calidad de sus productos en operación, al no conocer con claridad en qué medida cumplen las funcionalidades para las que están destinados, no evidenciándose con exactitud cómo los usuarios alcanzan las metas definidas para este tipo software y la satisfacción de sus necesidades. Los resultados predominantes son criterios cualitativos e imprecisos, más que una evaluación cuantitativa; por tanto, en muchas ocasiones el experto no es capaz de definir de manera precisa la importancia de los criterios y cuan buenas resultan las alternativas con respecto a cada criterio.

Se puede concluir, por tanto, que para evaluar la calidad en uso de las aplicaciones móviles para servicios al ciudadano, debe partirse de una valoración colectiva de cada producto, juzgado a partir de la apreciación de diferentes criterios por diversos usuarios. Los criterios son definidos por el modelo de calidad en uso establecido por la ISO/IEC 25010 (ISO/IEC 25010, 2011). Asociado a esto, se encuentran las medidas que permiten valorarlos, enfatizando en la eficacia, eficiencia y satisfacción. Dichas medidas provienen de fuentes como las pruebas automáticas, encuestas a expertos, listado de No Conformidades (NC), entre otras (ISO/IEC 25022, 2016; Norma Cubana, 2017).

Proceso de evaluación de la calidad en uso

El proceso de evaluación de la calidad en uso, lo ejecutan los evaluadores con la participación de los clientes, sobre la base de las normas ISO/IEC 25040 y ISO/IEC 25022. Las mismas tienen como entrada las aplicaciones móviles a evaluar y como salida el índice de calidad de cada una, ordenado de manera descendente. Para la evaluación, se necesitan recursos como el modelo de calidad, y el módulo de evaluación, compuesto por las herramientas, técnicas y medidas de los atributos de calidad. Por su parte, la ISO/IEC 25022, plantea cinco actividades y nueve tareas para el proceso de evaluación. La Figura 3, muestra las partes principales de un proceso de evaluación de la calidad en uso de un producto de software en operación, a partir de la formalización de definiciones y normas de calidad estudiadas.

Fig. 3 - Proceso de evaluación de la calidad en uso de un producto de software en operación (elaboración propia). 

Si se compara este proceso con el flujo de actividades involucradas en un problema de toma de decisión, se aprecian semejanzas. En ambos casos, se evalúan las alternativas y concluye eligiendo una opción.

Se definen alternativas como el conjunto finito de soluciones, acciones y opciones posibles a analizar durante el proceso de toma de decisiones (Alharbi & Khan, 2014; Eckermann & Deodhar, 2017; Naeem & Raza, 2021; Zhang & Zhang, 2020). Las alternativas, son elementos de referencia en base a los cuales se toma la decisión. Los criterios de decisión son los parámetros utilizados para valorar las preferencias del decisor. El objetivo del proceso, radica en clasificar, evaluar, seleccionar y priorizar un conjunto de alternativas que mejor satisfagan un determinado conjunto de criterios, lo que implica modelar como un problema de toma de decisión, haciendo el proceso más transparente y manejable para los involucrados.

En varias investigaciones se proponen métodos multicriterio para evaluar la calidad del producto de software (Blin & A. Tsoukiàs, 2001; Dubey, Mittal, & Rana. A., 2012; Etaati & Sadi-Nezhad, 2011; Morisio & Tsoukias, 1997; Pérez, 2018; Pérez et al., 2018, 2019).

Numerosas han sido las clasificaciones establecidas para identificar los problemas de toma de decisiones, dependiendo de las características y elementos del problema de decisión. Bernard Roy, en su artículo Paradigms and Challenges los clasifica en problema de: evaluación y selección, ranking y clasificación (Bernard Roy, n.d.).

La evaluación de la calidad en uso de las aplicaciones móviles para servicio al ciudadano, implica la selección de un número reducido de aplicaciones "buenas", que satisfagan las necesidades del usuario, semejantes a la clasificación de problemas de evaluación y selección.

Existen otras clasificaciones ante la gran variedad de situaciones o problemas de decisión que se presentan (Ver Figura 4).

Fig. 4 - Algunas clasificaciones para los problemas de toma de decisiones (elaboración propia). 

Estas agrupaciones, según la cantidad de criterios o atributos a valorar, se clasifican en Problemas con un sólo criterio o monoatributo y Problemas multicriterio o multiatributo. También se encuentran los problemas de decisión atendiendo al número de expertos involucrados en el proceso, los cuales se pueden clasificar en dos tipos: Unipersonales o individuales y Multiexperto. Considerando si existen cambios en el tiempo de los elementos del problema de decisión, se pueden clasificar en Dinámicos y Estáticos.

Por la naturaleza del problema investigado, usualmente se clasifica como un problema de toma de decisiones multicriterio y multiexperto (Brans & Smet, 2016; Saaty, 1980).

Evaluar la calidad en uso de las aplicaciones móviles para servicios al ciudadano, es un problema complejo que requiere la consideración de múltiples criterios y perspectivas. Por lo tanto, es crucial utilizar métodos de toma de decisiones multicriterio y multiexperto.

Los métodos multicriterio permiten evaluar varios criterios, lo que garantiza una evaluación más completa y precisa de la calidad en uso. Además, la integración de múltiples perspectivas posibilita una evaluación más objetiva, completa, informada y rigurosa, que ayude a tomar decisiones más acertadas en cuanto a selección, diseño y mejora de las aplicaciones móviles.

En la literatura, se pueden encontrar diferentes propuestas de procesos de toma de decisiones, que difieren en los pasos o fases a seguir (Clemen, 1996). Determinados autores han utilizado un proceso de toma de decisiones compuesto por al menos cinco fases (Espinosa R. et al., 2022; Martínez et al., 2015; Pérez et al., 2018). A partir de esta propuesta, en la Figura 5, se presenta un esquema de resolución con cinco fases fundamentales:

  • En la fase de Inteligencia, identifica el problema, las alternativas y objetivos a alcanzar mediante el proceso de resolución.

  • En Modelado, se define la estructura del problema, las preferencias, la incertidumbre, entre otros elementos. Esta fase, por un lado, proporciona el marco de decisión que determina los límites de decisión y, por el otro, proporciona una estructuración del problema de MCDM.

  • Recopilación de información es la fase donde se obtiene la información, el conocimiento y las preferencias proporcionadas por los responsables de la toma de decisiones de acuerdo con el modelo previamente definido. Ese es el momento en el que los expertos utilizan los criterios establecidos para valorar cada alternativa, y a partir de ellos obtienen una serie de juicios en una matriz de valoración, dependiendo de la estructura del problema.

  • En Análisis, se manipula y agrega la información recopilada, de acuerdo a los objetivos y limitaciones, y reporta los resultados a ser considerados en la fase de Selección.

  • De acuerdo a los resultados obtenidos en la fase anterior, en la Selección, los decisores pueden elegir la alternativa de su preferencia.

Fig. 5 - Fases del proceso de toma de decisión (Espinosa R. et al., 2022). 

Métodos de decisión multicriterio

Existen diferentes métodos para dar solución a los problemas de decisión multicriterio. En los últimos años, las soluciones a los problemas de evaluación de la calidad de software, se han enfocado a los MCDM (Liu & Pang, 2010; Pérez et al., 2018, 2019; Rawashdeh & Matalkah, 2006; Sorooshian et al., 2022; Yang, 2012), los cuales permiten evaluar múltiples criterios o atributos para seleccionar la mejor aplicación y satisfacer las necesidades del usuario.

Los MCDM, se utilizan para tomar decisiones ante situaciones donde existen varios criterios o factores a considerar. Permiten evaluar y comparar las opciones en función de los múltiples criterios y seleccionar la mejor. Ofrecen también mecanismos que establecen un orden entre las alternativas, a partir de la ponderación de los criterios para la toma de la decisión final.

Existen varios métodos aplicados al problema de evaluación de la calidad de los productos de software, dentro de los que se encuentran: Proceso de Análisis Jerárquico (AHP), Weighted Aggregated Sum Product Assessment (WASPAS), Elimination ot Choix Traduisant la Réalité (ELECTRE) y la Técnica de Orden de Preferencia por Semejanza a la Solución Ideal (TOPSIS).

El método AHP, propuesto por Saaty, está basado en la descomposición jerárquica de un problema de decisión en diferentes niveles. Es muy preciso en la medida en que permite a los expertos evaluar los criterios y alternativas de manera sistemática y estructurada. Asigna pesos a los criterios y subcriterios y utiliza estos pesos para calcular una puntuación total para cada alternativa. Es ampliamente utilizado, dada su flexibilidad, facilidad de uso y capacidad para manejar problemas complejos. Sin embargo, puede ser menos eficiente en términos de tiempo y recursos necesarios para el análisis (Saaty, 1980).

El método WASPAS, es una propuesta desarrollada por Cengiz Kahraman (Kahraman, 2008). Consiste en una combinación de dos métodos de decisión multicriterio: el de la suma ponderada (WSM) y el del producto ponderado (WPM). Se basa en la agregación de los criterios de evaluación para determinar la puntuación total de cada alternativa. Dada su flexibilidad, utiliza una función de agregación para combinar los valores de los diferentes criterios y asignar un peso a cada uno. Es relativamente eficiente en términos de recursos y tiempo necesarios para llevar a cabo el análisis, pero menos preciso en comparación con AHP y ELECTRE.

El método ELECTRE, fue propuesto por Roy Benayoun (Roy, 1968) y pertenece a una familia de métodos basados en relaciones de superación o sobreclasificación para decidir acerca de la determinación de una solución que, sin ser óptima, pueda considerarse satisfactoria. Utiliza una matriz de concordancia y otra de discordancia para comparar las alternativas. Es muy preciso en la medida en que permite a los expertos evaluar los criterios y alternativas de manera detallada y sistemática. Sin embargo, es menos eficiente en términos de tiempo y recursos necesarios para llevar a cabo el análisis.

El método TOPSIS, desarrollado por Hwang y Yoon (Hwang & Yoon, 1981), es un clásico de toma de decisiones, basado en la idea de que la mejor alternativa debe tener la menor distancia a una solución ideal positiva y la mayor distancia a una solución ideal negativa (Cepeda & Mora, 2023; Corrente & Tasiou, 2023; Hwang & Yoon, 1981; Nazim et al., 2022; Singh et al., 2023). Utiliza una técnica de ordenamiento para determinar la puntuación de cada alternativa y proporciona una solución de compromiso entre los criterios de evaluación. Es relativamente eficiente en términos de recursos y tiempo necesario para llevar a cabo el análisis, pero puede ser menos preciso en comparación con AHP. La Figura 6, muestra los pasos definidos en TOPSIS.

Fig. 6 - Pasos para aplicar el método TOPSIS (Espinosa R. et al., 2022). 

Hay una modificación realizada a TOPSIS para evitar el orden inverso, la cual consiste en cambiar la normalización vectorial por la transformación lineal del máximo y añadir dos alternativas ideales que contengan los mejores y peores valores posibles. Con esta modificación, aunque se cambie el espacio de soluciones, no ocurre este fenómeno.

Es importante tener en cuenta que cada método de decisión multicriterio tiene sus propias fortalezas y debilidades, y la elección del más adecuado depende del contexto específico del problema de decisión, los recursos disponibles y preferencias de los expertos involucrados en el proceso. Los métodos de decisión multicriterio son herramientas de apoyo a la toma de decisiones, y la toma de decisiones siempre implica cierto grado de incertidumbre y subjetividad.

A continuación, se realiza un análisis comparativo de los métodos estudiados, considerando los criterios y elementos relevantes de la investigación. Se valora el desempeño de cada uno, teniendo en cuenta los siguientes indicadores: información inicial, independencia de los datos, facilidad de implementación, preservación del rango, aplicabilidad en TIC y aplicabilidad en calidad de software. El objetivo es identificar el enfoque más efectivo para abordar la propuesta planteada (Ver Tabla 1).

Tabla 1 -Resumen del comportamiento de los métodos a partir de los indicadores analizados. 

Indicadores AHP WASPAS ELECTRE TOPSIS TOPSIS modificado
Información inicial Comparación de las alternativas Valores de las medidas de calidad A partir de una matriz de concordancia y otra de discordancia para comparar las alternativas Valores de las medidas de calidad Valores de las medidas de calidad
Uso de los estándares Se basa en descomposición jerárquica del problema, similar a los estándares Usa la estructura jerárquica. Si, aplana la estructura jerárquica a través de la agregación de los pesos Si, aplana la estructura jerárquica a través de la agregación de los pesos Si, aplana la estructura jerárquica a través de la agregación de los pesos
Independencia de los datos No No, por el proceso de normalización de los datos No No Si
Facilidad de implementación Se dificulta por la comparación por pares. Es simple y de fácil comprensión Se dificulta porque implica una evaluación detallada de las alternativas y la asignación de pesos a los criterios. Es fácil de aplicar solo seguir el procedimiento Es fácil de aplicar solo seguir el procedimiento
Preservación del rango No, ocurre el fenómeno de orden inverso No, ocurre el fenómeno de orden inverso No, ocurre el fenómeno de orden inverso No, ocurre el fenómeno de orden inverso Si
Aplicabilidad en la TICS Si, SuperDecisions, Decision Lab, MCDM Toolbox Si, WASPAS Si, ELECTRE Tri-C, MCDM Toolbox Si, Decisión Lab, MCDM Toolbox Si, en Excel
Aplicabilidad en la calidad de software

Si

((Bhatnagar et al., 2012; Dubey, Mittal, & Rana. A., 2012; Wan-jiang & Tian-bo, 2012))

Si

(Kılıc, M. & Kahraman, 2022; Liu, X. & Wang, 2021)

Si

(Liu, X. & Wang, 2021; Wu & Tiao, 2018)

Si

(Espinosa R. et al., 2022; Li et al., 2014; Rajak & Shaw, 2019)

Si

(Corrente & Tasiou, 2023; Nazim et al., 2022; Singh et al., 2023)

Luego de analizar los diferentes métodos, se propone el TOPSIS modificado para el problema de evaluación de la calidad en uso de aplicaciones móviles, puesto que:

  • Realiza la evaluación de las alternativas a partir de los valores de las medidas de calidad.

  • Permite el uso de datos tangibles e intangibles y multidimensionales con el uso de la normalización.

  • Es simple su ejecución, fácilmente entendido e implementado por la mayoría de los usuarios en la práctica.

  • Implica un procedimiento lógico matemático simple, como el concepto de alternativa ideal y algoritmo con uso de la distancia euclidiana de un valor ideal positivo y un valor ideal negativo.

  • Trata tanto la preservación como la inversión del rango.

  • Garantiza la independencia de los datos: se obtiene el mismo índice de agregación para una alternativa cuando se evalúe ella sola o cuando se hace dentro de un grupo.

  • Permite usar una estructura de decisión integral y jerárquica; representa un problema de decisión considerando factores de influencia de beneficios y costos.

  • Es ampliamente aplicado en artículos de evaluación de la calidad.

Conclusiones

La revisión de la literatura, proporcionó elementos teóricos importantes que permitieron conceptualizar la evaluación de la calidad en uso de una aplicación móvil como un problema de toma de decisión.

El análisis de los modelos de calidad, permitió definir el modelo jerárquico integral basado en la norma ISO/IEC 25010, específicamente el modelo de calidad en uso como el contenedor de los criterios a valorar.

El estudio de las normas, permitió establecer la integración de los procedimientos propuestos por las ISO/IEC 25022 y ISO/IEC 25040, junto al proceso de toma de decisiones como método base para la evaluación de la calidad en uso de aplicaciones móviles para la atención a los ciudadanos.

La definición de indicadores para valorar el desempeño de cada método de decisión multicriterio, permitió fundamentar la selección de TOPSIS modificado como el método a utilizar para la evaluación de la calidad en uso de aplicaciones móviles para la atención a los ciudadanos.

Referencias

Alharbi, K., & Khan, S. (2014). A fuzzy multi-criteria decision-making methodology for evaluating and selecting a software development methodology. Journal of Software Engineering and Applications, 7(3), 166-176. [ Links ]

Álvarez, A., Alarcón, A., & Callejas, M. (2016). Comparación de modelos y estándares de evaluación de calidad para una plataforma de aprendizaje virtual. Actas de Ingeniería, 2, 254-262. http://fundacioniai.org/actas [ Links ]

Roy Bernard . (n.d.). Chapter 1. In LAMSADE (Ed.), PARADIGMS AND CHALLENGES (p. 23). Université Paris-Dauphine. [ Links ]

Bhatnagar, S., Dubey, S. K., & Rana, A. (2012). Quantifying Website Usability using Fuzzy Approach. International Journal of Soft Computing and Engineering (IJSCE) ISSN: 2231-2307, 2(2), 424-428. [ Links ]

Blin, M.-J., & Tsoukiàs A .. (2001). Multi-Criteria Methodology Contribution to the Software Quality Evaluation. Softw. Qual. Journal, 9(1), 113-132. [ Links ]

Boehm, B. W., Brown, J. R., Kaspar, H., Lipow, M., McLeod, G., & Merritt, M. (1978). Characteristics of Software Quality. [ Links ]

Brans, J., & Smet, Y. De. (2016). PROMETHEE methods Chapter 1 PROMETHEE METHODS (Issue January). https://doi.org/10.1007/978-1-4939-3094-4 [ Links ]

Cepeda, J. A. R., & Mora, J. J. F. (2023). Comparación de las metodologías AHP y TOPSIS como enfoque de la solución al problema de selección de componentes de un Portafolio. In Maestría en Gerencia de Proyectos. Universidad EAN. [ Links ]

Clemen, R. T. (1996). Making Hard Decisions: An Introduction to Decision Analysis. Duxbury Press. [ Links ]

Corrente, S., & Tasiou, M. (2023). A robust TOPSIS method for decision making problems with hierarchical and non-monotonic criteria. Expert Systems With Applications, 214(119045). https://doi.org/10.1016/j.eswa.2022.119045 [ Links ]

Coto, A. L. C. (2018). Un Acercamiento Al Impacto De Las Tecnologías Disruptivas. Revista Metropolitana de Ciencias Aplicadas, 1(3), 63-71. [ Links ]

Cuervo, M. C., Aldana, A. C. A., & Carreño, A. M. Á. (2017). Modelos de calidad del software, un estado del arte*. Ingeniería y Tecnología, 13(1), 236-250. [ Links ]

Dromey, R. G. (1995). A Model for Software Product Quality. 2(2). [ Links ]

Dubey, S. K., Mittal, A., & Rana. A . (2012). Measurement of Object Oriented Software Usability using Fuzzy AHP. Int. J. Comput. Sci. Telecommun., 3(5), 98-104. [ Links ]

Ducasse, N. E. R., González, A. M., & La Hoz Gómez Yumileidy. (2021). BONDADES DE LAS APLICACIONES MÓVILES. Tecnolog’ia Educativa, 6(1), 68-75. [ Links ]

Eckermann, K., & Deodhar, A. (2017). A multicriteria decision analysis (MCDA) approach for prioritizing healthcare interventions in a resource-limited setting: a case study from Uganda. BMC Health Services Research, 17(1), 1-10. [ Links ]

Espinosa R., A. del C., Fernández P., Y., & Zulueta v., Y. (2022). A TOPSIS-Based Method for Personnel Selection in Software Projects. Springer, 245-257. [ Links ]

Espinoza, J. L. A., Yacelga, A. R. L. L., & Michilena, W. G. S. (2022). Las aplicaciones móviles y su impacto en la sociedad. Revista Universidad y Sociedad, 14(2), 237-243. [ Links ]

Estrada, A. F. (2020). Uso de tecnologías emergentes para el desarrollo de soluciones innovadoras en Cuba. Revista de Ciencia y Tecnología, 12(2), 45-58. [ Links ]

Etaati, M. L., & Sadi-Nezhad, S. (2011). Using Fuzzy Analytical Network Process and ISO 9126 Quality Model in Software Selection: A case study in E-learnig Systems. J. Appl. Sci, 11(1), 96-103. [ Links ]

I Informe Nacional Voluntario de Cuba, 1 (2022). [ Links ]

González, M. P., Diaz, A. M., Casañola, Y. T., & Hidalgo, D. B. (2021). Buenas prácticas para prevenir los riesgos de la eficiencia del desempeño en los productos de software. Revista Cubana de Ciencias Informáticas, 15(1), 89-113. [ Links ]

Grady, R. B., & Caswell, D. L. (1987). Software Metrics: Establishing a Company-Wide Program. [ Links ]

Hwang, C. L. ., & Yoon, K. (1981). Multiple Attribute Decision Making: Methods and Applications. Springer-Verlag. [ Links ]

ISO/IEC 25010. (2011). Systems and software engineering - Systems and software Quality Requirements and Evaluation (SQuaRE) - System and software quality models. [ Links ]

ISO/IEC 25022. (2016). Systems and software engineering - Systems and software quality requirements and evaluation (SQuaRE) - Measurement of quality in use. Norma, First edit. [ Links ]

ISO/IEC 9126-1. (2001). ISO/IEC, International Standard. Software engineering - Product quality - Part 1: Quality model. Institute of Electrical and Electronics Engineering. [ Links ]

Jaya, V. L. S., Jácome, D. J. R., & Sevilla, G. M. L. (2018). Apuntes teóricos sobre modelos de evaluación de calidad en procesos de desarrollo de software para personas no videntes. III Congreso: CIENCIA, SOCIEDAD E INVESTIGACIÓN UNIVERSITARIA, 1-13. http://repositorio.pucesa.edu.ec/handle/123456789/2709Links ]

Kahraman, C. (2008). A comparative analysis for multiattribute selection among transportation companies using fuzzy TOPSIS. Expert Systems With Applications, 34(1), 214-224. https://doi.org/https://doi.org/10.1016/j.eswa.2006.10.011 [ Links ]

Kılıç, M., & Kahraman, C. (2022). A new multi-criteria decision-making approach for software quality evaluation based on WASPAS and neutrosophic sets. Journal of Intelligent & Fuzzy Systems, 42(1), 1415-1429. [ Links ]

Li, Q., X. Zhao, Lin, R., & B. Chen. (2014). Relative entropy method for fuzzy multiple attribute decision making and its application to software quality evaluation. J. Intell. Fuzzy Syst, 26(4), 1687-1693. [ Links ]

Liu, X., & Wang, J. (2021). An extended WASPAS method for software quality evaluation based on hesitant fuzzy linguistic term sets. Information Sciences, 570, 130-152. [ Links ]

Liu, X., & Pang, J. (2010). A Fuzzy Synthetic Evaluation Method for Software Quality. 2nd Int. Conf. E-Bus. Inf. Syst. Secur., 1-4. [ Links ]

Marcela, L., & Constanzo, A. (2014). Comparación de modelos de calidad, factores y metricas en el ambito de la ingeniería del software. Instituto De Tecnologia Aplicada, 78, 1-36. [ Links ]

Martel, C., Afonso, N., & Viedma, E. (2021). Cuban mobile applications: A systematic review. Future Generation Computer Systems, 118, 402-414. [ Links ]

Martínez, L., Rodriguez, R. M., & Herrera, F. (2015). The 2-tuple Linguistic Model. Computing with Words in Decision Making (Springer International Publishing (ed.); 1st ed. Ne). [ Links ]

McCall, J. A., & Cavano, J. P. (1978). A framework for the measurement of software quality. 133-139. [ Links ]

Moreno, J. J., Bolaños, L. P., & Navia, M. A. (2010). Exploración de modelos y estándares de calidad para el producto software. Revista UIS Ingenierías, 9(1), 39-53. [ Links ]

Morisio, M., & Tsoukias, A. (1997). IusWare: a methodology for the evaluation and selection of software products. Softw. Eng. IEE Proc., 144(3), 162-174. [ Links ]

Naeem, M. A., & Raza, S. A. (2021). A comparative analysis of multi-criteria decision-making methods for supplier selection: A case study of a manufacturing firm. Journal of Industrial Engineering International, 17(1), 239-254. [ Links ]

Nazim, M., Wali, C., & Sadiq, M. (2022). A comparison between fuzzy AHP and fuzzy TOPSIS methods to software requirements selection. Alexandria Engineering Journal, 61(12), 10851-10870. https://doi.org/10.1016/j.aej.2022.04.005 [ Links ]

Norma Cubana, I. 25022. (2017). INGENIERÍA DE SOFTWARE Y SISTEMAS - REQUISITOS DE LA CALIDAD Y EVALUACIÓN DE SOFTWARE Y SISTEMAS (SQuaRE) - MEDICIÓN DE LA CALIDAD EN EL USONorma cubana. 1-55. [ Links ]

Paola, E., Guaña, R., Gabriela, S., Rosado, P., & Quijosaca, F. (2019). Evaluación de la calidad en uso de un sistema web/ móvil de control de asistencia a clases de docentes y estudiantes aplicando la norma ISO/IEC 25000 SQuaRe. RISTI - Revista Iberica de Sistemas e Tecnologias de Informacao, 19(4), 108. [ Links ]

Pérez, Y. F. (2018). Modelo computacional para la evaluación y selección de productos de software . [ Links ]

Pérez, Y. F., Corona, C. C., & Estrada, A. F. (2019). Fuzzy cognitive maps for evaluating software usability. Uncertainty Management with Fuzzy and Rough Sets. Studies in Fuzziness and Soft Computing, 377(Springer), 141-155. [ Links ]

Pérez, Y. F., Corona, C. C., & Verdegay, J. L. (2018). Modelling the interrelation among software quality criteria using computational intelligence techniques. International Journal of Computational Intelligence Systems, 11(1), 1170-1178. https://doi.org/10.2991/ijcis.11.1.88 [ Links ]

Rajak, M., & Shaw, K. (2019). Technology in Society Evaluation and selection of mobile health ( mHealth ) applications using AHP and fuzzy TOPSIS. Technology in Society, 59(April), 101186. https://doi.org/10.1016/j.techsoc.2019.101186 [ Links ]

Rawashdeh, A., & Matalkah, B. (2006). A New Software Quality Model for Evaluating COTS Components. J. Comput. Sci., 2(4), 373-381. [ Links ]

Reyes, A. G., Ampuero, M. A., & González, A. H. (2015). Análisis comparativo de modelos y estándares para evaluar la calidad del producto de software. Revista Cubana de Ingeniería, 6(3), 43-52. [ Links ]

Rodríguez, J. R. (2019). La analítica de datos en las organizaciones: una revisión de la literatura. Revista Cubana de Ciencias de La Información En Salud, 30(2), 1-12. [ Links ]

Roy, B. (1968). Classement et choix en présence de points de vue multiples: La méthode ELECTRE. Rev. FRANÇAISE D’AUTOMATIQUE, D’INFORMATIQUE Rech. OPÉRATIONNELLE, 8, 57-75. [ Links ]

Saaty, T. L. (1980). The Analytic Hierarchy Process: Planning, Priority Setting, Resource Allocation. McGraw-Hill. [ Links ]

Sifuentes, Y. M., Jos, T., & Luj, L. P. (2022). Modelo de medición y evaluación de calidad del software basado en la norma ISO/IEC 25000 para medir la usabilidad en productos de software académicos universitarios. TecnoHumanismo, 2(4), 44-66. https://doi.org/10.53673/th.v2i4.125 [ Links ]

Singh, V., Kumar, V., & Singh, V. B. (2023). A hybrid novel fuzzy AHP-TOPSIS technique for selecting parameter-influencing testing in software development. Decision Analytics Journal, 6, 100159. https://doi.org/10.1016/j.dajour.2022.100159 [ Links ]

Sorooshian, S., Azizan, N. A., & Ebrahim, N. A. (2022). Weighted Aggregated Sum Product Assessment. Mathematical Modelling of Engineering Problems (MMEP), 9(4), 873-878. https://doi.org/https://doi.org/10.18280/mmep.090403 [ Links ]

Tello, P. (2016). Evaluación de Calidad de un Producto de Software. Laboratorio Nacional de Calidad Del Software de INTECO - Abril, 2016, 1, 132. [ Links ]

Wan-jiang, H., & Tian-bo, L. (2012). Study On Quality Evaluation Model Of Communication System. 278-281. [ Links ]

Wu, J.-Z., & Tiao, P.-J. (2018). A validation scheme for intelligent and effective multiple criteria decision-making. Applied Soft Computing, 68, 866-872. https://doi.org/https://doi.org/10.1016/j.asoc.2017.04.054. [ Links ]

Yang, H. (2012). Measuring Software Product Quality with ISO Standards Base on Fuzzy Logic Technique. 59-67. [ Links ]

Zhang, J., & Zhang, Y. (2020). A multiple criteria decision-making approach for selecting a high-speed train supplier. Journal of Intelligent & Fuzzy Systems, 38(4), 4333-4343. [ Links ]

Financiación

La investigación no requirió de fuentes de financiamiento externo.

Recibido: 18 de Julio de 2023; Aprobado: 24 de Julio de 2023

*Autor para la correspondencia. asvelazquez@uci.cu

El autor autoriza la distribución y uso de su artículo.

Conceptualización: Arlennys Susana Velázquez Hidalgo y Yamilis Fernández Pérez.

Curación de datos: Yamilis Fernández Pérez y Yoandrys Pacheco Jeréz

Análisis formal: Arlennys Susana Velázquez Hidalgo

Investigación: Arlennys Susana Velázquez Hidalgo y Yamilis Fernández Pérez

Metodología: Arlennys Susana Velázquez Hidalgo

Administración del proyecto: Yamilis Fernández Pérez y Yeleny Zulueta Véliz

Recursos: Yoandrys Pacheco Jeréz

Supervisión: Yeleny Zulueta Véliz

Validación: Yeleny Zulueta Véliz

Visualización: Arlennys Susana Velázquez Hidalgo y Yoandrys Pacheco Jeréz

Redacción - borrador original: Arlennys Susana Velázquez Hidalgo

Redacción - revisión y edición: Yamilis Fernández Pérez y Yeleny Zulueta Véliz

Creative Commons License