Introducción
La transformación digital de procesos en las empresas ha incentivado el auge de la industria del software. En este marco, la aseguración de calidad del producto final es un factor clave e indispensable de los desarrolladores para satisfacer las necesidades de los clientes (Soraluz Soraluz, Valles Coral y Lévano Rodríguez, 2021). Sin embargo, no siempre es considerado prioridad, debido a la complejidad del software o incertidumbre en asignación de recursos (Utku y Şahin, 2019). Standish Group reportó que el 71% de proyectos de software desarrollados en grandes y medianas empresas resultan fallidos, dado a las entregas a destiempo, exceso de presupuesto y el incumplimiento de requisitos (Blanquicett, Bonfante y Acosta-Solano, 2018).
En México, Sanabria Landazábal et al. (2018) señalan que en la industria del software se evidencia un índice de capacidad de innovación regular en lo que respecta el desarrollo de competencias (77%), y bajo índice en productos innovadores (8%) y circulación de conocimiento (15%), a partir de una encuesta a 44 empresas del Centro de Software en el Estado de Jalisco; siendo la baja adaptación a demandas y la producción básica e insuficiente, causas del estancamiento comercial (Schatan y Enríquez, 2016). Asimismo, manifiestan que el aseguramiento de calidad representa el 25% de atención en el proceso de desarrollo, que, en términos relativos, afecta la capacidad de mantenerse en el mercado competitivo.
Entre las principales razones de la baja aseguración de calidad del software en la industria tecnológica, destacan el costo y el tiempo que involucra la realización de pruebas de calidad, además de la diversidad de estándares (ISO 9000, ISO/IEC 25000, CMMI, COBIT, etc.) que generan en las organizaciones incertidumbre para tomar decisiones sobre su selección y aplicación (Díaz Patterson y Silega Martínez, 2021). Se suma el desconocimiento de metodologías o criterios técnicos y contextuales de desarrollo que se adapten a los requisitos complejos y a la planificación de proyectos inflexibles (Jafari y Dinarvand, 2021).
Existen diferentes enfoques para medir la calidad del software, como la evaluación del proceso, producto, equipo y/o persona, y desarrollo. Para ello, es pertinente definir criterios basados en estándares que aseguren el cumplimiento de objetivos organizacionales y la satisfacción de los usuarios finales (Aizprua, Ortega y Von Chong, 2019). Este último, se encuentra ligado a la usabilidad, y es el proceso de mayor atención en las evaluaciones y análisis de calidad, ya que evidencian los inconvenientes de la utilización del software que son tomados de referencias por los desarrolladores para asegurar la calidad del producto final (Castro et al., 2019; García Toribio et al., 2019).
Ahora bien, en el contexto peruano, la Encuesta Económica Anual realizada por el Instituto Nacional de Estadística e Informática, expone que el 39.8% de empresas utilizan software propietario o privado, el 19% software libre y 12.4% emplean software propio desarrollados para cubrir necesidades específicas. Los tipos de software propietarios más utilizados según actividad económica son los sistemas de hidrocarburos (77.7%) y suministro de electricidad (62%). Las industrias manufactureras y de comercio al por mayor y al por menor, representan el 45.2% y 35.9%, respectivamente. Cabe precisar que en todos estos sectores se emplean software libre y propio (INEI, 2018).
De lo anterior, se infiere que en Perú existe una creciente demanda de software, sin embargo, la literatura exhibe pocos estudios orientados a la evaluación de calidad en uso, siendo los sistemas transaccionales de ventas o sistemas de aplicación de negocios los menos investigados en la comunidad académica-científica. Esto justifica la ejecución del presente proyecto ya que se considera una iniciativa para contribuir a la línea de investigación de pruebas de software y aportar a la industria de software peruano el uso de estándares para el aseguramiento de calidad.
En este panorama, se tuvo como objetivo evaluar la calidad en uso del software transaccional de ventas SYSFACT mediante la aplicación del estándar ISO/IEC 25000. SYSFACT es ampliamente utilizado en las pymes peruanas de diferentes rubros y tiene gran demanda en la región de San Martín, empero, aún no se realizaron pruebas de calidad relacionados a la usabilidad del sistema, razón alguna que conllevó a los investigadores determinar la calidad en uso a través de este caso de estudio.
Métodos o Metodología Computacional
La investigación fue descriptiva, de diseño no experimental y corte transversal, puesto que la evaluación del sistema transaccional SYSFACT se efectuó en un momento único (octubre 2021) sin manipulación de las dimensiones, mediante el estándar ISO/IEC 25000 para sistemas de aplicación de negocios. La unidad de análisis correspondió al proceso de usabilidad del software. Para ello, se empleó la técnica de observación directa y se utilizó una ficha de métricas de calidad como instrumento definido por los investigadores y fundamentadas en los estudios de Reina Guaña, Patiño Rosado y Quijosaca (2019); Arévalo-Hermida, Mieles-Bachicoria y Vera-Paucar (2020); Pompa Hechavarria et al. (2021) y Quiña-Mera, Fernández-Montes, et al. (2021).
SYSFACT es un sistema desarrollado en Vue.js, Laravel y PHP; bajo una arquitectura cliente/servidor y base de datos MySql. La arquitectura de escritorio local funciona con el emulador Laragon que ejecuta HeidiSQL. En la web funciona en un VPS enlazado a dominiodelcliente.sisfactperu.com.
Se seleccionaron las características de efectividad, eficiencia y satisfacción de la sección ISO/IEC 25010, y las subcaracterísticas de efectividad, eficiencia y utilidad respectivamente; para ser analizados en el proceso de evaluación de la calidad en uso, ya que son consideradas las de mayor nivel de importancia. En relación a las mediciones se emplearon las métricas de la ISO/IEC 25022 (Reina Guaña, Patiño Rosado y Quijosaca, 2019; Balseca, 2014).
Respecto a la efectividad se evaluaron las métricas de completitud de la tarea y efectividad de la tarea. En la subcaracterística de eficiencia se consideraron el tiempo de la tarea, el tiempo relativo de la tarea y la eficiencia relativa de la tarea. Finalmente, la utilidad se determinó a partir de las métricas del nivel de satisfacción, uso discrecional de las funciones y porcentaje de quejas de los clientes. Las especificaciones de los atributos evaluados pueden ser requeridas al autor de correspondencia.
Basados en los estándares antes mencionados, se definieron las escalas de medición cuantitativas utilizadas para el análisis de los resultados de la evaluación de la calidad en uso del sistema SYSFACT, y posteriormente definir el nivel de puntuación y el grado de satisfacción según cuatro rangos cualitativos (tabla 1). Los datos obtenidos de la evaluación se tabularon y procesaron en hojas de cálculo de Excel.
Resultados y discusión
La tabla 2 expone los resultados de la evaluación de la sub característica efectividad. Se obtuvo una ponderación y valoración parcial de 10 para las dos métricas (completitud de la tarea y efectividad de la tarea), que dado al porcentaje de importancia (30%), el valor final fue 3.
Resultados inferiores de efectividad de la tarea fue encontrado por Reina Guaña, Patiño Rosado y Quijosaca (2019) con promedio de 9.045 a un nivel de importancia del 30%, en un sistema web/móvil de control de asistencia a clases. Por su parte Arévalo-Hermida, Mieles-Bachicoria y Vera-Paucar (2020), determinaron una valoración total del 60.04% a un nivel de importancia del 20% de la efectividad de un sistema educativo.
Cabe señalar que las discusiones de los resultados frente a otras evaluaciones de calidad en uso de sistemas informáticos se efectuaron según el estándar aplicado en el presente estudio, pero con diferentes agentes evaluadores, rangos de puntuación y software, pues los estudios varían según criterios y objetivos de los investigadores para seleccionar las métricas, los porcentajes de importancia, entre otros atributos.
Efectividad | Completitud de la tarea | 10 | 10 | 30% | 3 |
Efectividad de la tarea | 10 |
Fuente. Elaboración propia.
La evaluación de la eficiencia del sistema SYSFACT arrojó valores ponderados de 5.5, 5 y 6.8 para las métricas de tiempo de la tarea, tiempo relativo de la tarea y eficiencia relativa de la tarea respectivamente (tabla 3); haciendo un valor parcial total de 5.7, y debido al porcentaje de importancia del 30%, se obtuvo 1.71 de valoración final.
La evaluación de la eficiencia de un sistema de mapeo de estudios a un nivel de importancia del 32% realizado por Quiña-Mera, Fernández-Montes, et al. (2021), presentó valores de 0.78 de tiempo de la tarea y 0.80 de eficiencia de la tarea. Por otra parte, el estudio de Reina Guaña, Patiño Rosado y Quijosaca (2019), determinó una ponderación de 5 para el tiempo de tarea y 6.67 de eficiencia de la tarea en un sistema de registro de asistencia. Estos valores varían del presente estudio debido al producto software.
Eficiencia | Tiempo de la tarea | 5.5 | 5.7 | 30% | 1.71 |
Tiempo relativo de la tarea | 5 | ||||
Eficiencia relativa de la tare | 6.8 |
Fuente. Elaboración propia.
La tabla 4 muestra los resultados de la evaluación de satisfacción del sistema. El uso discrecional de las funciones tuvo la mayor ponderación (9), seguido del nivel de satisfacción (9) y con menor valoración, el porcentaje de quejas de los clientes (1). Estos valores difieren de lo encontrado por Reina Guaña, Patiño Rosado y Quijosaca (2019), quienes evidenciaron un nivel de satisfacción de 8.59, el uso discrecional de las funciones con 8.18 y el porcentaje de quejas de los usuarios de 9.14. El nivel de importancia entre ambas evaluaciones de satisfacción tiene una diferencia del 10%.
Utilidad | Nivel de satisfacción | 9 | 9.3 | 40% | 3.72 |
Uso discrecional de las funciones | 10 | ||||
Porcentaje de quejas de los clientes | 1 |
Fuente. Elaboración propia.
En resumen, la evaluación de calidad en uso del sistema SYSFACT, descompuesto por las características de efectividad, eficiencia y satisfacción, según el estándar ISO/IEC 25000, fueron 3, 1.47 y 3.60 respectivamente (tabla 5), obteniendo un valor de 8.43/10 (84.3%), que posiciona al sistema en el nivel aceptable con un grado de satisfacción satisfactorio (tabla 6).
Estos resultados permiten inferir que a nivel de uso del SYSFACT, los usuarios se encontrarían satisfechos con la utilización del sistema. Sin embargo, también hay que destacar que el resultado obtenido en la característica eficiencia no es el que se desearía, debido a que el tiempo que demora un usuario al ejecutar una tarea es largo.
Efectividad | 10 | 30% | 3 | 8.43 |
Eficiencia | 5.7 | 30% | 1.71 | |
Satisfacción | 9.3 | 40% | 3.72 |
Fuente. Elaboración propia.
8.43 | 5 - 8.74 | Aceptable | Satisfactorio |
Fuente. Elaboración propia.
Estudios como el de Ramos et al. (2018), evaluaron la calidad en uso de dos aplicaciones de mensajería en una institución gubernamental de Ecuador denominamos OWA (Outlook Web Access) y Thunderbird, en el que obtuvieron valores de 8.5/10 (85%) y 8.8/10 (88%) respectivamente, indicando para ambos casos un nivel muy satisfactorio. Del mismo modo concluyó Reina Guaña, Patiño Rosado y Quijosaca (2019), quienes al evaluar un sistema web/móvil de registro para asistencia desde la perspectiva de los estudiantes y docentes, mostraron que el sistema cumplió al 83.8% la calidad en uso. Por otra parte, Arévalo-Hermida, Mieles-Bachicoria y Vera-Paucar (2020), detectaron una calidad en uso de 70.01% en un sistema educativo, siendo aceptable y satisfactorio.
Es pertinente considerar que un producto software puede ser evaluado por diferentes métodos o metodologías independiente de los estándares de evaluación de la calidad (Cruz et al., 2020; Zhao et al., 2017). La presente investigación consideró utilizar el estándar ISO/IEC 25000 por brindar credibilidad a los resultados, ya que las métricas de calidad son estandarizadas, validadas por profesionales expertos y utilizadas ampliamente en la literatura (Quiña-Mera, Granda, et al., 2021; Souza-Pereira, Ouhbi y Pombo, 2021; Liu et al., 2018; Valdes-Souto, Nunez-Varela y Perez-Gonzalez, 2019). Además, el estudio constituye el primer acercamiento a la evaluación de la calidad en uso de sistemas de aplicación de negocios (transaccional de ventas) en el contexto peruano.
Conclusiones
La calidad en uso del sistema SYSFACT presenta un nivel aceptable de grado satisfactorio para los usuarios, valorizado en 8.43 de 10 (84.3%) a través del estándar ISO/IEC 25000. Las características de efectividad, eficiencia y satisfacción fueron de 10 (100%), 5.7 (57%) y 9.3 (93%), a un nivel de importancia del 30%, 30% y 40%, respectivamente. La eficiencia es la dimensión de menor puntuación, reflejando la máxima contribución al déficit (15.7%) del sistema SYSFACT. Hecho que conduce a recomendar futuros proyectos enfocados en asegurar la calidad en uso del software, además de ampliar investigaciones de evaluaciones de calidad de productos peruanos bajo estándares que se adecuen a las necesidades de las empresas desarrolladoras.