Evaluación de QoE en servicios IP basada en parámetros de QoS
QoE based QoS parameters evaluation on IP services
Jesús Moya Neyra I, César Alonso Irizar II, Caridad Anías Calderón II
I Unión de Industrias Militares. Cuba. ]]> II Universidad Tecnológica de La Habana José Antonio Echeverría. La Habana, Cuba.
RESUMEN
El crecimiento y amplio despliegue que han tenido los servicios IP que requieren buenos niveles de calidad han impuesto a los proveedores de servicios de telecomunicaciones la tarea de formular procedimientos y métodos para evaluar la forma en que el usuario consume y disfruta los servicios, por lo que la QoE se ha convertido en un tema de estudio recurrente en la actualidad. Uno de los elementos fundamentales para la evaluación exitosa de la QoE consiste en gestionar los valores de QoS por la relación directa que existe entre ellas. Este artículo aborda los principales aspectos de la QoS, su relación con la QoE y con los servicios IP. A partir de esto se propone un procedimiento para la evaluación de la QoE en servicios IP basada en parámetros de QoS y medidas a tomar en caso de deterioro de la misma. Esto se aplica, para su validación y análisis, a un escenario de VoIP.
Palabras claves: QoE, QoS, VoIP, evaluación, procedimiento, método.
ABSTRACT
IP services growth and widespread deployment that require good levels of quality had imposed on telecommunications services providers the task of developing procedures and methods for assessing how the user consumes and enjoy the services, so the QoE has become a frequent topic of study today. One of the main elements for QoE successful evaluation compends on QoS management due to direct relationship with it. This article includes the main aspects of QoS and its relationship with IP services. Regarding this a procedure is proposed with the goal of evaluate QoE based in QoS parameters on IP services, besides actions are proposed if needed for obtaining well QoE values. This is applied, for its validation and analysis, on a VoIP scenary.
Key words: QoE, QoS, VoIP, evaluation, procedure, method.
]]>
1.- INTRODUCCIÓN
Actualmente las investigaciones en los servicios de las redes de telecomunicaciones son muy diversas [1,2]. Las empresas proveedoras de servicios y los fabricantes de equipos de telecomunicaciones están enfrentando una multitud de retos. El valor de recibir un servicio no solo depende del servicio en particular que se recibe sino también de la calidad con que este se brinde. Para lograr un servicio de calidad y minimizar el impacto negativo que puede ocasionar el tráfico en la red es muy importante la gestión de los dispositivos que intervienen en dicho servicio. Pero hoy en día no solo es necesario mantener parámetros de Calidad de Servicio (Quality of Service, QoS por sus siglas en inglés) en la red, sino que comienzan a requerirse otros criterios que tienen en cuenta cómo el cliente experimenta esa calidad que se evalúa. La evaluación de la Calidad de Experiencia (Quality of Experience, QoE por sus siglas en inglés) en servicios del Protocolo de Internet (Internet Protocol, IP por sus siglas en inglés) permite obtener múltiples beneficios tanto a los clientes como a los proveedores de servicios. A los clientes les ayuda a la comparación y elección de productos [3], basados en un criterio en el que no influyen directamente las técnicas de marketing utilizadas actualmente. A los proveedores de servicio les facilita conocer las preferencias y necesidades de sus clientes, permitiéndoles diseñar nuevos servicios y/o productos. Al mismo tiempo los obliga a dar seguimiento a los problemas presentes en el servicio ofrecido, y a una constante superación si pretenden ser competitivos.
Dado que los parámetros de QoS se han estandarizado, las principales investigaciones sobre la estimación de la QoE se basan en demostrar y aprovechar la correlación entre estos dos criterios. Existen diversos métodos [4] que permiten evaluar la QoE en los servicios IP como, por ejemplo, el G.107 del sector Telecomunicaciones de la Unión Internacional de Telecomunicaciones (UIT-T), también conocido como modelo E [5], sin embargo, en relación a los servicios IP, sus requerimientos y las acciones a tomar en caso de resultados desfavorables, se encuentran fuera del alcance de estos métodos. En este trabajo se propone un procedimiento para evaluar la QoE en servicios IP basado en parámetros de QoS.
2.- MATERIALES Y MÉTODOS
Para sustentar la QoS extremo-extremo es importante profundizar en el comportamiento dinámico de las redes, lo que se hace a través de parámetros que pueden ser medidos y monitoreados. Entre los parámetros más importantes, que determinan si se cumple con el nivel de servicio que se ofrece, se encuentran el ancho de banda, el retardo, el jitter y la pérdida de paquetes.
Sin embargo, hoy en día es insuficiente contar solo con objetivos de QoS para diseñar las capacidades de las redes y servicios, por lo que se plantea como nuevo objetivo la QoE del cliente. Varios organismos internacionales [6] han definido la experiencia del usuario, como también se le conoce a la QoE; por ejemplo la Unión Internacional de Telecomunicaciones (UIT) define la calidad de experiencia como: "la aceptabilidad global de una aplicación o un servicio, percibida subjetivamente por el usuario final" [7].
]]> Dado el carácter subjetivo de la QoE, modelar un sistema capaz de dar un resultado objetivo de la misma o al menos proporcionar un estimado comprensible de lo que representa, resulta hoy en día un proceso bastante complejo y una de las mayores limitantes cuando se habla del término de experiencia del usuario. Los principales métodos existentes están divididos en tres categorías: métodos de evaluación subjetivos, métodos de evaluación objetivos y métodos de correlación entre las mediciones subjetivas y objetivas [4]. Usualmente estos métodos utilizan las puntuaciones de los usuarios para representar los resultados [8,9].La evaluación subjetiva de calidad es un método que utiliza equipos de laboratorio, conjuntos de datos, metodologías de prueba y una puntuación determinada para medir la QoE. El fundamento de una evaluación subjetiva de la QoE es conocido como la Puntuación de Opinión Media (Mean Opinion Score, MOS por sus siglas en inglés), que usada por el usuario proporciona una evaluación de calidad [8]. El MOS se basa en la reproducción de muestras (ya sean de video o de voz) a un conjunto de personas cuyas opiniones se puntúan en una escala del 1 al 5 (Tabla 1) en términos de calidad de experiencia y fue originariamente utilizado para ayudar en el diseño, la investigación y el desarrollo de los sistemas digitales de telefonía que convertían la señal de voz analógica en digital y viceversa. El término MOS se ha convertido en un sinónimo de QoE para las llamadas de voz [9,10].
Varias metodologías que utilizan la evaluación de calidad subjetiva han sido estandarizadas en los documentos de la UIT (Figura 1) [11,12].
La evaluación objetiva de la calidad tiene la intención de aplicar una forma automática y confiable para estimar la percepción que tiene un usuario de un servicio. Su meta es alcanzar una buena correlación con métodos subjetivos de evaluación de calidad.
Existen tres modelos disponibles que se emplean para una brindar una evaluación objetiva [13]:
Ninguna referencia, no tiene conocimiento del medio original o del fichero fuente y trata de evaluar las QoE mediante el monitoreo de múltiples parámetros de QoS en tiempo real.
Referencia reducida, tiene conocimiento limitado del medio original y trata de combinarlo con mediciones en tiempo real para llegar a evaluar la QoE.
Referencia completa, tiene acceso total al medio de referencia y es combinado con las mediciones llevadas a cabo en un entorno en tiempo real.
]]> El modelo referencia completa representa la exactitud más alta, pero requiere tener el control sobre los dos extremos implicados en la evaluación. El modelo de ninguna referencia puede ser fácilmente adoptado, sin embargo puede no ofrecer resultados precisos. La referencia reducida promete un beneficio sobre los modelos antes mencionados.Varios métodos objetivos de estimación de QoE son citados en la Figura 2 [14,15].
De estos métodos objetivos, uno de los más utilizados para evaluar las señales de voz resulta el Modelo E (recomendación G.107 de la UIT). Dicho modelo estima la calidad de la conversación percibida por el usuario en las dos vías tradicionales (cuando se habla y cuando se escucha). El mismo requiere de un extensivo conocimiento de los componentes de la red para estimar la satisfacción del usuario así como también necesita valores de parámetros de QoS como latencia y pérdida de paquetes. En esta recomendación, un parámetro conocido como factor R es el que se utiliza para la medición de la QoE (Tabla 2).
La ecuación (1) permite evaluar el modelo E:
Donde:
R: Factor de evaluación de la transmisión
Ro: Radio básico de la señal de ruido ]]>
El hecho de que la QoE se relacione con la experiencia del usuario implica, en parte, una medida psicológica (subjetiva). Sin embargo, es importante para proveedores de servicios de telecomunicaciones expresarla objetivamente en relación al equipamiento, las redes y los servicios que sobre estas se brindan. Combinando la experiencia de los usuarios (subjetiva) y las mediciones (objetiva) puede ser evaluada la QoE. Algunos modelos recientes han mostrado métodos para correlacionar QoE-QoS [4].
Uno de estos métodos lo constituye la hipótesis IQX (Exponential Interdependency of Quality of Experience and Quality of Service), el cual provee un puente entre las medidas subjetivas y objetivas. Markus Fielder [17], su autor, desarrolla una relación cuantitativa genérica entre QoS y QoE. Sobre esta hipótesis puede decirse que es un método poco intrusivo en los resultados ya que encuentra una relación entre QoE-QoS por medio de valores de QoS medidos, los cuales son introducidos en una fórmula exponencial (2) correspondiente a QoE. La limitación fundamental de este método es que la QoE se obtiene basada solamente en el valor de un único parámetro de QoS.
Los valores de α, β, γ son obtenidos mediante regresión no lineal.
También existe el método DQX (Deterministic Quality of Experience) que emplea igualmente una aproximación exponencial, su única diferencia con el método IQX es que se extiende a más de un parámetro de QoS [18].
Otras aproximaciones utilizan diversas técnicas de inteligencia computacional como redes neuronales, sistemas difusos y aprendizaje de máquina combinados con los antes citados [19, 20, 21, 22].
]]> Para la correcta aplicación de los métodos antes mencionados es necesario tener en cuenta también el contexto [23,24] y los requerimientos del mismo, por ejemplo, el servicio al cual será aplicado, los parámetros que definen la calidad de ese servicio, etc. Hacer esto permitirá poder corregir los resultados de la evaluación en caso de que los resultados sean desfavorables.
3.- Evaluación de QoE en servicios IP
Con el objetivo de evaluar la QoE en servicios IP, teniendo en cuenta lo antes planteado, se propone el procedimiento que se muestra en la Figura 3. La caracterización de la red y los servicios es el primer bloque de la propuesta y posee gran importancia, pues de su correcta realización dependerá que el resto del procedimiento fluya adecuadamente y que los resultados obtenidos se correspondan con los esperados de acuerdo al escenario que se analice.
Caracterizar la red no es más que ofrecer una descripción global de la composición, disposición y función de los elementos que la conforman para así tener conocimiento del tipo de red en la que se actúa y con ello, a priori, comprender qué tipos de servicios se pueden brindar sobre ella.
El conocimiento de los servicios IP es muy importante pues indica los tipos de tráficos presentes en la red que se analiza y permite clasificarlos. En este análisis se debe hacer un importante énfasis en los servicios multimedia, ya que son los que mayores tráficos agregan a la red, encontrándose entre los que más requerimientos tienen.
La elección de un servicio está dada por el interés particular que se tenga en evaluar el desempeño del mismo. Se recomienda, como parte de la propuesta, centrarse en la evaluación de uno solo cada vez, debido a que la obtención de valores de los parámetros deseados podría complejizarse al evaluar más de un servicio a la vez con las herramientas existentes.
Luego de haber seleccionado el servicio sobre el cual se evaluará la QoE se deben determinar los parámetros de QoS a emplear para su posterior evaluación. Si los resultados al evaluar la QoS no fueran adecuados sería necesario aplicar alguno de los mecanismos de QoS existentes como, por ejemplo, marcado y priorización de tráfico, disciplinas de colas, etc.
]]> En el contexto de los modelos de correlación QoS/QoE, la mayoría de los modelos de estimación de QoE utilizan un método de coeficientes para mapear la relación entre el patrón de entrada (parámetros de QoS) y la salida (QoE) [4]. Este paso es necesario ya que existen parámetros de calidad generales, como la demora, el jitter y la pérdida de paquetes; y otros que son intrínsecos al servicio, como la tasa de llamadas exitosas en el caso de VoIP, por lo que tenerlos bien definidos ayuda a escoger el método o herramienta que se utilizará para obtener los valores de dichos parámetros.Posterior a la selección de un método de evaluación de QoE de los antes mencionados se procede a evaluar este resultado. Por lo general los valores de QoE se presentan en la escala del sistema de medición MOS, muy difundido. En caso de que los resultados fueran desfavorables será necesario entonces proponer acciones para mejorarla, entre las que pudieran encontrarse un análisis propiamente del servicio ya que este constituye uno de los factores que influyen en las mediciones de la QoE. Sin embargo, al ser la evaluación en tiempo real, ante cualquier medida será necesario obtener nuevamente los valores de los parámetros de QoS para hacer una evaluación de QoE.
4.- VALIDACIÓN
Para validar el procedimiento planteado se creó el escenario de VoIP que se muestra en la Figura 4, compuesto por una PBX VoIP utilizando la distribución Trixbox que incluye Asterisk y dos máquinas virtuales en Windows 7 con el softphone X-Lite previamente instalado, que se comunican a través del Punto de Acceso (Access Point, AP por sus siglas en inglés) inalámbrico.
En este escenario coexiste primeramente el tráfico de voz con otros tipos de tráfico y luego, manteniendo estos tráficos, se implementa en el AP el mecanismo de QoS WMM (WiFi Multimedia) también conocido como Wireless QoS para priorizar los paquetes de voz [25,26]. El mismo define cuatro categorías de acceso para diferentes tipos de tráfico: WMM Voice Priority, WMM Video Priority, WMM Best Effort Priority y WMM Background Priority, donde el tráfico de voz ocupa la prioridad más alta y le siguen el resto en orden descendente. Fabricantes como Cisco [27] y Huawei [28] lo implementan.
El trabajo de [29] realiza un análisis de los valores óptimos para los parámetros de WMM con el objetivo de obtener un mejor rendimiento en el AP mientras que [30] propone una aplicación para que el usuario decida las prioridades que tendrán sus tráficos. Por otra parte [31] plantea que la QoE se ve afectada cuando existen más de diez llamadas activas sobre el mismo AP.
La captura de paquetes se realizó con el analizador de protocolos Wireshark.Los valores obtenidos se muestran en la Tabla 3.
]]>
Como puede apreciarse en la tabla anterior, la QoS de la voz se deteriora cuando existen otros tipos de tráfico en la red que compiten por un mismo recurso limitado, en este caso el ancho de banda. Sin embargo, al aplicar un mecanismo de QoS que priorice los paquetes de voz sobre el resto, se restablecen estos valores.
Con los datos obtenidos se empleó el Modelo-E para evaluar la QoE. Este modelo está orientado a VoIP y, empleando herramientas de software, se pueden obtener resultados cuantitativos y fiables.
Para resolver el Modelo-E y hallar la QoE se usó el asistente matemático MATLAB. Los valores de Ro, Is, Id e Ie-eff se calculan de acuerdo a [3]. Para el escenario de la Figura 4, en el que existe tráfico adicional al de voz y no se implementa QoS, el valor de QoE en la escala MOS fue de 1.12 (Malo) (Figura 5) mientras que al aplicar un mecanismo de QoS ese valor se elevó hasta 4.12 (Bueno) (Figura 6).
Con estos resultados, además de corroborar la relación existente entre los parámetros de QoS y la evaluación de QoE, y demostrar las variaciones que esta última puede sufrir según las condiciones de tráfico que experimente la red, se aprecia el resultado que produce el empleo de un mecanismo de QoS pudiendo mejorar la evaluación de la QoE, en caso de que esta última no sea afectada por otros factores.
5.- CONCLUSIONES
]]> La estimación y gestión de la QoE se ha convertido en un elemento que cobra cada vez más importancia para los proveedores de servicios de telecomunicaciones, ya que esta constituye un reflejo de la aceptación u opinión que tienen los usuarios sobre los servicios que consumen.
En este artículo, a partir del procedimiento propuesto se evalúa la opinión subjetiva de los usuarios basada en parámetros de QoS, lo que permite la toma de decisiones con el objetivo de prevenir el rechazo del servicio por parte de dichos usuarios. Para ello, algunos de los aspectos más importantes a tener en cuenta son: la optimización y expansión de la infraestructura de red y las características y funcionalidades del equipamiento empleado.
Para el escenario utilizado se comprobó que el empleo del mecanismo WMM para redes inalámbricas contribuyó a mejorar la QoE. Como trabajo futuro resulta importante considerar los mecanismos de QoS que puedan ser implementados y cuáles pueden producir mejores resultados en cuanto a la evaluación de QoE.
REFERENCIAS
1. Cabrera GG, Calderón CA. Sistema para la gestión en redes no comerciales de los SLA en la etapa de ejecución. Revista de Ingeniería Electrónica, Automática y Comunicaciones. 2016;37 (2):39-53.
2. Pupo IL, Carrodeguas AL, Calderón CA. Propuesta de Integración Comercial de los servicios de las Redes Inteligentes de Etecsa. Revista de Ingeniería Electrónica, Automática y Comunicaciones. 2016;37 (2):82-93.
]]>3. Mitra K, Zaslavsky A, Åhlund C. Qoe modelling, measurement and prediction: A review. arXiv preprint arXiv:14106952. 2014.
4. Alreshoodi M, Woods J. Survey on QoE\QoS correlation models for multimedia services. arXiv preprint arXiv:13060221. 2013.
5. Bergstra JA, Middelburg C. ITU-T Recommendation G. 107: The E-Model, a computational model for use in transmission planning. 2003.
6. Brunnström K, Beker SA, De Moor K, Dooms A, Egger S, Garcia MN, et al. Qualinet white paper on definitions of quality of experience. 2013.
7. Lee C. How to increase qos/qoe of ip-based platform (s) to regionally agreed standards. Technical Paper, Telecommunication Standardization Sector of ITU. 2013.
]]>8. Abhishek B. Quality of experience evaluation of voice communication: an affect-based approach. Human-centric computing and information sciences. 2012.
9. Upadhyaya B, Zou Y, Keivanloo I, Ng J. Quality of Experience: User's Perception about Web Services. IEEE Transactions on Services Computing. 2015;8(3):410-21.
10. Seppänen J, Varela M, Sgora A. An autonomous QoE-driven network management framework. Journal of Visual Communication and Image Representation. 2014;25(3):565-77.
11. International Telecommunication Union. Recommendation I. 800, Methods for subjective determination of transmission quality. International Telecommunication Union. 1996.
12. International Telecommunication Union. Recommendation ITU-R BS.1116-1. International Telecommunication Union. 1997.
]]>13. Kuipers F, Kooij R, De Vleeschauwer D, Brunnström K, editors. Techniques for measuring quality of experience. International Conference on Wired/Wireless Internet Communications; 2010: Springer.
14. Union Internacional de Telecomunicaciones. RECOMENDACIÓN UIT-R BT.500-11. Union Internacional de Telecomunicaciones. 2002.
15. Kwon D, Thay R, Kim H, Ju H. Qoe-based adaptive mvoip service architecture in sdn networks. ICN 2014. 2014:73.
16. Assem H, Malone D, Dunne J, O'Sullivan P, editors. Monitoring VoIP call quality using improved simplified E-model. Computing, networking and communications (ICNC), 2013 international conference on; 2013: IEEE.
17. Fiedler M, Hossfeld T, Tran-Gia P. A generic quantitative relationship between quality of experience and quality of service. IEEE Network. 2010;24(2).
]]>18. Tsiaras C, Stiller B, editors. A deterministic QoE formalization of user satisfaction demands (DQX). Local Computer Networks (LCN), 2014 IEEE 39th Conference on; 2014: IEEE.
19. Oyetade D, Elizabeth O. Voice Quality Evaluation of a Call Using Fuzzy Logic. International Journal of Networks and Communications. 2012.
20. Rivera S, Riveros H, Ariza-Porras C, Lozano-Garzon C, Donoso Y, editors. QoS-QoE correlation neural network modeling for mobile internet services. Computing, Management and Telecommunications (ComManTel), 2013 International Conference on; 2013: IEEE.
21. Mushtaq MS, Augustin B, Mellouk A, editors. Empirical study based on machine learning approach to assess the QoS/QoE correlation. Networks and Optical Communications (NOC), 2012 17th European Conference on; 2012: IEEE.
22. Mansouri T, Nabavi A, Ravasan AZ, Ahangarbahan H. A practical model for ensemble estimation of QoS and QoE in VoIP services via fuzzy inference systems and fuzzy evidence theory. Telecommunication Systems. 2016;61(4):861-73.
]]>23. Reiter U, Brunnström K, De Moor K, Larabi MC, Pereira M, Pinheiro A, et al. Factors influencing quality of experience. Quality of experience: Springer; 2014. p. 55-72.
24. Amour L, Souihi S, Hoceini S, Mellouk A, editors. A hierarchical classification model of qoe influence factors. International Conference on Wired/Wireless Internet Communication; 2015: Springer.
25. Alliance W-F. Wi-Fi CERTIFIEDTM for WMMTM-Support for multimedia applications with quality of service in Wi-Fi® networks. Austin, Wi-Fi Alliance. 2004.
26. O Flaithearta P. Optimizing the QoS of VoIP applications over WiFi through use of synchronized time. 2015.
27. Cisco Systems. Configuring QoS in a Wireless Environment. 2008.
]]>28. Huawei Technologies Co., LTD. Configuration Guide-WLAN: Huawei AR1200 Series Enterprise Routers. 2012.
29. Bellalta B. Flow-level QoS guarantees in IEEE 802.11 e EDCA-based WLANs: Universitat Pompeu Fabra; 2006.
30. Spenst A. A user-centric QoS management system for wireless home networks. 2009.
31. Mlinarsky F. Metrics and Methods Bring VoWLAN Success. Wireless Systems Design Mar. 2005.
]]> Recibido: 13 de marzo del 2017
César Alonso Irízar, Universidad Tecnológica de La Habana José Antonio Echeverría. Correo electrónico: cesar.860709@gmail.com
]]>
