Mi SciELO
Servicios Personalizados
Articulo
Indicadores
- Citado por SciELO
Links relacionados
- Similares en SciELO
Compartir
Revista Cubana de Informática Médica
versión On-line ISSN 1684-1859
RCIM vol.8 no.1 Ciudad de la Habana ene.-jun. 2016
ARTÍCULO ORIGINAL
Métodos computacionales para estudio de la anemia drepanocítica
Study of sickle cell anemia using computacional methods
Dr. C. Silena Herold-Garcia,I Ms. C. Pedro Marrero-Fernández,II Lic. Fidel Guerrero-Peña,III Dr. C. Ximo Gual-Arnau,IV Dr. C. Arquímedes Montoya-Pedrón,V Dr. C. Antoni Jaume-i-CapóVI
I Profesora Titular, Universidad de Oriente, Santiago de Cuba, Patricio Lumumba S/N Santiago de Cuba. E-mail: silena@uo.edu.cu
II Profesor Asistente, Universidad de Oriente, Santiago de Cuba, Patricio Lumumba S/N Santiago de Cuba. E-mail: pedrodiamel@gmail.com
III Profesor Instructor, Universidad de Oriente, Santiago de Cuba, Patricio Lumumba S/N Santiago de Cuba. E-mail: fillo8985@gmail.com
IV Profesor Titular, Universidad Jaume I, Castellón, España. email: gual@uji.es
V Especialista 2do Grado Neurofisiología Clínica, Hospital Clínico Quirúrgico, Santiago de Cuba. E-mail: arqui@medired.scu.sld.cu
VI Profesor Titular, Universitat de les Illes Ballears, España. E-mail: antoni.jaume@uib.es
RESUMEN
El procesamiento de imágenes digitales y la visión por computador son ampliamente utilizados en medicina actualmente y son de gran interés las propuestas de nuevos métodos de análisis automatizado de imágenes digitales o mejorar la eficiencia de los existentes. En este trabajo se desarrollaron métodos nuevos para estudiar computacionalmente a través de imágenes de muestras de sangre la drepanocitosis, dolencia con alta incidencia mundial y en Cuba, sobre todo en la región oriental. Se propusieron nuevos métodos de análisis de formas, obtenidos a partir de resultados clásicos de geometría integral y nuevas propuestas de visión por computador para evaluar trastornos neurofisiológicos asociados a través del estudio de las expresiones faciales del paciente. La validación estadística realizada comprobó la superioridad de estos métodos sobre otros, se determinó que son válidos para ser introducidos en software de apoyo para mejorar la calidad de la atención médica.
Palabras clave: análisis de forma, análisis de expresiones faciales, drepanocitosis.
ABSTRACT
Digital image processing and computer vision are frequently used in medicine at present and the proposals of new methods of automatic analysis of digital images or the efficiency improvement of the existing are of great interest. In this work new methods to computationally study sickle cell disease through blood samples images are developed, an illness with high incidence in the world and in Cuba, mainly in the eastern region. New shape analysis methods obtained from classical results of integral geometry and new computer vision proposals for evaluate neuro physiological disorders associated with this illness through the study of the facial expressions of the patient were proposed. The statistical validation realized confirmed the superiority of these methods on previous proposals, which is why they are valid to be introduced in support software to improve the quality of the medical attention.
Key words: shape analysis, facial expression analysis, sickle cell disease.
INTRODUCCIÓN
En medicina y salud el empleo de imágenes está muy extendido y es imprescindible su utilización para el diagnóstico clínico. Existen varias enfermedades que provocan deformaciones en estructuras del cuerpo humano, por lo que entre las características a estudiar en una imagen está la forma de las estructuras presentes. Una de estas enfermedades es la anemia drepanocítica, muy frecuente en el mundo y que provoca una alteración morfológica de los eritrocitos, que pierden su forma de donut característica y adquieren un aspecto semilunar, se genera anemia y obstrucción de los vasos sanguíneos que pueden producir infartos en los órganos, crisis de dolor, infecciones bacterianas graves y necrosis, retraso del crecimiento, trastornos del sistema nervioso central, entre otras manifestaciones. En su Nota Descriptiva N°. 308 de Enero de 2011 la Organización Mundial de la Salud (OMS) señala que aproximadamente un 5 % de la población mundial es portadora de la enfermedad, en algunas regiones es mayor la incidencia y con los procesos migratorios estos trastornos se han difundido a la mayoría de los países. En Cuba es una enfermedad común, se reporta el 3.1 % de la población como portadora y en la región oriental se incrementa al 8 % de la población.1 El objetivo de este trabajo es proponer nuevos métodos para estudiar desde el punto de vista computacional esta enfermedad, tanto en la clasificación de eritrocitos normales y elongados en las imágenes de las muestras de sangre como en el estudio de trastornos asociados a la enfermedad utilizando métodos de visión por computador.
El seguimiento del paciente incluye, entre otras acciones, la observación de muestras de sangre en el microscopio para la valoración de la deformación celular. Esto presenta varios problemas que van, desde la variabilidad de criterios entre especialistas, la dificultad para establecer un estándar de evaluación y que es un proceso engorroso y propenso a errores, con un alto costo de tiempo y la necesidad de un personal especializado para desarrollarlo. La automatización de este proceso ya ha tenido varios estudios previos, que han permitido demostrar que el método es relativamente rápido y reproducible para distintos pacientes, además de ser superior a la inspección humana para la clasificación celular.2,3 En las imágenes de las muestras de sangre se pueden hallar además casos de solapamientos celulares, que se corresponden a células que se superponen unas con otras, debido a la propia forma de preparación de la muestra. En4,5 se propone el estudio de estos casos de agrupamientos mediante la detección de puntos cóncavos en el contorno, que indican las áreas de superposición de los objetos, pero estos métodos por las definiciones que plantean no son eficientes en el análisis de células elongadas. Los resultados de clasificación de eritrocitos respecto a su forma son mejorados con el empleo de funciones propuestas en este trabajo, basadas en geometría integral, que permiten considerar incluso pequeñas variaciones en la forma. Respecto a los solapamientos los métodos propuestos en este trabajo emplean una nueva forma de determinar la curvatura del contorno y detectar los puntos cóncavos para posteriormente utilizar ajuste de elipses en el análisis de la forma de los objetos y considerar las células elongadas.
Otra de las acciones que se realizan como parte del seguimiento de los pacientes es la atención por un equipo multidisciplinario para lograr la rehabilitación de las afectaciones neurofisiológicas generadas por los eventos vasoclusivos que pueda generar la enfermedad. En este trabajo se propone un nuevo enfoque para estudiar posibles trastornos neurofaciales que pueden ser generados, a partir de los cambios morfológicos en las expresiones faciales del paciente, una rama en la que hasta donde conocemos no han sido reportados resultados en la literatura. Esta propuesta se basa en el empleo de un sensor Kinect para obtener imágenes de expresiones faciales de los pacientes, que puedan ser estudia das con métodos de visión por computador.
MATERIALES Y MÉTODOS
El desarrollo de las investigaciones contó con la interacción de dos especialistas del Hospital General Clínico Quirúrgico "Dr. Juan Bruno Zayas" de Santiago de Cuba, pertenecientes a los servicios de Laboratorio de Hematología Especial y Neurofisiología Clínica, que fueron los encargados de interactuar con los pacientes. En el primer caso para tomar las muestras de sangre y prepararlas, así como posteriormente analizarlas de forma manual para clasificar las células en normales, elongadas o con otras deformaciones. En el segundo caso el especialista interactuó en el proceso de determinación de la correlación entre las señales de la expresión facial y del electroencefalograma del paciente, así como de preparar las condiciones necesarias para tomar las imágenes necesarias en el estudio realizado. El criterio de ambos especialistas fue empleado como criterio experto para la validación de los resultados de la aplicación de los métodos propuestos.
Las imágenes de sangre empleadas se tomaron de muestras que se prepararon por extensión o frotis, dejando secar y posteriormente lavándose con agua destilada. Se fijaron con alcohol puro y se empleó Giemsa para teñir, siendo nuevamente lavadas y secadas durante 20 minutos. Se obtuvieron 45 imágenes de distintos campos de 17 muestras preparadas. Para comprobar la eficiencia de los métodos de clasificación propuestos se delimitaron imágenes de células individuales a partir de la clasificación realizada por la especialista, de tamaño 80 x 80 píxeles, de la siguiente forma: 202 imágenes de células normales, 210 imágenes de células elongadas y 211 imágenes de células con otras deformaciones. Estas imágenes de células individuales fueron empleadas para los procesos de clasificación supervisada realizados, empleando como descriptores de formas las funciones propuestas en la investigación. En la figura 1 se muestran ejemplos de las mismas.
Funciones empleadas para análisis morfológico
Entre las funciones empleadas para obtener propiedades cuantitativas referentes a una determinada forma o conjunto plano se encuentra la función soporte,6 que aunque ha sido definida para conjuntos planos en general, realmente es empleada frecuentemente para describir conjuntos convexos debido a que son determinados de forma única por la representación de la función soporte que les corresponda.6 En la Figura 2a) se muestra la representación de esta función, definida como sigue:
Considerando una línea en el plano determinada por . La función soporte de D, dominio compacto en , se define como:
Es decir, tomando una línea que parte desde el punto de referencia O con una inclinación correspondiente a un ángulo y considerando otra línea perpendicular a esta en el plano, la función soporte es la distancia p que existe desde el punto de referencia O a la línea perpendicular cuando esta se encuentra tangente al conjunto D.
En el caso de los conjuntos no convexos la función soporte coincide con la función soporte de la envoltura convexa del conjunto, por lo que existen distintos conjuntos no convexos que tienen la misma función soporte. Una definición alternativa de la función soporte para conjuntos no convexos es la función soporte generalizada,7 que es la que empleamos en este trabajo para describir formas no convexas. En la figura 2b) se muestra la representación de esta función, definida como sigue:
Considerando una línea en el plano determinada por . La función soporte de D considera que , es decir, la línea solo intersecta al dominio compacto en en su frontera. En el caso de la función soporte generalizada se considera la intersección que genera esta línea con el dominio D, es decir , y que tenga una longitud específica , que en el caso de la función soporte . Se define entonces para
Donde es el mayor valor de que puede encontrarse para un determinado, como se representa en la figura 2c).
Esta función tiene dos parámetros y , pero no siempre se necesita toda esta información para obtener un criterio sobre la forma del conjunto. En este caso se valora la opción de integrar la función respecto al parámetro , e introducir un peso en la función resultante representado por la cantidad de valores de existentes en cada ángulo . La función obtenida se denomina soporte generalizada integrada ponderada8 y se define como sigue:
Se propone además otra función que sigue el mismo principio de la función pero que en vez de considerar para la integración a que es la longitud de la cuerda que genera la intersección de la línea con el conjunto, considera la distancia a la cual se encuentra esta cuerda de longitud . Esta nueva función, denominada descriptor de Crofton,9 se define como sigue:
Donde es la longitud de la intersección .
Por último, para el análisis morfológico de los casos de solapamientos celulares que se pueden encontrar en las muestras de sangre valoradas se propuso una nueva forma para calcular la curvatura del contorno, que se emplea para detectar puntos de interés correspondientes a los puntos del contorno donde hay colisión en bordes de células superpuestas. A partir de estos puntos se aplica un ajuste de elipses y se detectan las células circulares y elongadas que se encuentran en el agrupamiento celular.10 Las pruebas se realizaron en agrupamientos de hasta cuatro elementos.
Métodos de visión por computador empleados
Las crisis de anemia drepanocítica constituyen una complicación potencialmente mortal. Las manifestaciones clínicas se relacionan con la hemólisis crónica que produce anemia e ictericia y las oclusiones vasculares que son responsables de la mayor parte de los hallazgos clínicos. Estas oclusiones generan dolor intenso, infecciones bacterianas a repetición y episodios de infartos en músculos, médula ósea y órganos, que pueden estar asociados a trastornos del sistema nervioso central y neurofisiológicos en los pacientes, incluidos los accidentes cerebrovasculares, que pueden generar trastornos neurofaciales. Estos trastornos pueden ser estudiados desde el punto de vista de los cambios morfológicos en las expresiones faciales del paciente, una rama en la que hasta donde conocemos no existen reportes asociados a la anemia drepanocítica en la literatura. El estado del arte de reconocimiento automático de emociones realizado como paso inicial a esta investigación11 demuestra la actualidad y gran actividad existente en este campo de investigaciones. Esto confirma que las investigaciones que se realicen en el campo del reconocimiento automático de emociones a través del estudio de las expresiones faciales asociadas a trastornos provocados por la anemia drepanocítica es un campo novedoso donde puede aportarse nuevo conocimiento desde el punto de vista computacional de esta enfermedad.
En esta parte del estudio se utilizó un sensor Microsoft Kinect para obtener imágenes de expresiones faciales de los pacientes. Este sensor es un dispositivo que capta escenas 3D y que inicialmente fue vendido como un accesorio de la consola de videojuegos Microsoft Xbox 360, con potencialidades de interacción basadas en sus componentes básicos: un sistema multisensor con cámara de video, cámara de profundidad y un arreglo de micrófonos. Se consideró un hito para las nuevas interfaces de videojuego pero también impactó a investigadores y desarrolladores en muchas otras áreas, especialmente la visión por computador, debido a que la calidad de la superficie 3D mostrada por el sensor lo hace ser una opción muy buena y económica para reemplazar a los caros y complejos sistemas sensoriales 3D.
De la aplicación de Kinect al estudio de los trastornos neurofaciales no se tienen referencias de su empleo por lo que fue necesario evaluar la factibilidad del uso del sensor en estudios clínicos basados en reconocimiento de expresiones faciales y determinar las condiciones idóneas para su empleo. Se realizó un estudio de las propiedades del sensor y se propuso un set de visión por computador, instalado en el Hospital General Clínico Quirúrgico "Dr. Juan Bruno Zayas", que utiliza este sensor para capturar las imágenes en estudios clínicos, realizando una experimentación con imágenes de expresiones faciales obtenidas con el set propuesto que demostró la factibilidad del empleo del sensor en este tipo de estudios clínicos. Se desarrolló además toda la experimentación necesaria para comprobar la eficacia de una herramienta obtenida que permite estudiar la correlación entre la expresión facial que se está observando de un paciente y la señal de electroencefalograma que se genera por potenciales evocados.
Validación estadística de los resultados
Para el análisis morfológico de eritrocitos se desarrolló un proceso de clasificación supervisada empleando las células definidas por el especialista como normales, elongadas y con otras deformaciones. Para validar los resultados obtenidos se empleó la matriz de contingencia, que representa la cantidad de elementos que se han clasificado en cada una de las clases conocidas. De esta matriz se obtienen las siguientes tres medidas:
- Sensibilidad o tasa de verdaderos positivos: cantidad de elementos de la clase Ci clasificados como pertenecientes a la clase Ci.
- Especificidad o tasa de verdaderos negativos: cantidad de elementos que no pertenecen a la clase Ci clasificados como no pertenecientes a la clase Ci.
- Precisión: del total de elementos clasificados como pertenecientes a la clase Ci cuántos realmente pertenecen a la clase Ci.
Con estos valores se puede comprobar que un determinado método es capaz, dado un conjunto de elementos disponibles de cada clase de objetos que se estudia, de detectar eficazmente los objetos que pertenecen a cada clase. Por tanto, lo deseable en un método dado es que se obtengan valores altos en estas medidas al aplicarlas a la comprobación de la efectividad del mismo.
En el estudio de los solapamientos celulares solamente se determinó la sensibilidad del método propuesto, es decir se obtuvieron los casos de células normales y elongadas correctamente detectados del total de células estudiadas.
En el caso del estudio de las afecciones neurofaciales se comprobó la eficiencia de las herramientas implementadas en la obtención de forma sincronizada de las señales capturadas con la cámara y con el equipo de electroencefalograma, valorando cuántas señales fueron capturadas de forma sincronizada del total de estímulos aplicados al paciente.
RESULTADOS
El empleo de las funciones soporte generalizada integrada ponderada y descriptor de Crofton para el análisis morfológico automatizado de eritrocitos en muestras de sangre de pacientes con drepanocitosis arrojó resultados muy favorables. En la tabla 1 se muestran los resultados obtenidos en la clasificación de eritrocitos para cada clase estudiada empleando las funciones propuestas y se muestran además los obtenidos empleando dos funciones de bibliografía ya utilizadas en estudios anteriores por otros autores: UNL-F3 que utiliza coeficientes de Fourier para clasificación del contorno y CSF-ESF2 que emplea funciones sencillas para determinar circularidad y elipticidad del contorno. Estas funciones se aplicaron a los mismos datos con el objetivo de comparar los desempeños de los métodos propuestos. La efectividad del desempeño general de cada método empleado fue el siguiente: CSF-ESF obtuvo 79.08 %, UNL-F obtuvo 92.48 %, obtuvo 95.99 % y obtuvo 96.16 %.
En cuanto al análisis de los casos de solapamientos celulares presentes en las imágenes estudiadas el empleo del nuevo método de obtención de la curvatura del contorno permitió detectar los puntos de interés con una mayor eficiencia. En la figura 3 a) se muestran ejemplos de detección de puntos de interés en imágenes de dos y tres células agrupadas. A partir de estos puntos se empleó un ajuste de elipses para detectar células circulares y elongadas. En la figura 3 b) se muestra un ejemplo de este proceso en agrupamientos de más de tres células. Se realizaron experimentos de detección de células normales y elongadas en agrupamientos celulares de dos y tres células empleando el método propuesto en4 sobre una data de elementos con 104 células, 97 circulares y 7 elongadas. Los resultados alcanzaron un 83.51 % de efectividad en la detección de células circulares, pues se detectaron 81 de las 97 células estudiadas, y se alcanzó un 71.45 % de efectividad en cuanto a las elongadas, al detectarse 5 de las 7 células estudiadas. Sobre esa misma data se realizaron experimentos empleando el nuevo método propuesto en,10 alcanzándose un 98.97 % de efectividad en la detección de células circulares (96 de las 97 estudiadas) y un 100 % en la detección de las células elongadas.
En el caso de la evaluación del resultado de la sincronización de las señales de Kinect y las generadas como parte del electroencefalograma de un paciente fueron realizados alrededor de 50 experimentos donde para cada uno se capturaron durante 2 minutos los estímulos visuales proporcionados al paciente, tanto con la Kinect como con las señales de EEG. De un total de 1000 estímulos proporcionados al paciente se detectaron de forma sincronizada 998, para un 99.8 % de eficiencia en la detección de señales sincronizadas.
DISCUSIÓN
Los coeficientes elementales CSF-ESF mostraron un bajo desempeño (79.08 % en general), debido a los elementos de la clase de otras deformaciones, varios se clasificaron como circulares y la sensibilidad obtenida en esta clase es de 41.31 % dado que muchas de las células que presentan otras deformaciones tienen forma relativamente circular o elongada y estos descriptores por ser tan elementales no logran discriminar adecuadamente esos casos. La función UNL-F mostró una eficiencia de un 92.48 % en general, debido igualmente a los elementos de la clase de otras deformaciones, aunque mostró un desempeño significativamente superior a los coeficientes elementales. En ambos casos de estas funciones la sensibilidad en cuanto a las clases normales y elongadas fue alta, superior al 96 %, pero la especificidad mostró valores cercanos al 90 % y en un caso fue de 73.05 %, lo cual quiere decir que las funciones no son capaces de discriminar adecuadamente los casos de pertenencia a estas clases al considerar los objetos de la clase de otras deformaciones que por su forma cercana a la circularidad o relativamente elongada se clasifican como pertenecientes a las clases normales o elongadas.
Los resultados obtenidos con el empleo de las funciones propuestas son significativamente superiores a los de las funciones CSF-ESF y UNL-F en general: alcanzó un 96.16 % de eficiencia y un 95.99 %. La sensibilidad en las clases normal y elongadas superó el 96 %, y la especificidad se mantuvo por encima del 95 %, lo cual quiere decir que estas funciones sí son capaces de discriminar adecuadamente los objetos aunque varios de los pertenecientes a la clase de otras deformaciones se encuentren cercanos a la circularidad o sean relativamente elongados. En la clase de otras deformaciones obtuvo un 94.42 % de efectividad en la clasificación y mostró un desempeño de 93.2 %, lo cual confirma la capacidad de ambas funciones de clasificar adecuadamente los objetos de esta clase, a pesar de la característica de varios de sus elementos de tener forma relativamente circular o elongada.
En cuanto al análisis de los casos de solapamientos el nuevo método de obtención de la curvatura del contorno permitió detectar los puntos de interés con una mayor eficiencia, por lo que el ajuste elíptico empleado a partir de estos puntos obtenidos fue más eficiente, hecho que quedó demostrado al obtener resultados muy superiores en la detección de células circulares y elongadas a partir de estos puntos detectados, se alcanzó más de un 98 % en ambos casos estudiados.
En el caso de la evaluación del resultado de la sincronización de las señales de Kinect y las generadas como parte del electroencefalograma de un paciente se demostró que este set de captura propuesto es capaz de mantener el registro de las señales de manera sincronizada al obtenerse un resultado de un 99.8 % de eficiencia en la detección de señales sincronizadas entre ambos medios de captura.
CONCLUSIONES
Los tres métodos novedosos propuestos pueden ser empleados en el estudio desde el punto de vista computacional de la anemia drepanocítica: se obtuvo una efectividad de más de un 95 % en la clasificación de eritrocitos según su forma empleando las funciones basadas en conceptos de geometría integral para análisis morfológico propuestas; se obtuvo una efectividad de más de un 98 % en la detección de células circulares y elongadas presentes en un agrupamiento celular empleando el nuevo método de obtención de curvatura en el contorno; por último el set de visión propuesto empleando Kinect es factible de ser empleado en aplicaciones de análisis de trastornos neurofaciales, obteniéndose un 99.8 % de eficiencia en la detección de la correlación entre las señales obtenidas por el sensor y las obtenidas en el electroencefalograma del paciente. La efectividad demostrada en los métodos propuestos confirma que los mismos pueden ser empleados en herramientas de software que permitan mejorar la calidad de la atención médica que reciben los pacientes con drepanocitosis en nuestro país.
AGRADECIMIENTOS
Este trabajo contó con financiamiento de estos proyectos de colaboración conjuntos:
1. UJI P11B2012-24. Análisis sobre la evolución de la anemia drepanocítica a partir del procesamiento de imágenes obtenidas mediante técnicas de microscopía óptica. Proyecto UO-Universidad Jaume I, Castellón, España. Período: 2012-2013.
2. UIB. Formación en técnicas de procesamiento y análisis de imágenes como soporte en el diagnóstico de la sicklemia y los trastornos neurofisiológicos asociados. Proyecto UO-UIB, Baleares, España. Período: 2014-2015.
REFERENCIAS BIBLIOGRÁFICAS
1. Espinosa E, Svarch E, Martinez G, Hernandez P. La anemia drepanocítica en Cuba: Experiencia de 30 años. Rev. Cuba. Hematol. Inmunol. Hemoter. 1996; 12(2): 97-105.
2. Wheeless L, Robinson R, Lapets OP, Cox C, Rubio A, Weintraub M, Benjamin LJ. Classfication of red blood cells as normal, sickle, or other abnormal, using a single image analysis feature. Cytometry. 1994; 17(2): 159-166.
3. Frejlichowski D. Pre-processing, extraction and recognition of binary erythrocyte shapes for computer-assisted diagnosis based on MGG images. En: Bolc L, Tadeusiewicz R, Chmielewski LJ, Wojciechowski K, editors. ICCVG 2010: Proceedings or the International Conference on Computer Vision and Graphics. September 20-22, 2010, Warsaw, Poland; Springer, LNCS 6374 Part I, 2010: 368-375.
4. Song H, Wang W. A new separation algorithm for overlapping blood cells using shape analysis. Int. J. Pattern Recog. Artif. Intell. 2009; 23(4): 847-864.
5. Kothari S, Chaudry Q, Wang MD. Automated cell counting and cluster segmentation using concavity detection and ellipse fitting techniques. En: ISBI '09: IEEE International Symposium on Biomedical Imaging: From Nano to Macro. 2009 June 28 2009-July 1; Boston, MA: IEEE 2009: 795-798.
6. Kindratenko V. On using functions to describe the shapes. J. Math. Imaging Vision. 2003; 18: 225-245.
7. Delin R. Topics in Integral Geometry, World Scientific. Singapore, 1994.
8. Gual X, Herold S, Simó A. Shape description from generalized support functions. Pattern Recog Lett. 2013; 34: 619-626.
9. Gual X, Herold S, Simó A. Erythrocyte Shape Classification Using Integral-Geometry-Based Methods. Med Biol Eng Comput. 2015; 53(7): 623-633.
10. Gonzalez M, Guerrero FA, Herold S, Jaume-i-Capo A, Marrero PD. Red Blood Cell Cluster Separation from Digital Images for use in Sickle Cell Disease. IEEE J Biomed Health Inform. 2014; 19(4): 1514-1525.
11. Marrero P, Montoya A, Jaume-i-Capó A, Buades JM. Evaluating the Research in Automatic Emotion Recognition. IETE Tech Rev. 2014; 31(3): 220-232.
Recibido: 22 de marzo de 2016.
Aprobado: 12 de mayo de 2016.