SciELO - Scientific Electronic Library Online

 
vol.14 número4Algoritmos para estimar la frecuencia instantánea de una secuencia respiratoria variable en el tiempoIntegración de rasgos y aprendizaje semi-supervisado para la clasificación funcional de enzimas utilizando K-medias de Spark índice de autoresíndice de materiabúsqueda de artículos
Home Pagelista alfabética de revistas  

Servicios Personalizados

Revista

Articulo

Indicadores

  • No hay articulos citadosCitado por SciELO

Links relacionados

  • No hay articulos similaresSimilares en SciELO

Compartir


Revista Cubana de Ciencias Informáticas

versión On-line ISSN 2227-1899

Rev cuba cienc informat vol.14 no.4 La Habana oct.-dic. 2020  Epub 01-Dic-2020

 

Artículo original

Representación basada en imágenes para el reconocimiento patrones mioeléctricos ante variabilidad inter-sesiones

Image-based representation to myoelectric pattern recognition in the presence of inter-sessions variability

Roberto Díaz-Amador1 
http://orcid.org/0000-0002-4289-9638

Miguel A.Mendoza-Reyes2 
http://orcid.org/0000-0003-2454-8700

Carlos A. Ferrer-Riesgo3 
http://orcid.org/0000-0002-9489-0010

1 Departamento de Ciencias de la Computación, Universidad Central Marta Abreu de Las Villas. Carretera a Camajuaní km 5 ½, Santa Clara, Cuba. rdamador@uclv.edu.cu.

2 Departamento de Electrónica y Telecomunicaciones, Universidad Central Marta Abreu de Las Villas. Carretera a Camajuaní km 5 ½, Santa Clara, Cuba. mmendoza@uclv.edu.cu.

3 Centro de Investigaciones en Informática, Universidad Central Marta Abreu de Las Villas. Carretera a Camajuaní km 5 ½, Santa Clara, Cuba. cferrer@uclv.edu.cu.

RESUMEN

Los sistemas de control mioeléctrico basados ​​en reconocimiento de patrones son capaces de clasificar adecuadamente la intensión de movimiento a partir de la señal EMG superficial. Sin embargo, estos sistemas presentan variabilidad inter-sesiones mostrado una caída en el rendimiento en la sesiones de prueba respecto a la sesión de entrenamiento. El objetivo de este trabajo es investigar una nueva representación de la señal HD-EMG basada en rasgos de imágenes para mejorar el reconocimiento inter-sesiones. En este trabajo se compara la utilización de rasgos calculados a partir de una representación 2D instantánea que se forma al considerar cada muestra de la señal HD-EMG como un pixel de una imagen con la utilización de rasgos dominio-temporales calculados a partir de cada canal de HD-EMG. Los rasgos en el dominio del tiempo considerados son el valor medio absoluto, el número de cruces por cero, la longitud de la forma de onda y el cambio de signo de la pendiente. Los rasgos a partir de la representación 2D que se consideran son basados en el valor del pixel y basados en la textura. La utilización de los rasgos propuestos mejora en 15 % (p<0.05) la utilización de los rasgos en el dominio del tiempo cuando se utiliza cada una de las sesiones como sesión de entrenamiento y la otra como sesión de prueba. Los resultados sugieren que la utilización de rasgos a partir de la representación 2D propuesta en este trabajo muestra una mayor robustez a la variabilidad inter-sesiones.

Palabras clave: Control mioeléctrico; Procesamiento de imágenes; variabilidad inter-sesiones

ABSTRACT

The myoelectric control systems based on pattern recognition are able to adequately classify the movement intention from the surface EMG signal. However, these systems present intersession variability, reporting a drop in performance in the test sessions compared to the training session. The objective of this work is to investigate an alternative representation of the HD-EMG signal based on imaging features to improve inter-session recognition. In this work, we implement features calculated from an instantaneous 2D representation that is formed by considering each sample of the HD-EMG signal as a pixel of an image. This feature set is compared with the use of temporal domain features calculated from each channel of HD-EMG. The time-domain features considered are the absolute mean value, the number of zero crossings, the length of the waveform, and the sign change of the slope. The features from the 2D representation that are considered are based on the pixel value and based on the texture. The proposed features improve by 15% (p <0.05) the use of the time-domain features when each session is used as a training and the other as a test. The results suggest that using features from the 2D representation proposed in this work show greater robustness to inter-session variability.

Keywords: myoelectric control; image processing; inter-sesion variability

INTRODUCCIÓN

El control de los dispositivos de prótesis de extremidades superiores mediante la señal de electromiografía (EMG) y el reconocimiento de patrones (PR) se ha considerado como un enfoque prometedor. El enfoque convencional en EMG generalmente utiliza un número limitado y muy bien localizado de electrodos. En contraste, el enfoque de reconocimiento de patrones permite el uso de una matriz de electrodos de alta densidad que forma una matriz de señales de electromiografía de alta densidad (HD-EMG). En este trabajo, utilizamos los resultados del uso de técnicas de procesamiento de imágenes para el reconocimiento de gestos basado en HD-EMG descrito en (Díaz-Amador, y otros, 2019) para mitigar los efectos de la variabilidad entre sesiones en el uso de prótesis mioeléctricas. La muestra instantánea de cada canal EMG se representa como un píxel de una imagen que cambia con diferentes movimientos. La resolución espacial (número de píxeles por unidad de área) está definida por los electrodos de la matriz, es decir, el número de electrodos y sus distancias entre electrodos.

El uso de HD-EMG para analizar cómo se componen y distribuyen los patrones de activación muscular y el comportamiento único de MUAP no es nuevo en la investigación de reconocimiento de patrones. Recientemente, el uso de matrices de electrodos se extendió para clasificar los gestos y descifrar la intención del movimiento (Rojas-Martínez, y otros, 2013). En trabajos anteriores (Rojas-Martínez, y otros, 2012), la representación de HD-EMG se realiza como matrices en 2-D llamadas topografía EMG o EMG map. Por lo general, el mapa se define como una imagen de intensidad 2-D de promedio de tiempo en la que cada píxel es el valor del cuadrado medio de la raíz (rms) de un determinado canal en una ventana de tiempo o como muestras instantáneas de HD-EMG.

En (Amma, y otros, 2015) se informó un resultado de 89.8% y 90.4% de precisión en la clasificación de 27 gestos usando una matriz de electrodos 8x24. En (Geng, y otros, 2006), un enfoque de red convolucional profunda obtuvo el 99%, 96.8% y 52.1% de precisión para tres conjuntos de datos utilizando imágenes instantáneas y muestras instantáneas como características.

En este trabajo se compara el uso de la extracción de características de imagen dividiendo la imagen instantánea en parches (bloques), analizando tres tamaños y ubicaciones de bloques diferentes.

METODOLOGÍA

Conjunto de datos

Los datos de HD-EMG se obtuvieron de la sub-base de datos DB-a en la base de datos de CapgMyo (Du, y otros, 2017). Estos datos se recopilaron (Du, y otros) utilizando un dispositivo portátil no invasivo que consta de 8 módulos de adquisición, cada uno de los cuales contiene una matriz de electrodos diferenciales de tipo matriz (8x2). Cada electrodo tiene un diámetro de 3 mm y se dispuso con una distancia entre electrodos de 7,5 mm horizontalmente y 10,05 mm verticalmente. Los electrodos húmedos de plata fueron desechables y se cubrieron con gel conductor, con una impedancia de contacto de menos de 3 kΩ. Los 8 módulos de adquisición se fijaron alrededor del antebrazo derecho con bandas adhesivas. El primer módulo de adquisición se colocó en el músculo extensor digitorum communis a la altura de la articulación radiohumeral; el resto se colocaron equiespaciados a la derecha (mirando desde la perspectiva del sujeto), formando una matriz de electrodos de 8x16. Al recolectar HD-EMG, ningún músculo individual se mide directamente, sino la superposición combinada de todos. De esta manera, cada electrodo adyacente contiene información redundante.

Las señales de EMG se muestrearon a 1 kHz, se digitalizaron con un convertidor de analógico a digital de 16 bits y se filtraron pasa-banda con un ancho de banda entre 20-380 Hz. Los datos de EMG de los 8 módulos de adquisición se empaquetaron en un controlador ARM y se transfirieron a una PC a través de WIFI (Du, y otros).

La base de datos contiene 8 gestos de manos isométricos e isotónicos obtenidos de 18 sujetos. Se pidió a los sujetos que mantuvieran cada gesto durante 3 a 10 segundos. Los gestos considerados se muestran en la Figura 1 y corresponden a las clases 13-20 en la base de datos NinaPro (Atzori, y otros, 2014). Cada gesto fue grabado 10 veces.

Fig.1 Gestos considerados en este studio. (el número entre paréntesis se representa la clase correspondiente en la base de casos). 

De cada una de estas clases se tienen las 10 grabaciones tomadas en dos días diferentes con una separación de 7 a 8 dias entre cada sesión.

Experimento

En este trabajo se realiza un experiemnto que consiste en utilizar el método leave-one out para demostrar que el uso de técnicas de rasgos de imágenes es más robusto ante la variabilidad inter-sesiones que la utilización de los rasgos dominiotemporales tradicionales. La Figura 2 muestra el esquema de cómo se realizan los experiemnto.

Fig.2 Esquema del desarrollo de los experimento. 

Los resultados obtenidos por ambos métodos se comparan utilizando un test no paramétrico de Wilcoxon con un valor de significancia de p = 0.05.

Extracción de rasgos

En el proceso de extracción de los rasgos se calculan los rasgos en el domio del tiempo con rasgos basados en imágenes. Los rasgos en el dominio del tiempo considerados en este trabajo son descritos en (Hudgins, y otros, 1993) y consisten en el valor absoluto medio (MAV), los cruces por cero (ZC), la longitud de la forma de onda (WL) y los cambios de signo de pendiente (SSC). Las expresiones para cada uno de ellos se ven en las ecuaciones 1-4:

Valor Medio absoluto (MAV)

(1)

Cruces por cero (ZC)

Longitud de la forma de Onda (WL)

(3)

Cambio de signos de la pendiente (SSC)

(4)

En las ecuaciones (1) a (4), x i representa la amplitud de la muestra i de EMG, N es la longitud en muestras de la ventana de análisis y th es un umbral tomado como el 5% del MAV en la ventana de análisis.

Los rasgos basados en procesamiento de imágenes considerados son los descritos en (Díaz-Amador, y otros, 2019) y se pueden dividir en rasgos basados en pixeles, rasgos basados en textura y rasgos de forma. Se describen en las ecuaciones de la 5-10:

Energía (En)

Máximo Valor de Intensidad (MIV)

Posición de la máxima intensidad (PMI)

Contraste

Correlación

Homogeneidad

Clasificación

Elegimos un clasificador de vecino más cercano (kNN). Evaluamos valores impares para k de 1 a 11 con la distancia euclidiana. En la fase de entrenamiento, proporcionamos un conjunto de datos de entrenamiento correspondientes a las primeras cinco repeticiones de cada movimiento. En la fase de clasificación, utilizamos las cinco repeticiones restantes. Es importante aclarar que, a los fines de la investigación actual, el conjunto de datos se equilibró, lo que mitiga los efectos de las clases no equilibradas en el reconocimiento de patrones basado en kNN.

RESULTADOS Y DISCUSIÓN

Los resultados obtenidos se muestran en la Figura 3, medidos por la precisión en la clasificación cuando se utiliza cada una de las sesiones como entrenamiento y como sesión de prueba.

Fig.3 Resultados comparando la precisión cuando se utilizan los rasgos dominio-temporales y los rasgos basados en la representación 2D propuesta. 

En la Figura 3 se observa que la utilización de los rasgos propuestos mejora en 15 % a la utilización de los rasgos en el dominio del tiempo. De esta forma la variabilidad inter-sesión es más evidente en los rasgos dominio-temporales que en los propuestos debido a que los rasgos basados en la representación 2D son más robustos a las variaciones temporales de la señal.

CONCLUSIONES

Los resultados sugieren que la utilización de rasgos a partir de la representación 2D propuesta en este trabajo muestra una mayor robustez a la variabilidad inter-sesiones. Este resultado, unido al desarrollo de sistemas de sensores cada vez más económicos, constituye un avance hacia el desarrollo de sistemas de control más robustos a los cambios que ocurren en la señal electromiografíca. En este sentido, un trabajo futuro inmediato es evaluar esta propuesta utilizando un mayor número de sesiones espaciadas a lo largo del tiempo.

Agradecimientos

Los autores agradecemos al Proyecto Automatización de la Rehabilitación Motora luego de daño neurológico por financiar parte de esta investigación.

REFERENCIAS

Amma, C., Krings, T., Boer, J., Schultz, T., Advancing Muscle-Computer Interfaces with High-Density Electromyography, Proceedings of the 33rd Annual ACM Conference on Human Factors in Computing Systems, 2015, ACM, p. 929-938. [ Links ]

Atzori, M., Gijsberts A., Castellini, C., Caputo, B., Hager A-G.M., Giatsidis G., Bassetto F., Müller H., Electromyography data for non-invasive naturally-controlled robotic hand prostheses. Sci. Data. 2014, 1. [ Links ]

Díaz-Amador, R., Ferrer-Riesgo, C. A. y Lorenzo-Ginori, J. V., Using image processing techniques and HD-EMG for upper limb prosthesis gesture recognition. En: R. Vera-Rodríguez (editora), Progress in Pattern Recognition, Image Analysis, Computer Vision, and Applications. Lecture Notes in Computer Science 11401, Springer Nature Switzerland, 2019, p. 913-921. [ Links ]

Díaz-Amador, R., Mendoza-Reyes, M. A. y Ferrer-Riesgo, C. A. 2019. Improving Myoelectric Pattern Recognition Robustness to Electrode Shift Using Image Processing Techniques and HD-EMG. En: González Díaz C. et al. (eds) VIII Latin American Conference on Biomedical Engineering and XLII National Conference on Biomedical Engineering. CLAIB 2019. IFMBE Proceedings, 75. Springer Cham. 2019, p. 344-350. [ Links ]

DU, Y., Wenguang J., Wentao W, Geng, W.; CapgMyo: A High Density Surface Electromyography Database for Gesture Recognition. [En línea], Disponible en: http://zju-capg.org/myo/data/index.html. [ Links ]

DU, Y.,Wenguang J., Wentao W, Geng, W.; Surface EMG-based inter-session gesture recognition enhanced by deep domain adaptation. Sensors. 2017, 17 (3), pp 458-480. [ Links ]

Geng, W., Du, Y., Wenguang J., Wentao W., Jiajun L.; Gesture recognition by instantaneous surface EMG images. Sci. Rep. 2006. [ Links ]

Hudgins, B., Parker, P. y Scott, R.N., A new strategy for multifunction myoelectric control. Biomed. Eng. IEEE Trans. 1993, 40, p. 82-94. [ Links ]

Rojas-Martínez, M., Mañanas, M. y Alonso, M., High-density surface EMG maps from upper arm and forearm muscles, J NeuroEngineering Rehabil., 2012, 9 (85). [ Links ]

Rojas-Martínez, M., y otros. 2013. Identification of isometric contractions based on High Density EMG maps, J. Electromyogr Kinesiol., 2013. p. 33-42. [ Links ]

Recibido: 01 de Septiembre de 2020; Aprobado: 20 de Noviembre de 2020

*Autor para la correspondencia. (rdamador@uclv.edu.cu).

Los autores declaramos la no existencia de conflictos de intereses. Los autores autorizamos la distribución y uso de su artículo.

Roberto Díaz-Amador: Contribuyó en Conceptualización, Curación de datos, Análisis formal, Investigación, Metodología, Software, Validación, Visualización, Redacción - borrador original, Redacción - revisión y edición

Miguel A. Mendoza-Reyes: Contribuyó en Conceptualización, Análisis formal, Investigación, Metodología, Supervisión, Validación, Redacción - revisión y edición

Carlos A. Ferrer Riesgo: Contribuyó en Conceptualización, Análisis formal, Investigación, Metodología, Supervisión, Validación, Redacción - revisión y edición

Creative Commons License Este es un artículo publicado en acceso abierto bajo una licencia Creative Commons