SciELO - Scientific Electronic Library Online

 
vol.18 issue88Educational technology in time of COVID-19; experiences in Latin American countriesEducation and its importance in the socioeconomic levels in the rural Chobo parish of the Canton Milagro author indexsubject indexarticles search
Home Pagealphabetic serial listing  

My SciELO

Services on Demand

Article

Indicators

  • Have no cited articlesCited by SciELO

Related links

  • Have no similar articlesSimilars in SciELO

Share


Conrado

On-line version ISSN 1990-8644

Conrado vol.18 no.88 Cienfuegos Sept.-Oct. 2022  Epub Oct 30, 2022

 

Artículo Original

Validación del instrumento encuesta para su aplicación en centros de capacitación

Validation of the survey instrument for its application in training centers

0000-0003-3910-3288Juan Carlos Valencia Benítez1  *  , 0000-0001-9242-2419Osmany Alfredo Carmenates Barrios2 

1Clínica de Comunicación, Guayaquil, Ecuador

2Universidad de Cienfuegos “Carlos Rafael Rodríguez”, Cuba

RESUMEN

La validación de instrumento es un tipo de estudio complejo; esta garantiza la calidad de una investigación, y contribuye a sustentar sus resultados. La presente investigación tiene como objetivo validar un instrumento para la mejora de la capacitación profesional que ofrece la “Clínica de Comunicación”. Se ha utilizado un tipo de estudio de validación de instrumentos, donde se han empleado el método de criterio de expertos, coeficiente de competencia, índice Kaiser Meyer-Olkin (KMO), prueba de Bartlett, análisis factorial y la curva de ROC. Los resultados fundamentales están en cambios semánticos del instrumento e incorporación de ítems; las correlaciones utilizadas fueron aceptadas; el análisis factorial se puedo aplicar, agrupando los ítems en seis; y la curva de ROC garantizó la sensibilidad y especificidad de cada uno de los posibles puntos de corte. Después de los reajustes y acomodo practicado el instrumento está listo para ser aplicado en la investigación asociada a la capacitación que se lleva a cabo en la “Clínica de Comunicación”.

Palabras-clave: Capacitación; Pedagogía; Validación de instrumento

ABSTRACT

Instrument validation is a complex type of study; this guarantees the quality of an investigation, and contributes to sustaining its results. This research aims to validate an instrument to improve the professional training offered by the "Communication Clinic". A type of instrument validation study has been used, where the expert criteria method, competence coefficient, Kaiser Meyer-Olkin (KMO) index, Bartlett test, factor analysis and the ROC curve have been used. The fundamental results are in semantic changes of the instrument and incorporation of items; the correlations used were accepted; factorial analysis can be applied, grouping the items into six; and the ROC curve guaranteed the sensitivity and specificity of each of the possible cut-off points. It can be concluded that after the readjustments and adjustments, the instrument is ready to be applied in the research associated with the training that is carried out in the "Communication Clinic".

Key words: Training; Pedagogy; Instrument validation

Introducción

Por su importancia y complejidad de aplicación, la validación de instrumentos está considerada como un tipo de estudio dentro de los de intervención, es decir, al mismo nivel de los experimentales y cuasi-experimentales, entre otros. (Jose, 2013)

El cuestionario es un instrumento para la recogida de información, diseñado para cuantificarla y universalizarla. Por esta razón, el momento de la validación tiene gran importancia, pues los resultados que se obtienen de su aplicación pueden falsear la investigación, y con ello, acarrear consecuencias fatales en estudios robustos, tanto en el orden social, constructivo, como en la vida de un paciente, entre otros. (Martin, 2004; López, et al., 2019)

La validación es el proceso mediante el cual se otorga validez a un instrumento de medida. En ese sentido, la validez en su forma clásica es entendida como: aquello que mide lo que pretende medir. El concepto de validez ha presentado cambios significativo a lo largo de la historia; estas modificaciones tuvieron inicio en los años cincuenta en disciplinas cercanas al área de salud, elaborándose comités técnicos al respecto que llevó al diseño de manuales normativos. El área de salud no es ajena a esta iniciativa y en la actualidad se cuenta con una guía de selección de instrumentos de medición en salud. (Ventura-León, 2017)

COSMIN (Estándares basados ​​en Consensus para la selección de instrumentos de medición de salud) es una iniciativa de un equipo internacional multidisciplinario de investigadores que tienen como objetivo mejorar la selección de instrumentos de medición de resultados tanto en la investigación como en la práctica clínica mediante el desarrollo de herramientas para seleccionar los más apropiados disponibles. instrumento. (Lidwine, et. al., 2016)

En el área educativa no se tiene un desarrollo con este grado de exigencia del área de la salud; pero se puede evidenciar, que ha pasado por dos momentos clásicos, uno, donde todo debía ser cuantitativo para que fuese ciencia; es donde existen los primeros intentos de este tipo de estudio de validación de instrumento. Segundo, el auge de la metodología cualitativa donde este aspecto paso al extremo, es decir, no era necesario esté concepto de validez, por el carácter emergente de esta metodología.

En este trabajo se coincide con los autores pues la cientificidad de un resultado obedece a la rigurosidad con que está diseñado el instrumento, de manera que el área de la ciencia donde sea aplicada se nutra de resultados factibles y viables.

En fin, la educación comprende todas las actividades dirigidas a formar y desarrollar el potencial cognitivo de la persona en dos dimensiones fundamentales. La interna, desarrollada a partir de las habilidades psíquicas individuales; y la externa, la cual se nutre del riquísimo caudal de conocimientos acumulados y del acervo cultural que rodea a la persona. (Valencia Benítez, 2021a)

“La Clínica de Comunicación” es un centro de capacitación en función de estar presente en las actividades de los profesionales del Ecuador, en las diversas áreas, fundamentalmente, en las agrícolas, concebida dentro del plan “Toda una vida”, por la importancia que reviste una alimentación sana para todos los habitantes del planeta. Su actividad económica principal es brindar educación de postbachillerato y nivel técnico superior, destinado a la formación y capacitación para labores de carácter operativo y corresponden a este nivel los títulos profesionales de técnico o tecnólogo. (Valencia Benítez, 2021b)

Los autores, con el fin de garantizar una superación de calidad en su principal función social, formar profesionales competentes y comprometidos con su país, necesitan que los resultados experimentales estén sustentados sobre la base de postulados científicos que los avalen como fidedignos.

El problema fundamental por el que se realiza esta investigación está asociado a los resultados discretos alcanzados por la “Clínica de Comunicación”, hasta el momento debido a la empírea de sus docentes, y no a los fundamentos epistemológicos y científicos del área del conocimiento y de las ciencias pedagógicas.

Relacionado a esta problemática se pretende como objetivo de esta investigación, validar un instrumento para la mejora de la capacitación profesional que ofrece la “Clínica de Comunicación”.

Desarrollo

Material y método

El tipo de estudio que se ha desarrollado es el de “Validación de instrumento”, el cual contiene un rigor propio de la metodología cualitativa y donde se han aplicado métodos y test propios de este tipo de estudio: Criterio de expertos para el momento cualitativo, así como el Alfa de Cronbach o Kunder, el índice KMO, la prueba de Wilcoxon y de Chi-cuadrado, la curva de Rox, entre otros.

Se emplea una metodología para validar instrumentos de medición, la cual es un híbrido entre la concepción de dos grupos distintos de autores, que en esencia son similares Se utilizará la metodología acotada en sus seis momentos. La otra hace alusión a una solución de validación de instrumentos que es usada con sistematicidad y que se resumen en la fig 1.

Fuente:López, et al., (2019)

Fig. 1 - Esquema de validación de un instrumento para ser usado en las investigaciones científicas. 

Según López, et al., (2019) esta metodología no garantiza un rigor o no tiene el mismo grado de robustez como el que a continuación se utilizará en esta investigación:

Análisis y discusión

Etapa 1: cualitativa o validación de contenido. Forma parte de la validez interna.

  • Aproximación a la población: Se empleó como método el Análisis Lingüístico de ítems, que consiste en la revisión semántica del instrumento con el objetivo de identificar términos de poco uso en el contexto donde se pretende aplicar, o términos donde el significado sea diferente a lo aceptado en este, que permita su sustitución por otro de mejor comprensión (Pomares Avalos, et al., 2019)

  • Juicio de expertos:

Se utilizó el método del criterio de expertos. De los 14 potenciados, 12 cumplieron con el requisito de tener un coeficiente mayor que 0,85, los que finalmente fueron seleccionados como expertos.

Como resultado de este método se obtuvieron las siguientes valoraciones:

El encabezamiento plantea: valore en una escala de 0 a 10:

Los ítems no deben estar en formas de preguntas, deben ponerse como sigue:

  1. La necesidad de participar en capacitación.

  2. La utilidad de las capacitaciones realizadas

  3. Su participación en...

Así sucesivamente, es difícil hacer algunas de las preguntas.

Debe mantener la estructura sujeta, verbo, predicado; y después darle unir las oraciones con cierto estilo literario.

No uso de la expresión ‘de acuerdo a’ sino ‘de acuerdo con’; eso es una mala traducción de la expresión inglesa ‘acording to’ porque ‘to’ sé traduce como ‘a’.

Estos criterios han sido considerados en la transformación que ha sufrido el instrumento en ese rediseño.

  • Validez racional (conocimiento): con la experiencia de los autores en el tema y la revisión bibliográfica realizada se ha podido ajustar esta exigencia.

Etapa 2: Cuantitativa: consta de cinco momentos, los cuales serán analizados seguidamente:

  1. Confiabilidad: que está dentro de la validez interna del instrumento: Este momento se determina a través del Alfa de Cronbach o Kunder, por la medida de la variable en una escala ordinal, y los resultados fueron los siguientes:

    • El valor del alfa de Cronbach de 0,872, lo cual garantiza la homogeneidad del test. Derivado del análisis se recodificaron 7 ítems, dado que la interpretación provocaba nuevas conjeturas y no respuestas concretas. Los dos restantes estaban sin dificultad.

  2. Validez de constructo: elemento de la validez interna, se utiliza el “análisis factorial”, Tabla 1, y para poder aplicar el mismo es necesario que se cumplan los siguientes supuestos:

    • Las variables tienen que ser ordinal o de razón.

    • Deben existir más de cinco casos por cada ítem, en esta investigación son 300 casos y 42 ítems, por tanto, la razón es de 7,14 casos por cada ítem.

Tabla 1 - Estadísticos del análisis factorial. KMO y prueba de Bartlett. 

Medida de adecuación muestral de Kaiser Meyer-Olkin .873
Prueba de esfericidad de Bartlett Chi-cuadrado aproximado 11556.452
gl 72
Sig. 0,000

La prueba de esfericidad de Bartlett prueba las hipótesis:

  • H0: La matriz de correlación es igual a la identidad

  • H1: La matriz de correlación no es igual a la identidad

En la Tabla 2 se muestra la matriz de componentes y la varianza total, a partir de la cual es posible explicar los factores que se muestran en la tabla 3.

Tabla 2 - Matriz de componentes y varianza total explicada en la escala 

Auto valores iniciales
Componente Total % de la varianza % acumulado
1 6333 26,17 26,170
2 4005 15,21 41,38
3 2624 11,51 52,89
4 1625 7,214 60,104
5 1601 7,002 67,106
6 1390 4,632 71,738

Fuente: Encuesta

Los resultados en la Tabla 3 sugieren la presencia de seis factores, que explican el 71,73 % del acumulado. Donde el primer componente explica un 26,17%, el segundo un 15,21% y así sucesivamente como se observa en la Tabla 2.

Tabla 3 - Matriz factorial de componentes principales, rotación VARIMAX. Se eliminaron las saturaciones inferiores a 0,50. 

Ítems Componente
I II III IV V VI
0,921
0,870
0,864
0,858 0,911
0,888
0,801
0,832
0,771
0,762
0,602
0,801
0,786
0,742
0,712
0,750
0,720
0,670
0,640
0,742
0,674
0,650
0,520
docentes factibilidad didáctica infraestructura accesibilidad tecnología

Al comparar la probabilidad asociada al estadígrafo de Chi-cuadrado, resultó menor que el nivel de significación con que se ha trabajado de 0,05, lo cual se interpreta que existe asociación entre las variables, o lo que es lo mismo, que se aceptó la hipótesis alternativa.

El resultado del KMO es igual a 0,873; esto implica que el análisis factorial puede realizarse porque existe asociación entre las variables (ítems).

J. Soler, (2016), en su estudio plantea: el análisis factorial exploratorio mostró la existencia de una estructura bifactorial, lo cual es concurrente con los resultados de esta investigación en el que análisis factorial ha cumplido con esta estructura.

3. Criterio: perteneciente a la validez externa, consiste, a partir de un patrón de oro o Gold Standard, en medir el grado de concordancia (Kendall, Cappa) o correlación (Spearman, Pearson, CCC) entre ambos resultados. El seleccionado debe estar en correspondencia con la medida de las variables.

Se tomó como guía los “Ejemplos de preguntas para evaluar un curso o capacitación” (QuestionPro, 2022), por la similitud entre las preguntas con el que se está validando. Debido a la medida de las variables ordinal, se aplicó el coeficiente de Spearman, obteniendo los siguientes resultados.

Se realizaron 73 correlaciones de Spearman, y se obtuvo que cuatro de ellos no tenían un coeficiente mayor a 0,85, lo que representó un 93% del total, y se interpreta como que ambos instrumentos están ajustados de forma homogénea. Los cuatro restantes mostraron un coeficiente por encima del 0,50, considerado aceptado en diferentes correlaciones.

Los resultados alcanzados son similares al estudio de López Fernández R, (2019) sobre destinos turísticos en la provincia de el Oro, con la diferencia de dos en los que el coeficiente estuvo por debajo del valor referente.

  1. Estabilidad: está asociada con la obtención de los mismos resultados o muy similares, independientemente de los sesgos que puedan interferir en una cantidad “X” de mediciones realizadas.

La estabilidad del instrumento consiste en aplicarlo en varios momentos, lo cual garantiza su reproducibilidad.

En este caso, el instrumento se aplicó durante un mes antes de comenzar la investigación. Al finalizar esta, habían sido encuestados un total de 189 personas, no fue posible encuestarlos a todos, debido a lo dispersos que estaban. En el estudio se utilizó un Test de Wilcoxon, pues las muestras son relacionadas y las variables tienen una medida ordinal.

Se ha trabajado con las siguientes hipótesis:

  • H0: Las medianas de las variables son iguales

  • H1: Las medianas de las variables son distintas

Al trabajar con 73 asociaciones, 70 tuvieron una probabilidad asociada al estadígrafo mayor que 0,05, por tanto, la toma de decisión fue que no existe criterio para rechazar H0; por ende, las variables están asociadas, o lo que es lo mismo, el 95,8% tuvieron este resultado positivo en el estudio, solo en tres de ellas no hay relación entre el antes y el después.

  1. Rendimiento: El rendimiento está asociado a la toma de decisiones; es decir, minimizar el error a la hora de emitir el análisis de los resultados derivados del instrumento. Se utiliza la curva de ROC, que se construye con puntos de cortes del instrumento, evidencia desde el análisis geométrico el punto óptimo.

Para minimizar el error en el análisis de los resultados derivados del instrumento, aplicando la sensibilidad y especificidad se utiliza el rendimiento como la parte explicativa.

Con los puntos de cohortes del instrumento aplicado, y derivado del análisis geométrico, se utilizó la curva ROC para poder ser aplicado.

Como ha sido tomada la aplicación práctica del instrumento, y utilizando la variante retrospectiva o criterio predictivo, en la Tabla 4 se aprecian los resultados:

Tabla 4 Área bajo la curva. Variables resultado de contraste 

Área Límite inferior Error típ.(a) Límite superior Sig. asintótica(b) Límite inferior Intervalo de confianza asintótico al 95%
Límite superior Límite inferior
0,910 0,078 0,012 0,689 1,123

Este método estadístico permite determinar la exactitud diagnóstica, donde se ha utilizado una de sus tres finalidades: el área bajo la curva que es de 0,910 o sea, mayor que 0,9, o lo que es lo mismo, evidencia que el modelo es excelente. Este resultado es análogo al reralizado en un estudio del fallo respiratorio agudo hipoxémico, no en los fines, sino, en su análisis matemático repesto a la interpretación. (R Artacho Ruiz, 2021).

Conclusiones

En la investigación fue empleada, como referente, una metodología validada en importantes publicaciones de este tipo de estudio, donde se encontraron resultados fundamentales. En lo cualitativo, los expertos realizaron valoraciones, las cuales fueron tomas en cuenta en la transformación, sobre todo en el enfoque a la hora de presentar las preguntas o variables del instrumento. En la introducción al campo se tuvo que reajustar dos terminologías que el público le demoró su comprensión.

En los elementos cuantitativos resalta el valor elevado del alfa de Cronbach, que lo cual fue garantizado por el reajuste a los siete ítems realizado al instrumento original.

El análisis factorial cumplió rigurosamente sus requisitos, el KMO tuvo un valor adecuado y el resultado final fue la obtención de seis factores de agrupación. El resto de los test, tanto el de Wilcoxon como la Curva de ROX, fueron positivos en la valoración del instrumento.

Todo lo anterior implica el rigor y cientificidad con que ha resultado el instrumento después la etapa de validación, y garantiza su empleado con precisión en futuras investigaciones.

Referencias bibliográficas

Artacho Ruiz, B. A. (2021). Predictores de éxito del tratamiento con cánula nasal de alto flujo en el fallo respiratorio agudo hipoxémico. Medicina Intensiva, 14(42 ), 80-87. https://www.medintensiva.org/es-predictores-exito-del-tratamiento-con-articulo-S0210569119301913Links ]

Jose, S. (2013). Cómo validar un instrumento-La guía para validar un instrumento en 10 pasos. Biblioteca Nacional de Perú. [ Links ]

Lidwine, B., Mokkink, C.A. C., Prinsen, L.M., Bouter, H. C. W., & Terwee, C.B. (2016). The COnsensus-based Standards for the selection of health Measurement INstruments (COSMIN) and how to select an outcome measurement instrument. Brazilian Journal of Physical Therapy, 20(2), 105-113. https://www.scielo.br/j/rbfis/a/DxK4jt8c9qykFKgtBFNByPj/?lang=enLinks ]

López Fernández, R., Lalangui Ramírez, J., Maldonado Córdova, A. V. & Palmero Urquiza, D. E. (2019). Validación de un instrumento sobre los destinos turísticos para determinar las potencialidades turísticas en la provincia de El Oro, Ecuador. Universidad y Sociedad, 11(2), 341-346. https://rus.ucf.edu.cu/index.php/rus/article/view/1197/1245Links ]

López, F. R., Avello, M. R., Palmero, U. D., Sánchez, G. S., & Quintana, Á. M. (2019). Validación de instrumentos como garantía de la credibilidad en las. Revista Cubana de Medicina Militar, 48(1), 441-450. http://scielo.sld.cu/scielo.php?script=sci_arttext&pid=S0138-65572019000500011 Links ]

Martin Arribas, M. C. (2004). Diseño y validación de Cuestionarios. Matronas Profesión, 5(17 ), 23-29. https://www.federacion-matronas.org/wp-content/uploads/2018/01/vol5n17pag23-29.pdfLinks ]

Pomares Avalos, A.J., Zaldívar Pérez, D.F., López Fernández, R., & Bernal Valladares, E.J. (2019). Validación del cuestionario reducido de afrontamiento al dolor crónico en la población cienfueguera con dolor crónico de espalda. Revista de la Sociedad Española del Dolor, 26(5), 276-283. https://scielo.isciii.es/scielo.php?script=sci_arttext&pid=S1134-80462019000500006Links ]

QuestioPro. (2022). Ejemplos de preguntas para evaluar un curso o capacitación. https://www.questionpro.com/blog/es/preguntas-para-evaluar-un-curso/ Links ]

Soler, E. J., Domínguez-Clavé, C., García-Rizo, D., Vega, M., Elices, A., Martin-Blanco, A., Feliu-Soler, C., Carmona, J., (2016). Validación de la versión española del McLean Screening Instrument for Borderline Personality Disorder. Rev Psiquiatr Salud Ment., 9, 195-202. http://dx.doi.org/10.1016/j.rpsm.2016.03.002Links ]

Valencia Benítez, J. C. (2021a). Educación + TIC: Un cambio de Epoca? Cienfuegos: Universo Sur. [ Links ]

Valencia Benítez, J. C. (2021b). Los centros de capacitación en la formación de los profesionales. Clínica Práctica de Comunicación, Clinicomu Ltda., Ecuador. Revista Científica Cultura, Comunicación Y Desarrollo, 6(1), 110-114. https://rccd.ucf.edu.cu/index.php/aes/article/view/302/327 Links ]

Ventura-León, J.L. (2017). ¿Validez de constructo o validez basada en el constructo?: comentarios a Soler et al. Lima. Revista de Psiquiatría y Salud Mental, 10(4) 221-222. https://www.elsevier.es/es-revista-revista-psiquiatria-salud-mental-286-articulo-validez-constructo-o-validez-basada-S1888989117300745Links ]

Recibido: 04 de Septiembre de 2022; Aprobado: 16 de Octubre de 2022

*Autor para correspondencia. E-mail: jcvalenciab21@gmail.com

Los autores declaran no tener conflictos de intereses.

Los autores participaron en el diseño y redacción del trabajo, y análisis de los documentos.

Creative Commons License