Servicios personalizados
texto en 
Inglés (pdf)
Articulo en XML
Referencias del artículo
Enviar articulo por email
Citado por SciELO 
Similares en
SciELO 
Permalink
Introducción
Importantes transformaciones en los procesos sustantivos universitarios provocaron la pandemia de COVID-19, fundamentalmente en el proceso docente educativo. Situación que llevó al cierre total de las actividades presenciales en nuestras instituciones de Educación Superior y a conferir un papel protagónico a las actividades online y al trabajo a distancia para poder dar continuidad a la formación de los profesionales.
Por tales razones, a solicitud de la dirección de la Universidad de Pinar del Río "Hermanos Saíz Montes de Oca", el Centro de Estudios de Ciencias de la Educación de Pinar del Río (CECE-PRI) elaboró una estrategia de recuperación posCOVID, para dar continuidad a la formación de los profesionales; esto tuvo entre sus ideas centrales potenciar el uso de las Tecnologías de la Información y las Comunicaciones (TIC) como alternativa al distanciamiento social, que al decir de Cuello y Solano (2021) "…hacen que el aprendizaje de los estudiantes sea personalizado y en poco tiempo, (…) haciendo que se le facilite la realización de las actividades" (p. 40). Las TIC amplían las posibilidades de comunicación y de trabajo entre personas distantes.
Igualmente, se tuvo presente el papel activo que debe jugar el estudiante en la gestión del conocimiento, ya que como indica Jiménez (2019):
La gestión del conocimiento orienta al descubrimiento de la capacidad de actuar para producir resultados positivos permanentes mediante un conjunto de actividades que se establecen para ser desplegadas con el objetivo de utilizar, desarrollar y administrar los conocimientos de los actores disponibles en la organización (p. 1).
La estrategia tomó como base los principios de flexibilidad y contextualización, accesibilidad y equidad y la relación Universidad-Centro Universitario Municipal-Entidades Laborales y como premisas la capacitación a profesores principales de Año Académico, líderes pedagógicos, personal de apoyo y reconoce tres escenarios de conectividad.
Ante esta realidad, en el 2020 un equipo de investigadores y colaboradores del CECE-PRI se dio a la tarea de elaborar las dimensiones e indicadores para evaluar el impacto de la estrategia de recuperación posCOVID (ver anexo A). Antes de la elaboración y aplicación de los instrumentos, fue necesario determinar si eran válidos y confiables. Solans-Domenech et al. (2019) sugieren buscar la variante más pertinente para demostrar la validez de su propuesta investigativa, lo cual asegurará que la información que se obtenga sea la que se quiere obtener.
Para demostrar la validez de los indicadores se recurrió al método del Coeficiente de Validez de Contenido (CVC) de Hernández-Nieto (2002), el cual se utiliza para evaluar los juicios de expertos, especialistas o usuarios y, al decir de González et al. (2018), "… constituye un método heurístico de alto rigor científico que permite la búsqueda del consenso a partir de aproximaciones cualitativas derivadas de la experiencia y el conocimiento de un grupo de personas" (p. 100).
Antes de dar este paso, es fundamental la selección de los expertos que participarán en la determinación de dicha validez, para lo cual es necesario calcular el Coeficiente de Competencia Experta, que según Cabero y Barroso (2013), "…se efectúa a partir de la opinión mostrada por el experto sobre su nivel de conocimiento acerca del problema de investigación..." (p. 29).
El juicio de expertos es una estrategia con amplias ventajas para demostrar la validez de la investigación y cobra especial relevancia, pues son ellos quienes deben eliminar los ítems irrelevantes y modificar los que lo requieran. Cabero y Llorente (2013) la consideran: "…de gran utilidad para determinar el conocimiento sobre contenidos y temáticas difíciles, complejas y novedosas o poco estudiadas (…)" (p. 14).
Es necesario tener en cuenta el nivel de conocimiento, el manejo de información, la experiencia profesional, la voluntad y disposición para la participación en el proceso, la disponibilidad de tiempo, el compromiso a la intervención en todas las rondas de aplicación previstas y años de experiencia en la temática concreta. Someter un instrumento de cotejo a la consulta y al juicio de expertos debe hacerse sobre la base de criterios de validez y fiabilidad. En tal sentido, González et al. (2018) plantean que "la consulta a expertos constituye un método heurístico de alto rigor científico que permite la búsqueda del consenso a partir de aproximaciones cualitativas derivadas de la experiencia y el conocimiento de un grupo de personas" (p. 100).
Para Juárez-Hernández y Tobón (2018) existen tres aspectos fundamentales a considerar en el juicio de expertos: el concepto de experto, determinación del grado de conocimiento en el área o constructo y el número de expertos necesarios para efectuar la evaluación del instrumento. En tanto, Quezada et al. (2020) exponen que el mismo permite la valoración de instrumentos de recogida y análisis de información, metodologías empleadas, materiales de enseñanza, opinión respecto a un aspecto concreto, valoraciones conclusivas sobre un problema o sus soluciones, entre otros.
Pero, ¿qué es experto? Debe ser un individuo o persona capaz de proveer valoraciones fiables sobre un problema en cuestión, con conocimiento y experiencia en la temática, experiencia profesional y años de experiencia en dicha temática y acumulado suficiente conocimiento sobre la materia que se considera. Para García et al. (2020), un experto debe poseer conocimiento amplio y profundo de la actividad objeto de análisis y estar familiarizado con el sistema donde se contextualiza el objeto de estudio.
La calidad del proceso y sus resultados puede estar condicionada por la adecuada selección de los expertos (López-Gómez, 2018; Cabero-Almenara et al., 2013), además de la cantidad de expertos necesarios para participar en el proceso, aunque no existe un criterio uniforme entre los autores. Zartha-Sossa et al. (2017), por ejemplo, refieren de 9 a 24 expertos. Para efectos del presente estudio se trabajó con 38 personas.
El objetivo del presente trabajo es exponer los resultados del proceso de validación de los indicadores diseñados para evaluar el impacto de la estrategia de recuperación posCOVID.
Materiales y métodos
Desde el punto de vista estadístico, para la validación de los indicadores para evaluar el impacto de la estrategia de recuperación posCOVID se recurrió al cálculo del Coeficiente de Validez de Contenido (CVC) de Hernández-Nieto (2002), el cual se utilizó para evaluar el juicio de los expertos seleccionados, valorando el grado de acuerdo por ítems de cada uno de ellos. Aunque Hernández-Nieto (2002) recomienda la participación de entre tres y cinco expertos respecto a cada uno de los diferentes ítems y al instrumento en general, en este estudio fueron seleccionados 32.
El procedimiento seguido para garantizar la calidad de la selección de los expertos en esta investigación se basó en el cálculo del Coeficiente de Competencia Experta, para que con su opinión y autovaloración indicaran el grado de conocimiento que tenían acerca del objeto de investigación. En la selección de los mismos se tuvieron en cuenta los siguientes criterios: profesor con amplio conocimiento y experiencia en esta área particular del conocimiento, categoría docente de Asistente, Auxiliar o Titular, con título de Máster como mínimo y al menos 15 años de experiencia en la Educación Superior.
Los requisitos descritos se midieron en una encuesta inicial enviada por email a los 32 que se consideraron podían cumplir con esos criterios. Con anterioridad se había realizado un estudio de la labor docente e investigativa de 38 candidatos. Se tuvo en cuenta también la disposición de participar en el estudio por parte de los posibles expertos, a los cuales se les explicaron los objetivos que se pretendían alcanzar con la investigación.
Caracterización de los Expertos
Categoría docente: 11 Titulares (34,4 %), 17 Auxiliares (53,1 %) y 4 Asistentes (12,5 %).
Título académico: 21 MSc (65,6 %).
Grado científico: 11 Dr. C. (34,4 %).
Años de experiencia en Educación Superior (promedio): 16 años promedio.
Experiencia en el área del conocimiento: 100 %.
Subsiguientemente, se evaluó el Coeficiente de competencia de los posibles expertos (K), a partir de la fórmula K= (Kc+Ka)/2 donde Kc es el coeficiente de conocimiento y Ka el coeficiente de argumentación. Para determinar el Kc se les pidió que marcaran con una cruz en una escala creciente del 1 al 10, lo cual se multiplicó por 0,1. El valor se corresponde con el grado de conocimiento o información general que tienen sobre el tema de estudio, siguiendo la estructura de la tabla 1, donde aparece la respuesta dada por cada experto. En base a esos resultados se calculó el coeficiente de conocimiento Kc, como se muestra en la tabla 2.
Posteriormente, a cada experto se le indicó realizar una autoevaluación de sus niveles de argumentación o fundamentación, según se ilustra en la tabla 3; es decir, el grado de influencia que tuvo cada fuente sobre los conocimientos que posee sobre el tema propuesto, marcando igualmente con una X las opciones Alto, Medio y Bajo para cada opción.
Seguidamente, se procedió a calcular el Coeficiente de argumentación (Ka), teniendo en cuenta el patrón definido en la tabla 4. En este sentido se realizó una adaptación de la tabla propuesta por Dobrov y Smirnov (1972). Este cálculo se realizó sobre la base de las opciones señaladas por los expertos según su autovaloración de las fuentes de argumentación de la tabla 3 y confrontadas con el patrón de la tabla 4, de la siguiente manera: Experto No. 1: Ka = 0,2 + 0,5 + 0,05 + 0,05 + 0,05 + 0,05 = 0,90.
Con los valores finales obtenidos se clasificaron los expertos en tres grupos:
Si K es mayor a 0,8, mayor o menor o igual a 1 (influencia alta);
Si K es mayor o igual que 0,7, menor o igual a 0,8 (influencia media);
Si K es mayor o igual a 0,5, mayor o menor o igual a 0,7 (influencia baja).
La interpretación se realizó evaluando los indicadores sobre la base de que aquellos con un CVC superior a 0,80 son los que permiten evaluar con mayor confiablidad el impacto de la estrategia de recuperación posCOVID, aunque se han considerado también como aceptables aquellos indicadores con un CVC superior a 0,70, siendo este considerado el valor crítico de aceptación del indicador (ver tabla 5).
A continuación, se calculó el Coeficiente de Validez de Contenido de Hernández-Nieto (2002) para valorar el grado de acuerdo de los expertos mediante la aplicación de una escala numérica tipo Likert de 11 alternativas.
El cálculo del RVC se realizó mediante la fórmula siguiente:
donde Mx representa la media de la puntuación dada por los expertos a cada uno de los indicadores y Vmáx la puntuación máxima que el indicador podría alcanzar.
Seguidamente, se realizó el cálculo del error asignado a cada indicador (Pei), de este modo se redujo el posible sesgo introducido por alguno de los jueces, siendo j el número de expertos participantes.
Finalmente, el CVC final se calculó aplicando la fórmula CVC = CVCi Pei.
Resultados
En la siguiente tabla 1 se muestran los resultados de las respuestas dadas por cada uno de los expertos, en relación con el grado de conocimiento o información general que tienen sobre el tema de estudio.
Sobre la base de los resultados anteriores, se calculó el coeficiente de conocimiento Kc que se muestra en la tabla 2.
Tabla 2 - Resultados del cálculo del Coeficiente de Conocimiento (Kc)
| Experto | Kc | Experto | Kc | Experto | Kc |
|---|---|---|---|---|---|
| 1 | 0,8 | 12 | 0,8 | 23 | 0,9 |
| 2 | 0,9 | 13 | 1 | 24 | 1 |
| 3 | 0,8 | 14 | 0,9 | 25 | 1 |
| 4 | 1 | 15 | 0,9 | 26 | 0,8 |
| 5 | 0,8 | 16 | 0,8 | 27 | 0,9 |
| 6 | 0,9 | 17 | 0,8 | 28 | 1 |
| 7 | 0,9 | 18 | 0,9 | 29 | 0,8 |
| 8 | 0,9 | 19 | 0,8 | 30 | 0,8 |
| 9 | 0,8 | 20 | 0,9 | 31 | 0,9 |
| 10 | 0,8 | 21 | 1 | 32 | 0,9 |
| 11 | 0,8 | 22 | 0,9 |
En la tabla 3 se ilustran los resultados de la autoevaluación realizada por uno de los expertos acerca de sus niveles de argumentación o fundamentación; es decir, el grado de influencia que tuvo cada fuente sobre los conocimientos que posee del tema propuesto.
Tabla 3 - Ejemplo de la valoración de las fuentes de argumentación teórica del experto 1
| Fuentes de argumentación (Ka = 0,2 + 0,5 + 0,05 + 0,05 + 0,05 + 0,05 = 0,90) | Grado de influencia de las fuentes de argumentación | ||
|---|---|---|---|
| Alto | Medio | Bajo | |
| Análisis teóricos realizados por usted sobre el tema en cuestión | x | ||
| Experiencia obtenida | x | ||
| Trabajos de autores nacionales | x | ||
| Trabajos de autores extranjeros | x | ||
| Su conocimiento sobre el estado del tema en el extranjero | x | ||
| Su intuición | x | ||
Los resultados del cálculo del Coeficiente de argumentación (Ka) se muestran a continuación en la tabla 4:
Tabla 4 - Patrón de factores para el cálculo del Coeficiente de argumentación (Ka). Se resaltan los resultados del experto 1
| Fuentes de argumentación | Grado de influencia de las fuentes de argumentación | ||
|---|---|---|---|
| Alto | Medio | Bajo | |
| Análisis teóricos realizados por usted sobre el tema en cuestión | 0,3 | 0,2 | 0,1 |
| Experiencia obtenida | 0,5 | 0,4 | 0,2 |
| Trabajos de autores nacionales | 0,05 | 0,05 | 0,05 |
| Trabajos de autores extranjeros | 0,05 | 0,05 | 0,05 |
| Su conocimiento sobre el estado del tema en el extranjero | 0,05 | 0,05 | 0,05 |
| Su intuición | 0,05 | 0,05 | 0,05 |
Aun cuando Hernández-Nieto (2002) establece como criterio que los ítems que obtengan un CVC superior a 0,80 son los que permiten en una mayor medida que el instrumento mida el constructo definido, se establecieron como criterios de medida que aquellos ítems con un CVC superior a 0,80 son los que permiten evaluar con mayor confiablidad el impacto de la estrategia de recuperación posCOVID, aunque se consideraron también como aceptables aquellos indicadores con un CVC superior a 0,70, siendo este el valor crítico de aceptación del indicador (ver tabla 5).
Tabla 5 - Escala de interpretación del Coeficiente Validez de Contenido (CVC) obtenido en cada uno de los indicadores
| CVC (Coeficiente de Validez de Contenido) | Interpretación |
|---|---|
| Menor a 0,60 | Validez inaceptable |
| Igual o mayor que 0,60 y menor que 0,70 | Validez deficiente |
| Igual o mayor que 0,70 y menor que 0,80 | Validez aceptable |
| Mayor o igual que 0,80 y menor que 0,90 | Validez buena |
| Igual o mayor que 0,90 | Validez excelente |
Sobre la base de los criterios establecidos, no se consideran indicadores inaceptables o deficientes y tampoco indicadores considerados de excelentes. Todos los indicadores estuvieron entre las categorías de aceptable y buena, con valores superiores al valor crítico de inclusión 0,70 y correspondientes con el consenso de evaluación "aceptable".
Análisis por dimensiones e indicadores
El CVC para el criterio validez para la Dimensión I "Reducción de riesgos epidemiológicos" osciló entre 0,75313 y 0,79375, lo que puede considerarse como de una validez aceptable en todos sus indicadores (tabla 6).
Tabla 6 - Dimensión I "Reducción de riesgos epidemiológicos"
| Indicador | Validez | |
|---|---|---|
| I1 | 0,79375 | 0,8 |
| I2 | 0,77500 | 0,8 |
| I3 | 0,77500 | 0,8 |
| I4 | 0,79375 | 0,8 |
| I5 | 0,75313 | 0,8 |
| I6 | 0,76250 | 0,8 |
Para la Dimensión II "Indicadores de impacto de la estrategia docente", el CVC para el criterio validez osciló entre 0,74063 y 0,80313. Todos los indicadores alcanzaron un CVC superior a 0,7, siendo el indicador "Efectividad del programa de capacitación a líderes académicos de los diferentes niveles" el de más alto CVC con una validez buena y el indicador "Efectividad en la determinación de los métodos de enseñanza-aprendizaje en las condiciones de escenario de crisis prolongada", el de más bajo CVC (tabla 7).
Tabla 7 - Dimensión II "Indicadores de impacto de la estrategia docente"
| Indicador | Validez | |
|---|---|---|
| II1 | 0,80313 | 0,8 |
| II2 | 0,76563 | 0,8 |
| II3 | 0,75625 | 0,8 |
| II4 | 0,79063 | 0,8 |
| II5 | 0,76250 | 0,8 |
| II6 | 0,76875 | 0,8 |
| II7 | 0,74063 | 0,7 |
| II8 | 0,75313 | 0,8 |
| II9 | 0,79063 | 0,8 |
| II10 | 0,77500 | 0,8 |
En el caso de la dimensión III "Indicadores sobre el impacto del vínculo con las entidades laborales para la potenciación del proceso formativo", obtuvo un CVC para el criterio de validez entre 0,72500 y 0,78750; es decir una validez aceptable, aunque dos de los indicadores: "Efectividad de las acciones formativas desarrolladas en el entorno laboral", el más bajo de todos, y "Efectividad de los cambios que se producen en las entidades empleadoras…", presentan valores por debajo de la media (tabla 8).
Tabla 8 - Dimensión III "Impacto del vínculo con las entidades laborales para la potenciación del proceso formativo"
| Indicador | Validez | |
|---|---|---|
| III1 | 0,78750 | 0,8 |
| III2 | 0,77188 | 0,8 |
| III3 | 0,75938 | 0,8 |
| III4 | 0,78438 | 0,8 |
| III5 | 0,72500 | 0,7 |
| III6 | 0,75625 | 0,8 |
| III7 | 0,74375 | 0,7 |
El CVC para el criterio de validez de la Dimensión IV "Indicadores sobre el logro de la esencialidad de los contenidos en la adecuación curricular", osciló entre 0,74688 y 0,79063, considerado de aceptable, donde estuvo más afectado el indicador "Efectividad del proceso de identificación de fortalezas y oportunidades que ofrece el contexto para diseñar las estrategias de recuperación", con un CVC para el criterio de validez de 0,74688 (tabla 9).
Tabla 9 - Dimensión IV "Logro de la esencialidad de los contenidos en la adecuación curricular"
| Indicador | Validez | |
|---|---|---|
| IV1 | 0,80313 | 0,8 |
| IV2 | 0,80000 | 0,8 |
| IV3 | 0,76250 | 0,8 |
| IV4 | 0,79688 | 0,8 |
| IV5 | 0,74063 | 0,7 |
| IV6 | 0,77813 | 0,8 |
| IV7 | 0,75000 | 0,8 |
En la Dimensión V "Indicadores de impacto logrados por la flexibilidad de las adecuaciones curriculares", todos los indicadores presentan un CVC para el criterio de validez superior a 0,74688, considerado de validez aceptable (tabla 10).
Tabla 10 - Dimensión V "Impactos logrados por la flexibilidad de las adecuaciones curriculares"
| Indicador | Validez | |
|---|---|---|
| V1 | 0,78750 | 0,8 |
| V2 | 0,78125 | 0,8 |
| V3 | 0,74688 | 0,7 |
| V4 | 0,79063 | 0,8 |
En la Dimensión VI "Efectividad de las acciones formativas realizadas en cada etapa", todos los indicadores tienen un CVC para el criterio de validez de aceptable, solo dos: "Efectividad de las adecuaciones del sistema de actividades de aprendizaje" y "Efectividad de las acciones para garantizar la continuidad en el siguiente curso" están por debajo de la media (tabla 11).
Tabla 11 - Dimensión VI "Efectividad de las acciones formativas realizadas en cada etapa"
| Indicador | Validez | |
|---|---|---|
| VI1 | 0,76875 | 0,8 |
| VI2 | 0,79063 | 0,8 |
| VI3 | 0,76563 | 0,8 |
| VI4 | 0,78750 | 0,8 |
| VI5 | 0,73438 | 0,7 |
| VI6 | 0,79063 | 0,8 |
| VI7 | 0,74063 | 0,7 |
| VI8 | 0,77500 | 0,8 |
| VI9 | 0,80625 | 0,8 |
Y para la Dimensión VII "Indicadores de satisfacción de los participantes en el proceso formativo", todos los indicadores superan el CVC para el criterio de validez de aceptable, aunque dos: "Satisfacción de los docentes con la flexibilidad lograda con las adecuaciones curriculares" y "Satisfacción de la familia de los estudiantes con el proceso de formación durante la etapa de recuperación", presentan una afectación notable respecto a los demás (tabla 12).
Discusión
De acuerdo con Hernández y Robaina (2017): "Para la selección de expertos se pueden considerar diferentes vías de acuerdo al tipo de estudio definido por el investigador. Además, puede ser adaptado según las necesidades o comodidades de quienes ejecutan la comprobación" (p. 5).
Siendo así, el cálculo del Coeficiente de Competencia Experta se realizó para que los expertos, como revelan Robles y Rojas (2015), "(…) con su opinión y autovaloración indiquen el grado de conocimiento acerca del objeto de investigación, así como las fuentes que les permiten argumentar y justificar dicho nivel" (p. 2). Dicha técnica nos permitió discriminar de forma adecuada la selección de los expertos, sobre la base de la autovaloración que realizaron respecto al conocimiento que tienen sobre la temática. La totalidad de los expertos consideraron tener altos niveles de argumentación al respecto. El uso de dicha técnica resultó efectivo "(…) mostrando altos niveles de eficacia" (Cabero y Llorente, 2013, p. 12).
En este sentido, conocer la opinión de los expertos seleccionados para autovalorar e indicar el grado de conocimiento que tenían acerca del objeto de investigación, garantizó la calidad de la selección de los mismos, al ser tenidos en cuenta criterios como el ser un profesor con amplio conocimiento y experiencia en esta área particular del conocimiento, con categoría docente de Asistente o superior, con título de Máster como mínimo y con al menos 15 años de experiencia en la Educación Superior, lo cual permitió probar el grado de cohesión de los criterios emitidos por ellos y evidenció que las opiniones emitidas por los expertos con relación al diseño de red propuesto son consistentes.
La categoría docente predominante de los expertos que participaron en el estudio fue la de Auxiliar (53,1 %), mientras que la mayoría tenía el título académico de Máster (65,6 %), el 34,4 % son Doctores en Ciencias, el promedio de años de experiencia en la Educación Superior es de 16 y el 100 % tienen experiencia en el área del conocimiento.
Sobre la base de los criterios de Hernández-Nieto (2002), que establecen que los ítems que obtengan un CVC superior a 0.80 son los que permiten en mayor medida que el instrumento mida el constructo definido, se consideran aceptables aquellos indicadores con un CVC superior a 0.70, siendo este el valor crítico de aceptación del indicador; no se consideraron indicadores inaceptables o deficientes, aunque tampoco indicadores de excelentes, dado que todos estuvieron entre las categorías de aceptable y buena.
El Coeficiente de Validez de Contenido de Hernández-Nieto (2002) permitió evaluar cuantitativamente la Validez de Contenido, utilizando la Técnica de Juicio de Expertos, al mostrar un grado de concordancia y validez significativa de los 32 jueces que participaron en la evaluación de los indicadores y las dimensiones para valorar el impacto de la estrategia de recuperación posCOVID de la Universidad de Pinar del Río "Hermanos Saíz Montes de Oca".
Se comprobó que todos los indicadores elaborados poseen la suficiente validez y confiabilidad, el estar por encima de los valores mínimos, lo que respalda adecuadamente la consistencia interna y la validez de los indicadores. El sistema de indicadores propuesto fue enriquecido con las opiniones de los participantes. Por
todo lo antes expresado, se puede considerar validado el sistema de indicadores para evaluar impacto de estrategia de recuperación posCOVID de la Universidad de Pinar del Río "Hermanos Saíz Montes de Oca".
En conclusión, y según los resultados obtenidos, se presenta una herramienta válida y fiable, que permitirá evaluar el impacto de estrategia de recuperación posCOVID. Universidad de Pinar del Río "Hermanos Saíz Montes de Oca".
Con relación al juicio de expertos, la selección de los expertos, así como el enfoque cualicuantitativo del mismo, se consideran como elementos de alta relevancia para la evaluación y validación de un instrumento (Juárez-Hernández y Tobón, 2018). Por lo anterior, se buscaron expertos con experiencia, suficiente calificación académica y científica y con amplio conocimiento y experiencia en esta área particular del conocimiento.
