Artículo original

Extensión del empleo del criterio de expertos. Validez, consistencia y fiabilidad de los resultados científicos

Extensão do uso do julgamento de especialistas. Validade, consistência e confiabilidade dos resultados científicos

Arcelio Ezequiel Fernández González^{1  *} 
http://orcid.org/0000-0002-8709-5473

Darmary Rodríguez Varis¹ 
http://orcid.org/0000-0003-4130-7714

Enilda Mariselis Jorrín Carbo¹ 
http://orcid.org/0000-0002-0513-3561

¹Universidad de Matanzas. Facultad Ciencias de la Cultura Física Matanzas, Cuba.

RESUMEN

El criterio (juicio o consulta) de expertos, en las últimas décadas, ha sido ampliamente utilizado en las investigaciones cualitativas, puede decirse que para muchos investigadores constituye la "regla de oro" para validar sus hallazgos. El propósito del artículo consistió en proponer un procedimiento para el procesamiento estadístico de los datos cuando se emplea una extensión del método convencional del criterio de expertos, para establecer la validez, consistencia y fiabilidad en los hallazgos científicos. El mismo fue aplicado en la toma de decisiones de una de las tres dimensiones de la variable de los componentes del ejercicio problémico interdisciplinario del proceso de enseñanza-aprendizaje. En el proceso investigativo se utilizaron métodos empíricos como la revisión de documentos, la encuesta y el criterio de expertos. Los tests estadísticos aplicados arrojaron significación estadística (P < 0.05 hasta P < 0.001) entre las comparaciones y/o asociaciones realizadas. Los hallazgos encontrados demostraron, al aplicar el procedimiento, una aproximación hacia la validez, consistencia y fiabilidad de los resultados científicos.

Palabras clave: consistencia; expertos; fiabilidad; procedimiento; validez.

RESUMO

O julgamento de especialistas (julgamento ou consulta) tem sido, nas últimas décadas, amplamente utilizado em pesquisas qualitativas, indiscutivelmente o "padrão ouro" para muitos pesquisadores validarem suas descobertas. O objetivo do artigo foi propor um procedimento para o processamento estatístico de dados ao usar uma extensão do método convencional de julgamento de especialistas para estabelecer validade, consistência e confiabilidade em descobertas científicas. Ele foi aplicado na tomada de decisão de uma das três dimensões dos componentes variáveis do exercício interdisciplinar de solução de problemas do processo de ensino-aprendizagem. Métodos empíricos, como análise de documentos, pesquisa e julgamento de especialistas, foram usados no processo de pesquisa. Os testes estatísticos aplicados mostraram significância estatística (P < 0,05 a P < 0,001) entre as comparações e/ou associações feitas. Os resultados demonstraram, ao aplicar o procedimento, uma abordagem voltada para a validade, a consistência e a confiabilidade dos resultados científicos.

Palavras-chave: consistência; especialistas; confiabilidade; procedimento; validade.

INTRODUCCIÓN

El criterio (juicio o consulta) de expertos, en las últimas décadas, ha sido ampliamente utilizado en las ciencias sociales, humanísticas, económicas, tecnológicas, médicas y ciencias de la práctica de la cultura física y la educación para validar una hipótesis, propuesta o componente de la investigación científica en el campo de las investigaciones cualitativas ^{(Aguilar et al., 2022}; ^{Díaz et al., 2020}; ^{Jorrín et al., 2021}; ^{Marrero y Smith, 2022}; ^{Mora y Lao, 2021}; ^{Robles y Rojas, 2015} y ^{Torres et al., 2022)}.

En los estudios cualimétricos de investigación, se consideran tres metodologías de evaluación que utilizan el criterio de expertos: la de preferencia, la de comparación por pares y el Delphi o Delphos ^{(Díaz et al., 2020)}. Esta última ha sido la más empleada por la comunidad científica para validar sus hallazgos (Ídem).

A pesar de la amplia utilización del criterio de expertos dentro de las investigaciones cualitativas que para muchos estudiosos pudiera decirse constituye la "regla de oro" en la validación de los resultados científicos y cuya validación, para otros, se logra en un tiempo relativamente corto respecto al invertido en la experimentación ha sido ampliamente cuestionado en la literatura científica, por el componente subjetivo inherente en la obtención de los datos, su objetividad, validez interna y externa, fiabilidad, confiabilidad, consistencia y aplicabilidad ^{(Cruz, 2020}; ^{Okuda y Gómez, 2005} y ^{Robles y Rojas, 2015)}.

Se considera que las debilidades que presenta el método no consisten en que la información, como se plantea, suele presentarse de manera poco precisa en escalas nominales u ordinales, sino en los detractores antes citados. Su empleo se justifica en aquellos casos en que no es posible utilizar los métodos cuantitativos de la investigación y/o la experimentación.

Con el propósito de atenuar los posibles sesgos asociados al método de criterio de expertos y con ello, pretender darles validez interna a los resultados del estudio, se propone utilizarlos como alternativas de la triangulación y de evaluación del criterio de expertos con enfoque difuso ^{(Carvajal et al., 2023}; ^{Cruz, 2020}; ^{Marín et al., 2021} y ^{Okuda y Gómez, 2005)}.

Por otra parte, la validez ha sido definida como el grado en que un instrumento mide aquello que realmente pretende o sirve para el propósito que ha sido construido. Y la fiabilidad es comprendida como el grado con que el instrumento mide con precisión descartando el error y lo hace a través de la consistencia, estabilidad temporal y el acuerdo entre expertos, Arribas (citado por ^{Robles y Rojas, 2015)}.

Se parte de que un adecuado procesamiento estadístico de los datos puede dar crédito a la validez, consistencia y fiabilidad de los hallazgos científicos encontrados en las investigaciones puramente cualitativas. Basado en estos dos conceptos, el propósito del artículo es proponer, para la toma de decisiones entre dimensiones (ítems, categorías pedagógicas, criterios científicos o metodológicos, procesos, etc.) un procedimiento para el procesamiento estadístico de los datos cuando se emplea el método de criterio de expertos en las investigaciones cualitativas y lograr la validez, consistencia y fiabilidad de los hallazgos científicos.

MATERIALES Y MÉTODOS

En el desarrollo de la investigación, se utilizaron los métodos a nivel teórico y empíricos, dentro de los empíricos fueron considerados:

La revisión de documentos: se utilizó con el propósito de analizar la información relacionada con el criterio de expertos, su origen, procedimientos estadísticos para su uso, y su empleo en el desarrollo de las investigaciones cualitativas relacionadas con diferentes ciencias del conocimiento como: las educacionales, médicas, económicas industriales, sociales y humanísticas, en la lingüística aplicada y la gestión tecnológica, empresarial y de eventos; se empleó además, en la revisión de contenidos relacionados con los procedimientos estadísticos no paramétricos.

La encuesta: se usó para el diagnóstico y se aplicó a 20 investigadores (de forma anónima), con el propósito de determinar si los mismos tenían conocimiento sobre el posible empleo de métodos convencionales del criterio de expertos (Delphi, comparación por pares o por preferencias) tal como se describe en la literatura científica, para la toma de decisiones entre dimensiones (ítems, categorías pedagógicas, criterios científicos o metodológicos, procesos, etc.), o si habían observado en la literatura consultada la aplicación de algunos de los procederes que se propone en este estudio.

Criterio de expertos: el método convencional del criterio de expertos (Delphi) fue empleado para determinar el coeficiente de competencia (K) de los candidatos a expertos y el procedimiento propuesto (extensión del empleo del criterio de expertos); además, para que los mismos valoraran en una escala del 1 al 10 (puntos), la dimensión de mayor importancia entre delimitación de conocimientos precedentes de los nuevos elementos a buscar (NE), acciones de solución del problema (AS) y relación interdisciplinaria con la profesión (RI) y asignarle el mayor puntaje a la dimensión que considerara la más importante, para en el momento de calificar las respuestas a las preguntas formuladas a los estudiantes, sobre un ejercicio problémico interdisciplinario en la asignatura de Fisiología del Ejercicio en estudiantes de la Licenciatura en Cultura Física y tener en cuenta la importancia relativa de las tres dimensiones consideradas con este fin (NE, AS y RI). De esta manera, no se perdía el principio del carácter integral de las calificaciones de las respuestas a las preguntas formuladas.

En consecuencia, se planteó una situación de toma de decisiones para la que no fue posible emplear los métodos convencionales del criterio de expertos (Delphi, comparación por pares o por preferencias) como se describe en la literatura.

Como herramienta de comprobación del procedimiento propuesto a las puntuaciones otorgadas por los expertos a cada una de las dimensiones bajo estudio, se estimaron valores porcentuales de las puntuaciones teóricas y reales, y posteriormente, se aplicaron una serie de test estadísticos no paramétricos, para demostrar la validez, consistencia y fiabilidad del procedimiento propuesto en la toma de decisión; se utilizó para ello el paquete estadístico SPSSSPC versión 25.0.

Validación práctica del procedimiento propuesto (extensión del empleo del criterio de expertos): para determinar (y resolver) cuál de las tres dimensiones NE, AS y RI (explicadas anteriormente) fue la más importante y las situaciones en que no era posible su solución con la aplicación de los métodos convencionales del criterio de expertos, como se describe en la literatura científica.

La investigación fue transversal y cualitativa y se emplearon herramientas de los métodos de la estadística no paramétrica.

La selección de la muestra respondió a un muestreo intencional no probabilístico, en el que a 20 candidatos a expertos se les determinó el coeficiente de competencia (K) relacionado con la fuente de argumentación o fundamentación de la temática en estudio y fueron los mismos a los que se aplicó la encuesta para el diagnóstico.

RESULTADOS

Revisión de documentos

La revisión y análisis de la literatura relacionada con el tema estudiado posibilitó detectar que si bien los métodos convencionales existentes para el empleo del criterio de expertos (Delphi, comparación por pares y por preferencia) pueden ser utilizados al validar teóricamente la propuesta de una metodología, estrategia, programa, métodos, ítems, categorías pedagógicas, criterios científicos o metodológicos, procesos, hipótesis, componente de la investigación científica, etc., el mismo no era posible emplearlo, tal y como se describe en la literatura, para llevar a cabo una toma de decisión entre dimensiones (ítems, categorías pedagógicas, criterios científicos o metodológicos, procesos, etc.) de una investigación o de algún componente de la misma por lo que, se hizo necesario establecer un nuevo procedimiento con ese propósito (Tabla 1).

Encuesta

Tabla 1.  - Resultados de la encuesta aplicada 

Pregunta	Si (%)	No (%)
1	100	-
2	100	-
3	100	-
4	-	100
5	100	-
6	100	-
7a	-	100
7b	-	100
7c	-	100
7d	-	100
7e	-	100
8	-	100
9	-	100
10	-	100
11a	-	100
11b	-	100
11c	100	-

En la tabla 1, se puede observar que el 100 % de los encuestados tiene el título de Doctor en Ciencias, realizaron revisión de la literatura científica relacionada con el criterio de expertos y lo aplicaron en sus investigaciones (pregunta 1, 2 y 3, respectivamente), por lo que tienen conocimientos sobre la temática en estudio.

De igual forma, el 100 % de los mismos refieren que no se pueden aplicar los métodos convencionales del criterio de expertos (Delphi, comparación por pares o por preferencias) tal como se describe en la literatura científica para la toma decisiones entre dimensiones (pregunta 4).

El 100 % expresa que para la selección de los expertos sí se tiene en cuenta el coeficiente de competencia K, índice de experticia o sus biogramas (pregunta 5), y de igual forma, cada experto (en una escala valorativa de 1 a 10) otorgó puntuaciones a cada una de las dimensiones (pregunta 6), por ser procederes utilizados en el empleo del criterio de expertos convencional.

Se aprecia que el 100 % opina que no se estiman o calculan las puntuaciones teóricas total y real a las dimensiones de estudio (preguntas 7a y 7b) ni los porcentajes de puntuaciones efectiva, teórica y real de cada dimensión (preguntas 7c, 7d y 7e).

Asimismo, para el 100 % no se aplican test estadísticos para la comparación a priori y a posteriori de las medias de las puntuaciones otorgadas, no se busca la significación estadística para los porcentajes estimados ni se aplican test estadísticos para la comparación entre dimensiones de los porcentajes de las puntuaciones otorgadas, no se estiman los estadísticos de tendencia central y dispersión a cada dimensión de estudio ni se somete a la prueba de bondad de ajuste a la distribución normal las puntuaciones reales (preguntas 8, 9, 10, 11a, 11b, respectivamente). Aunque sí expresaron que se calcula el coeficiente de concordancia de Kendall para determinar la asociación entre las puntuaciones otorgadas por los expertos a cada dimensión (pregunta 11c).

Así pues, el análisis de documentos y la encuesta aplicada demostraron que, si bien los investigadores emplean el criterio de expertos tal como se describe en la literatura científica, no es posible su empleo para la toma de decisiones entre dimensiones, pues no se describe un procedimiento con este fin, lo que justifica la elaboración de la propuesta titulada extensión del empleo del criterio de expertos.

Extensión del empleo del criterio de expertos

Los procederes que integran la extensión del empleo del criterio de expertos, se describen a continuación:

1. Insistir en que el investigador debe estar interesado en llevar a cabo una toma de decisión entre dimensiones en la investigación o algún componente de la misma, para lo cual no es posible emplear los métodos convencionales del criterio de expertos tal y como se describen en la literatura.

2. Seleccionar, si no se ha realizado previamente, los expertos a consultar (se informan correctamente los objetivos que se pretenden lograr con el trabajo) y se determinan los coeficientes de competencia (K), el índice de experticia (IE) como lo describen Marreo y Smith (2022) o si lo prefiere sus biogramas (biografías de los expertos, según ^{Robles y Rojas (2015)}.

3. Encuestar a aquellos expertos que poseen altos coeficientes de competencia relacionados con la temática de estudio.

4. Los expertos deben considerar, comparar y estudiar cada una de las dimensiones (ítems, categorías pedagógicas, criterios científicos o metodológicos, procesos, etc.) y otorgar una puntuación en una escala valorativa de 1 a 10 puntos, en orden de importancia.

5. Estimar o calcular:

1. a) La puntuación teórica total (P_tet) que pueden otorgar todos los expertos durante el proceso de valoración de las dimensiones bajo estudio, esto es Ecuación 1:

$Ptet = N x D x 10$ (1)

Donde:

N	=cantidad de expertos que participan en la valoración de las dimensiones (usualmente entre 15 y 30)
D	=cantidad de dimensiones a valorar
10	= cantidad total de puntos que cada experto puede otorgarle a cada dimensión

1. b). - La puntuación real total: suma de la suma de las puntuaciones otorgada por los expertos a cada una de las dimensiones.

2. c). - Porcentaje de puntuación efectiva otorgada por los expertos Ecuación 2:

$PPef = (Prt / Ptet) x 100 \%$ (2)

Donde:

PPef	= porcentaje de puntuación efectiva
Prt	= puntuación real total
Ptet	= puntuación teórica total

1. d). - Porcentaje de puntuación teórica otorgada por los expertos a cada dimensión como Ecuación 3:

$PPtd = (Tpd / Ptet) x 100$ %, (3)

Donde:

PPtd	= porcentaje de puntuación teórica otorgada a cada dimensión
Tpd	= total de puntos otorgados a la dimensión
Ptet	= puntuación teórica total

1. e). - Porcentaje de puntuación real otorgada por los expertos a cada dimensión como Ecuación 4:

$PPrd = (Tpd / Prt) x 100$ % (4)

Donde:

PPrd	= porcentaje de puntuación real otorgada a cada dimensión
Tpd	= total de puntos otorgados a la dimensión
Prt	= puntuación real total

1. 6.- Aplicar un test estadístico de comparación de medias a priori y a posteriori (Post Hoc). Para ello, se sugiere la prueba de Kruskal-Wallis y el test de Nemeyi (test de comparación múltiple de medias), respectivamente u otras equivalentes.

2. 7. Buscar en la tabla de significación de proporción de Folgueira (2003) basada en el algoritmo de Critical Values of the Sign Test ^{(Bukaè, 1975)} la significación estadística de los porcentajes estimados.

3. 8. Aplicar un test estadístico para la comparación entre dimensiones de los porcentajes de las puntuaciones otorgadas por los expertos como la t de student u otra equivalente.

4. 9. Además, se puede:

1. a). Estimar los estadísticos de tendencia central y dispersión para las puntuaciones otorgadas por los expertos a cada dimensión de estudio (media, mediana, desviación estándar, máximo y mínimo). b). Someter a la prueba de bondad de ajuste a la distribución normal mediante el test de Kolmogorov-Smirnov u otro, las puntuaciones reales otorgadas por los expertos.

2. c). Comparar entre dimensiones las puntuaciones medias a priori, a través de la prueba alternativa de Jonckheere-Terpstra y la prueba de la mediana.

3. d). Calcular el coeficiente de concordancia de Kendall para determinar la asociación entre las puntuaciones otorgadas por los expertos a cada dimensión.

Validación práctica de la extensión del empleo del criterio de expertos

El procedimiento propuesto fue aplicado durante el desarrollo de la tesis Metodología para favorecer el enfoque problémico interdisciplinario desde la asignatura Fisiología del Ejercicio Físico de la Licenciatura en Cultura Física, presentada en opción al grado científico de Doctor en Ciencias de Cultura Física (Rodríguez, 2022) y se utilizó para la validación práctica del procedimiento propuesto.

Se puso énfasis en la valoración de tres dimensiones de la variable de los componentes del ejercicio problémico interdisciplinario para el proceso enseñanza-aprendizaje de estudiantes de Licenciatura en Cultura Física, a fin determinar cuál de esas dimensiones era la de mayor importancia (proceder 1).

A los expertos (20 candidatos posibles), todos Doctores en Ciencia y profesores Titulares con vasta experiencia en la enseñanza de la educación superior (15 años de experiencia docente promedio), después de la determinación del coeficiente de competencia relacionado con la fuente de argumentación o fundamentación de la temática de estudio (proceder 2), los 15 que resultaron poseer el coeficiente K alto (proceder 3) fueron los expertos que valoraron anónimamente las dimensiones del componente ejercicio problémico interdisciplinario, a fin de determinar la dimensión de mayor importancia (proceder 4) entre NE, AS y RI, sin dejar de valorar las dos restantes para no perder el principio del carácter integral a la hora de calificar las respuestas a las preguntas formuladas a los estudiantes.

El cuestionario utilizado para la valoración de la importancia de las dimensiones de los componentes del ejercicio problémico interdisciplinario se presenta a continuación:

Estimado experto, necesitamos de su experticia para a su juicio responder el siguiente cuestionario.

En la clase con enfoque problémico interdisciplinario, el estudiante debe dar respuesta a un problema docente interdisciplinario. Para ofrecer una evaluación integral a las respuestas que dará el mismo, el profesor debe analizar cuál de las tres dimensiones siguientes tiene más importancia, sin dejar de valorar los dos restantes. Le solicito marque (x) en la siguiente escala evaluativa y otorgue la mayor puntuación a la dimensión que usted considere más importante (Tabla 2).

Tabla 2.  - Encuesta 

Dimensión		Puntuación
		1	2	3	4	5	6	7	8	9	10
1	Conocimientos precedentes de los nuevos elementos a buscar (NE).	-	-	-	-	-	-	-	-	-	-
2	Acciones de solución del problema (AS).	-	-	-	-	-	-	-	-	-	-
3	Relación interdisciplinaria con la profesión (RI).	-	-	-	-	-	-	-	-	-	-

Por su colaboración, muchas gracias.

Se cumplimentó el resto de los procederes (del 5 al 9) del procedimiento propuesto.

Resultados de la validación práctica de la extensión del empleo del criterio de expertos

Las puntuaciones teóricas total (P_tet) y real total (P_rt) resultaron ser respectivamente 450 y 391 puntos (procederes 5a y 5b).

La tabla 3 muestra los niveles de significación estadística de los porcentajes estimados de puntuación efectiva (proceder 5c) y dentro de cada dimensión (tanto teórica, como real, procederes 5d y 5e, respectivamente) (Tabla 3).

Tabla 3.  - Significación estadística para los porcentajes de las puntuaciones efectiva, teórica y real dadas por los expertos dentro de cada dimensión  

Porcentaje de puntuación efectiva (%)		86.88 *
Porcentaje de puntuación teórica (%)	NE	AS	RI
	24.44 ns	32.89 ns	29.55 ns
Porcentaje de puntuación real (%)	28.13 ns	37.85 ns	34.01 ns

NE: conocimientos precedentes de los nuevos elementos a buscar; AS: acciones de solución del problema; RI: relación interdisciplinaria con la profesión. ns: no significativo *: P < 0.05

Los porcentajes estimados de puntuaciones teóricos y real otorgados por los expertos dentro de cada dimensión no resultaron ser significativos; sin embargo, la puntuación efectiva sí logró niveles de significación estadística (86.88 %, P < 0.05), lo que evidencia el alto porcentaje de puntuaciones otorgadas a las dimensiones de estudio, ello expresa la importancia atribuida a las mismas en el proceso de evaluación de las pruebas pedagógicas para aplicar posteriormente a los estudiantes.

Como se aprecia, para los expertos, las tres dimensiones resultaron importantes, pero destacó AS a la que se le otorgó respectivamente 32.89 % de puntuación teórica y 37.85 % de puntuación real (Tabla 2).

A pesar de que los porcentajes de puntuaciones teórica y real no fueron significativos, la t de Student (proceder 8), cuyos valores variaron desde 2.808 hasta 2.897, arrojó diferencias significativas al comparar entre dimensiones estos porcentajes (P < 0.05, tabla 3). E igualmente, posibilitó considerar a la dimensión AS como la más importante para el proceso de evaluación de las pruebas pedagógicas, al ser esta la de mayores porcentajes de puntuaciones significativas (P < 0.05), expuesta en la tabla 4 (Tabla 4).

Tabla 4.  - Comparación entre dimensiones de los porcentajes de las puntuaciones dadas por los expertos 

-	NE	AS	RI
Porcentaje de puntuación teórica (%)	24.44 a	32.89 b	29.55 c
Porcentaje de puntuación real (%)	28.13 a	37.85 b	34.01 c

NE: conocimientos precedentes de los nuevos elementos a buscar; AS: acciones de solución del problema RI: relación interdisciplinaria con la profesión. ns: no significativo *: P < 0.05 **: P < 0.01. Porcentajes con letras diferentes difieren a P < 0.05.

El resultado anterior se hizo consistente al comparar los valores medios reales de las puntuaciones entre dimensiones, a través de la prueba de Kruskal-Wallis, (proceder 6, tabla 4), esto demostró la existencia de diferencias altamente significativas (Chi cuadrado igual a 31.156, P < 0.001), igualmente lo hizo la prueba alternativa de Jonckheere-Terpstra (J-T igual a 441,500) y la de la mediana (Chi-cuadrado igual 29.400), P < 0.05 o P < 0.001 (Tabla 5).

Tabla 5.  - Kendall, pruebas de Kruskal-Wallis, Jonckheere Terpstra, de la mediana para la asociación y comparación entre dimensiones de las puntuaciones medias reales otorgadas por los expertos 

-	NE	AS	RI
Media (puntos)	7.333 a	9.866 b	8.866 c
Mínimo (puntos)	5.000	9.000	8.000
Máximo (puntos)	9.000	10.000	10.000
Desviación estándar	1.175	0.351	0.639
Mediana	7.000	10.000	9.000
N	15	15	15
D máx.	1,598 **
W	0.794 ***
Chi- cuadrado(K-W)	31.156 ***
Chi- cuadrado (P-M)	29.400 ***
J -T	441,500 *
GL	2

NE: conocimientos precedentes de los nuevos elementos a buscar; AS: acciones de solución del problema; RI: relación interdisciplinaria con la profesión. W: estadístico de contraste de Kendall; K-W: Kruskal-Wallis; P-M: prueba de la mediana; J T: estadístico de Jonckheere Terpstra; *: P < 0.05; **: P < 0.01 ***: P < 0.001. GL: grados de libertad.

La prueba de Nemeyi de comparación múltiple de medias a posteriori o Post Hoc (proceder 7) evidenció que estas diferencias eran significativas (P < 0.05) entre todas las medias de puntuaciones y la de mayor puntuación media (9.866) fue la dimensión acciones de solución del problema (AS), como se puede apreciarse en la tabla 5.

Unido a lo anterior, el coeficiente de concordancia de Kendall (W = 0.794) mostró una asociación significativa (P < 0.001, Tabla 5) entre las puntuaciones reales otorgadas a cada una de las dimensiones de estudio, lo que demuestra un alto grado de consistencia en el criterio emitido por los expertos.

Estos hallazgos posibilitaron determinar que los mayores porcentajes de puntuación teórica, real (32.89 % y 37.85 %) y significativa (P < 0.05) los presentaron la dimensión AS. Su mayor valor medio de puntuación (9.866) y de la mediana (10.000), al compararlo con las otras dimensiones (Tablas 4 y 5) y la consistencia en las puntuaciones otorgadas por los expertos posibilitó considerar a esta dimensión como la de mayor importancia de la variable enfoque problémico interdisciplinario con el propósito de calificar las preguntas de las evaluaciones de los estudiantes.

La tabla 5 muestra, además, los estadísticos de tendencia central y dispersión para las puntuaciones otorgadas por los expertos dentro de cada dimensión y la prueba de bondad de ajuste a la curva normal. En este último caso, el estadístico del test de Kolmogorov-Smirnov (Dmáx. = 1.598) resultó ser muy significativo (P < 0.01), y justificó el empleo de la estadística no paramétrica en este estudio, pues las puntuaciones otorgadas por los expertos a las dimensiones bajo estudio (AS, NE y RI) no siguen una distribución normal.

Aunque no se eliminó el componente subjetivo inherente al criterio de expertos, los hallazgos encontrados demuestran la validez, fiabilidad y consistencia de los resultados científicos para la toma de la decisión objeto de estudio, aunque el procedimiento puede emplearse en otros estudios donde se aplique el criterio de expertos para validar una hipótesis o un componente de una investigación científica de carácter cualitativo.

DISCUSIÓN

^{Contreras y Palau (2020)} y ^{Herrera et al. (2022)} consideran que la calidad de los resultados de la aplicación del método criterio de expertos depende, en buena medida, del cuidado que se le preste a la elaboración del cuestionario y a la elección de los expertos consultados, criterio compartido por los autores, a partir de los resultados obtenidos.

^{Díaz et al. (2020)} consideran que el método criterio de expertos, puede ser empleado en cualquier parte de la investigación que no permita su fácil modelación. En el presente artículo, la extensión del método (procedimiento propuesto) fue empleado para una toma de decisión, pero el mismo puede ser empleado para buscar consistencia de los resultados científicos sobre la base de las puntuaciones otorgadas.

^{Díaz et al. (2020)} también emplearon el método para la toma de decisiones sobre el financiamiento de proyectos de desarrollo sostenible, así como Marreo y Smith (2022) para la toma de decisiones en la planificación del mantenimiento en la gestión empresarial y ^{Mora y Lao (2021)} en la validación del procedimiento para la gestión de eventos en hoteles cubanos; pero en ninguno de los casos, la toma de decisiones estuvo basada en el procesamiento estadístico de las puntuaciones otorgadas por los expertos a las dimensiones o componentes de la investigación de estudio como la realizada.

Las tomas de decisiones con la aplicación del criterio de expertos se basan en demostrar la propuesta científica como Adecuada (con sus otras categorías valorativas) o No Adecuada, y validarla. En el presente artículo, la decisión se tomó como resultado de la aplicación de la estadística no paramétrica y al empleo de nuevos criterios valorativos como los porcentajes efectivos, teóricos y reales en general y dentro de cada dimensión, derivados de las puntuaciones otorgadas por los expertos. Ello posibilitó la aproximación a la validación, consistencia y fiabilidad de los resultados científicos en el campo de las investigaciones cualitativas o subjetivas y de esta forma, como ^{Cruz (2020)} considera, atenuar los sesgos inherentes y asociados a estas investigaciones, derivados del alto grado de subjetividad al obtener los datos.

^{Okuda y Gómez (2005)} y ^{Cruz (2020)} han propuesto la triangulación y el criterio de expertos con enfoque difuso para aumentar la validez y consistencia de los hallazgos; sin embargo, esta última variante no logra eliminar el alto componente subjetivo del método criterio de expertos y resulta algo complejo su utilización al compararlo con el procedimiento propuesto en el presente estudio.

^{Herrera et al. (2022)} sugieren que el grado de acuerdo entre los expertos se puede calcular estimando el estadístico de Kappa (cuando las variables están dadas en una escala nominal) y el coeficiente de concordancia Kendall. En este caso, este acuerdo se logró mediante el empleo del coeficiente de concordancia de Kendall. Igualmente, ^{García et al. (2023)} midieron el grado de correlación y consistencia interna de las variables entre expertos en una estrategia de intervención, con un empleo semejante al del estudio presentado.

CONCLUSIONES

La revisión y análisis de la literatura relacionada con el tema estudiado, así como los resultados de la encuesta aplicada posibilitaron detectar que, si bien los métodos convencionales existentes sobre el empleo del criterio de expertos pueden utilizarse para validar teóricamente una propuesta científica, no es posible su empleo, tal y como se describen en la literatura científica, para llevar a cabo una toma de decisión como la abordada en el presente artículo.

La aplicación del procedimiento propuesto para, a partir de la valoración de las tres dimensiones (delimitación de conocimientos precedentes de los nuevos elementos a buscar, acciones de solución del problema y relación interdisciplinaria con la profesión) de la variable enfoque problémico interdisciplinario, determinar cuál debía ser considerada como la de mayor importancia para la evaluación y calificación de las pruebas pedagógicas sobre un ejercicio problémico interdisciplinario de la asignatura Fisiología del Ejercicio Físico en estudiantes de Licenciatura en Cultura Física posibilitó concluir, por sus mayores y significativos porcentajes de puntuaciones teórica y real, su mayor y significativo valor medio de puntuación y de la mediana (al compararlos con las otras dimensiones estudiadas) y la consistencia en las puntuaciones otorgadas por los expertos, que la dimensión acciones de solución del problema fue la de mayor importancia, ello valida el procedimiento propuesto para ser empleado en la toma de decisiones.

Aunque no se pudo eliminar el componente subjetivo inherente al empleado del procedimiento propuesto (extensión del empleo del criterio de expertos), los hallazgos encontrados demostraron la validez, consistencia y fiabilidad de los resultados científicos y se puede emplear, siempre que se apliquen los métodos convencionales del criterio de expertos, para buscar consistencia de los resultados científicos sobre la base del procesamiento estadístico de las puntuaciones otorgadas.

Agradecimientos

Los autores desean expresar sus más sinceros agradecimientos a los expertos consultados, sin cuya colaboración no hubiera sido posible la realización del presente trabajo.

REFERENCIAS BIBLIOGRÁFICAS

Aguilar, J., Jódar, E., Brañas, F., Gómez, C., González, Y., Malouf, J., Sánchez, R., Segura, J., Suárez, J., & Valdés, C. (2022). Consenso Delphi sobre Estrategias Terapéuticas y de Prevención Sanitaria de la hipovitaminosis D. Rev Osteoporos Metab Miner., 14(4), 115-124. http://www.revistadeosteoporosisymetabolismomineral.com/pdf/articulos/14_4_4.pdf.

Bukaè, J. (1975). Critical Values of the Sign Test. Algorithm AS 85. Applied Statistics, 24(2), 1-12.

Carvajal, B., González, F. e Ibarra, L. (2023). Triangulación de métodos en ciencias sociales como fundamento en la investigación universitaria en Latinoamérica. Revista científica de humanidades y artes, 11(2), 1-16. DOI: https://doi.org/10.5281/zenodo.8140907. https://revistas.uclave.org/index.php/mayeutica.

Contreras, N., & Palau, M. (2020). Diseño y Validación de un Cuestionario para Evaluar el Clima Organizacional Hospitalario. Salud y Administración, 7(19), 3-11. https://revista.unsis.edu.mx/index.php/saludyadmon/article/view/165/133.

Cruz, M. (2020). Un procedimiento de evaluación basado en el criterio de expertos con enfoque difuso. Focus. Ediciones UDG, Universidad de Holguín, 1-15. https://revistas.udg.co.cu/index.php/roca/article/view/1684.

Díaz, F., Cruz, M., Pérez, M., y Ortiz, T. (2020). El método criterio de expertos en las investigaciones educacionales: visión desde una muestra de tesis doctorales. Revista Cubana de Educación Superior, 39 (1. Enero - Abril), 1- 15. http://scielo.sld.cu/57-4314-rces-39-01 -e18.pdf

García, R., Ayup, D., Mendoza, N., Milián, P., y Castaneda, I. (2023). Validación Delphi: Estrategia de intervención para mejorar el clima organizacional en centros diagnostico integrales venezolanos. Universidad y Sociedad. Revista Científica de la Universidad de Cienfuegos, 15(1), 723-734. https://rus.ucf.edu.cu/index.php/rus/article/view/3589

Herrera, J., calero, J, González, M., Collazo, M., y Travieso, Y. (2022). El método de consulta a expertos en tres niveles de validación. Revista Habanera de Ciencias Médicas, 21(1), 1-11. http://scielo.sld.cu/scielo.php?script=sci_arttext&pid=S1729-519X2022000100014

Jorrín, E.; Quintana, D., y Kessel, J. (2021). Estudio preliminar de la orientación del contenido estadístico durante el proceso de formación del profesional de Cultura Física. PODIUM-Revista de Ciencia y Tecnología en la Cultura Física 16(2), 576-592. https://podium.upr.educ.cu/index.php/podium/article/view/994.

Marrero, R., y Smith, A. (2022). Diseño del grupo de expertos para contribuir a la gestión de la planificación del mantenimiento. Revista Universidad Sociedad, 14 (S1), 97 109. https://rus.ucf.edu.cu/index.php/rus/article/view/2615/2564.

Marín, F., Pérez, J., Senior, A., y García, J. (2021). Validación del diseño de una red de cooperación científica utilizando el coeficiente K para la selección de expertos. Información Tecnológica, 32(2), 79-88. http://dx.doi.org/10.4067/So718-07642021000200079.

Mora, J., y Lao, Y. (2021). Factibilidad del método criterio de expertos para validar el procedimiento para la gestión de eventos en hoteles cubanos. Anuario Facultad de Ciencias Económicas y Empresariales, 2(1), 1-10. https://anuarioeco.uo.educ.cu/index.php/aeco/article/view/5216.

Okuda, M., y Gómez, C. (2005). Métodos en investigación cualitativa: triangulación. Revista Colombiana de Psiquiatría, 3(1), 119-124. https://www.redalyc.org/pdf/806/80628403009.pdf.

Robles, P., y Rojas, M. (2015). La validación por juicio de expertos: dos investigaciones cualitativas en Lingüística aplicada. Revista Nebrija de Lingüística Aplicada, 18(1), 1-18. https://www.nebrija.com/revista-linguistica/files/articulosPDF/articulo_55002aca89c37.pdf.

Torres J., Vera V., Zuzunaga, F., Talavera, J., y De la Cruz, J. (2022). Validez de contenido por juicio de expertos de un instrumento para medir conocimiento, actitudes y práctica al consumo de sal en la población peruana. Revista Fac. Hum., 22(2), 273-279. Doi.: 10.25176/RFMH, v 22i2, 4678. http://revistas.urp.edu.pe/index.php/RFMH.

Recibido: 27 de Marzo de 2023; Aprobado: 27 de Diciembre de 2023

^*Autor para la correspondencia: [e-mail]

Los autores declaran no tener conflictos de intereses.

Arcelio Ezequiel Fernández González: concepción de la idea, búsqueda y revisión de literatura, confección de instrumentos, aplicación de instrumentos, recopilación de la información, resultado de los instrumentos aplicados, confección de base de datos, análisis estadístico, confección de tablas, asesoramiento general por la temática abordada, redacción del original (primera versión), revisión y versión final del artículo, corrección del artículo, coordinador de la autoría, traducción de términos o información obtenida, revisión de la norma bibliográfica aplicada.

Darmary Rodríguez Varis: revisión de literatura, confección de instrumentos, aplicación de instrumentos, recopilación de la información, resultado de los instrumentos aplicados, confección de tablas, confección de base de datos, corrección y redacción, versión final del artículo, revisión de la norma bibliográfica aplicada.

Enilda Mariselis Jorrín Carbó: revisión de literatura, confección de instrumentos, aplicación de instrumentos, recopilación de la información, resultado de los instrumentos aplicados, confección de tablas, confección de base de datos, corrección y redacción, versión final del artículo, revisión de norma bibliográfica aplicada.