SciELO - Scientific Electronic Library Online

 
vol.21 número1De la formación basada en competencias a las actividades profesionales encomendablesAnálisis de riesgo en la terapia paciente específica del hipertiroidismo en Cuba índice de autoresíndice de materiabúsqueda de artículos
Home Pagelista alfabética de revistas  

Servicios Personalizados

Articulo

Indicadores

  • No hay articulos citadosCitado por SciELO

Links relacionados

  • No hay articulos similaresSimilares en SciELO

Compartir


Revista Habanera de Ciencias Médicas

versión On-line ISSN 1729-519X

Rev haban cienc méd vol.21 no.1 La Habana ene.-feb. 2022  Epub 10-Mar-2022

 

Ciencias de la educación

El método de consulta a expertos en tres niveles de validación

Method for expert consultation at three levels of validation

0000-0002-0259-0708Juan Rubén Herrera Masó1  , 0000-0003-3644-8045Jorge Luis Calero Ricardo1  *  , 0000-0001-6568-2143Miguel Ángel González Rangel1  , 0000-0002-3964-5864Milagros Isabel Collazo Ramos1  , 0000-0001-7029-6731Yelamy Travieso González1 

1Universidad de Ciencias Médicas de La Habana, Instituto de Ciencias Básicas y Preclínicas "Victoria de Girón". La Habana, Cuba.

RESUMEN

Introducción:

En muchas investigaciones científicas de las Ciencias Sociales, es usual la aplicación del método de consulta a expertos con el fin de validar escalas, enfoques, proyecciones, políticas y otros temas para la adopción de decisiones fundamentadas, aunque se constata su empleo parcial, indiscriminado e incorrecto.

Objetivo:

Fundamentar la necesidad de aplicar el método de consulta a expertos en tres niveles para determinar: la competencia de los expertos; la fiabilidad del instrumento empleado y el consenso entre los expertos sobre el tema abordado.

Material y Métodos:

Se realizó una sistematización de documentos relacionados con el empleo del método de consulta de expertos en la investigación científica, tesis de doctorado y maestría, artículos, monografías y otras publicaciones. Se aplicaron pruebas estadísticas no paramétricas.

Resultados:

Se constata que la aplicación del método de consulta a expertos siguiendo los procedimientos adecuados, permite elevar el rigor metodológico y su contribución en la investigación científica.

Conclusiones:

El método de consulta a expertos constituye una herramienta eficaz en la investigación científica siempre que se aplique con el rigor requerido.

Palabras-clave: Expertos; competencia; fiabilidad; consenso; pruebas estadísticas no paramétricas; criterio de jueces.

ABSTRACT

Introduction:

The method for expert consultation is commonly applied to scientific research conducted in the Social Sciences to validate scales, approaches, planning, politics, and other matters in decision making; however, its incorrect, indiscriminate, and partial use is confirmed.

Objective:

To validate the need to apply the method for expert consultation at three levels in order to determine: the competence of experts; the reliability of the instrument used; and the consensus among experts on the topic approached.

Material and Methods:

Systematization of documents related to the use of the method for expert consultation in scientific research, master´s and doctoral theses, articles, monographs, and other publications. Non-parametric statistical tests were applied.

Results:

It is confirmed that the application of the method for expert consultation following the appropriate procedures allows for an increase in the methodological rigor and a contribution to scientific research.

Conclusions:

The method for expert consultation is an effective tool in scientific research provided that it is rigorously applied.

Key words: Experts; competition; reliability; consensus; non-parametric statistical tests; criteria of judges

Introducción

En los últimos tiempos es habitual la utilización del método de consulta de expertos en tesis de maestrías y/o doctorados de forma mecánica e incorrecta, lo que limita sus posibilidades y alcance en el proceso de investigación. No obstante, ello no niega que para conocer con profundidad sobre el comportamiento de determinado fenómeno, lo más recomendable es preguntarles directamente a las personas más competentes, por la experiencia y conocimiento que tienen sobre el mismo, es decir, a los expertos.1,2

En la práctica, existe la tendencia a considerar a una persona experta a partir de su grado científico, título académico o cargo que ocupa; sin embargo, estos méritos no siempre determinan la competencia de una persona.

El término "experto" es ambiguo, y precisa que, con independencia de los títulos, función o nivel jerárquico, el experto debe ser elegido por su capacidad de avizorar el futuro; la falta de independencia de los expertos podía constituir un inconveniente, razón por la cual sus opiniones debían ser recogidas de forma anónima, con el fin de reducir el riesgo de obtener información tergiversada por un proceso de grupo.

El concepto de experto tiene múltiples connotaciones y definiciones, entre ellas:

  • Persona dotada de conocimientos actualizados y de habilidades que condicionen un elevado nivel de sus competencias profesionales para proporcionar criterios valorativos sobre una materia o tema dado, dicho de otra manera, es una persona a la que se le reconoce una habilidad extraordinaria en una determinada área del saber.3

  • Tanto al individuo en sí como a un grupo de personas u organizaciones capaces de ofrecer valoraciones conclusivas de un problema en cuestión y hacer recomendaciones respecto a sus momentos fundamentales con un máximo de competencia.4

  • Persona, grupo de personas o de organizaciones capaces de ofrecer valoraciones conclusivas sobre un determinado problema, hacer pronósticos reales y objetivos sobre efecto, aplicabilidad, viabilidad, y relevancia que pueda tener en la práctica la solución que se propone y brindar recomendaciones de qué hacer para perfeccionarla.5

Como características relevantes del experto se resaltan su vinculación con el problema, experiencia profesional, cualidades personales para participar en las investigaciones y pericia profesional. Los expertos son necesarios para comprender las verdaderas dimensiones del problema, desarrollar modelos alternativos, decidir qué datos utilizar o simplemente interpretar los resultados; en aquellas situaciones donde la solución de un problema o la adopción de decisiones sea muy importante; es mejor recoger opiniones de las personas con amplios conocimientos y experiencia contrastada en el área de interés y, por lo tanto, mejor cualificadas para responder a las cuestiones planteadas.

De esta manera, el objetivo del presente trabajo se dirige a sistematizar y dar orden, a los elementos metodológicos que deben tenerse en cuenta para la eficaz utilización del método de consulta a expertos en la investigación científica.

Material y Métodos

El presente trabajo clasifica como un artículo de revisión, en el cual fueron incluidos materiales académicos, tales como artículos originales, tesis de diferentes niveles de especialización indexadas en repositorios, entre otros.

Para realizar la consulta bibliográfica, los investigadores se apoyaron en las bondades que ofrece el motor de búsqueda de Google Académico, seleccionando como descriptores los términos “Método de Expertos”, “Consulta a Expertos”, “Panel de Expertos”, “Método Delphi”, enlazados por el operador Booleano “OR”.

La revisión de la literatura se realizó en la segunda quincena del mes de diciembre de 2020, y para ello se solicitaron los trabajos publicados de 2016 hasta la fecha de la búsqueda. Como resultado, el motor de Google Académico arrojó 15 400 resultados en tan solo 0,04 segundos; pero dada la cantidad de documentos a revisar, el equipo de investigación decidió seleccionar aquellos trabajos en los que el método de consulta a expertos fuera utilizado como herramienta de importante valor para las decisiones, o que su contenido fuera valioso para los fines del presente artículo. Finalmente se seleccionaron 25 referencias bibliográficas en esta investigación.

Se debe destacar, que al no devenir el presente trabajo en revisión sistemática (lo que constituiría un artículo original), los criterios para la revisión no tuvieron la rigidez que se utiliza para dicho tipo de investigación teórica, sino que la selección de la bibliografía se realizó a criterio libre de los investigadores.

Desarrollo

Es posible recurrir al criterio de expertos mediante la utilización de los conocimientos que posee un grupo de personas como herramienta para indagar la factibilidad de su aplicación y a su vez perfeccionar y enriquecer la propuesta, mediante recomendaciones realizadas desde la experiencia individual de cada uno de los integrantes consultados. Diversas son las razones que justifican el uso de expertos.6

  • Necesidad de datos imposibles de obtener. Siempre que existan datos importantes para el estudio que solo se puedan obtener a través del juicio de expertos, o que los datos conseguibles mediante experimentación sean de escaso valor para reducir las incertidumbres, es aconsejable seguir un proceso formal.

  • Importancia de los temas. Siempre que un tema haya sido identificado como tema clave, la calidad de los juicios utilizados se dejará sentir. Además, dado que los temas considerados más importantes serán potencialmente los más revisados, será mejor que hayan sido resueltos de modo estructurado, con buena documentación y comunicación de información.

  • Complejidad del tema. Cuando la complejidad del tema tratado requiera utilizar a varios expertos será conveniente utilizar un método formalizado. Con ello se puede conseguir que todos los expertos comprendan los métodos utilizados y los empleen de modo consistente.

  • Nivel de documentación requerido. Siempre que el proceso general en que se inscribe la información deseada sea susceptible de ser revisado exhaustivamente es conveniente seguir un proceso formal, en el que se garantice un mayor acceso a toda la información disponible y una documentación correcta del proceso.

No obstante, es importante puntualizar que el uso formal del juicio de expertos es un complemento, no un sustituto, de otras fuentes de información técnica y científica.

El método de consulta a expertos ha sido utilizado en diferentes campos: salud, educación, economía, científico-tecnológico, deporte, cultura, entre otros, por ejemplo:

  • Medición de la confiabilidad de los profesionales en salud mental para evaluar la competencia de pacientes psiquiátricos respecto al consentimiento informado.(7)

  • Aplicación de la Técnica Delphi, Modificada para la Validación de un Cuestionario de Incorporación de las TIC en la Práctica Docente y como herramientas virtuales.(5,8)

  • Validación e implementación de una metodología para la autoevaluación en la carrera de Medicina.(9)

  • Validación del perfil de competencias investigativas para estudiantes de la carrera Licenciatura en Cultura Física.(10)

  • Análisis de los elementos implícitos en la validación de contenido de un instrumento de investigación.(11)

  • Formación y desarrollo de la competencia de decisiones gerenciales en directivos empresariales a través del posgrado.(12)

  • Validación por expertos de un instrumento para la identificación de Habilidades y Competencias de un profesional en el área de Logística.(13)

  • Determinación del nivel de conocimiento de la normativa INEN 2251:2013 - “Manejo, almacenamiento, transporte y expendio en los centros de distribución de combustibles líquidos”.(14)

En Cuba, es amplio el uso del método de expertos; una sistematización de 378 de las 600 tesis doctorales defendidas en Ciencias de la Educación durante 1996-2019 develó su empleo en más de 60 % de ellas, aunque se señala que 65 % de los autores lo emplearon únicamente en la validación y estudio de factibilidad de la propuesta científica que genera su investigación, por lo que no aprovecharon al máximo sus potencialidades.15

Teniendo en cuenta las limitaciones, imprecisiones y dificultades observadas en la aplicación del método de consulta de expertos, desde un enfoque integrador se sugiere distinguir tres niveles de evaluación estrechamente relacionados.16

  1. Nivel de competencia de los expertos;

  2. Fiabilidad y consistencia del contenido teórico-metodológico del instrumento;

  3. Nivel de consenso de los expertos.

Previamente, es necesario organizar de forma clara y sencilla los elementos siguientes:

1. Definir el objetivo de la consulta a los expertos

El objetivo de la consulta a expertos estará en dependencia del problema a solucionar a partir de la selección y participación de los mismos.

2. Elaborar el listado de candidatos

Para confeccionar la lista, se analiza cualitativamente el grupo de posibles participantes a seleccionar de los diferentes ámbitos, además de conocer:

  • Identificación de las personas con amplios conocimientos sobre el fenómeno objeto de estudio y la eficacia de su actividad profesional.

  • Explorar las posibilidades reales de participación, disposición del candidato y sus vínculos con el problema, así como la posible afectación o implicación para el mismo, por cualquier decisión relacionada con el problema o su solución.

  • Incluir en el listado el mayor número posible de candidatos para evaluar con rigor los más competentes y reemplazar a los que se nieguen o desistan de participar.

  • Contactar directamente con los candidatos para convocarlos a participar en calidad de expertos a la solución de un problema científico.

  • Las cualidades personales, organizativas y laborales del candidato.

Entre los requisitos que usualmente se valoran para elaborar el listado se encuentran: experiencia laboral (años de experiencia); formación científica y académica; creatividad, honestidad, pensamiento y actitud estratégica, trabajo; reflexividad, discreción, decisión, saber defender sus puntos de vista con mesura y justeza.

Los requisitos no son estáticos, sino que pueden variar de acuerdo con las exigencias y complejidades de los problemas a resolver, además de la posibilidad real de poder conseguir los expertos que se requieren en una investigación.

3. Determinar el número de expertos

La selección de la cantidad de expertos, no es una decisión irracional o arbitraria; es importante conocer que un número pequeño sobredimensiona el papel de cada uno de ellos, mientras que un número muy grande hace difícil el logro de la concordancia de sus opiniones.

La cantidad de personas necesarias para la aplicación del método de consulta a expertos es la que determina el número mínimo de expertos. Entre los criterios que se utilizan para ello se encuentran:17,18,19

Cálculo de la cantidad mínima de expertos.

Para ello se utiliza la fórmula: K(ß t,pn-1/()2

Donde:

  • K: Número mínimo de expertos participantes

  • ß: Coeficiente de variación (desconocido)

  • tp,n-1: Coeficiente de Student, (tabulado en dependencia de n y la probabilidad de confianza p).

  • n-1: Grados de libertad.

  • (: Valor relativo del intervalo de confianza (desconocido)

La experiencia acumulada indica que para determinar la cantidad de expertos del grupo, es preciso elegir a priori el coeficiente de variación (ß=0,2-0,3) y del valor relativo del intervalo de confianza en los límites ((=0,1-0,2).20

Una vez elegida la probabilidad p, se utiliza la tabla de Student, para n, donde se pueden encontrar los valores correspondientes de tp,n-1 por lo que para cada par de valores (K,tp,n-1), es factible determinar la relación ß/( para una probabilidad elegida.

La dependencia entre el coeficiente de variación (β) y el valor del intervalo de confianza (α) permite calcular la cantidad mínima de expertos (K) y mediante la función: K=f(β/α). (Figura 1).

Fig. 1 Selección del número de expertos. 

Interdependencia entre la cantidad de expertos y el error medio grupal.

El número mínimo de expertos también se puede establecer a partir de la interdependencia entre la cantidad de estos en el grupo y el error medio grupal, como se muestra en la Figura 2.

Fig. 2 Selección de la cantidad mínima de expertos. 

En la Figura 2 se aprecia que:

1º- Al escoger pocos expertos (menos de 9) aumenta el error medio grupal;

2º- Al escoger más de 30 expertos, el error medio grupal se reduce prácticamente a cero, ya que la curva se mantiene asintótica al eje de las abscisas, por lo que no mejora significativamente los resultados.17,19

La Tabla 1 muestra la relación entre el número de expertos y el error medio grupal.

Tabla 1 Relación entre el número de expertos y el error medio del grupo 

Es de significar, que no existe consenso acerca del número de expertos a emplear; hay autores que señalan que el número óptimo debe ser entre 15 y 30;19 otros sugieren tomar de 2 a 20 expertos20 e incluso algunos señalan que con 10 expertos es suficiente para brindar una estimación confiable de la validez de contenido de un instrumento.21

De la tabla anterior es posible inferir que al seleccionar entre 20 y 30 expertos el error medio grupal es bajo y que no es necesario tomar más de 30.

1º. Nivel de Competencia de los Expertos

Aunque usualmente los expertos hacen la autovaloración desde sus cualidades y aptitudes, es importante explorar y conocer las opiniones de otras personas calificadas sobre su competencia; un experto es tanto o más valioso que un especialista o que un científico, ya que combina su amplia competencia y su aptitud para comunicar un tema.

Existen diversas formulaciones para determinar la competencia del experto; una de las más conocidas es la metodología propuesta por el Comité Estatal de Ciencia y Técnica de la extinta Unión de Repúblicas Socialistas Soviéticas (URSS) para determinar el nivel de competencia de un candidato a experto mediante el coeficiente k=½(kc+ka), donde kc representa una medida de los conocimientos sobre el tema investigado y ka una medida de las fuentes de argumentación.22

Kc es el Coeficiente de conocimiento. Este se calcula a partir de la autoevaluación de los candidatos en una escala de 0 a 10, donde 0 indica absoluta ignorancia del problema que se evalúa y 1 pleno conocimiento. Por ejemplo: Si el experto marca una cruz en el valor 7, el cálculo de Kc seria: Kc=7(0,1) = 0,7

Por su parte, Ka es el Coeficiente de argumentación. Su cálculo se establece presentándole al candidato una tabla, en la que marcará una cruz en una de las casillas, según su criterio. O sea, el grado de influencia que pueden tener los criterios y conocimientos del experto sobre sí mismo. (Tabla 2).

Por ejemplo: se le presenta al candidato una tabla clásica o patrón para medir el grado con que él considera que se ajusta su respuesta. De esta manera, una vez efectuadas las autoevaluaciones es posible calcular el valor individual de Ka, a partir de la suma de los pesos correspondientes.

  • Si el experto marca todas las posibles fuentes de argumentación en el nivel “Alto”: Ka=0,3+0,5+4 x 0,05=1

  • Si el experto marca todas las posibles fuentes de argumentación en el nivel “Medio”: Ka=0,2+0,4+4 x 0,05=0,8

  • Si las marca todas en un nivel “Bajo”, entonces: Ka=0,10+0,20+4x 0,05=0,5

Tabla 2 Ejemplo para el cálculo de Ka 

El Coeficiente de Argumentación (Ka) de cada experto se obtiene al sumar los valores de cada columna, por lo que no es posible descartar que estos pueden estar permeados o influidos por la apreciación, a veces sobredimensionada o subdimensionada, de los propios expertos.

Los valores del coeficiente de argumentación se pueden interpretar como:

El juicio de expertos aporta una opinión informada de personas con trayectoria en el tema, reconocidas por otros como expertos cualificados que pueden dar información, evidencia, juicios y valoraciones.

La identificación de las personas que formarán parte del juicio de expertos es otra parte crítica del proceso. Existen autores que adoptan como criterios de selección la experiencia en la emisión de juicios y la adopción de decisiones, basada en evidencia o experticia (grados científicos, investigaciones, publicaciones, experiencia y premios, entre otros); reputación, disponibilidad, motivación para participar, imparcialidad y cualidades inherentes como confianza en sí mismo y adaptabilidad.23

Por otro lado, es importante conocer la disposición del experto a participar en la encuesta. Su actitud pasiva, desinterés o desmotivación hacia la solución de un problema concreto, la excesiva carga de trabajo u otras limitaciones, pueden limitar su implicación y objetividad en el proceso, elementos que se deben tener en cuenta, para descartarlos o no como expertos.

La confiabilidad de los juicios emitidos por los expertos también dependerá de su composición, en tanto, debe abarcar la variedad de esferas del conocimiento y/o especialidades que puedan contribuir a la solución del problema.

Para calcular el Coeficiente de Competencia (k) se emplea la formula siguiente:

En la práctica es pertinente seleccionar a los expertos con Coeficiente de Competencia próximos a 0,8 o por encima de este valor. (Tabla 3).

Tabla 3 Valor de los rangos de evaluación del coeficiente de competencia (K) 

2º. Fiabilidad y Consistencia del instrumento

Se utiliza para validar la pertinencia y solidez de las concepciones teóricas y metodológicas empleadas en una investigación. La validez de un instrumento consiste en garantizar que mida lo que tiene que medir.

El análisis de fiabilidad permite estudiar las propiedades de las escalas de medición y los elementos que componen las escalas. El procedimiento calcula un número de medidas de fiabilidad de escala que se utilizan normalmente y también proporciona información sobre las relaciones entre elementos individuales de la escala.

En el software estadístico para las Ciencias Sociales (SPSS v23) y otros programas estadísticos similares, están disponibles varios modelos de análisis de la fiabilidad. Para medir la consistencia interna se seleccionó el Alfa (Cronbach), que permite conocer en qué medida los ítems empleados en un instrumento están correlacionados; este coeficiente, es muy útil ya que resume el promedio de las correlaciones entre los ítems que forman parte de un instrumento e indica en qué medida algún constructo, concepto o factor medido está presente en cada ítem. Para su aplicación, los datos pueden ser dicotómicos, ordinales o de intervalo, pero deben estar codificados numéricamente.24

El Alfa de Cronbach solo requiere de una sola administración de la prueba y se emplea para conocer la consistencia interna en escalas unidimensionales; es más verosímil cuando se aplica a una escala de 20 ítems o menos. Las escalas mayores que miden un solo constructo pueden dar la falsa impresión de una gran consistencia interna cuando realmente no la poseen.

La confiabilidad se define como el grado en que un instrumento de varios ítems mide consistentemente una muestra de la población. La medición consistente se refiere al grado en que una medida está libre de errores.4

El coeficiente de confiabilidad (r) indica la fuerza de la asociación. El valor r varía entre -1 y +1, un valor de 0 indica que no existe relación entre los dos puntajes, mientras que un valor cercano a -1 o a +1 indica una relación muy cercana, negativa o positiva.25

Un valor positivo indica que las personas con puntaje alto en una primera aplicación de la escala también puntuarán alto durante la segunda ocasión. Una confiabilidad negativa indica un error en el cálculo o una terrible inconsistencia de la escala.

La consistencia interna se logra cuando los instrumentos que buscan medir un constructo pueden ser validados en forma indirecta basándose en la relación que muestran los ítems que componen la escala; es decir, si existe una alta consistencia interna o interrelación entre las preguntas o incisos que hacen parte de la escala.25

El Coeficiente Alfa de Cronbach se calcula mediante la fórmula siguiente:

Donde:

K= Número de ítems de la prueba

Si 2= Varianza de los ítems (desde 1…..i)

Ssum 2= Varianza de la prueba total

Valor mínimo aceptable, α=0,70 (por debajo de ese valor la consistencia interna de la escala utilizada es baja).

Valor máximo esperado, α=0,90 (por encima de este valor se considera que hay redundancia o duplicación).

Usualmente, se prefieren valores de α entre 0,80 y 0,90. Sin embargo, cuando no se cuenta con un mejor instrumento, teniendo siempre presente esa limitación, se pueden aceptar valores inferiores.

Ejemplo: se consultan 8 expertos para evaluar un instrumento que mide la calidad de un método de enseñanza de idiomas en diferentes países.

Así, utilizando el SPSS se calculó el Coeficiente Alfa de Cronbach=0,962. Por tanto, dado que el valor de alfa es alto, ello denota la fiabilidad y consistencia de los juicios de los expertos sobre el instrumento empleado.

1º. Nivel de Consenso de los Expertos

Para estimar la confiabilidad de los expertos, es preciso conocer el grado de consenso entre ellos, ya que sus criterios tienen un alto componente subjetivo. Cuando la medida es alta, indica que existe consenso en el proceso de clasificación o asignación de puntajes entre los expertos.

Para determinar el grado de consenso entre los expertos se han utilizado diferentes procedimientos:

  • Calculando el porcentaje del consenso; este resultado es insuficiente ya que no incluye el consenso esperado por el azar.(24)

  • Empleo de medidas de correlación interpretadas como índices de consenso entre los expertos; un alto índice de correlación no necesariamente implica que exista un alto consenso.(25)

  • El Coeficiente Kappa (K), medida estadística que ajusta el efecto del azar en la proporción de concordancia observada para datos cualitativos (variables categóricas); es una medida más fuerte que el cálculo del porcentaje de concordancia, ya que Κ tiene en cuenta el acuerdo que ocurre por azar.(16)

Inicialmente el coeficiente se utilizaba únicamente en datos nominales, pero posteriormente se hizo una generalización para incluir datos ordinales, por lo que se convirtió en el índice de acuerdo más utilizado en Ciencias Biológicas y Sociales.

Es un estadístico sencillo de calcular y genera una medida de acuerdo entre evaluadores. Por ejemplo, un experto clasifica los ítems de una prueba de conocimientos en contestables o no contestables por una persona con un nivel adecuado de conocimiento en el área, o en el caso de psicólogos clínicos que pueden clasificar a los pacientes que requieren tratamiento o no.

Su principal limitación es que el índice de acuerdo puede ser afectado por el número de categorías y por la forma en la que están distribuidas las observaciones.

Es importante no obviar que el coeficiente Kappa tiende a dar por seguras las frecuencias de las categorías observadas, lo que puede subestimar el acuerdo para una categoría de uso habitual; por esta razón, este estadístico es una medida de acuerdo excesivamente conservadora ya que cuando los expertos no están absolutamente seguros, se arriesgan a ofrecer una respuesta poco realista.

No obstante, el Coeficiente de Kendall (W), es usualmente empleado para medir el grado de acuerdo entre varios expertos (jueces), o la asociación entre tres o más variables. El valor W oscila entre 0 y 1; cuando W se acerca a cero significa la ausencia de acuerdo en la evaluación emitida por los expertos, y cuando se acerca a 1, indica el máximo acuerdo entre ellos.

Pasos para su cálculo

Ordenar las observaciones por rangos, en función de la variable independiente.

  • Efectuar la sumatoria de los rangos en función de cada variable;

  • Obtener la sumatoria de la sumatoria anterior y obtener un promedio;

  • Calcular las diferencias obtenidas entre la sumatoria y el promedio, elevarlas al cuadrado y sumarlas. Lo anterior es el valor S;

  • Aplicar la ecuación para obtener el ajuste dado por las ligas o empates;

  • Aplicar a ecuación coeficiente de concordancia de Kendall (W).

  • Transformar W en ji cuadrada y calcular los grados de libertad gl=n-1;

  • Decidir si se acepta o rechaza la hipótesis.

W se calcula con el uso de las fórmulas:

Donde:

W=cantidad de expertos.

n=cantidad de variables (preguntas o aspectos a evaluar).

S2=suma de los cuadrados de las desviaciones.

t=número de observaciones en un grupo ligado por un rango dado

Ejemplo: Un investigador quiere conocer la asociación entre el desarrollo mental de niños con respecto a la educación formal de sus madres.

Información disponible

Tamaño de la muestra=20 madres

Variables: escolaridad materna, estimulación en el hogar y desarrollo mental del niño

Elección de la prueba estadística

W se puede interpretar como el coeficiente de concordancia, que es una medida de acuerdo entre evaluadores. Cada caso es un juez o evaluador y cada variable es un elemento o persona que está siendo evaluada. Para cada variable, se calcula la suma de rangos.

Planteamiento de hipótesis

Ho (Hipótesis nula). No existe asociación entre las variables educación formal de la madre, estimulación disponible en el hogar y desarrollo mental del hijo.

Ha (Hipótesis alternativa): Existe asociación.

Nivel de significación. Para todo valor de probabilidad igual o menor que 0,05, se acepta Ha y se rechaza Ho.

Zona de rechazo. Si valor de probabilidad es mayor que 0,05 se rechaza Ha.

Cálculo del Coeficiente W de Kendall

donde:

W=coeficiente de concordancia de Kendall.

S=suma de los cuadrados de las diferencias observadas con respecto al promedio.

N=tamaño de la muestra.

K=número de variables incluidas.

Li=sumatoria de las ligas o empates entre los rangos.

El Coeficiente de Concordancia de Kendall (W) alcanzó el valor de 0.844 (alto).

Aplicación de la prueba estadística al Coeficiente W

Para evitar que el valor del coeficiente W pueda ser atribuible al azar, se realizó la prueba estadística Chi cuadrado, cuyos resultados (Tabla 4) indican que al comparar el valor calculado de W en X2, con 19 grados de libertad, con los valores críticos de la tabla de distribución de X2 se observa que X2 (19) (tabulado)=30,14 (α=0,05) < X2 (19) (calculado)=40,912 (α=0,001).

Tabla 4 Prueba Chi cuadrado al coeficiente W 

Decisión

Como al valor calculado de W en X2le corresponde una probabilidad de 0,001, menor que 0,05, se acepta Ha y se rechaza Ho.

Interpretación. Entre las variables estudiadas existe una correlación significativa al nivel de confianza de p menor que 0,001, lo que sugiere que el nivel de escolaridad de las madres influye en el desarrollo mental y en la estimulación de los hijos en el hogar

Conclusiones

Dada la intención de los autores en sistematizar y dar orden a los aspectos metodológicos a ser considerados para la eficaz utilización del método de consulta a expertos en la investigación científica; ante todo debe resaltarse que, cuando se decida su utilización, los investigadores deben tener claridad sobre: ¿Quiénes serán los expertos a consultar?, ¿Qué nivel de fiabilidad y consistencia tiene el instrumento que se someterá a consulta?, y ¿Qué grado de consenso existe entre los expertos, en relación con el contenido del instrumento evaluado?

Asimismo, recordar que el método de consulta a expertos propicia el contexto adecuado para obtener la mayor cantidad de información posible de los evaluadores consultados, atenuando el efecto de aspectos que no pueden ser controlados por el investigador y de otros factores relacionados con la complejidad, dificultad u obviedad del contenido sometido a su consideración.

Referencias bibliográficas

1.  Cruz Ramírez M, Rúa Vásquez JA. Surgimiento y desarrollo del método Delphi: una perspectiva cienciométrica. Biblios [Internet]. 2018 [Citado 17/12/2020];71:90-107. Disponible en: Disponible en: http://www.scielo.org.pe/pdf/biblios/n71/a07n71.pdf 1.  [ Links ]

2.  Cruz Rodríguez J. Acercamiento al Criterio de Expertos en la investigación. En: Primer Congreso Virtual de Ciencias Básicas Biomédicas; 2020 Jun 10-20 [Internet]. Manzanillo, Granma: Universidad de Ciencias Médicas de Granma 2020 [Citado 17/12/2020]. Disponible en: Disponible en: http://www.cibamanz2020.sld.cu/index.php/cibamanz/cibamanz2020/paper/view/478/382 2.  [ Links ]

3.  López Gómez E. El método Delphi en la investigación actual en educación: una revisión teórica y metodológica. Educación XX1 [Internet]. 2018 [Citado 17/12/2020];21(1):17-40. Disponible en: Disponible en: https://www.redalyc.org/pdf/706/70653466002.pdf 3.  [ Links ]

4.  Vidal FJL, Lluch AC. Diseño y validación mediante Método Delphi de un cuestionario para conocer las características de la actividad física en personas mayores que viven en residencias. Retos: Nuevas Tendencias en Educación Física, Deporte y Recreación [Internet]. 2019 [Citado 17/12/2020];36:515-20. Disponible en: Disponible en: http://dialnet.unirioja.es/descarga/articulo/7260949.pdf 4.  [ Links ]

5.  Reyes CEG, Liñan LT. Aplicación del Método Delphi Modificado para la Validación de un Cuestionario de Incorporación de las TIC en la Práctica Docente. Revista Iberoamericana de Evaluación Educativa [Internet]. 2018 [Citado 03/01/2021];11(1):113-34. Disponible en: Disponible en: http://dialnet.unirioja.es/descarga/articulo/6539097.pdf 5.  [ Links ]

6.  Gutiérrez Artacho J, Olvera Lobo MD. El uso del método Delphi como herramienta de evaluación consensuada en la didáctica de la traducción: el perfil del traductor-localizador. En: Valle ME. Congreso CUICIID 2017: Congreso Universitario Internacional sobre la comunicación en la profesión y en la Universidad de hoy: Contenidos, Investigación, Innovación y Docencia; 2017 Oct 25-26; Granada [Internet]. Granada: DIGIBUG; 2017.p. 226-40 [Citado 17/12/2020]. Disponible en: Disponible en: https://digibug.ugr.es/handle/10481/48752 6.  [ Links ]

7.  Dorantes Nova JA, Hernández Mosqueda JS, Tobón Tobón S. Juicio de expertos para la validación de un instrumento de medición del síndrome de burnout en la docencia. Ra Ximhai [Internet]. 2016 [Citado 03/01/2021]; 12(6):327-46. Disponible en: Disponible en: https://www.redalyc.org/pdf/461/46148194023.pdf 7.  [ Links ]

8.  Galicia Alarcón LA, Balderrama Trápaga JA, Edel Navarro R. Validez de contenido por juicio de expertos: propuesta de una herramienta virtual. Apertura (Guadalajara) [Internet]. 2017 [Citado 03/01/2021];9(2): 42-53. Disponible en: Disponible en: http://www.scielo.org.mx/scielo.php?script=sci_arttext&pid=S1665-61802017000300042&nrm=iso 8.  [ Links ]

9.  Rocha Vázquez M, Mur Villar N, Alpízar Fernández R, Cortés Cortés M. Validación e implementación de una metodología para la autoevaluación en la carrera de Medicina. MediSur [Internet]. 2020 [Citado 03/01/2021];18(4):583-90. Disponible en: Disponible en: http://scielo.sld.cu/scielo.php?script=sci_arttext&pid=S1727-897X2020000400583&nrm=iso 9.  [ Links ]

10.  Valdés AMM, Bandomo RUA, Cáceres MEF. Validación del perfil de competencias investigativas para estudiantes de la carrera Licenciatura en Cultura Física. Revista Cubana de Educación Superior [Internet]. 2020 [Citado 03/01/2021];39(3):[Aprox. 2 p.]. Disponible en: Disponible en: http://www.rces.uh.cu/index.php/RCES/article/view/393/432 10.  [ Links ]

11.  Juárez Hernández LG, Tobon S. Análisis de los elementos implícitos en la validación de contenido de un instrumento de investigación. Revista Espacios [Internet]. 2018 [Citado 03/01/2021];39(53):[Aprox. 2 p.]. Disponible en: Disponible en: https://www.revistaespacios.com/cited2017/cited2017-23.pdf 11.  [ Links ]

12.  García Batán J, Pimentel Piña RV, Colunga Santos S. Formación y desarrollo de la competencia toma de decisiones gerenciales en directivos empresariales a través del posgrado. Retos de la Dirección [Internet]. 2016 [Citado 03/01/2021];10(2):121-40. Disponible en: Disponible en: http://scielo.sld.cu/scielo.php?script=sci_arttext&pid=S2306-91552016000200008&nrm=iso 12.  [ Links ]

13.  Matheus Marín AC, Romero López R, Parroquín Amaya PC. Validación por expertos de un instrumento para la identificación de Habilidades y Competencias de un profesional en el área de Logística. Cultura Científica y Tecnológica [Internet]. 2018 [Citado 03/01/2021];63(14):[Aprox. 2 p.]. Disponible en: Disponible en: http://erevistas.uacj.mx/ojs/index.php/culcyt/article/view/2206 13.  [ Links ]

14.  Ureña Olvera YE, Torres Huayamave GR. Evaluación del nivel de conocimiento de la Norma INEN 2251: 2013. Expendio de combustibles líquidos, en los centros de distribución de la provincia del Guayas [Tesis de Maestría]. Guayaquil: Universidad de Especialidades Espíritu Santo; 2019. [ Links ]

15.  Díaz Ferrer Y, Cruz Ramírez M, Pérez Pravia MC, Ortiz Cárdenas T. El método criterio de expertos en las investigaciones educacionales: visión desde una muestra de tesis doctorales. Revista Cubana de Educación Superior [Internet]. 2020 [Citado 03/01/2021];39(1):[Aprox. 2p.]. Disponible en: Disponible en: http://scielo.sld.cu/scielo.php?script=sci_arttext&pid=S0257-43142020000100018&nrm=iso 15.  [ Links ]

16.  Herrera Masó J. Validación del método de consulta a expertos. En: X Congreso Internacional sobre desastres y la VI Conferencia Internacional de Bomberos. 2018. Palacio de las Convenciones, La Habana, Cuba; 2018 Jul 2-6 [Internet]. La Habana: Estado Mayor Nacional de la Defensa Civil; 2018 [Citado 03/01/2021]. Disponible en: Disponible en: https://www.cupet.cu/noticia/x-congreso-internacional-sobre-desastres-y-vi-conferencia-internacional-de-bomberos/?lang=es 16.  [ Links ]

17.  García Abreu L, Fernández García S. Procedimiento de aplicación del trabajo creativo en grupo de expertos. Revista ingeniería Energética [Internet]. 2008 [Citado 03/01/2021];29(2):46-50. Disponible en: Disponible en: https://rie.cujae.edu.cu/index.php/RIE/article/view/58 17.  [ Links ]

18.  Lago IB, Rabelo AR, Chacón DJ. Aplicación de tecnologías para la determinación de la competencia de los expertos. Revista Cubana de Ciencias Informáticas [Internet]. 2019 [Citado 03/01/2021];13(1):116-26. Disponible en: Disponible en: http://scielo.sld.cu/scielo.php?script=sci_arttext&pid=S2227-18992019000100116&nrm=iso 18.  [ Links ]

19.  León Yol, Pravia MCP, Delgado FM. Procedimiento para la selección de la Comunidad de Expertos con técnicas multicriterio. Ciencias Holguín [Internet]. 2016 [Citado 03/01/2021];22(1):34-49. Disponible en: Disponible en: https://www.redalyc.org/pdf/1815/181543577003.pdf 19.  [ Links ]

20.  García I, Moreno M, López Del Prado G, Sáez B, Puertas M, Gómez A. Validación de un cuestionario sobre actitudes y práctica de actividad física y otros hábitos saludables mediante el método Delphi. Rev Esp Salud Publica [Internet]. 2019 [Citado 03/01/2021];93:1-12. Disponible en: Disponible en: https://scielo.isciii.es/pdf/resp/v93/1135-5727-resp-93-e201909081.pdf 20.  [ Links ]

21.  Collet C, Nascimento JV, Folle A, Ibáñez SJ. Construcción y validación de un instrumento para el análisis de la formación deportiva en voleibol. Cuadernos de Psicología del Deporte [Internet]. 2018 [Citado 03/01/2021]; 19(1):178-91. Disponible en: Disponible en: https://revistas.um.es/cpd/article/view/326361 21.  [ Links ]

22.  Mateu López LML, Pérez Arrazcaeta S, Sedeño Argilagos C, Cuba Venero MM. Diseño y validación de criterios de competencias para el farmacéutico asistencial. Revista Cubana de Farmacia [Internet]. 2017 [Citado 03/01/2021];51(1):[Aprox. 2 p.]. Disponible en: Disponible en: http://www.revfarmacia.sld.cu/index.php/far/article/view/179 22.  [ Links ]

23.  Rodríguez Sotomayor Y, Pardo Fernández A, Castañeda Abascal IE, González Longoria Ramírez YM. Construcción y validación del Cuestionario Conciliación vida laboral-familiar como factor de calidad en servicios estomatológicos. MediSur [Internet]. 2020 [Citado 03/01/2021];18(5):835-45. Disponible en: Disponible en: http://scielo.sld.cu/scielo.php?script=sci_arttext&pid=S1727-897X2020000500835&nrm=iso 23.  [ Links ]

24.  Ramírez MC. Una función en R para el método delphi de nube. Aplicaciones al pronóstico educacional. Revista Tecnología Educativa [Internet]. 2020 [Citado 03/01/2021];5(1):[Aprox. 2p.]. Disponible en: Disponible en: http://tecedu.uho.edu.cu/index.php/tecedu/article/view/210 24.  [ Links ]

25.  Soler González RH, Oñate Andino A, Vazena Albelo V. Evaluación del personal docente de la facultad de ciencias económicas y empresariales de la universidad de cienfuegos. Revista Universidad y Sociedad [Internet]. 2017 [Citado 17/12/2020];9(3):237-46. Disponible en: Disponible en: http://scielo.sld.cu/scielo.php?script=sci_arttext&pid=S2218-36202017000300037&nrm=iso 25.  [ Links ]

Recibido: 23 de Junio de 2021; Aprobado: 15 de Diciembre de 2021

*Autor para la correspondencia: jorge.calero@infomed.sld.cu

Los autores declaran que no existen conflictos de intereses.

Juan Rubén Herrera Masó: Conceptualización, análisis formal, investigación, administración, y redacción del borrador original.

Jorge Luis Calero Ricardo: Metodología, análisis formal, y redacción del borrador original.

Miguel Ángel González Rangel: Supervisión, validación, y visualización.

Milagros Isabel Collazo Ramos: Redacción, revisión y edición.

Yelamy Travieso González: Redacción, revisión y edición.

Todos los autores participamos en la discusión de los resultados y hemos leído, revisado y aprobado el texto final.

Creative Commons License