Custom services
Spanish (pdf)
Article in xml format
Article references
Send this article by e-mail
Cited by SciELO 
Similars in
SciELO 
Permalink
Introducción
En los últimos tiempos es habitual la utilización del método de consulta de expertos en tesis de maestrías y/o doctorados de forma mecánica e incorrecta, lo que limita sus posibilidades y alcance en el proceso de investigación. No obstante, ello no niega que para conocer con profundidad sobre el comportamiento de determinado fenómeno, lo más recomendable es preguntarles directamente a las personas más competentes, por la experiencia y conocimiento que tienen sobre el mismo, es decir, a los expertos.1,2
En la práctica, existe la tendencia a considerar a una persona experta a partir de su grado científico, título académico o cargo que ocupa; sin embargo, estos méritos no siempre determinan la competencia de una persona.
El término "experto" es ambiguo, y precisa que, con independencia de los títulos, función o nivel jerárquico, el experto debe ser elegido por su capacidad de avizorar el futuro; la falta de independencia de los expertos podía constituir un inconveniente, razón por la cual sus opiniones debían ser recogidas de forma anónima, con el fin de reducir el riesgo de obtener información tergiversada por un proceso de grupo.
El concepto de experto tiene múltiples connotaciones y definiciones, entre ellas:
Persona dotada de conocimientos actualizados y de habilidades que condicionen un elevado nivel de sus competencias profesionales para proporcionar criterios valorativos sobre una materia o tema dado, dicho de otra manera, es una persona a la que se le reconoce una habilidad extraordinaria en una determinada área del saber.3
Tanto al individuo en sí como a un grupo de personas u organizaciones capaces de ofrecer valoraciones conclusivas de un problema en cuestión y hacer recomendaciones respecto a sus momentos fundamentales con un máximo de competencia.4
Persona, grupo de personas o de organizaciones capaces de ofrecer valoraciones conclusivas sobre un determinado problema, hacer pronósticos reales y objetivos sobre efecto, aplicabilidad, viabilidad, y relevancia que pueda tener en la práctica la solución que se propone y brindar recomendaciones de qué hacer para perfeccionarla.5
Como características relevantes del experto se resaltan su vinculación con el problema, experiencia profesional, cualidades personales para participar en las investigaciones y pericia profesional. Los expertos son necesarios para comprender las verdaderas dimensiones del problema, desarrollar modelos alternativos, decidir qué datos utilizar o simplemente interpretar los resultados; en aquellas situaciones donde la solución de un problema o la adopción de decisiones sea muy importante; es mejor recoger opiniones de las personas con amplios conocimientos y experiencia contrastada en el área de interés y, por lo tanto, mejor cualificadas para responder a las cuestiones planteadas.
De esta manera, el objetivo del presente trabajo se dirige a sistematizar y dar orden, a los elementos metodológicos que deben tenerse en cuenta para la eficaz utilización del método de consulta a expertos en la investigación científica.
Material y Métodos
El presente trabajo clasifica como un artículo de revisión, en el cual fueron incluidos materiales académicos, tales como artículos originales, tesis de diferentes niveles de especialización indexadas en repositorios, entre otros.
Para realizar la consulta bibliográfica, los investigadores se apoyaron en las bondades que ofrece el motor de búsqueda de Google Académico, seleccionando como descriptores los términos “Método de Expertos”, “Consulta a Expertos”, “Panel de Expertos”, “Método Delphi”, enlazados por el operador Booleano “OR”.
La revisión de la literatura se realizó en la segunda quincena del mes de diciembre de 2020, y para ello se solicitaron los trabajos publicados de 2016 hasta la fecha de la búsqueda. Como resultado, el motor de Google Académico arrojó 15 400 resultados en tan solo 0,04 segundos; pero dada la cantidad de documentos a revisar, el equipo de investigación decidió seleccionar aquellos trabajos en los que el método de consulta a expertos fuera utilizado como herramienta de importante valor para las decisiones, o que su contenido fuera valioso para los fines del presente artículo. Finalmente se seleccionaron 25 referencias bibliográficas en esta investigación.
Se debe destacar, que al no devenir el presente trabajo en revisión sistemática (lo que constituiría un artículo original), los criterios para la revisión no tuvieron la rigidez que se utiliza para dicho tipo de investigación teórica, sino que la selección de la bibliografía se realizó a criterio libre de los investigadores.
Desarrollo
Es posible recurrir al criterio de expertos mediante la utilización de los conocimientos que posee un grupo de personas como herramienta para indagar la factibilidad de su aplicación y a su vez perfeccionar y enriquecer la propuesta, mediante recomendaciones realizadas desde la experiencia individual de cada uno de los integrantes consultados. Diversas son las razones que justifican el uso de expertos.6
Necesidad de datos imposibles de obtener. Siempre que existan datos importantes para el estudio que solo se puedan obtener a través del juicio de expertos, o que los datos conseguibles mediante experimentación sean de escaso valor para reducir las incertidumbres, es aconsejable seguir un proceso formal.
Importancia de los temas. Siempre que un tema haya sido identificado como tema clave, la calidad de los juicios utilizados se dejará sentir. Además, dado que los temas considerados más importantes serán potencialmente los más revisados, será mejor que hayan sido resueltos de modo estructurado, con buena documentación y comunicación de información.
Complejidad del tema. Cuando la complejidad del tema tratado requiera utilizar a varios expertos será conveniente utilizar un método formalizado. Con ello se puede conseguir que todos los expertos comprendan los métodos utilizados y los empleen de modo consistente.
Nivel de documentación requerido. Siempre que el proceso general en que se inscribe la información deseada sea susceptible de ser revisado exhaustivamente es conveniente seguir un proceso formal, en el que se garantice un mayor acceso a toda la información disponible y una documentación correcta del proceso.
No obstante, es importante puntualizar que el uso formal del juicio de expertos es un complemento, no un sustituto, de otras fuentes de información técnica y científica.
El método de consulta a expertos ha sido utilizado en diferentes campos: salud, educación, economía, científico-tecnológico, deporte, cultura, entre otros, por ejemplo:
Medición de la confiabilidad de los profesionales en salud mental para evaluar la competencia de pacientes psiquiátricos respecto al consentimiento informado.(7)
Aplicación de la Técnica Delphi, Modificada para la Validación de un Cuestionario de Incorporación de las TIC en la Práctica Docente y como herramientas virtuales.(5,8)
Validación e implementación de una metodología para la autoevaluación en la carrera de Medicina.(9)
Validación del perfil de competencias investigativas para estudiantes de la carrera Licenciatura en Cultura Física.(10)
Análisis de los elementos implícitos en la validación de contenido de un instrumento de investigación.(11)
Formación y desarrollo de la competencia de decisiones gerenciales en directivos empresariales a través del posgrado.(12)
Validación por expertos de un instrumento para la identificación de Habilidades y Competencias de un profesional en el área de Logística.(13)
Determinación del nivel de conocimiento de la normativa INEN 2251:2013 - “Manejo, almacenamiento, transporte y expendio en los centros de distribución de combustibles líquidos”.(14)
En Cuba, es amplio el uso del método de expertos; una sistematización de 378 de las 600 tesis doctorales defendidas en Ciencias de la Educación durante 1996-2019 develó su empleo en más de 60 % de ellas, aunque se señala que 65 % de los autores lo emplearon únicamente en la validación y estudio de factibilidad de la propuesta científica que genera su investigación, por lo que no aprovecharon al máximo sus potencialidades.15
Teniendo en cuenta las limitaciones, imprecisiones y dificultades observadas en la aplicación del método de consulta de expertos, desde un enfoque integrador se sugiere distinguir tres niveles de evaluación estrechamente relacionados.16
Nivel de competencia de los expertos;
Fiabilidad y consistencia del contenido teórico-metodológico del instrumento;
Nivel de consenso de los expertos.
Previamente, es necesario organizar de forma clara y sencilla los elementos siguientes:
1. Definir el objetivo de la consulta a los expertos
El objetivo de la consulta a expertos estará en dependencia del problema a solucionar a partir de la selección y participación de los mismos.
2. Elaborar el listado de candidatos
Para confeccionar la lista, se analiza cualitativamente el grupo de posibles participantes a seleccionar de los diferentes ámbitos, además de conocer:
Identificación de las personas con amplios conocimientos sobre el fenómeno objeto de estudio y la eficacia de su actividad profesional.
Explorar las posibilidades reales de participación, disposición del candidato y sus vínculos con el problema, así como la posible afectación o implicación para el mismo, por cualquier decisión relacionada con el problema o su solución.
Incluir en el listado el mayor número posible de candidatos para evaluar con rigor los más competentes y reemplazar a los que se nieguen o desistan de participar.
Contactar directamente con los candidatos para convocarlos a participar en calidad de expertos a la solución de un problema científico.
Las cualidades personales, organizativas y laborales del candidato.
Entre los requisitos que usualmente se valoran para elaborar el listado se encuentran: experiencia laboral (años de experiencia); formación científica y académica; creatividad, honestidad, pensamiento y actitud estratégica, trabajo; reflexividad, discreción, decisión, saber defender sus puntos de vista con mesura y justeza.
Los requisitos no son estáticos, sino que pueden variar de acuerdo con las exigencias y complejidades de los problemas a resolver, además de la posibilidad real de poder conseguir los expertos que se requieren en una investigación.
3. Determinar el número de expertos
La selección de la cantidad de expertos, no es una decisión irracional o arbitraria; es importante conocer que un número pequeño sobredimensiona el papel de cada uno de ellos, mientras que un número muy grande hace difícil el logro de la concordancia de sus opiniones.
La cantidad de personas necesarias para la aplicación del método de consulta a expertos es la que determina el número mínimo de expertos. Entre los criterios que se utilizan para ello se encuentran:17,18,19
Cálculo de la cantidad mínima de expertos.
Para ello se utiliza la fórmula: K(ß t,pn-1/()2
Donde:
K: Número mínimo de expertos participantes
ß: Coeficiente de variación (desconocido)
tp,n-1: Coeficiente de Student, (tabulado en dependencia de n y la probabilidad de confianza p).
n-1: Grados de libertad.
(: Valor relativo del intervalo de confianza (desconocido)
La experiencia acumulada indica que para determinar la cantidad de expertos del grupo, es preciso elegir a priori el coeficiente de variación (ß=0,2-0,3) y del valor relativo del intervalo de confianza en los límites ((=0,1-0,2).20
Una vez elegida la probabilidad p, se utiliza la tabla de Student, para n, donde se pueden encontrar los valores correspondientes de tp,n-1 por lo que para cada par de valores (K,tp,n-1), es factible determinar la relación ß/( para una probabilidad elegida.
La dependencia entre el coeficiente de variación (β) y el valor del intervalo de confianza (α) permite calcular la cantidad mínima de expertos (K) y mediante la función: K=f(β/α). (Figura 1).
Interdependencia entre la cantidad de expertos y el error medio grupal.
El número mínimo de expertos también se puede establecer a partir de la interdependencia entre la cantidad de estos en el grupo y el error medio grupal, como se muestra en la Figura 2.
En la Figura 2 se aprecia que:
1º- Al escoger pocos expertos (menos de 9) aumenta el error medio grupal;
2º- Al escoger más de 30 expertos, el error medio grupal se reduce prácticamente a cero, ya que la curva se mantiene asintótica al eje de las abscisas, por lo que no mejora significativamente los resultados.17,19
La Tabla 1 muestra la relación entre el número de expertos y el error medio grupal.
Es de significar, que no existe consenso acerca del número de expertos a emplear; hay autores que señalan que el número óptimo debe ser entre 15 y 30;19 otros sugieren tomar de 2 a 20 expertos20 e incluso algunos señalan que con 10 expertos es suficiente para brindar una estimación confiable de la validez de contenido de un instrumento.21
De la tabla anterior es posible inferir que al seleccionar entre 20 y 30 expertos el error medio grupal es bajo y que no es necesario tomar más de 30.
1º. Nivel de Competencia de los Expertos
Aunque usualmente los expertos hacen la autovaloración desde sus cualidades y aptitudes, es importante explorar y conocer las opiniones de otras personas calificadas sobre su competencia; un experto es tanto o más valioso que un especialista o que un científico, ya que combina su amplia competencia y su aptitud para comunicar un tema.
Existen diversas formulaciones para determinar la competencia del experto; una de las más conocidas es la metodología propuesta por el Comité Estatal de Ciencia y Técnica de la extinta Unión de Repúblicas Socialistas Soviéticas (URSS) para determinar el nivel de competencia de un candidato a experto mediante el coeficiente k=½(kc+ka), donde kc representa una medida de los conocimientos sobre el tema investigado y ka una medida de las fuentes de argumentación.22
Kc es el Coeficiente de conocimiento. Este se calcula a partir de la autoevaluación de los candidatos en una escala de 0 a 10, donde 0 indica absoluta ignorancia del problema que se evalúa y 1 pleno conocimiento. Por ejemplo: Si el experto marca una cruz en el valor 7, el cálculo de Kc seria: Kc=7(0,1) = 0,7
Por su parte, Ka es el Coeficiente de argumentación. Su cálculo se establece presentándole al candidato una tabla, en la que marcará una cruz en una de las casillas, según su criterio. O sea, el grado de influencia que pueden tener los criterios y conocimientos del experto sobre sí mismo. (Tabla 2).
Por ejemplo: se le presenta al candidato una tabla clásica o patrón para medir el grado con que él considera que se ajusta su respuesta. De esta manera, una vez efectuadas las autoevaluaciones es posible calcular el valor individual de Ka, a partir de la suma de los pesos correspondientes.
Si el experto marca todas las posibles fuentes de argumentación en el nivel “Alto”: Ka=0,3+0,5+4 x 0,05=1
Si el experto marca todas las posibles fuentes de argumentación en el nivel “Medio”: Ka=0,2+0,4+4 x 0,05=0,8
Si las marca todas en un nivel “Bajo”, entonces: Ka=0,10+0,20+4x 0,05=0,5
El Coeficiente de Argumentación (Ka) de cada experto se obtiene al sumar los valores de cada columna, por lo que no es posible descartar que estos pueden estar permeados o influidos por la apreciación, a veces sobredimensionada o subdimensionada, de los propios expertos.
Los valores del coeficiente de argumentación se pueden interpretar como:
El juicio de expertos aporta una opinión informada de personas con trayectoria en el tema, reconocidas por otros como expertos cualificados que pueden dar información, evidencia, juicios y valoraciones.
La identificación de las personas que formarán parte del juicio de expertos es otra parte crítica del proceso. Existen autores que adoptan como criterios de selección la experiencia en la emisión de juicios y la adopción de decisiones, basada en evidencia o experticia (grados científicos, investigaciones, publicaciones, experiencia y premios, entre otros); reputación, disponibilidad, motivación para participar, imparcialidad y cualidades inherentes como confianza en sí mismo y adaptabilidad.23
Por otro lado, es importante conocer la disposición del experto a participar en la encuesta. Su actitud pasiva, desinterés o desmotivación hacia la solución de un problema concreto, la excesiva carga de trabajo u otras limitaciones, pueden limitar su implicación y objetividad en el proceso, elementos que se deben tener en cuenta, para descartarlos o no como expertos.
La confiabilidad de los juicios emitidos por los expertos también dependerá de su composición, en tanto, debe abarcar la variedad de esferas del conocimiento y/o especialidades que puedan contribuir a la solución del problema.
Para calcular el Coeficiente de Competencia (k) se emplea la formula siguiente:
En la práctica es pertinente seleccionar a los expertos con Coeficiente de Competencia próximos a 0,8 o por encima de este valor. (Tabla 3).
2º. Fiabilidad y Consistencia del instrumento
Se utiliza para validar la pertinencia y solidez de las concepciones teóricas y metodológicas empleadas en una investigación. La validez de un instrumento consiste en garantizar que mida lo que tiene que medir.
El análisis de fiabilidad permite estudiar las propiedades de las escalas de medición y los elementos que componen las escalas. El procedimiento calcula un número de medidas de fiabilidad de escala que se utilizan normalmente y también proporciona información sobre las relaciones entre elementos individuales de la escala.
En el software estadístico para las Ciencias Sociales (SPSS v23) y otros programas estadísticos similares, están disponibles varios modelos de análisis de la fiabilidad. Para medir la consistencia interna se seleccionó el Alfa (Cronbach), que permite conocer en qué medida los ítems empleados en un instrumento están correlacionados; este coeficiente, es muy útil ya que resume el promedio de las correlaciones entre los ítems que forman parte de un instrumento e indica en qué medida algún constructo, concepto o factor medido está presente en cada ítem. Para su aplicación, los datos pueden ser dicotómicos, ordinales o de intervalo, pero deben estar codificados numéricamente.24
El Alfa de Cronbach solo requiere de una sola administración de la prueba y se emplea para conocer la consistencia interna en escalas unidimensionales; es más verosímil cuando se aplica a una escala de 20 ítems o menos. Las escalas mayores que miden un solo constructo pueden dar la falsa impresión de una gran consistencia interna cuando realmente no la poseen.
La confiabilidad se define como el grado en que un instrumento de varios ítems mide consistentemente una muestra de la población. La medición consistente se refiere al grado en que una medida está libre de errores.4
El coeficiente de confiabilidad (r) indica la fuerza de la asociación. El valor r varía entre -1 y +1, un valor de 0 indica que no existe relación entre los dos puntajes, mientras que un valor cercano a -1 o a +1 indica una relación muy cercana, negativa o positiva.25
Un valor positivo indica que las personas con puntaje alto en una primera aplicación de la escala también puntuarán alto durante la segunda ocasión. Una confiabilidad negativa indica un error en el cálculo o una terrible inconsistencia de la escala.
La consistencia interna se logra cuando los instrumentos que buscan medir un constructo pueden ser validados en forma indirecta basándose en la relación que muestran los ítems que componen la escala; es decir, si existe una alta consistencia interna o interrelación entre las preguntas o incisos que hacen parte de la escala.25
El Coeficiente Alfa de Cronbach se calcula mediante la fórmula siguiente:
Donde:
K= Número de ítems de la prueba
Si 2= Varianza de los ítems (desde 1…..i)
Ssum 2= Varianza de la prueba total
Valor mínimo aceptable, α=0,70 (por debajo de ese valor la consistencia interna de la escala utilizada es baja).
Valor máximo esperado, α=0,90 (por encima de este valor se considera que hay redundancia o duplicación).
Usualmente, se prefieren valores de α entre 0,80 y 0,90. Sin embargo, cuando no se cuenta con un mejor instrumento, teniendo siempre presente esa limitación, se pueden aceptar valores inferiores.
Ejemplo: se consultan 8 expertos para evaluar un instrumento que mide la calidad de un método de enseñanza de idiomas en diferentes países.
Así, utilizando el SPSS se calculó el Coeficiente Alfa de Cronbach=0,962. Por tanto, dado que el valor de alfa es alto, ello denota la fiabilidad y consistencia de los juicios de los expertos sobre el instrumento empleado.
1º. Nivel de Consenso de los Expertos
Para estimar la confiabilidad de los expertos, es preciso conocer el grado de consenso entre ellos, ya que sus criterios tienen un alto componente subjetivo. Cuando la medida es alta, indica que existe consenso en el proceso de clasificación o asignación de puntajes entre los expertos.
Para determinar el grado de consenso entre los expertos se han utilizado diferentes procedimientos:
Calculando el porcentaje del consenso; este resultado es insuficiente ya que no incluye el consenso esperado por el azar.(24)
Empleo de medidas de correlación interpretadas como índices de consenso entre los expertos; un alto índice de correlación no necesariamente implica que exista un alto consenso.(25)
El Coeficiente Kappa (K), medida estadística que ajusta el efecto del azar en la proporción de concordancia observada para datos cualitativos (variables categóricas); es una medida más fuerte que el cálculo del porcentaje de concordancia, ya que Κ tiene en cuenta el acuerdo que ocurre por azar.(16)
Inicialmente el coeficiente se utilizaba únicamente en datos nominales, pero posteriormente se hizo una generalización para incluir datos ordinales, por lo que se convirtió en el índice de acuerdo más utilizado en Ciencias Biológicas y Sociales.
Es un estadístico sencillo de calcular y genera una medida de acuerdo entre evaluadores. Por ejemplo, un experto clasifica los ítems de una prueba de conocimientos en contestables o no contestables por una persona con un nivel adecuado de conocimiento en el área, o en el caso de psicólogos clínicos que pueden clasificar a los pacientes que requieren tratamiento o no.
Su principal limitación es que el índice de acuerdo puede ser afectado por el número de categorías y por la forma en la que están distribuidas las observaciones.
Es importante no obviar que el coeficiente Kappa tiende a dar por seguras las frecuencias de las categorías observadas, lo que puede subestimar el acuerdo para una categoría de uso habitual; por esta razón, este estadístico es una medida de acuerdo excesivamente conservadora ya que cuando los expertos no están absolutamente seguros, se arriesgan a ofrecer una respuesta poco realista.
No obstante, el Coeficiente de Kendall (W), es usualmente empleado para medir el grado de acuerdo entre varios expertos (jueces), o la asociación entre tres o más variables. El valor W oscila entre 0 y 1; cuando W se acerca a cero significa la ausencia de acuerdo en la evaluación emitida por los expertos, y cuando se acerca a 1, indica el máximo acuerdo entre ellos.
Pasos para su cálculo
Ordenar las observaciones por rangos, en función de la variable independiente.
Efectuar la sumatoria de los rangos en función de cada variable;
Obtener la sumatoria de la sumatoria anterior y obtener un promedio;
Calcular las diferencias obtenidas entre la sumatoria y el promedio, elevarlas al cuadrado y sumarlas. Lo anterior es el valor S;
Aplicar la ecuación para obtener el ajuste dado por las ligas o empates;
Aplicar a ecuación coeficiente de concordancia de Kendall (W).
Transformar W en ji cuadrada y calcular los grados de libertad gl=n-1;
Decidir si se acepta o rechaza la hipótesis.
W se calcula con el uso de las fórmulas:
Donde:
W=cantidad de expertos.
n=cantidad de variables (preguntas o aspectos a evaluar).
S2=suma de los cuadrados de las desviaciones.
t=número de observaciones en un grupo ligado por un rango dado
Ejemplo: Un investigador quiere conocer la asociación entre el desarrollo mental de niños con respecto a la educación formal de sus madres.
Información disponible
Tamaño de la muestra=20 madres
Variables: escolaridad materna, estimulación en el hogar y desarrollo mental del niño
Elección de la prueba estadística
W se puede interpretar como el coeficiente de concordancia, que es una medida de acuerdo entre evaluadores. Cada caso es un juez o evaluador y cada variable es un elemento o persona que está siendo evaluada. Para cada variable, se calcula la suma de rangos.
Planteamiento de hipótesis
Ho (Hipótesis nula). No existe asociación entre las variables educación formal de la madre, estimulación disponible en el hogar y desarrollo mental del hijo.
Ha (Hipótesis alternativa): Existe asociación.
Nivel de significación. Para todo valor de probabilidad igual o menor que 0,05, se acepta Ha y se rechaza Ho.
Zona de rechazo. Si valor de probabilidad es mayor que 0,05 se rechaza Ha.
Cálculo del Coeficiente W de Kendall
donde:
W=coeficiente de concordancia de Kendall.
S=suma de los cuadrados de las diferencias observadas con respecto al promedio.
N=tamaño de la muestra.
K=número de variables incluidas.
Li=sumatoria de las ligas o empates entre los rangos.
El Coeficiente de Concordancia de Kendall (W) alcanzó el valor de 0.844 (alto).
Aplicación de la prueba estadística al Coeficiente W
Para evitar que el valor del coeficiente W pueda ser atribuible al azar, se realizó la prueba estadística Chi cuadrado, cuyos resultados (Tabla 4) indican que al comparar el valor calculado de W en X2, con 19 grados de libertad, con los valores críticos de la tabla de distribución de X2 se observa que X2 (19) (tabulado)=30,14 (α=0,05) < X2 (19) (calculado)=40,912 (α=0,001).
Decisión
Como al valor calculado de W en X2le corresponde una probabilidad de 0,001, menor que 0,05, se acepta Ha y se rechaza Ho.
Interpretación. Entre las variables estudiadas existe una correlación significativa al nivel de confianza de p menor que 0,001, lo que sugiere que el nivel de escolaridad de las madres influye en el desarrollo mental y en la estimulación de los hijos en el hogar
Conclusiones
Dada la intención de los autores en sistematizar y dar orden a los aspectos metodológicos a ser considerados para la eficaz utilización del método de consulta a expertos en la investigación científica; ante todo debe resaltarse que, cuando se decida su utilización, los investigadores deben tener claridad sobre: ¿Quiénes serán los expertos a consultar?, ¿Qué nivel de fiabilidad y consistencia tiene el instrumento que se someterá a consulta?, y ¿Qué grado de consenso existe entre los expertos, en relación con el contenido del instrumento evaluado?
Asimismo, recordar que el método de consulta a expertos propicia el contexto adecuado para obtener la mayor cantidad de información posible de los evaluadores consultados, atenuando el efecto de aspectos que no pueden ser controlados por el investigador y de otros factores relacionados con la complejidad, dificultad u obviedad del contenido sometido a su consideración.
