Servicios personalizados
Articulo en XML
Referencias del artículo
Enviar articulo por email
Citado por SciELO 
Similares en
SciELO 
Permalink
Introducción
Los métodos de investigación constituyen un ejemplo fehaciente del nivel de desarrollo en cada ciencia específica. Bunge1 señaló que el método científico inquiere en lo desconocido, por medio de la observación, la experimentación y la interpretación de los resultados. Sin embargo, aunque se equipe de poderosas herramientas lógicas y teóricas, así como de técnicas e instrumentos de investigación, el método científico no es infalible. Al respecto, este filósofo y epistemólogo escribió: “La ciencia es pues, esclava de sus propios métodos y técnicas mientras estos tienen éxito: pero es libre de multiplicar y de modificar en todo momento sus reglas, en aras de mayor racionalidad y objetividad”.1
Existe una amplia diversidad de métodos de investigación científica. Algunos son generales y comunes a varias ciencias, como los métodos experimentales, el hipotético-deductivo y la inducción-deducción. Otros son más particulares, como el método clínico en Medicina, la prueba pedagógica en Pedagogía, el test psicométrico en Psicología y el método axiomático en Matemática. Con el paso del tiempo, el desarrollo científico ha requerido la transferencia de métodos originados en campos específicos del saber, hacia otros ámbitos contentivos de problemas que demandan inter y transdisciplinariedad. Un ejemplo de este fenómeno lo constituye el método de experto, originado tempranamente en el campo de la prospectiva, pero con un uso amplio en numerosas ramas de la ciencia moderna.2
En el campo de las investigaciones educacionales, el empleo del método de experto ha ganado terreno durante los últimos años, con especificidades centradas en la evaluación de resultados teórico-prácticos.2,3 Las investigaciones educacionales cubanas también han hecho uso de este método, especialmente en procesos de formación doctoral.4 Se trata de un volumen considerable de investigaciones en este campo del conocimiento, lo cual constituye cerca de la mitad del total de doctorados defendidos en el país.5
Estudios recientes han revelado ciertas fisuras epistémicas y metodológicas en investigaciones que ponderan el metadiscurso teórico, en detrimento de la práctica educacional como principal fuente de validez.6 Este peligro también es inherente al empleo del método de experto, cuando se busca la solución de un problema sin constatar evidencias de validez externa.7 Por otra parte, también se han observado diferencias perceptivas en el empleo de dicho método por parte de investigadores del campo de la educación,8 lo cual se refleja en una pluralidad de modos y objetivos de implementación. Ante un escenario como este, resulta polémico establecer conclusiones apriorísticas sobre aspectos relevantes como la evolución del método de experto en investigaciones cubanas del ámbito educacional, así como la caracterización de su empleo en dicho contexto. Es necesario profundizar en fuentes documentales primarias que reflejen la evolución y aplicación, con un nivel de representatividad suficientemente aprehensivo.
Una forma efectiva de identificar nominal y explícitamente aquellos métodos utilizados durante un estudio científico, consiste en recurrir a las tesis doctorales como informes finales de investigación. Las tesis doctorales constituyen una importante fuente documental para el análisis del desarrollo científico de un país.9 En el caso de las tesis cubanas correspondientes a las ciencias pedagógicas y de la educación, existe cierta tradición por consignar en su parte introductoria los métodos empleados, muchas veces en un apartado explícito y como parte constitutiva del diseño de investigación.4 Este tipo de información no suele registrarse en bases de datos, pues forma parte del contenido documental. Además, no siempre se aprecia normalización en las denominaciones de los métodos científicos del campo de la investigación educacional, con denominaciones heterogéneas provenientes de diversas escuelas de formación doctoral. Se trata de una situación problémica propicia para emprender un análisis basado en métodos y técnicas provenientes de la bibliometría.
Existen antecedentes de investigaciones que exploran los métodos utilizados en tesis doctorales, como los relacionados con la investigación cualitativa.10 En el caso del método de experto, algunos estudios bibliométricos han revelado su desarrollo y diversificación,2,11 a partir del procesamiento de metadatos clásicos. Sin embargo, esta mirada presenta algunos sesgos, entre los que se destacan el énfasis en el método Delphi y el hecho de que la propia naturaleza simplificada de la información no favorece el despliegue de un análisis correlacionado y de contenido.
La presente investigación tiene como objetivo caracterizar la evolución y empleo del método de experto en investigaciones pedagógicas y educacionales cubanas de nivel doctoral. Para cumplir este propósito, se desarrolla un estudio bibliométrico y de contenido, a partir de una muestra representativa de tesis doctorales, pues se sostiene el criterio de que la combinación de ambas miradas favorece una aprehensión más holística de los aspectos a analizar.12,13 La perspectiva bibliométrica favorece el estudio evolutivo del método, mientras que el análisis de contenido revela ciertas conexiones subyacentes durante su implementación. Esto último es explicado bajo un modelo matemático predictivo, desarrollado en la presente investigación para el contexto nacional.
Método
La bibliometría comprende un conjunto de métodos para analizar cuantitativamente la literatura académica y las comunicaciones científicas.14 Estos métodos generalmente procesan información estandarizada y normalizada, como palabras claves extraídas de tesauros, aspectos de autoría, junto a otros elementos típicos como títulos, resúmenes y año de publicación de los documentos. En el presente trabajo, el análisis bibliométrico se complementa con el de contenido, pues se recurre al procesamiento de informaciones incluidas en tesis doctorales que no tipifican como metadatos corrientes. El análisis de contenido que se presenta es extensivo, en el sentido de que utiliza un corpus documental representativo, con un procesamiento fundamentalmente estadístico y longitudinal/transversal.12,13
Conformación de una base de datos
La recopilación se realizó en el catálogo de la Biblioteca Nacional de Cuba “José Martí”,15 en la red de repositorios universitarios del Ministerio de Educación Superior16 y en compilaciones realizadas por centros de estudio encargados de la formación doctoral. Algunos documentos no se incluyeron por aparecer fragmentados en varios archivos, por contener dispositivos de seguridad que limitan el análisis automatizado de texto, o bien por no pertenecer a autores cubanos. El proceso culminó al completar mil tesis, de un universo igual a 4308,17 todas en formato PDF.
Variables de investigación
Las variables analizadas fueron de tres clases. Primero, de tipo metadato, en su mayoría localizadas en las primeras páginas de cada tesis: rama de la ciencia, institución autorizada, título, autor, sexo, titulación del aspirante, año de defensa y resumen. Segundo, variables de diseño,18,19,20 localizadas en la introducción y relacionadas con la estructura de la investigación: objetivo, objeto, campo de acción, métodos empleados y tipo de clasificación. Tercero, variables de contenido, relacionadas con el empleo del método de experto en el contexto educacional: tipología y finalidad de aplicación.3
Procesamiento de los datos
La información correspondiente a las variables de diseño y metadatos se obtuvo de forma manual directa, complementada con la técnica del informante clave (especialistas de instituciones autorizadas y miembros de tribunales permanentes) y con la búsqueda en redes sociales y académicas. Para las variables de contenido, se determinó primero si la tesis declara explícitamente el uso de alguna variante del método de experto. En los casos afirmativos, se estableció un inventario de las denominaciones empleadas a fin de identificar las más frecuentes. Luego se efectuó una búsqueda automatizada, con el objetivo de localizar alusiones explícitas a finalidades de aplicación. Para el estudio de relaciones objetivas subyacentes, se utilizaron los paquetes IBM SPSS y VOSviewer.21,22 Finalmente, la implementación de una regresión logística binaria favoreció el establecimiento de un modelo matemático que explica relaciones objetivas emergentes de las observaciones empíricas, tomando como centro el método de experto.
Resultados y discusión
Para caracterizar la evolución y empleo del método de experto se considerarán tres perspectivas. Primero, se presentará una exploración diacrónica de las tesis doctorales, basada en recursos bibliométricos y de contenido. Luego se profundizará en las regularidades del método de experto, junto a sus relaciones con otros métodos. Finalmente, con ayuda de técnicas de regresión logística binaria, se establecerá un modelo matemático que expresa la probabilidad de emplear el método de experto, a partir de relaciones de tipo intermétodo.
Caracterización general de las tesis doctorales
Las tesis proceden de universidades localizadas en todas las provincias del país, dentro del período 1995-2019, mayormente dentro del campo de las ciencias pedagógicas (90,30 %). El año 1995 también marca el inicio de la memoria histórica digitalizada en los archivos de la Comisión Nacional de Grados Científicos.17 Para esa fecha, la mecanografía de las tesis se realizaba principalmente con procesadores de texto sobre sistema operativo MS-DOS, como WordStar y ChiWriter, y con fines básicos de impresión. Poco después, comenzó un proceso de migración rápida hacia Windows 95, donde sucesivamente ganó terreno el formato multiplataforma PDF, con fines extendidos hacia la lectura digital.
La distribución diacrónica de la muestra es relativamente similar a los volúmenes de defensas doctorales por año en dicho período,17 de las cuales 476 responden a las ciencias pedagógicas (94,61 %), como ilustra la figura 1.
Los totales expresados por la línea de color azul incluyen también 1179 aspirantes extranjeros, así que la muestra constituyó el 31,96 % de las tesis nacionales. El 65,20 % de los aspirantes ostentó el título de máster o especialista, lo que refleja cierta continuidad en los respectivos procesos de formación científica. Además, en la muestra conformada fue mayoritario el sexo femenino (54,10 %), aspecto muy similar a lo acontecido en el contexto nacional (57,49 %). Un total de 777 tesis corresponden a niveles educacionales específicos (preescolar = 25, especial = 32, primario = 118, secundario = 106, preuniversitario = 69, politécnico = 21, adulto = 13, universitario = 319, posgrado = 74). Las restantes abordan temáticas relacionadas con la historia de la educación, gestión y calidad de procesos, así como procesos educativos en contextos concretos.
Las tesis están estructuradas en introducción, capítulos, conclusiones, recomendaciones, bibliografía y anexos, con una extensión promedio de 182,39 páginas. En su amplia mayoría se establecen tres capítulos (98,6 %). El contenido de los textos en los títulos y resúmenes presentó una diversidad de denominaciones. A causa de ello, fue necesario implementar una funcionalidad de VOSviewer, consistente en el diseño de un archivo complementario para filtrar y unificar repeticiones. Por ejemplo: PGI = “profesor general integral”, TIC = NTIC = “tecnologías de la información y las comunicaciones”, S/B = “Secundaria Básica”. El software localizó un total de 5981 términos, de los cuales se removieron todos aquellos con frecuencia inferior a 10, por el método de conteo binario (aparecer al menos una vez en el título o en el resumen). De 104 que cumplieron con este umbral preestablecido, 62 conformaron el 60 % de mayor relevancia. Luego se eliminaron nueve, por tratarse del nombre del país y de algunas provincias. La figura 2 muestra los 53 elementos resultantes (método de normalización = modularidad LinLog, atracción = 1, repulsión = 0, visualización basada en vínculos fuertes).
Los colores revelan la existencia de cinco conglomerados fundamentales. El primero, de color rojo, contiene 17 términos, como “universidad”, “TIC”, “gestión”, junto a algunas carreras entre las que se destacan las Ciencias Médicas. Ello significa que este clúster contiene investigaciones relacionadas con la gestión y el empleo de tecnologías de la información y las comunicaciones en el nivel universitario. Con color verde, el segundo conglomerado contiene 13 términos, relacionados con el alumno, la escuela primaria, la educación preuniversitaria, el proceso de enseñanza-aprendizaje, y la propuesta o elaboración de estrategias. Aquí se enmarcan investigaciones relacionadas con el desarrollo de estrategias didácticas y pedagógicas, enfocadas hacia procesos de enseñanza-aprendizaje centrados en el estudiante, en los niveles educativos primario y preuniversitario, principalmente.
Con color azul y de forma interconectada con varios clústeres, el tercer conglomerado incluye 10 términos, como “formación”, “preparación”, “profesores”, “metodológica”, “correspondencia”, “los alumnos”, entre otros. Se trata de investigaciones vinculadas a la preparación didáctica de los docentes, conocida en el país bajo el nombre de trabajo metodológico. Con color amarillo, el cuarto conglomerado aparece poco concentrado y comprende 7 ítems. Se observan los términos de “licenciatura”, “licenciado”, “formación permanente”, “superación”, así como “educación preescolar” y “educación primaria”. Por tanto, este clúster contiene investigaciones relacionadas con la formación inicial y permanente del profesional de la educación, principalmente de los niveles educativos más elementales.
El quinto clúster está representado por el color morado, con 6 elementos. Se observan los términos de “secundaria básica”, “educación secundaria”, “cultura”, “historia”, “dirección”, y “profesor general integral”. Este último término es una titulación universitaria ya extinguida, especializada en la docencia para los grados del séptimo al noveno. En fin, el último conglomerado contiene investigaciones centradas en la dirección del proceso docente-educativo en la escuela secundaria básica, con énfasis en el desarrollo de una cultura general e integral, y en el estudio de la historia patria.
Los investigadores consignaron, explícitamente, un total de 159 métodos de investigación, con 11 549 observaciones. El mínimo por cada tesis fue de 3 y el máximo, de 21 (media = 12,68; desviación típica = 2,80). Se observó poca normalización en algunas denominaciones. Por ejemplo, para referirse a una misma fuente, aparecen los nombres método “sistémico”, “sistémico-estructural”, “sistémico-estructural-funcional”, “análisis sistémico” y “enfoque de sistema”. Después de unificar los métodos con denominaciones similares, resultó un total de 117. Respecto a las clasificaciones empleadas, pudo constatarse que en el 92,30 % de las tesis se utilizó la dicotomía empíricos/teóricos. En mucha menor cuantía se observó la dicotomía cualitativos/cuantitativos (7,40 %), mientras que en tres casos (0,30 %) no se constató clasificación alguna.
Un total de 445 tesis consignaron una fuente documental contentiva de los métodos de investigación utilizados. Los libros más frecuentes fueron Metodología de la Investigación Educacional,19 con 377 referencias que incluyen varias ediciones, y Metodología de la Investigación,20 con 139 referencias. La tabla 1 presenta los 29 métodos de uso más habitual (frecuencia (( 20), bajo la clasificación predominante. Esta selección constituye el 24,79 % del total observado y subsume el 93,88 % del volumen de observaciones, lo cual satisface de modo razonable la conocida regla de Pareto.
Tabla 1 Métodos de investigación más frecuentes contenidos en las tesis doctorales
| Empíricos | Teóricos | No definidos | |||
|---|---|---|---|---|---|
| Denominación | Total | Denominación | Total | Denominación | Total |
| Encuesta | 825 | Histórico-lógico | 951 | Estadísticos | 730 |
| Observación científica | 818 | Análisis-síntesis | 898 | Triangulación | 246 |
| Entrevista | 801 | Enfoque de sistema | 790 | ||
| Análisis documental | 781 | Inducción-deducción | 692 | ||
| Método de experto | 676 | Modelación | 667 | ||
| Preexperimento | 198 | Dialéctico-materialista | 446 | ||
| Grupo de discusión | 188 | Abstracción-concreción | 163 | ||
| Prueba pedagógica | 184 | Hermenéutico | 132 | ||
| Experimento | 136 | Hipotético-deductivo | 124 | ||
| Estudio de casos | 119 | Holístico-dialéctico | 60 | ||
| Análisis de contenido | 40 | Investigación-acción | 33 | ||
| Cuasiexperimento | 32 | Genético | 30 | ||
| Completamiento de frases | 30 | ||||
| Grupo focal | 29 | ||||
| Diarios de vida | 23 | ||||
| Totales | 4880 | 4986 | 976 |
Aunque la dicotomía empíricos/teóricos aparece descrita en fuentes nacionales de amplia aceptación,19 generalmente se presentan los métodos más universales para las ciencias pedagógicas y de la educación. No es frecuente encontrar un inventario de amplia magnitud y, en ocasiones, algunos métodos se conceptúan como técnicas de recolección de datos.20 Un ejemplo de ello es la encuesta, que puede describirse como instrumento bajo una óptica pragmática, pero también como técnica o como método. Los métodos de investigación no consisten en la adopción fáctica de un instrumento, sino en un proceso que revela la esencia de un objeto de estudio potenciado por valores explicativos, predictivos y transformadores.6
El análisis de los objetivos, objetos de investigación y campos de acción, reveló que el empleo de métodos teóricos predomina en apartados correspondientes a los aportes científicos. Mayormente estos métodos se relacionan con categorías pedagógicas tales como educación (546), formación (436), desarrollo (255), aprendizaje (213) y enseñanza (182). Las acciones investigativas van dirigidas fundamentalmente a elaborar (442), proponer (312), desarrollar (235), diseñar (144), establecer (26) y estructurar (18) nuevos conocimientos. Los aportes declarados forman un conjunto de ocho constructos:
modelos (387), básicamente de tipo didáctico, pedagógico, teórico y de gestión;
estrategias (352) de naturaleza formativa, educativa, pedagógica, de dirección, de gestión y de superación;
metodologías (198) de diagnóstico, de gestión y también para la evaluación, la superación, el desarrollo, el perfeccionamiento y la formación;
concepciones (179), principalmente sistémicas, teórico-metodológicas, didácticas y pedagógicas;
sistemas (103) relacionados con habilidades, tareas, acciones y también de gestión, de evaluación y de superación;
programas (59) educativos, de formación, de orientación, de superación y de intervención educativa;
procedimientos (33), generalmente metodológicos y didácticos;
alternativas (28) pedagógicas, metodológicas, psicopedagógicas y curriculares.
Los métodos empíricos se utilizan en dos direcciones: una orientada hacia el diagnóstico que contextualiza o esclarece el problema de la investigación, y otra enfocada hacia la introducción de los aportes teórico-prácticos en la esfera educacional.
La alusión al empleo de un experimento generalmente refiere un método similar al pre o al cuasiexperimento. En algunas ocasiones, los términos se acotan bajo la denominación de “experimento pedagógico”, para tomar distancia de conceptos tales como fiabilidad, validez, representatividad de la muestra, control de variables extrañas, entre otros aspectos del experimento clásico. Es por ello que los métodos estadísticos se suelen presentar como un todo, sin detenerse a explicitar con exactitud el tipo de técnica estadística utilizada. Las precisiones generalmente se trasladan al capítulo final. En general, la utilización de herramientas estadísticas comprende elementos descriptivos no paramétricos, con predominio de la prueba de los rangos con signo de Wilcoxon y la prueba Ji-cuadrado.
Los autores dedican entre dos y cuatro párrafos de la introducción a explicar el empleo del conjunto de métodos seleccionados. Por ello se decidió procesar dichos textos con VOSviewer y se observó que existen términos recurrentes, principalmente en la argumentación del empleo de ciertos métodos empíricos. Los propósitos van dirigidos a evaluar, valorar, corroborar, comprobar y constatar alguno o algunos de los siguientes cuatro aspectos: la pertinencia (736 tesis, en 4496 ocasiones), la validez (626 tesis, en 1829 ocasiones), la factibilidad (617 tesis, en 4214 ocasiones) y la viabilidad (290 tesis, en 962 ocasiones), correspondientes a los resultados científicos obtenidos.
La figura 3 refleja, diacrónicamente, las proporciones en que aparecen estos términos respecto al número de tesis examinadas. El trienio 1995-1997 ha sido excluido por no reflejar instancias, o por sobredimensionarlas a causa del nivel reducido de la muestra en él. Existe una singularidad en el año 2017, donde las tesis que abogaron por la búsqueda de pertinencia, hicieron alusión a este término aproximadamente en la razón 18:1.
En varias ocasiones, dos de estos cuatro términos se observaron yuxtapuestos, principalmente el binomio pertinencia-factibilidad (149 tesis), seguido de factibilidad-viabilidad (47 tesis). En más del 90 % de las ocasiones, este fenómeno se observó dentro de la década 2007-2016, con un vínculo estrecho respecto al método de experto. Raras veces se encontraron referencias donde se define o formaliza el uso de estas terminologías, así que las evidencias sugieren que su empleo se realiza en un sentido generalmente literal y apegado al contexto.
El método de experto y su relación con otros métodos
Para los 29 métodos dispuestos en la tabla 1 se empleó una escala nominal dicotómica (se aplica / no se aplica el método), pues el hecho de que un método se implemente no supera cualitativa ni cuantitativamente la situación contraria. Se asume el supuesto de que la selección de los métodos responde al problema de investigación, y la metodología empleada es una decisión razonable del investigador. Por este motivo, la exploración de las correlaciones se realizó con ayuda del coeficiente ( [phi]. Apenas diez métodos muestran coeficientes superiores a (( = 0,10 en su relación con otros métodos. La figura 4 refleja las correlaciones más notables, todas con niveles de significación alto para sus coeficientes ( (p < 0,01).
La naturaleza conexa entre el método de experto y los métodos estadísticos y de encuesta, constituye el reflejo de una interrelación epistémica, en el sentido de que el procesamiento de la información pondera la cuantificación de los datos de origen predominantemente empírico. Análogamente, la estrecha interrelación entre el método holístico-dialéctico, el hermenéutico y el grupo de discusión, refleja una tendencia diferente, donde se ponderan la cualificación de información predominantemente teórica.
Se observaron dos formas fundamentales, bajo las cuales se hace alusión al método de experto. En primer lugar, predomina el término “experto” (515), seguido de “especialista” (100). A menudo los autores utilizaron indistintamente ambos términos, y de modo esporádico el de “jueces” (3), específicamente cuando se somete a evaluación algún resultado científico. En general, no existe acuerdo universal en cuanto a denominación, incluso no figura como tal en algunos catálogos. Por ejemplo, aparece como “expert testimony” en Descriptores en Ciencias de la Salud - DeCS23 y no cuenta como método en el tesauro Education Resources Information Center - ERIC,24 aunque sí se acepta el término “expertise”, con preferencia respecto a “experts”. Sin embargo, no se registra nada similar en el Tesauro Europeo de la Educación25 ni tampoco en el Tesauro de la UNESCO,26 ambos de alta visibilidad.
Los porcientos de aplicación de este tipo de método resultaron ligeramente superiores en ciencias pedagógicas (68,22 %) respecto a los de ciencias de la educación (62,00 %). Análogamente, los investigadores con titulaciones de maestría y especialidad utilizaron estos métodos con mayor frecuencia (70,86 %) en comparación con los que tenían como antecedente previo solo formación universitaria (61,49 %). La preferencia por seleccionar estos métodos fue ligeramente superior en los hombres (69,72 %) que en las mujeres (65,80 %). De las 676 tesis que utilizaron el método de experto, un total de 588 lo clasificaron como empírico, 39 como cuantitativo, 47 como estadístico y 2 lo establecieron sin clasificación.
El tipo de método de experto más frecuente fue el Delphi (281), el cual no pocas veces se contó entre los métodos estadísticos implementados (45), lo cual es discordante respecto a su epistemología.2,3,11 De forma general, no se utiliza el método Delphi en su sentido clásico, sino bajo numerosas modificaciones. Las más frecuentes consisten en utilizar la primera ronda para la autoevaluación del grado de experticia, mediante el cálculo de un índice de competencia experta, para luego someter a evaluación elementos del aporte teórico o práctico, por medio de escalas tipo Likert. En el caso particular de las investigaciones relacionadas con la formación de profesionales de la salud (51 tesis), en el 74,51 % (38 tesis) se utilizó el método de experto, y en el 45,10 % el método particular aplicado fue el Delphi (23 tesis).
La referencia más utilizada fue una monografía titulada Indicadores e Investigación Educativa,27 resultante de una investigación desarrollada en el Instituto Central de Ciencias Pedagógicas en el año 1998. De la muestra examinada, las primeras investigaciones en emplear este método datan del año 2000.28,29 Luego de comparar las frecuencias absolutas por año, se pudo comprobar que existe una ligera tendencia al crecimiento en los porcientos de tesis que hacen uso del método de experto, principalmente a partir del año 2002, donde se supera el 50 % de manera sostenida (media = 68,40; desviación típica = 9,42). La mayor parte de las veces, el método que realmente se utilizó fue el Delphi (media = 43,91; desviación típica = 10,52).
Después de localizar manualmente los textos argumentativos que justifican el empleo del método de experto, se observó que estos se ubican fundamentalmente en dos momentos del informe científico: en la introducción, específicamente durante la descripción del método, y en el capítulo final, principalmente en el párrafo introductorio. VOSviewer cuenta con una funcionalidad de visualización por superposición, la cual organiza los clústeres por momentos de aparición. En el presente caso, se efectuó la minería de datos de un modo similar al reconocimiento de patrones entre títulos y resúmenes, pero tomando los textos de ambas localizaciones de la argumentación. Se identificaron 28 ítems más reiterativos, después de eliminar conectores gramaticales y de unificar términos análogos (por ejemplo: “validar” = “validación” = “validez”). La figura 5 refleja los resultados obtenidos (método de normalización = fuerza de asociación, atracción = 5, repulsión = 0, visualización basada en vínculos fuertes, frecuencia ≥ 5).
El desplazamiento hacia el azul indica mayor prevalencia en el tiempo que el desplazamiento hacia el amarillo. Por ejemplo, la búsqueda de consenso está más alejada en el tiempo que el sondeo de opiniones. Análogamente, la consulta a expertos con fines evaluativos constituye un suceso relativamente más reciente que la constatación de un hecho determinado. En particular, el Delphi de evaluación constituye un campo en pleno desarrollo en la actualidad,2,11 aspecto que es constatado en el presente estudio para el ámbito nacional.
Puede observarse un desarrollo paralelo del método de experto, el método Delphi y la consulta a especialistas. El método Delphi refleja un volumen equiparable al caso general del método de experto. Ello obedece a que algunos investigadores declaran la aplicación del “criterio de experto” en la introducción de la tesis, y solo a la altura de la puesta en práctica de sus resultados es que especifican el empleo del Delphi. Estos métodos han sido utilizados para efectuar consultas, promover la valoración, suscitar la crítica, constatar evidencias, obtener criterios y favorecer la evaluación de los expertos.
La búsqueda clásica y tradicional del consenso ha estado relacionada, más estrechamente, con el empleo combinado del método de comparación por pares. El análisis de validez ha sido un objetivo primario y sistemático, pero se aprecia también la incorporación de los conceptos de viabilidad y, más recientemente, del binomio pertinencia-factibilidad. Si bien se aspira a la consabida validez u otro constructo similar, raras veces se discute su inherencia en el propio proceso investigativo, lo cual es concordante con observaciones realizadas en estudios recientes.6,7 Los principales elementos, sometidos al juicio de los expertos, redundan en modelos pedagógicos y sistemas de acciones, procedimientos, habilidades, tareas e indicadores, principalmente didácticos. Sin embargo, de manera más reciente se han incorporado las metodologías y las concepciones didácticas. La educación secundaria básica, y luego la universitaria, constituyen los entramados de aplicación predominantes, con énfasis marcado en la evaluación de la calidad de la enseñanza y la efectividad del aprendizaje.
Un modelo matemático explicativo de las relaciones subyacentes
De manera puntual, ya en la figura 4 se reflejaron relaciones descriptivas significativas del método de experto, respecto al universo identificado. Cabe entonces reflexionar acerca de posibles relaciones en un sentido global, o sea, en relación con el conjunto como un todo. Un camino viable consiste en el establecimiento de un modelo de regresión logística binaria,30 donde la variable dependiente es justamente dicotómica, pues indica si se selecciona o no el método de experto en una investigación doctoral. En este caso, el modelo considera los 28 métodos restantes, como variables independientes.
Para la selección de las variables predictoras que contribuyen significativamente al modelo, se sigue el método progresivo condicional hacia delante (forward conditional method). En cada paso, se agrega al modelo el predictor con la estadística de puntaje más alto, cuyo valor de significación es p < 0,05 por defecto, hasta dejar fuera todas las variables que no resultan significativas. La prueba ómnibus de coeficiente de modelo produce valores significativos después de siete pasos. El estadístico de Hosmer-Lemeshow sugiere que no existe evidencia suficiente para rechazar un ajuste eficaz en el séptimo paso ((² = 4,247; gl = 7; p = 0,751 > 0,05), donde el examen de clasificación expresa una efectividad del 73,2 %. El algoritmo produce un resultado donde el estadístico de desviación explica la variación bajo el modelo de regresión logística, entre 0,13 y 0,19 aproximadamente (-2LL = 1117,896; R² de Cook y Snell = 0,132; R² de Nagelkerke = 0,185). La tabla 2 resume los estadísticos finales que posibilitan la formulación de un modelo de regresión logística.
Tabla 2 Estadísticos fundamentales obtenidos en la regresión logística binaria
| Variable | Cambio en -2LL | Test de Wald | Coeficientes | |||||||
|---|---|---|---|---|---|---|---|---|---|---|
| -2LL | Wald | Error estándar | Inferior | Superior | ||||||
| Encuesta | 16,774 | 0,000 | 17,009 | 0,000 | 0,769 | 0,186 | 2,157 | 1,497 | 3,108 | |
| Estadísticos | 39,202 | 0,000 | 39,564 | 0,000 | 1,029 | 0,164 | 2,799 | 2,031 | 3,857 | |
| Modelación | 6,364 | 0,012 | 6,434 | 0,011 | 0,390 | 0,154 | 1,477 | 1,093 | 1,998 | |
| Prueba pedagógica | 4,654 | 0,031 | 4,744 | 0,029 | -0,411 | 0,189 | 0,663 | 0,458 | 0,960 | |
| Sistémico-estructural | 5,747 | 0,017 | 5,834 | 0,016 | 0,422 | 0,175 | 1,525 | 1,083 | 2,148 | |
| Grupo de discusión | 14,908 | 0,000 | 15,146 | 0,000 | -0,691 | 0,178 | 0,501 | 0,354 | 0,710 | |
| Diarios de vida | 12,229 | 0,000 | 10,129 | 0,001 | -1,719 | 0,540 | 0,179 | 0,062 | 0,517 | |
| Constante | ― | ― | 16,049 | 0,000 | -0,918 | 0,229 | 0,399 | ― | ― | |
Como puede apreciarse, en el último paso figuran siete de los 28 métodos. En todos los casos, tanto el estadístico de desviación -2LL (-2 log-likelihood) como el examen de Wald producen valores significativos (p < 0,05). Los valores de Exp(B), correspondientes a la encuesta y a los métodos estadísticos, son los que más se alejan de la unidad. Esto era esperable, a raíz de lo expresado en la figura 4. Con valores de Exp(B) inferiores a la unidad, aparecen la prueba pedagógica, el grupo de discusión y los diarios de vida. Ello significa que su presencia a posteriori en una tesis doctoral disminuye la probabilidad de que en esta se emplee el método de experto. Un método no ocasiona, apriorísticamente y por sí mismo, la elección o desestimación de otro. Por el contrario, lo percibido es un reflejo de toma de decisiones, con base en un problema científico y un objeto de investigación bien definidos.
Conforme al modelo de regresión logística binaria, la probabilidad p de que una tesis doctoral utilice el método de experto satisface la ecuación:
cuando los coeficientes B i adoptan los valores resultantes en el modelo, para cada método X i seleccionado. Despejando p y sustituyendo los coeficientes calculados resulta:
Por ejemplo, si una tesis utiliza el método de la encuesta (X 7 = 1), métodos estadísticos (X 6 = 1), de modelación (X 5 = 1), y sistémico-estructural (X 3 = 1), pero no emplea ni la prueba pedagógica (X 4 = 0), ni el grupo de discusión (X 2 = 0), ni los diarios de vida (X 1 = 0), entonces la probabilidad de que utilice el método de experto adopta el valor más favorable, conforme al modelo, y produce una probabilidad de 0,8445. Si, por el contrario, en una tesis no se emplea ninguno de los métodos considerados en el modelo, entonces la probabilidad es igual a 0,2854. Si en lugar de ello se utilizan los métodos de la prueba pedagógica, el grupo de discusión, y los diarios de vida, pero ninguno de los restantes considerados, entonces la probabilidad es igual a 0,0232. Esta última variante constituye el caso más desfavorable que explica el modelo.
Dicho modelo es prescriptivo, pues establece la probabilidad de que el método de experto se aplique en una investigación concreta, a partir de otros métodos cuya utilización ha sido constatada previamente. El tamaño de la muestra tiene a su favor que es relativamente grande para este tipo de estudio, pero está limitado por carencias de normalización y por el corpus voluminoso de métodos observado. Un valor práctico se expresa en la posibilidad de establecer comparaciones sobre la tendencia a emplear o desestimar el método de experto, entre diferentes investigadores, paradigmas y epistemologías. Por su parte, un valor teórico consiste en la capacidad del modelo para explicar relaciones subyacentes que no siempre se perciben en muestras pequeñas. Constituye un problema abierto comparar este modelo con evidencias que difieran en lo contextual o temporal. Un cambio en la incidencia de los métodos estadísticos podría aportar evidencias objetivas sobre una percepción diferente del método de experto. El modelo actual refleja que la comunidad científica percibe y aplica este método, bajo una perspectiva predominantemente cuantitativa y empírica.
Conclusiones
Una vez más, el empleo combinado del análisis bibliométrico y de contenido contribuye a identificar regularidades en campos diversos del saber científico. Intrínsecamente, tres aspectos fundamentales emergen del presente estudio, los cuales resultan relevantes para las investigaciones educacionales y su caracterización en el ámbito nacional. En primer lugar, existe una amplia diversidad de métodos empleados, provenientes de la pedagogía y de las ciencias de la educación, clasificados generalmente como empíricos o teóricos. No se aprecia un nivel significativo de normalización en la denominación de los métodos. El contexto de aplicación de los métodos es heterogéneo, con predominio de seis objetos de investigación muy amplios y ocho tipos de resultados teórico-prácticos, fundamentalmente.
En segundo lugar, el método de experto ha sido aplicado de manera creciente y sistemática durante las dos últimas décadas, con énfasis marcado en el caso particular del método Delphi. Las terminologías más comunes son “experto” y “especialista”, sin que se aprecien diferencias conceptuales notables entre ellas. La búsqueda de validez ha sido sustituida de manera paulatina por otras nociones cualitativas, como la viabilidad y el binomio pertinencia-factibilidad. Asimismo, la aspiración al consenso ha perdido terreno frente a otros objetivos más flexibles, como la evaluación de la calidad de un resultado científico, principalmente de metodologías, concepciones y modelos.
En tercer lugar, bajo las reservas que imponen los niveles de significación estadística, ha sido posible construir un modelo matemático basado en la regresión logística binaria, el cual resulta útil para estimar la probabilidad de que el método de experto se aplique en una tesis doctoral. En este modelo intervienen siete métodos, donde la encuesta y los métodos estadísticos resultan los más influyentes e interrelacionados. En investigaciones futuras, en la medida en que crezca la producción científica, será posible ajustar mejor el modelo y establecer también comparaciones respecto a la realidad actual, con ayuda de estudios comparados y metanalíticos. Las evidencias actuales reflejan que el método de experto está ligado a un diseño predominantemente cuantitativo y empírico, pero esta realidad podría cambiar. Por ejemplo, desde una mirada cualitativa, el conocimiento experto podría encontrar otros caminos de procesamiento, amplificando más el alcance del método.
Por otro lado, bajo una mirada extrínseca, cabe reflexionar acerca del diseño y construcción de bases de datos especializadas, que favorezcan la búsqueda automatizada de información en tesis doctorales del ámbito pedagógico y educacional cubano. Los repositorios han demostrado utilidad, pero el volumen creciente de información plantea nuevos retos en la forma de organizar, sistematizar y normalizar los metadatos. El registro de información sobre tutoría puede allanar el camino de los estudios de colaboración y reproductividad científica. Asimismo, la normalización de los métodos puede conferir mayor fiabilidad en investigaciones metanalíticas, con base en un proceso riguroso de comunicación y socialización del conocimiento. Estos desafíos podrían suscitar la elaboración de un tesauro propio, a tono con las particularidades de la actividad científica nacional.
