SciELO - Scientific Electronic Library Online

 
vol.39 número1Materiales didácticos para una asignatura compleja: Morfología funcionalLa identidad danzaria local en la formación inicial de los estudiantes de la carrera Educación Artística índice de autoresíndice de materiabúsqueda de artículos
Home Pagelista alfabética de revistas  

Servicios Personalizados

Revista

Articulo

Indicadores

  • No hay articulos citadosCitado por SciELO

Links relacionados

  • No hay articulos similaresSimilares en SciELO

Compartir


Revista Cubana de Educación Superior

versión On-line ISSN 0257-4314

Rev. Cubana Edu. Superior vol.39 no.1 La Habana ene.-abr. 2020  Epub 01-Abr-2020

 

Artículo Original

El método criterio de expertos en las investigaciones educacionales: visión desde una muestra de tesis doctorales

Studying Expert Opinions as a Research Method in Education through a Sample of Doctoral Thesis

Yohan Díaz-Ferrer1  * 
http://orcid.org/0000-0001-9143-1452

Miguel Cruz-Ramírez1 
http://orcid.org/0000-0002-1697-1624

Milagro Caridad Pérez-Pravia1 
http://orcid.org/0000-0002-3062-5939

Tania Ortiz-Cárdenas2 
http://orcid.org/0000-0002-5292-6185

1Universidad de Holguín, Cuba.

2CEPES, Universidad de La Habana, Cuba.

RESUMEN

En este trabajo se caracterizó el método criterio de expertos en las Ciencias de la Educación mediante un estudio metodológico y estadístico descriptivo realizado a partir de una muestra de 600 tesis doctorales defendidas entre los años 1996 y 2019. El estudio metodológico consistió en la recopilación y análisis de contenido y documental y en la interpretación de la aplicación del método criterio de expertos en las tesis. La caracterización del método criterio de expertos involucró la selección de variables adecuadas para obtener los valores identificativos de los rasgos de su aplicación mediante la interpretación estadística de los datos recopilados de la muestra, valores de coeficientes y comprobación de pruebas de hipótesis, identificando así los objetivos de aplicación del método, las relaciones con otros métodos de la investigación científica, los tipos de métodos para consulta a expertos más empleados y su tipología.

Palabras clave: Ciencias de la Educación; formación doctoral; métodos de la investigación científica

ABSTRACT

In this work, expert opinions as a research method in Education Sciences were methodologically, statistically and descriptively studied through a sample of 600 doctoral theses defended between 1996 and 2019. For the methodological study, content and document analyses were performed, and ways in which expert opinions were used as a research method in the theses were evaluated. The usage of expert opinions as a research method was statistically analyzed by means of data on the sample, correlation coefficients, and hypothesis testing. Aims of using this method, its relation with other research methods, and the most used methods for getting expert opinions, and their types were examined.

Keywords: Education Sciences; doctoral training; scientific research methods

INTRODUCCIÓN

El Lineamiento 133 de la Política Económica y Social del Partido y la Revolución, actualizado en el Séptimo Congreso del Partido Comunista de Cuba (2016), nos convoca a «Continuar fomentando el desarrollo de investigaciones sociales y humanísticas sobre los asuntos prioritarios de la vida de la sociedad, así como perfeccionando los métodos de introducción de sus resultados en la toma de decisiones a los diferentes niveles» (p. 22). Esto, inexorablemente, incluye las investigaciones educacionales por las relaciones biunívocas con las Ciencias Sociales y Humanísticas. Se debe priorizar todo lo relacionado con el método criterio de expertos por facilitarle al investigador la validación y los estudios de factibilidad de los resultados científicos, lo cual posibilita su introducción en la práctica.

Sin alejarnos de nuestra muestra en estudio basada en tesis doctorales, es válido recordar que la aplicación del método de expertos, como también aparece en las publicaciones científicas, se ha realizado mayoritariamente en campos de las ciencias no educativas. Las Ciencias Médicas y la enfermería ocupan posiciones cimeras (Cruz y Rúa, 2018). También hay que mencionar los trabajos de Dobrov y Smirnov (1972) y Evlanov y Kutusov (1978), con aplicaciones en la economía industrial. Estos autores fueron los primeros referentes por los que llegó a nuestro país este procedimiento, lo que posibilitó que sirviera de base a Campistrous y Rizo (1998) y Aguilasocho (2004) para realizar modificaciones que constituyeron mejoras significativas, incluso en las investigaciones educacionales.

Finalmente, no podemos dejar de mencionar las publicaciones de Cruz (2009) y Cruz y Martínez (2012), artífices de modificaciones a un instrumento para la determinación de la experticia, el cual es muy referenciado en tesis y publicaciones de alta calidad. No obstante, en sus conclusiones se destacan ciertas insuficiencias relacionadas con una heterogeneidad de variables que no se alcanza del todo, una conceptualización del método criterio de expertos con cierto enfoque a las investigaciones educacionales que aún no satisface y la pluralidad de clasificaciones de la experticia que no ofrece tendencias hacia parámetros de sostenibilidad de las Ciencias de la Educación.

Entre los trabajos analizados que escrudiñan en las raíces epistemológicas y gnoseológicas de los métodos de la investigación científica no aparece el método criterio de expertos. La primera prueba válida que se tiene de su existencia es una publicación científica que aborda uno de los métodos de consulta a expertos nombrado como tormenta o lluvia de ideas o Brainstorming, en inglés (Faickney, 1953).

La aplicación del método criterio de expertos se ha convertido en uno de los puentes más transitados por la mayoría de los doctorandos a la hora de validar algún componente de su investigación. Por esta razón es que la mayoría de las tesis presentan este método como instrumento para la determinación de la experticia y para la consulta a expertos. A partir de la alta convergencia de su aplicación en este tipo de investigación es que nos trazamos la meta de caracterizar su uso con variables que nos permiten delimitar sus principales rasgos.

Para establecer sus particularidades en primer lugar se procede a la recopilación de los datos que nos permite constatar, analizar y determinar un grupo de informaciones sobre el estado del uso del método criterio de expertos en las investigaciones educacionales, específicamente en las tesis doctorales en Ciencias de la Educación, y arribar a conclusiones que permitan perfeccionar su aplicación para beneplácito de la comunidad científica.

Se ha escrito bastante sobre el método analizado, aunque son muy escasos los estudios estadísticos sobre las aplicaciones y aún menos en un determinado campo de la ciencia. Como pionero, se puede mencionar el trabajo de Tomas Crespo (2007), de la Universidad de Villa Clara, donde aparecen las condiciones necesarias que perfilan el uso del método en un problema determinado por ciertas características de sus variables. También se encuentra el trabajo Cruz y Rúa (2018), que, aunque tiene como objetivo el Delphi como método de consulta a expertos, constituye un estudio cienciométrico muy avanzado que perfila tendencias en las publicaciones de SCOPUS en cuanto a colegios, países y temáticas y las aplicaciones de índole educacional de este método en los últimos años.

Para el desarrollo de esta investigación fue necesario consultar dos amplias bases de datos de tesis doctorales con previa autorización de los responsables: la Editorial Universitaria del Ministerio de Educación Superior y el Instituto de Información Científica Tecnológica del Ministerio de Ciencia Tecnología y Medio Ambiente.

DESARROLLO

En la realización del estudio se consideró una muestra de 600 tesis doctorales de Ciencias de la Educación procedentes de las dos bases de datos antes mencionadas. Para la investigación se elaboró un libro electrónico en Microsoft Office Excel 2010, en el que se aglutinan los datos y funciones estadísticas que han facilitado la confección de gráficos para visualizar las distintas situaciones cuantitativas y cualitativas que reflejan rasgos importantes e interesantes de la aplicación del método criterio de expertos en las tesis.

El estudio se desarrolló a partir del empleo combinado de métodos y procedimientos empíricos, teóricos y estadísticos de la investigación científica, entre los que se destacan el análisis documental y de contenido, el análisis-síntesis, la triangulación y las técnicas de la estadística descriptiva. Estos, de conjunto, posibilitaron la recopilación de datos e información primaria, su procesamiento y la obtención de la información sobre la aplicación del método referido.

Para la organización de los datos y la información primaria recopilada, en función del objetivo del estudio, se definieron siete variables:

  1. Título de la tesis: el que aparece en la parte central de la portada de la tesis.

  2. Año de defensa: se tomó el que está en la parte baja de la portada de la tesis.

  3. Institución autorizada: aparece en la parte superior de la portada.

  4. Métodos, procedimientos y técnicas de la investigación científica: los empleados en la investigación que son declarados casi siempre en la introducción, después de enunciadas las tareas científicas. En algunos casos los autores no los declaran directamente sino de forma implícita en alguna parte del texto.

  5. Clasificación del método criterio de expertos como método de la investigación científica: mayoritariamente aparece en la declaración de métodos utilizados en la tesis, aunque a veces de manera implícita en alguna parte del texto.

  6. Tipo de consulta a expertos: generalmente aparece en la parte del texto donde realizan la validación de las propuestas o aportes.

  7. Para qué se empleó el método criterio de expertos: algunos autores los declaran junto con el método, pero otros lo hacen durante la validación.

1. RESULTADOS DEL ESTUDIO

A partir de la recopilación y procesamiento estadístico de los datos (valores de las variables) extraídos de la muestra conformada por 600 tesis defendidas entre los años 1996 al 2019 se obtuvieron los resultados que se presentan en esta investigación (Figura 1).

Figura 1 Histograma de tesis defendidas entre los años 1996 y 2019. 

En Cuba el amplio uso y aplicación del método criterio de expertos es una realidad incuestionable, reflejada en 378 tesis doctorales de las 600 estudiadas. En el 63 % el método aparece utilizado en alguna parte de la tesis solo bajo el nombre «método criterio de expertos». Bajo cualquier otro nombre, por ejemplo, «criterio de especialistas» o «consulta a expertos», aparecen 33 tesis más, que alcanzan el 68,5 % entre todas las denominaciones.

Se han efectuado defensas de tesis doctorales en más de 40 instituciones autorizadas de las doce provincias de procedencia de la muestra, pertenecientes a todas las regiones del país, y dos tesis de las que no se pudo constatar su lugar de origen porque el dato no aparece en los documentos digitales que se poseen (Figura 2).

Figura 2 Histograma de tesis defendidas en doce provincias del país. 

Las fronteras de la clasificación del método criterio de expertos como método de la investigación científica se han delineado con base en argumentos propios de cada autor, a tal magnitud que lo tipifican como teórico, empírico o estadístico, sin acuerdo ninguno. En la literatura científica la realidad es otra: lo clasifican como empírico (Campistrous y Rizo, 1998; Crespo, 2007 y Cruz y Martínez, 2012).

En las investigaciones, después de que se determinó el grupo de expertos con el método criterio de expertos, el 60,8 % de los autores prefirieron realizar la consulta a expertos con la utilización del método Delphi, en un total de 250 tesis. El resto usó la metodología de preferencia, comparación por pares, el ábaco de Regnier y otros que no especificaron el método de consultas a expertos que utilizaron (Figura 3).

Figura 3 Métodos de consultas a expertos empleados en las tesis doctorales. 

Estos datos son consistentes con las investigaciones bibliométricas y cienciométricas que abordan el estudio del método Delphi en las investigaciones científicas, donde llegan a la conclusión de que, de todos los métodos de consulta a expertos, el Delphi es el más referenciado, al menos en una de las bases de datos de más visibilidad SCOPUS (Cruz y Rúa, 2018).

A pesar de que el método criterio de expertos puede ser utilizado en cualquier parte de la investigación donde se definan variables en cantidades que no permitan su fácil modelación (Crespo, 2007), el 65,3 % de los autores lo emplean únicamente en la validación y estudio de factibilidad de la propuesta científica que genera su investigación, lo cual indica que no se aprovechan todas las facilidades que se brindan con respecto a su utilización para validar, por ejemplo, las insuficiencias que presentan las investigaciones, la determinación de las variables que conforman la hipótesis de investigación y las conclusiones.

En cada etapa hay que destacar que se usan muy poco las propuestas que perfeccionaron los instrumentos para la determinación de la experticia, por ejemplo, el que aparece referenciado por primera vez en Dobrov y Smirnov (1972) fue luego mejorado por varios autores, como Campistrous y Rizo (1998); Crespo (2007) y Cruz y Martínez (2012), lo cual indica desactualización informacional, pudiendo generarse resultados más significativos.

Indudablemente, la aplicación del método criterio de expertos guarda relación con los demás métodos de la investigación científica utilizados en las tesis de la muestra. López y Diez (2017) afirman que la estadística ayuda a encontrar regularidades en las investigaciones que se realizan en torno a los procesos sociales. A continuación presentamos las interpretaciones del proceso de la estadística descriptiva aplicado a los datos seleccionados de la muestra. En la Tabla 1 se calcularon los valores de los coeficientes de correlación lineal de Pearson r, entre la variable «criterio de expertos» y otras doce variables y la distribución t de Student de dos colas, para la comprobación de la prueba de hipótesis.

Tabla 1 Coeficientes de correlación lineal de Pearson r y la distribución t de Student de dos colas 

Leyenda: #¡NUM! es el mensaje de error que devuelve la función DISTR.T.2C cuando r ˂ 0.

Las variables fueron seleccionadas por mayor utilización en las tesis de la muestra, por guardar relación con los procedimientos del método criterio de expertos y por mantener cierta representatividad de todos los grupos en que se clasifican los métodos de la investigación científica.

No es casualidad que solamente los métodos correlativamente inversos al método criterio de expertos estén entre los teóricos, el analítico-sintético y el histórico-concreto, corroborado con la respuesta de error que devuelve la función DISTR.T.C2 de Microsoft Excel al comprobar la prueba de hipótesis de dos colas para este valor. De forma general, pudiera interpretarse que la selección del criterio de expertos para estas investigaciones no depende necesariamente de los resultados de la aplicación de los métodos de investigación teóricos.

Todo parece indicar que las técnicas estadísticas empleadas y las encuestas son las que más se correlacionan directamente con el método criterio de expertos al tener los coeficientes de correlación lineal de Pearson con valores más elevados (0,254404231 y 0,230671661, respectivamente) y valores altos en la comprobación de la prueba de hipótesis de dos colas (79,93 % y 81,76 %, respectivamente). Sin embargo, estos son los más bajos entre los resultados para los métodos empíricos estudiados, tal vez debido a que en la metodología del método criterio de expertos se utilicen técnicas asociadas a estos métodos, pero no necesariamente esos métodos. Basta reconocer que la correlación directa (r ˃ 0) con todos los métodos empíricos seleccionados es una muestra indudable que el método criterio de expertos está relacionado directamente con los métodos de este grupo.

Resulta interesante que el método que más se empleó en las investigaciones doctorales de la muestra es el histórico-lógico (562 tesis lo declaran). Pudiera pensarse que la determinación de la gran diversidad de variables que se constatan en los problemas que existen en el devenir del desarrollo de las Ciencias de la Educación pusiera de inmediato sobre la mesa la opción de usar el criterio de expertos. No obstante, la baja correlación directa r = 0,095949593 entre la variable histórico-lógico y la variable criterio de expertos y el valor 92,36 % de la comprobación de la prueba de hipótesis de dos colas infiere que esta tampoco es la razón principal del alto uso del método criterio de expertos en las tesis.

Aunque no aparece en la Tabla 1, los resultados r = 0.089020909, 92,91 % de aplicación del coeficiente de correlación lineal de Pearson (Egaña, 2010) y la comprobación de prueba de hipótesis a las variables Criterio de expertos y Título académico demuestran que la correlación directa comprobada entre estas dos variables es baja. Se interpreta que la experiencia que tenían los doctorantes de sus estudios anteriores de maestría o especialidad influyó muy poco en la decisión de emplear el método criterio de expertos en sus tesis.

CONCLUSIONES

La caracterización del método criterio de expertos en las investigaciones educacionales, conformada a través de un estudio estadístico, es un tema que ha sido considerado de forma secundaria en la literatura revisada, aunque se ha estudiado, mejorado y perfeccionado su uso y aplicación, pero no desde la óptica de la relación con los otros métodos de la investigación científica.

El método criterio de expertos en las investigaciones educacionales, basado en una muestra de tesis doctorales en Ciencias de la Educación, se caracteriza por:

  • Múltiples formas de nombrarlo.

  • El ser uno de los métodos de la investigación científica más utilizados.

  • Los atributos para su clasificación no están definidos en correspondencia con las características de las Ciencias de la Educación debido, principalmente, a los problemas que presenta la conceptualización de la experticia en este campo del saber. En la muestra es generalmente tipificado como empírico, basado en los datos que procesa.

  • Su selección para ser utilizado en la investigación no depende de la experiencia científica del investigador, sino que está relacionada directamente con el empleo en la investigación de los métodos empíricos y principalmente los estadísticos.

  • No ha sido explotado en su máxima potencia debido a que no se han empleado sus metodologías más actualizadas. Por ejemplo, el instrumento para la determinación de la experticia ha pasado por varias etapas de evolución hasta nuestros días, pero no se aplica la versión más perfeccionada en su momento.

  • Los autores restringen sus objetivos a la validación y estudios de factibilidad de la propuesta de las investigaciones y no aprovechan las múltiples potencialidades y facilidades que brinda este método para otros fines de la investigación.

REFERENCIAS BIBLIOGRÁFICAS

Aguilasocho, D. (2004): «Propuesta metodológica para la enseñanza de la programación visual en el bachillerato mexicano», tesis doctoral, Universidad de Ciencias Pedagógicas «Félix Varela», Santa Clara, Cuba. [ Links ]

Campistrous, L. y Rizo, C. (1998): Indicadores e investigación educativa, Instituto Central de Ciencias Pedagógicas, La Habana. [ Links ]

Crespo, T. (2007): Respuestas a 16 preguntas sobre el empleo de expertos en la investigación pedagógica, Editorial San Marcos, Lima. [ Links ]

Cruz, M. (2009): El Método Delphi en las Investigaciones Educacionales, Editorial Academia, La Habana. [ Links ]

Cruz, M. y Martínez, M. (2012): «Perfeccionamiento de un instrumento para la selección de expertos en las investigaciones educativas», (2012): «Perfeccionamiento de un instrumento para la selección de expertos en las investigaciones educativas», http://www.redie.uabc.mx/vol14no2/conteni do-cruzmtnz2012.html (2018-08-11). [ Links ]

Cruz, M. y Rúa, J. A. (2018): «Surgimiento y desarrollo del método Delphi: una perspectiva cienciométrica», (2018): «Surgimiento y desarrollo del método Delphi: una perspectiva cienciométrica», https://www.biblios.pitt.edu/ojs/index.php/biblios/article/ view/470 (2018-11-20). [ Links ]

Dobrov, M. G. y Smirnov, L. P. (1972): «Forecasting as a means for scientific and technological policy control», (1972): «Forecasting as a means for scientific and technological policy control», https://www.doi.org/10.1016/0040-1625(72)90043-1 (2018-02-02). [ Links ]

Egaña, E. (2010): La estadística: herramienta fundamental de la investigación pedagógica, 2daedición, Pueblo y Educación, La Habana. [ Links ]

Evlanov, L. G. y Kutusov, V. A. (1978): «Ehkspertnie otsenki v upravlenii», Ehkonomika, Moscú. [ Links ]

Faickney, A. (1953): «Applied Imagination: Principles and Procedures of Creative Thinking», Charles Scribner`s Sons, New York. [ Links ]

López, A. y Diez, T. (2017): «Aproximación de la estadística a las ciencias sociales: una mirada crítica», Revista cubana de educación superior, 36, 2, mayo-agosto, La Habana, pp. 148-156. [ Links ]

Séptimo Congreso del Partido Comunista de Cuba (2017): «Lineamientos de la Política Económica y Social del Partido y la Revolución para el período 2016-2021», Séptimo Congreso del Partido Comunista de Cuba (2017): «Lineamientos de la Política Económica y Social del Partido y la Revolución para el período 2016-2021», http://www.media.cubadebate.cu/wp-content/uploads/2017/07/PDF-321.pdf (2019-03-24). [ Links ]

Recibido: 16 de Mayo de 2019; Aprobado: 04 de Septiembre de 2019

*Autor para la correspondencia. ydferrer@uho.edu.cu

Los autores declaran que no existen conflictos de intereses.

Yohan Díaz Ferrer: originó la idea a partir de los datos de una colección de tesis doctorales agrupadas en una base de datos recopilada por los autores. Aplicó la metodología y realizó el análisis estadístico.

Miguel Cruz Ramírez: participó en el diseño de la metodología empleada para realizar el análisis estadístico a la base de datos. Participó en la revisión de cada sección del artículo.

Milagros Caridad Pérez Pravia: contribuyó en la recopilación de datos de las tesis doctorales y en la interpretación de los resultados estadísticos generados del análisis. Participó en la revisión de cada sección del artículo.

Creative Commons License Este es un artículo publicado en acceso abierto bajo una licencia Creative Commons