SciELO - Scientific Electronic Library Online

 
vol.14 número4La formación investigativa de los profesores universitarios y su importancia para el desempeño docenteManejo agroecológico participativo de moluscos plagas en organopónicos fortalecida desde una perspectiva de ciencia, tecnología y sociedad índice de autoresíndice de materiabúsqueda de artículos
Home Pagelista alfabética de revistas  

Servicios Personalizados

Articulo

Indicadores

  • No hay articulos citadosCitado por SciELO

Links relacionados

  • No hay articulos similaresSimilares en SciELO

Compartir


Revista Universidad y Sociedad

versión On-line ISSN 2218-3620

Universidad y Sociedad vol.14 no.4 Cienfuegos jul.-ago. 2022  Epub 30-Ago-2022

 

Artículo original

Metodologías de generación de indicadores educativos: una revisión sistemática usando el análisis estadístico implicativo

Methodologies for the generation of educational indicators: a systematic review using implicative statistical analysis

0000-0001-5171-9742Lilia Esther Valencia Cruzaty1  *  , 0000-0002-9409-3783Carlos Manuel Castillo Gallo1  , 0000-0003-4142-1840Blanca Estela Hernández Bonilla2  , 0000-0001-7307-5239Mariela Viviana Reyes Tomalá1  , 0000-0002-4911-6851Àngel Eduardo González Vázquez3 

1Universidad Estatal Península de Santa Elena, Ecuador.

2Centro Universitario Valle de Teotihuacán Universidad Autónoma del Estado de México, México.

3Universidad Politécnica Salesiana, Ecuador.

RESUMEN

Las metodologías para la generación de indicadores educativos constituyen herramientas cuya evolución se ha visto acelerada por el desarrollo tecnológico, la gran disponibilidad de información y el creciente interés institucional y gubernamental por estos indicadores. El objetivo de esta investigación, es analizar la evolución y principales tendencias de las publicaciones científicas sobre las metodologías para el cálculo de indicadores educativos. Para ello se realizó un análisis bibliométrico a partir de la información bibliométrica recuperada de la base de datos Scopus. Para el análisis de utilizó el MS Excel se y el software VOSviewer 1.6.16. Se analizaron y mapearon un total de 187 publicaciones en 157 fuentes, en las que participaron 449 autores. Se identificó el uso recurrente de modelos multinivel, métodos estadísticos y de minería de datos para el cálculo de indicadores educativos. Se pudo concluir al término de esta investigación que el número de publicaciones sobre los indicadores educativos ha aumentado significativamente en los últimos años y que las tendencias actuales se dirigen hacia un enfoque de calidad de la educación, los indicadores sociales y la educación sostenible e inclusiva.

Palabras-clave: Metodologías de cálculo; Indicadores educativos; Bibliometría; mapa bibliométrico

ABSTRACT

Methodologies for the generation of educational indicators are tools whose evolution has been accelerated by technological development, the great availability of information and the growing institutional and governmental interest in these indicators. The objective of this research is to analyze the evolution and main trends of scientific publications on methodologies for the calculation of educational indicators. For this purpose, a bibliometric analysis was carried out based on the bibliometric data, retrieved from the Scopus database. MS Excel and VOSviewer 1.6.16 software were used for the analysis. A total of 187 publications in 157 sources, involving 449 authors, were analyzed and mapped. The recurrent use of multilevel models, statistical and data mining methods for the calculation of educational indicators was identified. It was possible to conclude at the end of this research that the number of publications on educational indicators has increased significantly in recent years and that current trends are moving towards a quality approach to education, social indicators and sustainable and inclusive education.

Key words: Calculation Methodologies; Educational Indicators; Bibliometrics; bibliometric mapping

Introducción

A partir del éxito y difusión y de los indicadores económicos en la década del sesenta del pasado siglo, varios científicos sociales se plantearon la posibilidad de extrapolar estos a otros ámbitos del funcionamiento de las sociedades. Surgieron así los indicadores demográficos, de calidad de vida, de salud y de educación. Según plantea (Tiana, 2021), el término “indicador educativo” es uno de los tantos conceptos polisémicos que se encuentran en el lenguaje educativo debido a su amplia variedad de usos y significados. Sin embargo, en todo intento por definir el término, debe de traerse a colación los elementos fundamentales que se le confieren en la definición clásica, aportada por Oakes (1986, citada por (Tiana, 2021), quien lo define como un estadístico que se refiere a un sistema educativo y que aporta información relevante sobre su funcionamiento.

Según afirma (Mallea et al., 2021), a finales de la década de los ochenta, la concepción y estudio de los indicadores educativos recibió un fuerte impulso y se crearon nuevos instrumentos metodológicos, lo cual marcó el surgimiento de los indicadores educativos actuales. Resultó determinante en este período, la incorporación de nuevos actores en su construcción y desarrollo, mediante sus aportes metodológicos y conceptuales dando inicio una época de auge para dichos indicadores que se extiende hasta la actualidad. Así mismo Wyatt (1994, citado por (Martínez, 2021), afirma que toda definición actual se deriva de la aportada por Oakes y refiere que, por tanto, todo indicador educativo debe ofrecer información relevante acerca de:1-los logros de un sistema educativo, relacionados con la obtención de resultados específicos; 2- características que la investigación científica demuestra que se asocia con ciertos resultados (lo que le confiere un valor predictivo); 3- rasgos centrales o problemas de un sistema educativo; 4- problemas o aspectos relevantes de una política educativa.

Existe, sin embargo, una amplia diversidad de referencias acerca de la definición, concepción, generación y utilización de los indicadores educativos. Instituciones regionales, nacionales y educativas, adoptan el uso de indicadores (comunes o específicos) para la evaluación de variables relacionadas con los sistemas, políticas o resultados educativos en contextos diversos (Kaplan, 1997). La Unión Europea, de acuerdo con lo planteado por (Tiana, 2021), elaboró un grupo de indicadores, con el propósito de evaluar sistemáticamente el cumplimiento de los denominados Objetivos de Lisboa, establecidos para los sistemas educativos europeos en el año 2010.

En el año 2015, de acuerdo con (Motiejunaite et al., 2020), se crea publica el informe conocido como Indicadores estructurales para el seguimiento de los sistemas de formación en Europa. Dicho informe contiene más de 35 indicadores estructurales clave, relacionados con las políticas educativas en seis ámbitos fundamentales:

  1. Educación y atención a la primera infancia

  2. Rendimiento en competencias básicas

  3. Abandono temprano de la educación y la formación

  4. Educación superior

  5. Empleabilidad de los titulados

  6. Movilidad en el aprendizaje.

Los indicadores estructurales del informe forman parte del Marco de Evaluación Conjunta (JAF, por sus siglas en inglés) el cual, a su vez, es una herramienta de control desarrollada por la Comisión Europea para seguir los progresos realizados por los Estados miembros de la UE en la consecución de los objetivos fijados por los procesos de reforma de Europa 2020 y Educación y Formación 2020. El JAF tiene componentes cuantitativos y cualitativos, que están interrelacionados y son complementarios. El informe se publica anualmente y contiene los valores actualizados de los indicadores además de una breve descripción de las principales reformas en los seis ámbitos políticos listados anteriormente; así como la información sobre el alcance de cada indicador y las definiciones detalladas de los términos utilizados (Motiejunaite et al., 2020).

Como ejemplo de organismos internacionales globales, en su informe anual “Education as a glance”, la Organización para la Cooperación y el Desarrollo Económicos (OECD), ofrece datos sobre la estructura, las finanzas y el rendimiento de los sistemas educativos de los países de la OCDE y de una serie de economías asociadas. Según el sitio oficial, esta es una fuente autorizada de información sobre el estado de la educación en el mundo, mostrado a partir un conjunto diverso, comparable y actualizado de indicadores, obtenido a partir de un consenso entre profesionales, sobre cómo medir el estado actual de la educación a nivel internacional. Los indicadores proporcionan información sobre los recursos humanos y financieros invertidos en la educación, el funcionamiento y la evolución de los sistemas educativos y de aprendizaje, y el rendimiento de las inversiones en educación. Están organizados por temas, cada uno de ellos acompañado de información sobre el contexto político y la interpretación de los datos (https://www.oecd.org/).

Estos análisis de alcance limitado a las aulas, instituciones o niveles educativos, aportan información valiosa a la composición de los metadatos y la comprensión de los indicadores educativos para el macro análisis de los sistemas educativos y las políticas educativas. Esta es la principal razón por la que muchos autores investigan sobre la generación de nuevos indicadores que aportan a la evaluación y análisis de elementos específicos dentro del marco general de la evaluación de un sistema educativo. Los temas de investigación y niveles de especificación en este sentido, son cada vez más diversos. Ante tal multiplicidad de enfoques y alcances, surge la necesidad de analizar la evolución y principales tendencias de las publicaciones científicas sobre las metodologías para la generación de indicadores educativos.

Materiales y métodos

En la figura 1 se puede apreciar como los indicadores se organizan dentro de un marco que distingue entre los actores de los sistemas educativos, los agrupa según los tipos de cuestiones que abordan y examina los factores contextuales que influyen en la política. Además de estas dimensiones, la perspectiva temporal permite visualizar los aspectos dinámicos del desarrollo de los sistemas educativos (OCDE, 2021).

Fuente: Elaborado a partir de OCDE (2021)

Fig. 1 - Marco organizativo de los indicadores educativos de la OCDE. 

En el marco de la fig 1, deben destacarse los elementos de entrada, entre los que se encuentra la legislación educacional, como sistema que reúne las disposiciones más detalladas en un conjunto coherente y garantiza que los objetivos políticos individuales en un ámbito concreto puedan alcanzarse mediante la aplicación de una política determinada. Por lo tanto, estas entradas constituyen el fundamento de todo el sistema educacional y se centran en la interconexión de las políticas, la coherencia de las diferentes iniciativas y su sostenibilidad.

Muy a menudo, los indicadores están orientados principalmente a los resultados y se utilizan como puntos de referencia para supervisar los avances hacia los objetivos, en materia de educación. Sin embargo, los indicadores relacionados con los recursos, y con el propio proceso, permiten entender por qué cambian o no los resultados. Esto se debe a que, en la mayoría de los casos, no se puede influir directamente en los indicadores de resultados cuando el seguimiento detecta una diferencia entre el valor medido y el valor objetivo. Para modificar (indirectamente) los resultados, se deben realizar cambios en las entradas o en el proceso de participación.

De ahí que, los determinantes de la política educativa, definen los objetivos y se retroalimentan de los resultados. Los indicadores de resultados son, por consiguiente, una importante fuente de información en el sistema de seguimiento. Luego, el conjunto de indicadores en las áreas de insumos, medidas y procesos, debe ser compatible con los indicadores de resultados nacionales, e internacionales existentes. En principio, cada país que utilice los indicadores internacionales, debe añadir sus propios indicadores de resultados, completando así la lista de indicadores para el seguimiento de su sistema. En algunos países, se cuenta con instrumentos estadísticos regulados para la evaluación de las políticas y el sistema educativo. Por ejemplo, de acuerdo con (da Silva, 2018):

El Censo Escolar es el principal instrumento de recogida de información sobre la Educación Básica a nivel nacional, y también se considera la encuesta estadística más importante sobre la educación en Brasil. Su ámbito de aplicación abarca las diferentes etapas y modalidades de la Educación Básica y Profesional: la educación ordinaria (infantil, primaria y secundaria); la educación especial; la educación de jóvenes y adultos (EJA91- educação de jovens e adultos) y la educación profesional (cursos técnicos y cursos de formación inicial o continua o de cualificación profesional). El Censo Escolar está regulado por instrumentos normativos (decretos, ordenanzas y notas técnicas) que establecen las obligaciones, los plazos, los encargados y sus responsabilidades, así como los procedimientos para llevar a cabo todo el proceso de recogida de datos (p. 120).

A nivel institucional (escuelas, universidades y otros centros educativos), los indicadores medidos generalmente están relacionados con variables contenidas en los diferentes instrumentos de evaluación escolar, donde sobresale la evaluación al rendimiento académico. Es criterio de (Tiana, 2021), que “para llevar a cabo la evaluación de los sistemas educativos se ha recurrido a diversos métodos y procedimientos. Quizás el más extendido en la actualidad sea la elaboración y aplicación de pruebas de rendimiento a los alumnos” (p.17). Por tal motivo, algunos investigadores se dedican esfuerzos significativos a la generación y análisis de indicadores educativos de alcance reducido a algún aspecto de la enseñanza y su incidencia en la formación, aprendizaje y rendimiento académico de los estudiantes.

En la presente investigación se utilizan los datos de publicaciones relacionadas con la obtención y aplicación de indicadores educativos, a partir de fuentes indexadas a la base de datos Scopus, a las que se puede acceder en el sitio web oficial www. Scopus.com. Se selecciona esta base de datos debido a la amplia gama de publicaciones, de alto rigor científico que alberga y, como afirman (Effendi et al., 2021), “Scopus es una de las bases de datos más completas de revistas revisadas por pares” (p. 2). La recopilación de datos se llevó a cabo en el mes de enero de 2022, mediante la realización de una búsqueda con el filtro de las palabras clave "metodología" e "indicador educativo" (en los idiomas español e inglés), para el período 1973-2021. Se identificaron 187 publicaciones, de las cuales se registró el nombre de los autores y de la publicación, año de la publicación, número de citas y las palabras clave de los autores, como información principal para el análisis.

Los metadatos fueron procesados mediante Microsoft Excel para la revisión, depuración, organización y resumen estadístico de la información. Así se pudo resumir la información general de la colección de publicaciones y analizar el número anual de publicaciones para trazar la tendencia del campo de investigación estudiado, como proponen (Le Thi Thu et al., 2021), y obtener las estadísticas descriptivas de las principales variables. Se utilizó además el software VOSViewer 1.6.16 para la elaboración de mapas relacionales de las publicaciones, el cual permite construir y visualizar mapas bibliométricos. Este software ofrece una función de minería de texto, que se puede utilizar para construir y visualizar una red/relación en una cita de un artículo/emisión y permite visualizar los mapas de publicaciones en diversos formatos y aplicar diversas técnicas de clasificación por conglomerados, opciones de diseño y presentación como el zoom, el desplazamiento y la búsqueda, para mapear las publicaciones con un alto grado de detalle. VOSViewer 1.6.16, permite presentar y representar información específica sobre el mapa gráfico bibliométrico y a los analistas e investigadores, interpretar fácilmente las relaciones representadas en un mapa bibliométrico de grandes dimensiones (Nurdin et al., 2021). Para estandarizar y homogenizar el trabajo de minería de texto, se tradujeron al español los términos clave de las publicaciones en idioma inglés. Con la información procesada estadísticamente, se procede a realizar los análisis correspondientes para la deducción de las conclusiones relacionadas.

Resultados y discusión

Las 187 publicaciones identificadas, se encuentran distribuidas en 157 fuentes (revistas, editoriales, libros), lo cual indica un reducido número de publicaciones por fuente, acerca del campo investigado. Solo en 20 de las fuentes se observa más de una publicación, entre las cuales se incluye solo una de habla hispana: RELIEVE - Revista Electrónica de Investigación y Evaluación Educativa, con 2 publicaciones. En la tabla 1 se muestran las 10 fuentes con mayor número de publicaciones relacionadas con las metodologías para la obtención de indicadores educativos.

Tabla 1 - Fuentes con mayor número de publicaciones. 

Fuente Número de publicaciones
Education Policy Analysis Archives 5
Ensaio 4
Meta: Avaliacao 4
Revista Brasileira de Educacao Especial 4
Studies in Educational Evaluation 3
Educational Evaluation and Policy Analysis 3
Comparative Education 2
Technological Forecasting and Social Change 2
International Journal of Sustainability in Higher Education 2
Review of Research in Education 2

Como se puede apreciar, el máximo número de publicaciones para una fuente es 5, y solo la revista Education Policy Analysis Archives (EPAA), alcanza tal frecuencia. EPAA es una revista internacional de acceso abierto, multidisciplinaria y multilingüe, diseñada para socializar investigaciones relacionadas con políticas educativas y que publica con una frecuencia semanal. Fundada desde 1993, y dada su alta frecuencia de publicación, una cifra de solo 5 publicaciones sobre el tema, en 28 años, constituye una cifra muy reducida. Este escenario general, pudiera verse modificado en el futuro, debido al aumento del número de publicaciones anuales sobre el tema. En la fig 3 se muestra la serie temporal de publicaciones anuales donde se puede apreciar esta tendencia.

Fig. 3 Serie temporal de la cantidad anual de publicaciones. 

Nótese que entre los años 1973 (primera publicación según la búsqueda realizada) y 1988, solo se registran 5 publicaciones, para un promedio de 0.33 publicaciones por año. Antes del año 2000, solo en los años 1997 y 1998 se realizaron más de 3 publicaciones (5 y 4 respectivamente). Es a partir del año 2006 comienza una clara tendencia positiva en el número anual de publicaciones, aunque con retrocesos significativos como los de los años 2010 y 2014. De hecho, en la última década se contabiliza el 73% de las publicaciones, con un promedio anual de 13,6 y un máximo de 21 publicaciones, alcanzado en el año 2021.

En cuanto al tipo de publicación realizada, en la fig 4 se muestra la composición porcentual de la muestra, de acuerdo con las categorías identificadas.

Fig. 4 Composición de la muestra según el tipo de publicación. 

La mayoría de las publicaciones (145; que representa el 77,54%) clasifican como artículos científicos, 13 como reseñas, 11 libros y 10 capítulos de libro, mientras que solo se publicaron 6 (3%), como documentos o artículos de conferencia. Esto denota una evidente superioridad en la difusión científica mediante artículos científicos, sobre el resto de las formas calculadas y debe señalarse la baja difusión de materiales derivados de conferencias. Este tipo de publicación permite socializar de una manera científicamente menos rigurosa, aunque generalmente más vanguardista, presentaciones realizadas en congresos, los cuales en sí mismos, son canales importantes (debido a sus considerables méritos), pero limitados, para difundir los resultados de las investigaciones de los científicos y académicos. En las publicaciones participaron 449 autores, aunque los índices de colaboración resultan bajos. Novi, J.C y Salgado, A.P (ver figura 5, mapa de colaboraciones), presentan un índice de fuerza de colaboración de 9 y son los únicos autores con tres publicaciones, valor que constituye el número máximo de publicaciones para un autor, en la base de datos recuperada. Del resto de los autores, 21 participan en dos publicaciones y el 94,87%, en solo una publicación. Por tal motivo, se obtienen 169 conglomerados utilizando el método de fuerza de asociación de coautoría, para un mínimo de un artículo por conglomerado.

Fig. 5 Conglomerado de relación de colaboraciones de Novi, J.C y Salgado, A.P.  

Como se aprecia en el mapa de la fig 5, Novi, J.C y Salgado, A.P. colaboran con otros 4 autores, pero en mayor medida (2 artículos), con Ferreira, J., con quien desarrollan dos investigaciones relacionadas con la eficiencia en la administración escolar y la relación prácticas escolares- rendimiento de los alumnos, publicadas en los años 2015 y 2016, respectivamente.

El mapa bibliométrico de coocurrencia de las 48 palabras clave más utilizadas, (que aparecen al menos en dos publicaciones), se presenta en la figura 6. Cada término clave está representado por un nodo, el tamaño del nodo indica la frecuencia con la que aparece la palabra clave o el tema y el grosor de las líneas entre dos nodos es proporcional a la fuerza de la relación entre ellos, y. Esta relación se determinó por el número de veces que aparecieron juntas en los artículos publicados en la base de datos. Las palabras clave cercanas y relacionadas (o temas de investigación) se codificaron en los mismos colores y se agruparon en los mismos conglomerados.

Las palabras clave se agrupan en 9 clusters (al descartar los no correlacionados con el resto), de los cuales cuatro presentan un mínimo de 6 coocurrencias. El primer grupo, se representa en el mapa con el color verde, e incluye el término “indicadores educativos”, el cual se contextualiza en investigaciones relacionadas con la política educativa y la calidad de la educación, a través del estudio de la eficiencia y eficacia docente-educativa, en las cuales se utiliza la modelización de ecuaciones estructurales y la modelización multinivel como principales herramientas para la determinación y análisis de indicadores educativos.

Fig. 6 Mapa bibliométrico de coocurrencia de palabras clave. 

El segundo grupo relevante, se representa en color amarillo, y está fuertemente relacionado al primero. En este segundo conglomerado se agrupan investigaciones relacionadas con el cálculo y medición de indicadores de: educación para la sostenibilidad, capacidades, competencias, desarrollo sostenible, inclusión en la educación, internacionalización universitaria, aprendizaje y evaluación del rendimiento.

En el conglomerado número 3 (en azul), las investigaciones van más allá de las universidades y abarcan otros niveles educativos. Se realizan análisis metodológicos y se aplican cuestionarios para evaluar (medir) sistemas educativos y el aprendizaje de los estudiantes, así como la educación financiera mediante el cuestionario PISA.

El último de los cuatro clusters con 6 o más coocurrencias, se representa en color rojo en la figura 6. Predominan en este grupo las investigaciones enmarcadas en la educación superior. Se utilizan diversas metodologías e indicadores para evaluar el proceso de enseñanza y de la educación para el desarrollo sostenible. En el resto de los conglomerados se agrupan investigaciones enfocadas a la educación especial o a las universidades públicas y se miden indicadores de desigualdad, el rendimiento educativo a partir de la evaluación educativa y la aplicación de exámenes. Se muestran investigaciones cualitativas y se utilizan métodos como el cálculo del índice GINI, para medir la desigualdad, el método Delphi para consulta a expertos y otras metodologías basadas en minería de datos, el descubrimiento de conocimiento en bases de datos (KDD, por sus siglas en inglés) y el reconocimiento de patrones.

Respecto a las citaciones, se registra un total de 2202, para un promedio de 11,77 citas por publicación. Sin embargo, este valor medio podría llevar a una falsa interpretación, si se tiene en cuenta que el 60 % de estas citas, se refieren a 30 publicaciones (ver anexo 1); mientras que 54 publicaciones no han sido citadas y otras 40 han recibido entre 1 y 3 citaciones solamente. En la figura 7 se muestran las 12 publicaciones más citadas, identificadas por sus autores, las cuales suman 828 citaciones.

Fig. 7 Publicaciones más citadas.  

La publicación con mayor número de citaciones (128), es la de (Piech et al., 2012), que es un documento del SIGCSE'12 (Proceedings of the 43rd ACM Technical Symposium on Computer Science Education), en el que los autores comparten la aplicación de un enfoque automatizado mediante técnicas de aprendizaje automático sobre instantáneas de código (capturadas periódicamente por un IDE), para medir el progreso de los estudiantes en la solución de tareas de programación. Su algoritmo proporciona una visión gráfica de alto nivel de las rutas de desarrollo de los estudiantes a través de una tarea que facilita la comprensión de cómo los programadores resuelven un problema, así como clasificar a los estudiantes mediante grupos para predecir su rendimiento futuro.

Para lograr esto, teniendo en cuenta que la programación es generalmente un proceso incremental, modelan el progreso del estudiante como un modelo de Markov oculto (HMM, por sus siglas en inglés), parametrizado por las probabilidades de que un estudiante pase de un estado a otro y la probabilidad de que una determinada instantánea provenga de un hito concreto. La agrupación de las muestras se desarrolla mediante K-Medoids, como variación de la agrupación K-Means, en la que los centroides están representados por la instantánea de código mediana y utilizan las etiquetas de los clusters de la Agrupación Jerárquica Aglomerativa (AJA). Obtienen de esta forma una asignación probabilística a las variables de estado para cada estudiante en cada momento y estimaciones para los parámetros del HMM que reflejan el diagrama de estado inducido de todos los estudiantes.

Con su investigación, (Piech et al., 2012), logran mostrar que los rastros temporales de las rutas de desarrollo de los estudiantes en una clase de programación, pueden ser extraídos para construir modelos gráficos que capturan los principales hitos comunes en dichas rutas y que, estos modelos, tienen además la capacidad de predicción pues los caminos que toman los estudiantes están correlacionados con su rendimiento futuro. Lo cual constituye un aporte innovador en la concepción de indicadores educativos.

Por su parte, (Palardy, 2008), con 104 citaciones, utiliza datos de encuestas a gran escala para obtener un modelo de curva de crecimiento latente multinivel para examinar los efectos escolares diferenciales entre las escuelas públicas de clase social baja, media y alta. Para esto estima tres modelos de forma secuencial. Uno incondicional, un segundo modelo de estudiantes y por último dos modelos de escuela. En cada paso, el modelo se estima primeramente en la muestra de estudiantes y luego en especificaciones de grupo múltiple.

El primer modelo se utiliza para calcular los coeficientes de correlación incondicional intraclase para los interceptos y las pendientes y sirve como modelo de referencia para derivar la proporción de la varianza explicada por los modelos condicionales posteriores. El modelo de estudiantes se utiliza principalmente para controlar los efectos de los antecedentes de los alumnos en el aprendizaje, debido a que las características medias de los alumnos presentan variaciones significativas entre las subpoblaciones. Los modelos de escuela permiten examinar los efectos diferenciales de los factores a dicho nivel. En este último caso, se estiman dos modelos secuenciales; uno de entrada de la escuela y uno de prácticas escolares. El de entrada incluye variables de composición, estructurales y de recursos. El último modelo incluye tanto las variables de entrada del modelo anterior, como las medidas de las prácticas escolares (Palardy, 2008).

En su investigación, además de llevar a cabo pruebas univariadas de efectos diferenciales en los coeficientes individuales, desarrolla una prueba multivariada global de diferencias de grupo en cada paso de la construcción del modelo, lo cual le permite concluir que, en su conjunto, el grupo de variables analizadas afecta a los grupos socioeconómicos de forma diferente, así como estimar los modelos para su predicción. Por último, para examinar como la colinealidad puede haber afectado a los resultados, calcula el Factor de infuencia de la varianza para cada uno de los predictores del nivel escolar (Palardy, 2008).

(Gallifa & Batallé, 2010), con 61 citaciones, en lugar de una investigación tradicional basada en indicadores educativos, presentan un estudio de caso basado en las percepciones de los estudiantes sobre la calidad del servicio educativo, discutiendo la relevancia de estas percepciones para la mejora de la calidad en la educación superior en un sistema multicampus español. Su investigación adopta el modelo del enfoque de las deficiencias en la calidad del servicio, adaptándolo a la construcción de un cuestionario, que fue respondido por los estudiantes de último año en todos los campus universitarios. Su trabajo permite identificar un perfil de cada uno de los campus y de todo el sistema, para determinar las dimensiones significativas de la marca universitaria, que se ilustra mediante ejemplos de implicaciones prácticas para cada campus, con el objetivo de contribuir las políticas de mejora de la calidad.

La investigación más reciente, incluida entre las 12 más citadas, es la de (Isaac et al., 2019), que clasifica en séptimo lugar con 60 citas. En su investigación, los autores investigan el papel de la adecuación tarea-tecnología (TTF, por sus siglas en ingles) y la compatibilidad como variables mediadoras del aprendizaje en línea, a través del modelo de éxito de Delone y Mclean. Una vez más se aplica la teoría y enfoque de análisis de calidad de la enseñanza a partir de la satisfacción del estudiante como indicador educativo. Para ello aplican un modelo de ecuaciones estructurales basado en la varianza utilizando mínimos cuadrados parciales, para analizar colectivamente los datos de las encuestas realizadas a estudiantes de nueve universidades públicas. Para la medición de los instrumentos aplican una escala Likert de 7 categorías y el modelo es evaluado mediante cálculos de beta (β), R2 y los respectivos valores t con el uso de la técnica de bootstrapping, según un remuestreo de 5000 iteraciones (Isaac et al., 2019).

Establecen así que la TTF y la compatibilidad tienen efectos significativos en la satisfacción de los usuarios, o sea, que cuanto más consideren los estudiantes que el aprendizaje en línea se ajusta a sus necesidades, valores y estilos de vida, mayor será la satisfacción en el aprendizaje como respuesta a las expectativas del estudiante, así como la percepción individual de que estos han tomado una buena decisión al confiar en el dicho tipo de aprendizaje. En palabras de los autores:

La calidad general a través de la compatibilidad tiene efectos indirectos en el uso real de la población estudiantil de nueve universidades públicas… En pocas palabras, cuanto más flexibilidad, interactividad, reaprovechamiento, fiabilidad y facilidad de uso ofrezca el aprendizaje en línea para acceder a información precisa y actualizada, más aumentará la duración y la tasa de uso del aprendizaje en línea por parte de los estudiantes, ya que éstos consideran que el aprendizaje en línea se ajusta a sus necesidades, valores y estilos de vida individuales. Asimismo, la calidad general a través de la compatibilidad tiene efectos indirectos en la satisfacción de los usuarios entre la población estudiantil. (Isaac et al., 2019).

Para analizar las tendencias de publicación por año de las temáticas relacionadas al estudio de los indicadores educativos, se obtuvo el mapa bibliométrico de superposición, como sugiere (Effendi et al., 2021), el cual se muestra en la figura 8.

Fig. 8 Mapa bibliométrico de superposición.  

Como se puede apreciar en el mapa de superposición, teniendo en cuenta la escala de colores utilizada, se evidencia en el período 2012-2015, una mayor declaración y utilización de métodos de análisis factorial, análisis envolvente de datos, análisis multinivel y los métodos de agrupación para el cálculo de indicadores educativos. En dicho cuatrienio, los estudios se enfocaban hacia el análisis de indicadores educativos en relación con indicadores sociales con énfasis en el análisis del rendimiento académico.

A partir del año 2016 hasta el 2021, se evidencia una disminución en la declaración metodológica del cálculo de indicadores en las palabras clave de las publicaciones, evolución que va del estudio del logro educativo, la evaluación educativa y al cálculo de indicadores de educación sostenible e inclusiva. Las investigaciones se enfocan además hacia la enseñanza aprendizaje y existe una fuerte aplicación en el ámbito de la educación superior, que en los últimos años se ha ampliado a otros escenarios como los de la educación física y la educación especial.

Conclusiones

El análisis de los datos bibliométricos de la base de datos Scopus, para estudiar la evolución de las publicaciones relacionadas con las metodologías para el cálculo de indicadores educativos, permitió determinar que el número de publicaciones presenta una tendencia positiva que se define claramente a partir del año 2010. Se observa una superioridad significativa de artículos científicos sobre el resto de las categorías de publicación. Las fuentes resultan ser diversas y solo un pequeño grupo presenta más de 2 publicaciones sobre el tema estudiado. Aunque el número promedio de citas por publicación es superior a 10, el 50% de las publicaciones han sido citadas, a lo sumo, 3 veces.

La colaboración entre autores es limitada y apenas dos de ellos participan en 3 artículos, mientras que más del 90% solo colabora en una publicación. Como principales metodologías para el cálculo de indicadores educativos prevalecen los análisis multinivel basados en marcos de evaluación y los métodos matemáticos estadísticos y de minería de datos. En los últimos seis años se evidencia una aplicación recurrente de indicadores orientados a evaluar el aprendizaje, indicadores sociales, la sostenibilidad educativa y los indicadores educativos de inclusión.

Referencias bibliográficas

da Silva, F. S. S. (2018).Analyse comparée des systèmes éducatifs brésilien et français et de la formation des professeurs de mathématiques au Brésil dans le cadre du PIBID et en France dans les ESPE(Doctoral dissertation, COMUE Université Côte d'Azur (2015-2019)). [ Links ]

Effendi, D. N., Anggraini, W., Jatmiko, A., Rahmayanti, H., Ichsan, I. Z., & Rahman, M. M. (2021, February). Bibliometric analysis of scientific literacy using VOS viewer: Analysis of science education. InJournal of Physics: Conference Series(Vol. 1796, No. 1, p. 012096). IOP Publishing. [ Links ]

Gallifa, J., & Batallé, P. (2010). Student perceptions of service quality in a multi‐campus higher education system in Spain.Quality Assurance in Education. [ Links ]

Isaac, O., Aldholay, A., Abdullah, Z., & Ramayah, T. (2019). Online learning usage within Yemeni higher education: The role of compatibility and task-technology fit as mediating variables in the IS success model.Computers & Education,136, 113-129. [ Links ]

Kaplan, D., & Elliott, P. R. (1997). A didactic example of multilevel structural equation modeling applicable to the study of organizations.Structural Equation Modeling: A Multidisciplinary Journal, 4(1), 1-24. [ Links ]

Le Thi Thu, H., Tran, T., Trinh Thi Phuong, T., Le Thi Tuyet, T., Le Huy, H., & Vu Thi, T. (2021). Two Decades of STEM Education Research in Middle School: A Bibliometrics Analysis in Scopus Database (2000-2020).Education Sciences,11(7), 353. [ Links ]

Mallea, M., Miranda, M. A, & Fernández, P. (2021). Metadatos del sistema de Indicadores Educativos de la Educación Regular del Departamento de La Paz. Recuperado de: https://repositorio.umsa.bo/handle/123456789/26923Links ]

Martínez Rizo, F. (2021). Los indicadores educativos y su construcción: qué esperar y qué cuidar. En M. Kisilevsky & E. Roca (Coords.), Indicadores, metas y políticas educativas (pp. 31-46). Metas educativas 2021. [ Links ]

Motiejunaite, A., Riiheläinen, J., Horvath, A., Noorani, S., & Parveva, T. (2020). Structural Indicators for Monitoring Education and Training Systems in Europe, 2019. Overview of Major [ Links ]

Nurdin, B. V., Hutagalung, S. S., Kurniawan, R. C., & Hermawan, D. (2021, June). Bibliometric Analysis on Governance Index Topics Using Scopus Database and Vosviewer. InJournal of Physics: Conference Series (Vol. 1933, No. 1, p. 012047). IOP Publishing. [ Links ]

Palardy, G. J. (2008). Differential school effects among low, middle, and high social class composition schools: A multiple group, multilevel latent growth curve analysis.School Effectiveness and School Improvement,19(1), 21-49. [ Links ]

Piech, C., Sahami, M., Koller, D., Cooper, S., & Blikstein, P. (2012). Modeling how students learn to program. InProceedings of the 43rd ACM technical symposium on Computer Science Education(pp. 153-160). [ Links ]

Tiana, A. (2021). Los sistemas de indicadores: una radiografía de la educación. En M. Kisilevsky & E. Roca (Coords.), Indicadores, metas y políticas educativas (pp. 17-30). Metas educativas 2021. [ Links ]

Anexos

Anexo 1- Listado que completa las 30 publicaciones más citadas por fuentes indexadas en Scopus

Autor/es Publicación Año Citaciones Faham E., et al. Using system dynamics to develop education for sustainable development in higher education with the emphasis on the sustainability competencies of students 2017 40 Seltzer M., et al. Examining Relationships between Where Students Start and how Rapidly they Progress: Using New Developments in Growth Modeling to Gain Insight into the Distribution of Achievement within Schools 2003 38 Salisbury C.L. Mainstreaming during the Early Childhood Years 1991 38 Gunn A. Metrics and methodologies for measuring teaching quality in higher education: developing the Teaching Excellence Framework (TEF) 2018 36 Tsang M.C. Cost Analysis for Educational Policymaking: A Review of Cost Studies in Education in Developing Countries 1988 35 Thomas I., Day T. Sustainability capabilities, graduate capabilities, and Australian universities 2014 33 Kaplan D., Elliott P.R. A Model-Based Approach to Validating Education Indicators Using Multilevel Structural Equation Modeling 1997 28 Hattie J., et al. Persistent methodological questions in educational testing 1999 27 Cooper K., White R.E. Qualitative research in the post-modern era: Contexts of qualitative research 2012 26 Santos-Hermosa G., et al. Repositories of open educational resources: An assessment of reuse and educational aspects 2017 25 Mohammadpour E. A three-level multilevel analysis of Singaporean eighth-graders science achievement 2013 25 Moscoso S.C., et al. Evaluation of quality in higher education: Content validity [Evaluación de la calidad universitaria: Validez de contenido] 2001 25 Rosenberg M.B., et al. Indicators for monitoring undergraduate STEM education 2018 22 Kapetaniou C., Lee S.H. A framework for assessing the performance of universities: The case of Cyprus 2017 21 Esmaily H.M., et al. Identifying outcome-based indicators and developing a curriculum for a continuing medical education programme on rational prescribing using a modified Delphi process 2008 21 Sandri O., et al. Assessing graduate sustainability capability post-degree completion: Why is it important and what are the challenges? 2018 20 Motala S. Surviving the System-a critical appraisal of some conventional wisdoms in primary education in South Africa 1995 20 Alves M.T.G., et al. Socioeconomic index of Brazilian basic education schools 2014 18

Recibido: 06 de Julio de 2022; Aprobado: 20 de Agosto de 2022

*Autor para correspondencia. Email: lvalencia@upse.edu.ec

Los autores declaran no tener conflictos de intereses.

Los autores participaron en el diseño y redacción del trabajo, y análisis de los documentos.

Creative Commons License