Servicios personalizados
Español (pdf)
Articulo en XML
Referencias del artículo
Enviar articulo por email
Citado por SciELO 
Similares en
SciELO 
Permalink
INTRODUCCIÓN
El presente siglo ha marcado el reconocimiento definitivo de la importancia del papel de la educación superior en la sociedad y la economía, después de que a finales del siglo pasado se identificara el conocimiento como motor principal del desarrollo y se reconciliaran las posiciones econocentrista, del Banco Mundial, y humanista, de la Organización de las Naciones Unidas para la Cultura y la Educación (UNESCO) (Benítez, Iñigo, Herrera, Pérez, Fundora, Hernández et al., 1988).
La calidad de la educación superior, en consecuencia, tiene relevancia para el desarrollo, por el impacto de los procesos sustantivos de las Instituciones de Educación Superior (IES) en la sociedad y la economía. Aunque la preocupación sobre la calidad de las IES siempre existió, las políticas de acreditación y aseguramiento de la calidad se aceleraron a partir de las políticas neoliberales de la década de los años 80, que hicieron casi desaparecer el llamado «estado benefactor» e impusieron la rendición de cuentas (accountability) de las IES como requisito para acceder al financiamiento estatal. Con el devenir del tiempo los sistemas de acreditación y aseguramiento de la calidad se han desarrollado y dado lugar a normas y modelos, así como a instituciones internacionales y nacionales encargadas de su monitoreo; también se han realizado infinidad de trabajos teóricos, para su conceptualización, y prácticos, para su implementación.
En esta misma época se impulsaron iniciativas para la elaboración de rankings globales y nacionales, de acuerdo con dimensiones y criterios elaborados en su mayoría por entidades privadas.
Según Alarcón, Almuiñas, Iñigo, Benítez & García (2021), estos rankings nacionales generalmente pueden capturar datos en una gama de dimensiones mucho más amplia y más ajustada a las características de los contextos sociales, económicos y culturales de los países que rankings los globales. Su impacto ha sido tal que Altbach (2013) planteó: «si los rankings no hubieran existido, alguien los habría inventado. Ellos son el resultado inevitable de la educación superior de masas y la competencia y comercialización de la educación postsecundaria en el mundo» (p. 2).
El presente trabajo se enmarca en el resultado “Alternativa metodológica para la comparación y clasificación de las IES del sistema MES”, que forma parte del proyecto “Contribuciones teóricas, metodológicas y prácticas al desarrollo de la gestión de la calidad en las instituciones de educación superior del sistema MES” del CEPES, asociado al programa sectorial del MES “Educación superior y desarrollo sostenible”. Su objetivo fue profundizar en los propósitos y elementos que conforman los rankings nacionales en varios países y su comparación, lo cual permitió obtener valiosa información para hacer un juicio crítico de ellos, con vistas a proponer su empleo por el Ministerio de Educación Superior de Cuba (MES).
Para su elaboración se utilizó el análisis documental para la revisión de las fuentes de información bibliográfica; además, procesos lógicos del pensamiento, como análisis, síntesis, abstracción, inducción y deducción.
El estudio se realizó en cuatro países desarrollados: Alemania, Estado Unidos, España, Inglaterra y dos de los países llamados «en desarrollo»: Brasil y México. Una característica común de la muestra estudiada resulta que todos son miembros de la Organización para la Cooperación y el Desarrollo Económico (OCDE).1
Teniendo en cuenta la diferencia de desarrollo y poderío económico entre los países estudiados, la cual influye en la estrategia de confección de los rankings, se analizaron por separado los correspondientes a los desarrollados y los considerados “en desarrollo”. Además, para una mejor comparación de los rankings de los desarrollados, se separaron los anglosajones de los pertenecientes a la Unión Europea. Finalmente, se hizo una reflexión crítica general sobre los rankings nacionales, a partir de este estudio.
Aunque se mencionan otros rankings elaborados en algunos países, como los de las carreras, solo se compararon los correspondientes a las IES.
DESARROLLO
Comparación de los rankings nacionales de países en desarrollo (México y Brasil)
Ranking de México
El ranking de las mejores universidades de México es una investigación que ha venido elaborando, desde 2010, la revista de negocios AméricaEconomía (www.americaecomia.com). Utiliza los datos obtenidos de varias fuentes de información entre las que se encuentran: Estudio Comparativo de Universidades Mejicanas (EXECUM), que realiza la Universidad Nacional Autónoma de México (UNAM); Consejo para la Acreditación de la Educación Superior (COPAES); Sistema Nacional de Investigadores (SNI); y Consejo Nacional de Ciencia y Tecnología (CONACYT).
El ranking comprende las siete dimensiones siguientes:
Calidad docente-30 %,
Investigación-20 %
Oferta de posgrados-10 %
Internacionalización-15 %
Prestigio-15 %
Inclusión y diversidad-5 %
Acreditación-5 %.
En cada indicador se le asigna un valor máximo de 100 a la mejor universidad; para el resto de las universidades este se calcula como un puntaje proporcional de ese valor máximo. Luego, estos indicadores, al ser ponderados, arrojan un índice en una escala de 0 a 100 para cada dimensión. Este proceso se repite para todas las dimensiones y resulta en el índice final: el puntaje que otorga la posición en el ranking. Las ponderaciones fueron establecidas por el equipo de metodólogos de AméricaEconomía teniendo en cuenta la experiencia y el comportamiento de los rankings de universidades de Chile y de Perú, la realidad educativa en México y la pertinencia de estos indicadores en otros estudios.
Ranking de Brasil
Para el estudio se utilizó el ranking universitario Folha (RUF). La información sobre este ranking se encuentra disponible en el sitio del periódico brasileño Folha de S. Paulo (www.folha.com.br), encargado desde 2012 de confeccionar y publicar en septiembre de cada año el Ranking Universitario Folha, conocido por el acrónimo RUF y utilizado por gran cantidad de profesionales, estudiantes, padres, gerentes de instituciones educativas, Gobierno, investigadores y periodistas, entre otros.
La versión 2019 evalúa y clasifica las 197 instituciones públicas y privadas que están acreditadas como universidades por el Ministerio de Educación y Ciencia (MEC), a través de cinco indicadores: investigación, internacionalización, innovación, enseñanza y mercado, lo que le permite publicar seis rankings: mejores universidades de Brasil y uno por cada indicador. Además, RUF evalúa las 40 carreras de universidades, centros universitarios y colegios del país con mayor matrícula de nuevo ingreso, según datos del último censo de educación superior disponible, mediante los indicadores enseñanza y mercado.
Folha recopila los datos para componer los indicadores de evaluación RUF, a partir de fuentes como el Instituto Nacional de Estudios e Investigaciones Educativas (Inep), el Censo de educación superior de Inep-MEC, el Examen nacional de desempeño de estudiantes (Enade), la Biblioteca electrónica científica en línea (SciELO, por sus siglas en inglés), la Web of Science (WoS), el Instituto nacional de propiedad industrial (Inpi), la Coordinación para la mejora del personal de nivel superior (Capes, por sus siglas en portugués), el Consejo nacional de desarrollo científico y tecnológico (CNPq, por sus siglas en portugués), fundaciones estatales para la promoción de la ciencia y dos encuestas anuales realizadas por el Departamento de investigación e informática del grupo Folha (Datafolha).
El ranking de universidades comprende las siguientes dimensiones -en su caso llamadas «indicadores»-:
A su vez, cada dimensión (indicador) se divide en componentes con diferentes % de peso, de acuerdo con su importancia.
En la tabla 1 se muestra la cantidad de dimensiones que utiliza cada ranking y la diferencia en peso de cada uno. Se observa que Brasil prioriza la investigación y la innovación, mientras que México da más peso a la internacionalización. (Tabla 1)
La tabla 2 muestra las principales similitudes y diferencias de los rankings estudiados. (Tabla 2)
Un análisis de ambos rankings permite significar como positivo:
la medición de la inclusión y diversidad, y de la acreditación, en el caso mexicano;
la medición de la innovación, en el caso brasileño; y
ambos países utilizan encuestas en la medición de algunas dimensiones o indicadores.
Puede considerarse como negativo que:
ambos rankings miden poco la calidad del aprendizaje y la innovación educativa;
las publicaciones, citas e indicadores similares no tienen en cuenta el criterio de profesor equivalente por categorías docente y científica;
la inclusión y la diversidad valorada por el ranking mexicano no parece tener en cuenta los % de la población por etnia en la región a que pertenece la universidad;
la gran cantidad de subindicadores en el ranking mexicano puede dispersar la puntuación general; y
la medición de la innovación del ranking brasileño no tiene en cuenta indicadores que en realidad expresen la participación universitaria en la innovación para el desarrollo.
Comparación de los rankings nacionales de países desarrollados
Con el fin de racionalizar el análisis se compararon primero los rankings de Estados Unidos y del Reino Unido, dado por su origen anglosajón y las raíces históricas entre ambas naciones, a pesar de que se reconocen sus diferencias en magnitud y complejidad.
Ranking de Estados Unidos (REU)
Para el estudio del ranking nacional de Estados Unidos se tomó como referencia el ranking educacional de U.S. News & World Report. Del sitio correspondiente a este ranking educacional, en su edición de 2020 (www.usnews.com/best-colleges), se extrajo la información que a continuación se ofrece. En 1983, la revista U.S. News & World Report publicó su primer informe “America's Best Colleges”, y desde 1985 lo compila y publica anualmente, por lo que se ha convertido en uno de los rankings de este tipo más citados en este país. Está basado en información recopilada de las instituciones educativas a través de una encuesta anual, fuentes de datos del Gobierno y de terceros, sitios web de las universidades y encuestas de opinión de profesores y directivos de instituciones similares. Su influencia ha sido tal que algunas universidades han declarado como un objetivo alcanzar posiciones superiores específicas, y otras han llegado a modificar aspectos organizativos, docentes y administrativos para mejorar el lugar que ocupan.
U.S. News & World Report. comprende varios tipos de rankings educacionales: Mejores IES (Best Colleges), mejores IES en línea (Best Online Colleges), Mejores Instituciones de Segunda Enseñanza (Best High Schools), Mejores Instituciones de Estudios de Postgrado (Best Grad Schools) y Mejores Universidades del Mundo (Best Global Universities). A su vez, Best Colleges abarca los rankings de pregrado siguientes:
Universidades Nacionales,
Colegios Nacionales de Artes Liberales,
Universidades Regionales y Colegios Regionales (a los que se les aplica como criterios propios la misión de las instituciones, y la naturaleza y el tamaño de estas),
Programas de Pregrado Empresariales,
Programas de Pregrado en Ingeniería,
Universidades y Colleges Históricos para Negros, y
otras listas de Colleges.
Todos ellos clasificados en cuatro categorías según el Sistema de Clasificación Carnegie2 para lograr comparabilidad válida; a saber:
Universidades nacionales: ofrecen una gama completa de carreras de pregrado, programas de maestría y doctorado, y enfatizan en la investigación del claustro u otorgan doctorados de práctica profesional;
Colleges nacionales de artes liberales: se centran casi exclusivamente en la educación de pregrado y otorgan al menos el 50 % de sus títulos en artes y ciencias;
Universidades regionales: ofertan una amplia gama de títulos universitarios, algunos programas de maestría y escasos programas de doctorado. Se clasifican en cuatro grupos geográficos: Norte, Sur, Medio Oeste y Oeste;
Colleges regionales: se centran en la educación de pregrado, pero otorgan menos del 50 % de sus títulos en disciplinas de artes liberales. A veces conceden predominantemente títulos de asociado de dos años. Se clasifican en cuatro grupos geográficos: Norte, Sur, Medio Oeste y Oeste.
La versión 2020 de Best Colleges abarcó más de 1900 IES norteamericanas. La metodología, las dimensiones y los indicadores empleados, según Morse y Mason (2019) y Morse y Brooks (2020), se resumen en la tabla 3. (Tabla 3)
Tabla 3 Metodología del U.S. News & World Report Ranking 2020
Fuente: A partir de Morse, Brooks & Mason (2019) y Morse & Brooks (2020).
Ranking del Reino Unido (RRU)
Se han tomado como referencia para el estudio los Rankings “The Times/The Sunday Times” -la edición dominical del primero-, que publican anualmente dos guías de notable éxito y popularidad en el Reino Unido: “The Times Good University Guide” y “The Sunday Times University Guide”, ambas sobre la base de metodologías muy similares. Durante más de 25 años han proporcionado la información más completa, precisa y actualizada sobre la educación superior del país y sus universidades. Sus tablas de clasificación, tanto de universidades como temáticas, son las más respetadas y estudiadas en el Reino Unido, y ayudan a estudiantes y padres en el proceso de elección del programa y la universidad donde estudiarlo.
La edición 2020 abarca 132 perfiles universitarios y 67 tablas temáticas, una de ellas dirigida a evaluar la inclusión social en las universidades británicas, según la proporción de estudiantes pertenecientes a grupos históricamente poco representados en la matrícula. Esta se confecciona a partir de ocho dimensiones: calificaciones a la entrada, satisfacción del estudiante -comprende calidad de la enseñanza y experiencia estudiantil-, proporción de estudiantes por personal docente, tasa de graduación, títulos «buenos honores», destino de los graduados, calidad de la investigación y gastos en servicios académicos e infraestructura estudiantil. Las dimensiones e indicadores de estos rankings se describen por Turnbull (2019).
En la tabla 4 se ha resumido la cantidad de las dimensiones y los indicadores, y su peso en los rankings de las IES de Estados Unidos y Reino Unido. (Tabla 4)
Tabla 4 Cantidad de las dimensiones y los indicadores, y su peso en los rankings de las IES de Estados Unidos y Reino Unido.
A continuación, se analizan las similitudes, las diferencias, y los aspectos positivos y negativos de ambos rankings.
Similitudes
Entre las similitudes, las más importantes son las siguientes:
Ambos tienen aproximadamente igual cantidad de dimensiones e indicadores.
En cuanto a la medición de la enseñanza aprendizaje los rankings, tienen en cuenta la calidad de la matrícula en cada universidad por los resultados de los estudiantes en el nivel secundario y la proporción de docentes por estudiante.
Diferencias
Aspectos negativos
Entre los aspectos negativos más visibles están los siguientes:
Ambos se realizan por instituciones no académicas y su objetivo declarado es la clasificación de las IES para orientar la demanda de matrícula; aunque contienen indicadores de medición de la calidad, no hay una relación evidente con los sistemas de acreditación académica y evaluación de la calidad, ni las organizaciones dedicadas a su medición participan en la elaboración de rankings.
Ninguno de los rankings mide la contribución de la universidad a la innovación y el desarrollo local. El REU no tiene en cuenta indicadores que midan la contribución de la investigación universitaria al desarrollo.
Tampoco miden la relación de la investigación en la calidad del proceso de enseñanza aprendizaje.
No se evalúa en ningún caso la relevancia de la extensión, y su contribución al desarrollo y la preservación de la cultura.
No se miden los resultados de la universidad en la formación de valores universales y humanos.
El uso de encuestas, si bien visibiliza la opinión de diferentes fuentes, puede también viciar los resultados, al ser objeto de posibles manipulaciones de acuerdo con intereses.
Interesantes
El REU utiliza el indicador tasa de exalumnos donantes, que expresa su contribución con relación a la matrícula. Según Morse y Brooks (2020) se agregaron para 2021 en el REU dos indicadores relacionados con el endeudamiento de los graduados.
Comparación entre los rankings nacionales de Alemania (RA) y España (RE)
Ranking de las universidades alemanas
El ranking universitario CHE debe su nombre a la institución que lo elabora, el Centro para el Desarrollo de la Educación Superior de Alemania (Centrum für Hochschulentwicklung), organización privada, independiente y sin ánimo de lucro, creada en 1994 con recursos de la Fundación Berteslmann y apoyo de la Conferencia de Rectores Alemanes. Desde 1998, este centro viene elaborando una serie de análisis muy completos sobre las instituciones de educación superior nacionales. La descripción de este ranking se expone a continuación, sobre la base de la versión 2020, publicada en el portal Zeit Campus-CHE ranking.
El Ranking Universitario CHE se basa en un sistema multidimensional de indicadores, que tiene como propósito proporcionar información fidedigna y calificada a los interesados en elegir una carrera y una institución apropiada donde estudiarla; además, a los que quieren cambiar de universidad, y a los académicos, investigadores y personal universitario interesados en saber cómo se desempeña su universidad en comparación con otras instituciones alemanas. Se asegura que las evaluaciones realizadas por el ranking han influido, a lo largo del tiempo, en la mejoría de las condiciones para los estudiantes en numerosos departamentos. Consecuentemente, se excluyen de los rankings aquellos indicadores que, de manera generalizada, vienen evaluándose como buenos o muy buenos, aunque continúan mostrándose en la versión web.
Inicialmente, el ranking CHE consideró solamente instituciones y programas de Alemania; luego se extendió a países de lengua germana vecinos, en particular Austria y Suiza. Compara departamentos pertenecientes a 140 universidades alemanas y a más de 250 universidades de ciencias aplicadas (Fachhochschulen) y academias vocacionales; proporciona datos para 40 áreas de estudio de nivel universitario en diversas ramas de las ciencias, la tecnología y las humanidades; e incluye los juicios expresados en las encuestas respondidas por unos 120 000 estudiantes y 3000 profesores. La experiencia del CHE se amplió en los últimos años a otros países de la Unión Europea, mediante el U-Multirank, atendiendo a que su sistema multidimensional ha sido considerado como una buena práctica que posee la potencialidad de establecer comparaciones internacionales dentro de la región.
Según sus editores, el ranking CHE tiene las características siguientes:
Tiene el objetivo de poner de relieve las fortalezas y debilidades de cada institución en múltiples dimensiones. No se trata de un ordenamiento global simple, sino de un análisis detallado que evita expresamente la agregación de datos parciales para producir un puntaje global, sobre la base del criterio de que no existe institución alguna de educación superior que pueda considerarse sencillamente como la mejor, ni tampoco una carrera ni todas las carreras, teniendo en cuenta que unas pueden resultar más fuertes en unos aspectos o campos, y otras en otros. Por ejemplo, una universidad puede ser líder en el campo de la investigación, pero el equipamiento que ofrece a sus estudiantes puede mostrarse obsoleto, o fuerte, en estudios alemanes, pero pobre en economía y administración de empresas. En lugar de coronar a un supuesto ganador general, el ranking ofrece una clasificación multidimensional que expone las fortalezas y debilidades de cada universidad.
Consecuentemente, el ranking no asigna lugares singulares a cada institución como mayoritariamente ocurre, sino que sitúa a cada una en uno de tres grupos: superior, medio o inferior. Se evita así el problema de otros rankings de que el lugar de una institución cambia mucho de un año a otro por fluctuaciones debidas al azar, que se interpretan como diferencias reales. Las diferencias entre instituciones de un grupo con respecto a aquellas incluidas en los otros dos grupos resultan significativas, en tanto dentro de cada grupo son mucho menores, razón por la cual se relacionan por orden alfabético.
También debido a la característica mencionada en primer término, los ordenamientos del CHE son únicamente específicos por área, y no se da un ordenamiento global, ya que la calidad de las instituciones en disciplinas particulares varía mucho, y un ranking agregado no ofrece información útil para orientar a los futuros estudiantes ni toma en cuenta decisiones institucionales de cultivar ciertas áreas con especial cuidado.
Otra característica de este ranking resulta la diversidad metodológica, expresada en la utilización de información de diferentes fuentes y perspectivas, que incluye datos sobre departamentos y programas, pero también opiniones de alumnos, maestros y egresados, lo que permite contrastar las valoraciones de diferentes actores y los indicadores basados en datos objetivos. En resumen, las fuentes principales son: encuestas departamentales; análisis bibliométricos; encuestas a administraciones universitarias; encuestas a estudiantes de pregrado, de posgrado y a profesores, entre otras.
Con los datos que se obtienen sobre diversos aspectos, se elaboran más de cien criterios, algunos exclusivos para universidades generales o de ciencias aplicadas, que se agrupan en nueve conjuntos que sirven de fuente para la construcción de 34 indicadores, a partir de los cuales se confeccionan las distintas versiones del ranking; el resto se ofrece como información adicional útil para los usuarios. Dado que los valores de los diferentes indicadores no se combinan, se emiten 34 rankings diferentes para cada materia. De esta manera, el Ranking Universitario CHE permite a los usuarios seleccionar indicadores y crear sus propias clasificaciones individualizadas, incluyendo universidades y carreras en lugares geográficos determinados. Los datos se actualizan cada tres años, a partir de la complejidad asociada a su obtención y la relativa estabilidad de estos durante ese período.
El estudiante que desea elegir una titulación debe seleccionar la materia que quiere estudiar, el tipo de curso que le interesa y los criterios más relevantes para él (graduados en el tiempo previsto, orientación hacia la investigación, contacto con el mundo laboral, etcétera). A partir de esas preferencias, se le ofrece una clasificación de las universidades.
Los indicadores utilizados en las diferentes versiones del Ranking Universitario CHE se basan principalmente en la evaluación estudiantil de una serie de aspectos relevantes, como el apoyo a la docencia; la evaluación general de la calidad de la enseñanza; y la calidad de las bibliotecas y las tecnologías de la información, de los salones de conferencias y las aulas de seminarios, y de las instalaciones destinadas al deporte universitario. También abarcan aspectos como la orientación hacia la investigación de la universidad y la preparación de los estudiantes para el mercado laboral. A los académicos se les solicita, la evaluación de la reputación científica y docente de otras universidades. Algunos de los indicadores se basan en «hechos»; es decir, en datos estadísticos o bibliométricos.
En la Tabla 5 se muestran los indicadores más utilizados en los rankings CHE.
Tabla 5 Indicadores utilizados por los rankings CHE
Nota: *La descripción de cada indicador puede encontrarse en Zeit Campus-CHE Ranking.
Leyenda: (E) Juicios de estudiantes, (H) Hechos y (P) Juicios de profesores.
Fuente: A partir del sitio Zeit Campus-CHE Ranking.
CHE ofrece también el Ranking CHE de Excelencia que identifica universidades, o más bien los departamentos propios de esas universidades, que son excelentes en biología, química, matemáticas, física, ciencias políticas, economía y psicología. No agrega los resultados de los rankings individuales en una puntuación final ni tampoco utiliza los resultados para producir una única tabla de clasificación. Consecuentemente, no aplica ponderaciones a los indicadores individuales.
En adición, el ranking CHE edita uno específico basado en la investigación. El Ranking CHE de Investigación es un ejercicio de múltiples indicadores sin compilar una tabla de clasificación. Además, publica el Ranking de Empleabilidad con el objetivo de evaluar en qué medida los programas de licenciatura promueven las habilidades y competencias que contribuyen con la capacidad profesional del graduado.
Ranking de las universidades españolas
El sitio U-Ranking. Universidades Españolas (https://www.u-ranking.es) describe las características y la metodología del ranking que a continuación se presentan.
El proyecto U-Ranking es una iniciativa de la Fundación BBVA (fundación del Banco Bilbao Vizcaya Argentaria) y el Ivie (Instituto Valenciano de Investigaciones Económicas).
El proyecto ha construido un conjunto de indicadores sintéticos del sistema universitario español, teniendo presentes los criterios internacionales actuales y siguiendo las recomendaciones de la literatura especializada y los expertos en elaboración de indicadores.
Los indicadores representan cuatro aportaciones importantes que hacen de esta una herramienta precisa, de fácil manejo y acceso; útil para responsables y expertos en educación superior, para estudiantes y orientadores vocacionales:
Ordena a las universidades tanto por su volumen de resultados (U-Ranking Volumen) como por su rendimiento (U-Ranking). U-Ranking analiza el desempeño del sistema universitario sintetizando en un único índice: sus logros en docencia, investigación e innovación y desarrollo tecnológico; mientras que U-Ranking Volumen ofrece un segundo ranking general, que considera el efecto combinado de resultados y tamaño, y ordena las universidades según su contribución total a las misiones encomendadas al sistema universitario.
Contempla tres de las misiones de la universidad: docencia, investigación, e innovación y desarrollo tecnológico. U-Ranking Dimensiones ordena las instituciones universitarias en cada una de esas misiones que denomina «dimensiones».
Ofrece rankings para distintas titulaciones. U-Ranking Titulaciones ordena los grados ofrecidos por las distintas universidades, para dar información muy útil y de fácil manejo para elegir en cuál de ellas cursar los estudios.
Permite a los usuarios expresar sus preferencias -qué estudiar, dónde y atendiendo a qué actividades universitarias-, al construir su propio ranking personal.
Para elaborar un ranking se necesita seleccionar variables, y tratar, homogenizar y agregar información muy diversa. La metodología de U-Ranking puede resumirse del modo siguiente:
Una vez seleccionadas las variables relevantes y analizadas las fuentes, se determinan los valores faltantes en los datos, mediante un proceso automatizado de estimación.
Se normalizan los indicadores para que su magnitud sea comparable.
Se ponderan y agregan los indicadores para construir los indicadores sintéticos de nivel 1 en los cuatro ámbitos (Recursos, Producción, Calidad e Internacionalización) de cada una de las tres dimensiones (Docencia, Investigación, e Innovación y Desarrollo Tecnológico).
Se ponderan y agregan los ámbitos de cada dimensión para construir tres indicadores de nivel 2: de Docencia, de Investigación, y de Innovación y Desarrollo Tecnológico.
Para el caso de los rankings de grado, se pregunta al usuario sus preferencias con respecto a la importancia de cada una de estas tres dimensiones.
Se ponderan y agregan las tres dimensiones para obtener un único indicador sintético de nivel 3, o ranking final.
U-Rankings 2019 analizó las 48 universidades públicas del Sistema Universitario Español y 14 universidades privadas que cuentan con información pública suficiente. Los datos utilizados provinieron de sistemas de información y estadísticas públicas.
Para evaluar la actividad docente, investigativa y de innovación y del desarrollo tecnológico de las universidades se consideran cuatro ámbitos en cada una de estas tres grandes dimensiones:
Cada uno de los cuatro ámbitos mencionados se analiza a partir de una serie de indicadores, entre uno y tres, en función de la disponibilidad e idoneidad de la información, según la dimensión que se está estudiando. Una información más detallada puede encontrase en Pérez y Aldás (2020).
En la tabla 6 se muestra una comparación de las dimensiones e indicadores de los rankings nacionales de Alemania y España, solo en cuanto a las IES en su conjunto. (Tabla 6)
Tabla 6 Comparación de las dimensiones y los indicadores de los rankings nacionales de Alemania y España.
Diferencias
El ranking alemán (RA):
Para la medición de la enseñanza aprendizaje utiliza 20 indicadores distribuidos en 5 dimensiones diferentes.
Incluye indicadores para las maestrías.
Dentro de la dimensión estudios académicos y enseñanza tiene en cuenta tres indicadores de la relación con los alumnos -contactos con los estudiantes y apoyo de los profesores; y en la fase de ingreso, además mide la oferta de cursos, la situación general de los estudios, y su organización y la orientación hacia la investigación-; además, aplica encuestas en 11 indicadores.
Tiene en cuenta como indicadores de salida, graduación de pregrado y de maestría en tiempo.
Establece una dimensión de estudiantes acorde con la matrícula en las materias principales; una de Mercado laboral y orientación profesional, con 7 interesantes indicadores; una dimensión de infraestructura (equipamiento) con tres indicadores; y otra de ciudad y universidad con 4 indicadores (población, proporción de estudiantes, alquiler de alojamiento y estudiantes en campus).
Para la medición de la dimensión investigación, mide cuatro indicadores, y se concentra en indicadores clásicos de salida de la ciencia (doctorandos por profesor, publicaciones por año, reputación de la investigación y fondos de terceros por académico).
Por su parte, el ranking español (RE):
Para la medición de la enseñanza aprendizaje trabaja con 12 indicadores.
Utiliza indicadores de excelencia del claustro (profesores por cada 100 alumnos y doctores/profesor, ambos equivalentes a tiempo completo).
Emplea tres indicadores de salida: tasa de éxito y de evaluación -ambos en función de los créditos- y de abandono.
Establece dos indicadores de calidad de la matrícula, un índice de atracción a partir del porcentaje de matriculados en posgrado en maestría con relación a la matrícula total de pre- y posgrado, y la nota más baja de admisión.
En la dimensión recursos, tiene un indicador de presupuesto/alumno.
Considera tres indicadores en la dimensión internacionalización (% de alumnos extranjeros, % de alumnos en programas de intercambio, % de alumnos matriculados en programas en lenguas no oficiales).
En la dimensión investigación mide los cuatro aspectos utilizados en la docencia con 10 indicadores divididos en:
recursos mediante proyectos competitivos por profesor doctor equivalente de tiempo completo, recursos y contratos competitivos;
producción científica con producción de documentos referenciados por ISI, tesis defendidas cada 100 profesores doctores;
calidad por medio de factor de impacto de publicaciones, publicaciones correspondientes a revistas situadas en el primer cuartil de relevancia (clasificación Thomson Reuters),3 y citas por documento hasta el momento de la recogida de datos; e
internacionalización mediante fondos europeos e internacionales por profesor y publicaciones con coautoría internacional y publicaciones con coautor afiliado a instituciones extranjeras, ambas por profesor equivalente de tiempo completo.
Adicionalmente, se utiliza la dimensión Innovación y desarrollo en los mismos cuatro aspectos con los cuales midió la formación e investigación, y nueve indicadores:
recursos mediante ingresos por uso y explotación de licencias, ingresos por contratos e ingresos de formación continua (todos por profesor doctor);
producción por medio de patentes obtenidas y comercializadas, número de contratos y horas de formación continua en todos los casos por profesor;
calidad con patentes comercializadas por profesor doctor;
internacionalización; así como, número de protecciones de invenciones de forma simultánea en distintos países e ingresos por contratos internacionales por profesor doctor.
Aspectos positivos
El RA contiene indicadores de vínculo de la enseñanza con la investigación y la producción. Igualmente, mide, a través de encuestas, la satisfacción de los estudiantes con varios indicadores. Resulta muy positiva la medición de la enseñanza con la investigación y la actividad laboral, así como la relación docencia-universidad, aunque podrían incluirse en esta última otros de carácter social. El RE tiene en cuenta un indicador que expresa calidad de la matrícula.
Aspectos negativos
En general, se pueden asociar a los ya mencionados en la comparación entre el REU y el RRU.
Aspectos interesantes
El RA sitúa a cada institución en uno de tres grupos: superior, medio o inferior. Se evita así el problema de otros rankings, en los que el lugar de una institución cambia mucho de un año a otro por fluctuaciones casuales, interpretadas como si fueran diferencias reales.
El RE ordena a las universidades, tanto por su volumen de resultados (U-Ranking Volumen) como por su rendimiento (U-Ranking).
Reflexiones críticas generales para todos los rankings estudiados
Existen diferencias en cuanto a la cantidad de las dimensiones y los indicadores en los rankings nacionales estudiados; estos últimos son los más significativos. Si bien la utilización de muchos indicadores permite tener un mayor panorama de cada dimensión, también puede dispersar el análisis y producir combinaciones diversas.
Al asumirse algunas consideraciones críticas planteadas por Altbach y Hazelkorn (2017), Martínez (2011), Osama (2019), Pérez-Esparrells y López (2009) y Ramírez (2018), entre otros; y a partir del análisis comparativo realizado, puede agregarse lo siguiente:
Todos los países estudiados son miembros de la OCDE, que impone ciertas metas comunes que pueden influir en el contenido de los rankings.
En varios de los países estudiados (Estados Unidos, Inglaterra, México y Brasil) los confeccionan periódicos. Teniendo en cuenta la orientación actual de la prensa, es posible que algunas evaluaciones puedan estar sesgadas por intereses o por compras de influencias.
Salvo el caso mexicano, el resto no mide el nivel de acreditación de la universidad.
No se tiene en cuenta explícitamente el cumplimiento de las metas y los objetivos que han establecido la ONU y la UNESCO para la educación superior.
Los rankings en general están dirigidos de manera primaria al interés personal de los lectores en la selección de ingreso a una universidad más que a una valoración de país.
No hay en general consenso en las metodologías entre los distintos países estudiados.
La fuente primaria de datos es muy diversa y con cierto margen de error, sobre todo cuando se trata de evaluar por encuestas y expertos.
Ninguno tiene en cuenta la educación en valores ni el papel en la extensión universitaria.
Ninguno tiene en cuenta directamente el impacto en el desarrollo local y nacional.
Teniendo en cuenta que un objetivo declarado de las universidades es la preservación y difusión de la cultura, llama la atención que ninguno considera, de manera expresa, el aporte a la cultura local y nacional.
La inclusión y la diversidad solo es valorada por el RM y el RRU.
Salvo en algunos rankings, la investigación no se conecta con la docencia, con lo cual no se distingue cuál modelo utiliza la universidad (Humboldt y sus desarrollos, o napoleónico y sus desarrollos).
No se evalúa la participación estudiantil en las investigaciones.
No se evalúa la innovación educativa.
No se evalúa, en general, el uso de las TIC en la enseñanza, salvo en el RA.
No todos los rankings valoran la cooperación con empresas.
Algunos apuntes de lo aprendido para la propuesta de un ranking nacional de universidades en Cuba
A continuación se listan algunas ideas que pueden resultar útiles para un planteamiento de ranking nacional de las universidades cubanas:
Tener en cuenta la diversidad de las universidades cubanas, a través de una clasificación previa sobre bases científicas, de acuerdo con las mejores prácticas internacionales, para posibilitar una justa evaluación.
Algunas iniciativas de interés son:
no ordenar las universidades y tomar como ejemplo la experiencia del ranking alemán; y
medir la reputación académica, mediante la evaluación por pares de los directivos de las universidades como lo hace el ranking de Estados Unidos y el alemán, con la reputación científica y docente de otras universidades;
Medir la calidad de la matrícula en cada universidad por los resultados docentes de los estudiantes en el nivel secundario como en los rankings de Estados Unidos y Reino Unido.
Tener en cuenta, para la clasificación, la contribución universitaria al desarrollo territorial, según su misión, y la vinculación universidad-empresa y universidad-sociedad.
No dispersar la evaluación con la utilización de muchos indicadores.
Lograr la mayor sintonía posible entre los indicadores del ranking y el sistema de evaluación de la calidad.
Representar en el ranking a todos los procesos universitarios, y la sinergia entre ellos y la formación de valores.
Medir la contribución a la innovación intra- y extrauniversitaria.
Tener en cuenta, mediante encuestas, la opinión de profesores, estudiantes, trabajadores y empleadores.
Estudiar la posibilidad de disponer de un equipo académico con cierta independencia de la estructura administrativa para gestionar de manera profesional el ranking universitario.
CONCLUSIONES
La utilización de rankings con el uso de dimensiones e indicadores para la caracterización de las IES es, sin dudas, beneficioso, porque permite comparar y dar a conocer sus fortalezas y debilidades; y brindar información útil para los estudiantes, los Gobiernos, las propias universidades, los sistemas educativos y otros. En ese sentido, la experiencia del ranking alemán de no ordenar las universidades resulta lo más recomendable para Cuba.
Su realización por organizaciones privadas, asociadas a periódicos y revistas, puede esconder intereses no académicos. Lo positivo reside en que se hace con una mirada de evaluadores externos a la academia y los Gobiernos.
Se reconoce que los rankings tienen el poder de modificar las políticas internas de las IES en aras de mejorar posiciones y, si no existe una relación de estos con las políticas de calidad aprobadas, se pueden producir distorsiones. En esta dirección solo el de México considera una dimensión.
En el estudio realizado se aprecia que las dimensiones y los indicadores establecidos en México y Brasil reflejan mejor las realidades de las economías en desarrollo.
Resultan de interés en el ranking alemán los aspectos relacionados con la novedosa clasificación de las IES en tres niveles -en lugar del ordenamiento clásico- y el tener en cuenta el vínculo universidad empresa; así como los de Brasil y España, que se interesan por medir la innovación.
Es significativo que ninguno considera explícitamente las metas de la ONU para el desarrollo ni lo relacionado con la formación de valores y la preservación y difusión de la cultura, aspectos altamente valorados por la UNESCO.
Las dimensiones y los indicadores de la muestra de países estudiada y analizada críticamente, pueden servir de referencia para una propuesta al Ministerio de Educación Superior de Cuba para la confección de un ranking nacional de las IES
