Introducción
El proyecto EUSRExcel - Towards a European University Social Responsibility Excellence Award, nace en 2018 con el objetivo de desarrollar un sistema de indicadores uniformes para todas las instituciones de educación superior que permita evaluar las acciones de Responsabilidad Social que llevan a cabo estas entidades. Se pretende que esta evaluación sea la misma, con independencia de la zona geográfica en la que esté situada la institución. Este proyecto ha sido financiado por el programa Erasmus +, Key Action 2 Strategic Associations.
Se creó una Red europea de universidades socialmente responsables, formada por 7 socios de 6 países diferentes: CONEXX-EU (Bélgica), Innovate4Future (Rumanía), Universidad de Girona e ITC (España), Dublin City University (Irlanda), VAMK Universidad de Ciencias Aplicadas (Finlandia) y Università Sapienza di Roma (Italia), que serían las encargadas de desarrollar el proyecto.
El trabajo se estructuró en dos fases. La primera fase (IO1) consistió en la recopilación del estado del arte, prestando especial atención a artículos científicos relacionados con responsabilidad social e indicadores de RS, los Objetivos de Desarrollo Sostenible (ODS), así como guías y memorias de instituciones de educación superior de universidades europeas. Se agruparon los ejemplos por su procedencia ya sea a nivel internacional, de la UE, a nivel nacional o regional. También se clasificaron en función de su procedencia: políticas gubernamentales, documentos científicos, iniciativas de buenas prácticas y por 14 áreas específicas de sus ámbitos de Responsabilidad Social Universitaria (RSU), tal como se detalla en la Tabla 1.
También se recopiló información sobre ejemplos de informes de educación superior que se clasificaron en función de su enfoque en relación a la Responsabilidad Social Universitaria y al Desarrollo Sostenible.
A partir de la información recopilada se establecieron una serie de criterios para poder seleccionar los indicadores básicos de RSU para evaluar los aspectos académicos, de investigación y territorial de las acciones llevadas a cabo por las instituciones de educación superior, sobre los que se estructuraría el proceso de evaluación, el cual era el principal objetivo de la segunda fase.
Los criterios se establecieron en torno a seis aspectos básicos: relevancia; precisión; viabilidad; credibilidad y validez; comprensibilidad; y adaptabilidad.
Del análisis de estos criterios se seleccionaron cinco dimensiones para evaluar la RSU: gobernanza; educación; investigación, social y regional; medio ambiente.
Para concluir esta primera parte del proyecto se creó una plataforma virtual del proyecto (https://socialresponsibilityaward.eu/) desde donde hacer públicos los trabajos llevados a cabo. En ella se puede consultar información relacionada con los ejemplos y la armonización de indicadores, https://socialresponsibilityaward.eu/wp-content/uploads/2020/12/A3-GUIDE-V1-FINAL.pdf), así como información relacionada con ejemplos de buenas prácticas https://socialresponsibilityaward.eu/wp-content/uploads/2021/06/IO2.A4-EUSRexcel-Good-Practices-on-USR_V8.pdf)
En esta plataforma también puede consultarse una wiki con términos relacionados con la Responsabilidad Social en: https://socialresponsibilityaward.eu/usr-wiki/
La segunda fase del proyecto se inició con la creación de una herramienta virtual de autoevaluación, que va acompañada del manual del usuario. Esta herramienta se estructura en las cinco dimensiones seleccionadas anteriormente mencionadas que se pretenden evaluar: (1) gobernanza, (2) educación, (3) investigación, (4) social y regional, y (5) medio ambiente. En cada dimensión se plantean tres aspectos: input, implementación y output; y para cada aspecto dos variables (preguntas) con seis posibles respuestas para cada una de ellas, como puede observarse en las Tablas 2 y 3.
A continuación, indicamos las variables evaluadas por el aplicativo, organizadas por dimensiones.
Educación
Número de graduados trabajando en su ámbito de estudio
Acceso a la educación superior de personas con discapacidad o que pertenecen a grupos vulnerables
Porcentaje de graduados que encuentran empleo
Becas para personas con discapacidad o que pertenecen a grupos vulnerables
Asignaturas de RSU en el currículum
Programas relacionados con la RSU
Gobernanza
Personas con discapacidad o que pertenecen a grupos vulnerables en puestos directivos
Políticas de sostenibilidad (anti techo de cristal, a favor de las personas discapacitadas o que pertenecen a grupos vulnerables, conciliación de la vida familiar y laboral o estudiantil…)
Recursos destinados a políticas de sostenibilidad
Política institucional de igualdad de género
Porcentaje de mujeres en puestos directivos
Sistemas de rendición de cuentas
Investigación
Presencia de los ODS en la estrategia y los objetivos de investigación de la institución
Políticas éticas de investigación y comités de ética
Innovación e investigación responsables
Grupos de investigación que han incorporado los ODS
Publicaciones relacionadas con los ODS
Difusión de la investigación relacionada con los ODS (fórums, conferencias…)
Social y regional
Proyectos y acciones que impliquen entidades sin ánimo de lucro
Proyectos y acciones orientados a la comunidad
Personas que pertenecen a grupos vulnerables trabajando en la institución
Colaboración estructural con actores diversos de la comunidad
Proyectos y acciones pensados para los niños
Implicación de organizaciones en procesos de cocreación
Medio ambiente
Además, para cada variable, el aplicativo indica 6 posibles respuestas. A continuación, acompañamos un ejemplo de una de las variables, la tercera dimensión (Tabla 4).
Como se constata, para cada variable, el aplicativo ofrece una descripción de la misma, 6 posibles respuestas, la importancia de la variable para el conjunto de la RSU y ejemplos de buenas prácticas con enlaces a artículos de interés, con el objetivo de ofrecer ideas sobre cómo mejorar su puntuación y su RSU.
Finalmente, en función de las respuestas dadas, el aplicativo señala una valoración a la institución y ofrece, además, la media de las puntuaciones obtenidas por las universidades que han utilizado la herramienta.
El aplicativo tiene como objetivo que las entidades participantes conozcan la situación de su Responsabilidad Social en relación con las demás universidades europeas que participen en el proyecto.
Todo ello se puede consultar en: https://socialresponsibilityaward.eu/wp-content/uploads/2021/08/IO2.A2-Self-Evaluation-tool-Users-Hanbook.pdf
Para completar esta segunda fase se ha desarrollado material de capacitación, se han establecido los requisitos y condiciones para la creación de un comité externo de evaluación, y se ha procedido al diseño de un sello de calidad SR para las instituciones de educación superior, que será otorgado siguiendo las líneas establecidas en el marco del proyecto. Se puede consultar este material en: https://socialresponsibilityaward.eu/wp-content/uploads/2021/10/Training-Material-A5.pdf
En relación al sello de excelencia en RSU, queremos señalar que su evaluación se basa en los siguientes principios y criterios (Tabla 5):
La obtención del sello de excelencia, así como su certificación, se halla sujeta a que las instituciones que se autoevalúan deben obtener una puntuación por encima del umbral del 50% en 3 de las 5 dimensiones.
En estos momentos estamos analizando la viabilidad de que el sello sea acreditado por las respectivas agencias nacionales de calidad, tanto nacionales como regionales.
Ya, para finalizar, queremos comentar que antes de proceder a la difusión de los resultados del proyecto, todo el material fue testado por unos veinte especialistas en responsabilidad social, cuyos comentarios contribuyeron a mejorar el resultado del proyecto.
Finalmente, se llevaron a cabo dos jornadas de diseminación con universidades europeas para que conocieran y dieran su opinión sobre cómo valoraban la propuesta y las posibilidades de aplicar el proceso de evaluación de la RSU de sus instituciones de educación superior.
Todos los documentos anteriormente mencionados pueden consultarse en la web del proyecto https://socialresponsibilityaward.eu
Metodología
Para llevar a cabo el proyecto queremos señalar que fue necesario fundamentarse en un modelo previo, reconocido y consistente. De esta forma, se partió de la revisión de la literatura de referencia: la historia del arte de la RSU. A partir de ello se seleccionaron 52 publicaciones y se consultaron más de 40 organizaciones. Tal como hemos señalado, se acordó agrupar las publicaciones teniendo en cuenta:
Vinculación a RSU e indicadores de RSU o a Objetivos de Desarrollo Sostenible
Ámbito geográfico: internacional, nacional o regional de la UE
Procedencia: políticas gubernamentales, documentos científicos, buenas prácticas y 14 áreas específicas de sus ámbitos de RSU
Con toda esta información se procedió a establecer los criterios para seleccionar los indicadores básicos de RSU, los cuales, tal como hemos expuesto, se establecieron en torno a seis aspectos básicos: relevancia; precisión; viabilidad; credibilidad y validez; comprensibilidad; y adaptabilidad. Del análisis de estos criterios se seleccionaron cinco dimensiones para evaluar la RSU: gobernanza; educación; investigación, social y regional; y medio ambiente.
Se decidió hacer pública la información desarrollada a través de una plataforma virtual en la que se han ido incluyendo todos los materiales desarrollados por el proyecto (artículos, buenas prácticas, indicadores, etc. https://socialresponsibilityaward.eu/
Además, a partir de la información elaborada se decidió crear una wiki con términos relacionados con la RSU. https://socialresponsibilityaward.eu/usr-wiki/
A partir de ahí nos planteamos cómo llevar a cabo la plataforma de evaluación. Para ello, seleccionamos el modelo de excelencia de la calidad de la European Foundation for Quality Management, el reconocido modelo EFQM (2013), sobre el que se ha adaptado los aspectos necesarios para poder utilizarse en el análisis de la Responsabilidad Social.
Este es un modelo adecuado, en primer lugar, porque considera todo el alcance de la organización, independientemente del tipo de organización analizada (pública, privada, …). Además, es un modelo de autoevaluación que permite que sea utilizado por cada una de las entidades participantes, independientemente de si quieren optar a un reconocimiento o no. Es decir, se puede utilizar de forma interna por parte de cada entidad y, con ello, analizar su impacto temporal más allá del diagnóstico inicial. De esta forma se convierte en un modelo perfectamente adecuado para la mejora continua de una entidad en el ámbito que se considera. El objetivo no es únicamente valorar la situación de la entidad en un período determinado, sino también su evolución, por lo que el modelo se considera perfectamente adecuado.
Es un modelo formado por 9 criterios, siendo su hilo conductor fundamental la lógica conexión entre los facilitadores (estrategia y procesos para llevar a cabo un objetivo) y los resultados obtenidos por la entidad para poder evaluar sus impactos. Los 5 primeros criterios hacen referencia a los facilitadores: liderazgo, personas, política y estrategia, alianzas, y recursos y procesos; y los siguientes 4 para los resultados: resultados en las personas, resultados en los clientes, resultados en la sociedad y resultados clave. Cada uno de ellos, facilitadores y resultados, representan el 50% de la valoración final obtenida en el proceso. De esta forma, se pretende dar la misma importancia a la manera en que la entidad se organiza para ayudar a la creación de valor sostenible para sus grupos de interés clave y para la generación de resultados excelentes, por un lado, y a los resultados que se obtienen, por otro. Asimismo, cada uno de los criterios aporta una valoración determinada en función de su relevancia en el resultado final.
En el año 2020 el modelo EFQM fue revisado, si bien el grupo investigador consideró que para el objetivo propuesto era más adecuada la utilización del modelo anterior. En todo caso, si se considerara conveniente, el aplicativo de autoevaluación se podría adaptar a la nueva versión del modelo EFQM sin importantes cambios adicionales.
Finalmente, a nivel metodológico también tuvimos que plantearnos los criterios y principios para que las instituciones de educación superior pudieran acceder al sello y certificado que acreditase su excelencia en RSU.
Tal como hemos señalado y teniendo en cuenta el modelo EFQM, los principios los centramos en: confianza, consistencia y coherencia. Y los criterios en: liderazgo organizacional, participación, calidad, y relevancia de sus impactos.
También acordamos el porcentaje que debían obtener las instituciones para obtener el sello. Según nuestro criterio debería estar por encima del umbral del 50 %, como mínimo en tres dimensiones de las cinco que se analizan.
También consideramos la necesidad de que el material elaborado debía ser testado antes de proceder a la difusión de los resultados del proyecto. Lo cual también se llevó a cabo.
Otro aspecto importante en el desarrollo de este proyecto ha sido la diseminación del mismo que, si bien por motivos de la COVID-19 no se pudo llevar a cabo presencialmente, sí se realizó, y con éxito, en modalidad virtual.
Resultados y Discusión
Todo el proyecto se ha evaluado de manera constante desde sus inicios a través de un Plan de Calidad, Evaluación e Impacto mediante procedimientos y herramientas que permitieran analizar el progreso y la calidad general del proyecto, sus resultados y los materiales, e identificar los riesgos y desafíos.
El plan incluía criterios de evaluación tanto cuantitativos como cualitativos. Para la Gestión e Implementación, los indicadores clave han sido:
Evaluación de las reuniones transnacionales llevadas a cabo. La calificación promedio ha sido de 3,8 sobre 5, lo que corresponde a muy bueno. En estas evaluaciones se considerado los riesgos que podían frenar el desarrollo del proyecto. Para ello se implementaron estrategias para mitigar aspectos que fueron surgiendo, tales como problemas con la comunicación e interacción, al ser un equipo transnacional con distintas lenguas y culturas propias; efectos relacionados con la COVID-19, etc.
Eventos multiplicadores. Por efectos de la Covid, en lugar de organizar diversos eventos, que inicialmente debían realizarse en cada uno de los países en donde se encuentran situadas las instituciones participantes, se agruparon en dos eventos virtuales, con un total de 53 participantes de 7 países.
Difusión. El proyecto se ha difundido a más de 80 000 partes interesadas. Además, 380 organizaciones e instituciones de la UE han sido informadas durante el proceso y sobre los resultados del proyecto.
Resultados cuantitativos: Objetivo IO1: Guía para armonizar indicadores RSU, Estándares e índices de evaluación comparativa + Herramienta en línea EURSExcel (Wiki).
Se han utilizado 52 referencias para la revisión de la literatura en el marco del estado del arte de los sistemas de información institucional de la UE, y se han consultado 42 organizaciones
Se han involucrado a 50 actores en la literatura específica Objetivos de Desarrollo Sostenible (ODS) e Indicadores RSU
15 participantes han elaborado la WIKI de RSU
Resultados cualitativos: Objetivo IO1: Guía para armonizar indicadores RSU, Estándares e índices de evaluación comparativa + Herramienta en línea EURSExcel (Wiki).
Se involucraron 2 pares de revisores y se elaboró un informe con los resultados disponibles de esta parte del proyecto, que se ha publicado como una guía.https://socialresponsibilityaward.eu/wp-content/uploads/2020/12/A3-GUIDE-V1-FINAL.pdf
Resultados cuantitativos IO2: Herramienta de evaluación en línea y manual sobre el proceso de concesión de premios a la excelencia.
Se han involucrado 35 expertos (5 por cada uno de los socios) en el desarrollo de la herramienta de autoevaluación en línea y el Manual del usuario.
25 profesionales han participado en el análisis de la viabilidad de los materiales elaborados en unas jornadas de 5 días de duración, y lo han evaluado mediante un cuestionario final con un nivel de satisfacción superior al 75 %.
Además, con 7 expertos de diversas universidades, se implementó un juego de roles utilizando la herramienta de autoevaluación en línea y el manual.
52 buenas prácticas identificada, las cuales están incluidas en el informe Ejemplos de Buenas Prácticas en RSU basado en Países Socios de Eusrexcel.
16 expertos se involucraron en el desarrollo del material de capacitación del personal para conocer cómo utilizar la herramienta.
En cuanto a los 2 eventos multiplicadores, participaron 53 profesionales de 7 países de la UE. El nivel de satisfacción general con los eventos de todos los participantes fue superior al 75 %.
Resultados cualitativos IO2: Herramienta de evaluación en línea y manual sobre el proceso de concesión de premios a la excelencia.
Se han elaborado 7 artículos de revisón sobre la herramienta de evaluación en línea
Se han elaborado 7 reseñas en relación al Manual centrado en el proceso de concesión de la excelencia
Se han solicitado 6 opiniones sobre como acreditar la Certificación/Sello de Calidad
Se ha elaborado 1 informe con los resultados de las sugerencias de mejora expresadas en los eventos de los eventos multiplicadores llevados a cabo
En una selección de redacción de lluvia de ideas en la que la mitad de las palabras son positivas y la mitad de las palabras son negativas: el 75 % de los participantes selecciona la redacción positiva
Aun así, debemos señalar que todavía estamos analizando la viabilidad de que el sello sea acreditado por las respectivas agencias de acreditación tanto nacionales como regionales.
Conclusiones
Como conclusiones queremos señalar:
Hemos elaborado un buen material para autoevaluar la responsabilidad social de las instituciones de educación superior.
Nuestra convicción de llevar a cabo investigaciones abiertas y responsables se constata en que toda la documentación está en línea y abierta, a disposición de todas las instituciones que la quieran utilizar.
El proyecto se podría ampliar contemplando más dimensiones de la RSU, o bien redefiniendo estas mediante la ampliación del alcance de los indicadores utilizados o la modificación de los impactos asociados a ellos. Es decir, se trata de un modelo que en un futuro podrá ajustarse de forma muy sencilla con distintos objetivos o estrategias.
Nuestra experiencia en otras investigaciones (Rivera, Terradellas, Benito, 2021) nos ha demostrado que el modelo EFQM es válido para evaluar tanto las acciones de las instituciones en RSU como el impacto obtenido.
Las agencias externas de evaluación de la calidad de las instituciones universitarias, a todos los niveles, están interesadas en incorporar en sus acreditaciones el sello de excelencia y la certificación de la RSU. Nuestro interés es que sean ellas las que lo lleven a cabo teniendo en cuenta su autoridad en este campo y, además, que con ello garantizamos la independencia y consistencia evaluadora, asegurando que su obtención esté al alcance de todas las instituciones que tengan interés y la voluntad de obtenerlo.