La evaluación de impacto del proceso de formación de profesores
Impact evaluation of teacher´s formation process
Benito Bravo Echevarría1, Carlos Luis Fernández Peña2, Déborah Mainegra Fernández3
1Licenciado en Educación. Especialidad Geografía. Profesor Auxiliar. Máster en Didáctica de la Geografía. Universidad de Pinar del Río "Hermanos Saíz Montes de Oca". Correo electrónico: benito.bravo@upr.edu.cu
2Investigador del Centro de Estudios Pedagógicos para la Educación General. Universidad de Pinar del Río Hermanos Saíz Montes de Oca. Correo electrónico: carlosl.fernandez@upr.edu.cu ]]>
3Dra. C. Investigadora del Centro de Estudios Pedagógicos para la Educación General. Universidad de Pinar del Río Hermanos Saíz Montes de Oca. Correo electrónico: deborah.mainegra@upr.edu.cu
RESUMEN
Evaluar el impacto de la formación ha devenido una necesidad en los ámbitos institucionales y por las personas interesadas en la formación, y política de las universidades cubanas, pues apoya la toma de decisiones, fundamental para perfeccionar la formación de profesionales y exigencia primordial en la acreditación de estas entidades y sus figuras. Este trabajo tiene como objetivo exponer los resultados parciales de una investigación sobre la evaluación del impacto del proceso de formación de docentes en la Facultad de Educación Infantil de la Universidad de Pinar del Río. Los métodos usados posibilitaron levantar y procesar las informaciones necesarias, se revisaron documentos de diferentes instancias de la Facultad, se entrevistaron directivos, se encuestaron profesores, y posteriormente, una entrevista grupal a profesores. Concluyéndose que las informaciones empíricas usadas para tomar decisiones, no provienen de estudios de impacto adecuadamente estructurados; faltan acciones para el seguimiento a los egresados; no existen suficientes proyectos para evaluar el impacto de la formación; existen conocimientos empíricos sobre evaluación del impacto de la formación, pero dispersos, en lo conceptual y lo procedimental, en relación con qué es impacto y los elementos a evaluar; y la evaluación ha sido definida y conceptualizada de diversas formas, de acuerdo con las necesidades, propósitos u objetivos de quien la realiza.
Palabras clave: evaluación, impacto, evaluación de impacto.
ABSTRACT
To evaluate the impact of the formation is a policy of the Cuban universities, fundamental to improve the formation of professionals and to fit a demand of the process of accreditation of these entities and their figures. With the objective of knowing the current state of the impact evaluation process in the Faculty of Infantile Education of the University of Pinar del Río were systematized the theoretical and methodological positions on this issue. The methods used facilitated to find and to process the necessary information, documents of different instances of the Faculty were reviewed, executives were interviewed, professors were interviewed, and later on, group interviews were made to professors. Being concluded that the empiric information, used to make decisions, don't come from appropriately structured impact studies; there is lack of actions to give pursuit to the graduates; there are not enough projects directed to evaluate the impact of the formation, empiric knowledge on the evaluation of the impact of the professors formation, but dispersed, as much in the conceptual as in the procedural, in connection with what the impact is and what elements to evaluate; and that the evaluation has been defined and conceptualized in diverse ways, in accordance with the necessities, purposes or objectives of who carries out it.
Key Words: evaluation, impact, impact evaluation.
]]> INTRODUCCIÓN
La necesidad de evaluar el impacto se reconoce cada vez más en ámbitos institucionales, públicos, privados y por las personas interesadas en la formación. «Conocer los resultados, efectos e impactos de los programas de formación resulta fundamental para tomar decisiones respecto de la calidad, la pertinencia y la equidad de los mismos.» Billoru, Pacheco y Vargas (2011, p.25). La información que genera la evaluación apoya la toma de decisiones para ajustar las intervenciones, ampliarlas, recortarlas o sustituirlas y así contribuir a la creación de mejores sistemas de formación. Billoru, Pacheco y Vargas (2011, p.27). Conocer la medida en que las inversiones realizadas responden a los objetivos previstos es una práctica generalizada mundialmente, que, de un modo u otro, ha alcanzado el trabajo de las universidades. Esta práctica está refrendada con claridad en los objetivos de trabajo trazados en la Primera Conferencia del Partido Comunista de Cuba, con relación a la evaluación sistemática de los impactos. Para las universidades es una forma de conocer los resultados y efectos logrados con los programas de formación que ellas gestionan. Este proceso tiene como fin según (Stufflebeam y Shinkfield, 1987) «Identificar, obtener y proporcionar información útil y descriptiva acerca del valor y el mérito de las metas» y según la (ONU, 1984) es un «proceso organizativo para mejorar las actividades todavía en marcha y ayudar a la administración en la planificación, programación y toma de decisiones futuras.» e «»Identificar, obtener y proporcionar información útil y descriptiva acerca del valor y el mérito de las metas, (…)», (Stufflebeam y Shinkfield, 1987) y (ONU, 1984), citados por Calero et al (2013, p.20).
En la actualidad la evaluación de impacto, también se ha convertido en parte intrínseca de los procesos de acreditación de las referidas instituciones y sus figuras fundamentales, lo que lo hace un tema recurrente en todas las instancias de análisis. Aun cuando, como política del trabajo de las universidades, existe claridad sobre el tema, todavía resultan insuficientes y dispersas las posiciones teóricas en torno al mismo y los estudios realizados tienen, por lo general, carácter reduccionista.
En dicha investigación se partió de un estudio teórico, el que dio paso al estudio empírico del objeto citado. En el plano teórico, a través del método de análisis histórico-lógico se conoció la evolución y el desarrollo de la evaluación y evaluación de impacto, identificándose las principales tendencias en torno a qué es impacto y cómo evaluarlo, así como los principales modelos y concepciones sobre el proceso de evaluación de impacto.
La investigación empírica tuvo una concepción cualitativa de la investigación, dividida en dos momentos. Inicialmente se usaron métodos de búsqueda de información como la revisión de documentos de diferentes instancias de la FEI de la UPR (actas de reuniones, consejos de dirección, consejos científicos, sesiones científicas e informes de investigaciones), entrevista a directivos y encuesta a profesores de la Facultad. En un segundo momento, se aplicaron entrevistas grupales en los departamentos carrera para complementar las informaciones obtenidas.
Los resultados alcanzados muestran que, tanto en el plano teórico como en el empírico, se parte de posiciones y condicionamientos diferentes, que impiden, por una parte, establecer una política universitaria coherente en torno a este tipo de evaluación y por la otra, obtener informaciones válidas y fiables para tomar decisiones.
Este trabajo tiene como objetivo exponer los resultados parciales de una investigación sobre la evaluación del impacto del proceso de formación de docentes en la Facultad de Educación Infantil de la Universidad de Pinar del Río.
MATERIALES Y MÉTODOS
En el plano teórico sobre el proceso de evaluación de impacto, a través del método de análisis histórico-lógico, se conoció la evolución y desarrollo de la evaluación de impacto, los conceptos básicos y los principales modelos y concepciones sobre este proceso, pudiéndose llegar a establecer algunas tendencias. ]]>
Para cumplir con el objetivo fundamental de esta investigación se tuvo en cuenta una concepción cualitativa de la investigación basada en los métodos de búsqueda de información: la entrevista a 6 directivos de la Facultad, encuesta a 38 profesores y la revisión de 147 documentos en una primera etapa del estudio. En este caso los documentos revisados fueron las actas de reuniones, consejos de dirección, consejos científicos, sesiones científicas, así como informes de investigación.En un segundo momento se realizaron entrevistas grupales en los departamentos carrera con la finalidad de complementar las informaciones obtenidas.
En el estudio realizado se trató de responder a cuatro interrogantes fundamentales:
1. ¿Qué conocimiento poseen los miembros de la facultad sobre evaluación de impacto y el desarrollo del proceso?
2. ¿Cómo se concebía estratégicamente el proceso de evaluación de impacto?
3. ¿Cómo se desarrollaba el proceso de evaluación de impacto?
4. ¿Qué uso se les daba a los datos que aporta la evaluación del impacto?
Para responder la interrogante relacionada con el conocimiento sobre evaluación de impacto se exploraron los aspectos relacionados con los conceptos básicos, los elementos a tener en cuenta en el proceso de evaluación de impacto y la planificación estratégica del proceso de evaluación de impacto. Sobre los conceptos básicos:
Sobre los elementos del proceso de evaluación de impacto:
El trabajo de campo.
Cómo se procesa la información.
Cómo se elaboran los informes.
En relación con la interrogante sobre la concepción estratégica del proceso de evaluación de impacto se estudió en qué medida se incluye este proceso en las estrategias de desarrollo de los departamentos; la precisión de las finalidades de la evaluación en cada etapa; la diversidad de modalidades de evaluación previstas; la precisión de los elementos y aspectos a evaluar; la precisión de las responsabilidades en el proceso de evaluación; la consideración de acciones para la preparación de los participantes en el dominio compartido de los objetivos, indicadores, vías, momentos y formas de evaluación; y la calidad de la ejecución del proceso de evaluación de impacto.
En el caso de la interrogante referida al desarrollo del proceso de evaluación de impacto se estudiaron la precisión de las áreas a estudiar; la adecuación de los métodos de búsqueda de información; la preparación de los equipos evaluadores para realizar el proceso de evaluación; la calidad de la búsqueda y el procesamiento de la información.
Con relación a la interrogante referida al uso de los datos que aporta la evaluación del impacto se estudiaron en qué medida se toman y aplican decisiones a partir de los datos obtenidos de las evaluaciones del impacto de la formación; la generación de formas alternativas que complementen la información para la toma de decisiones administrativas y docentes; el uso de los datos en la preparación de los profesores y el proceso de evaluación. ]]>
RESULTADOS Y DISCUSIÓN
La evaluación ha sido definida y conceptualizada de diversas formas, de acuerdo con las necesidades, propósitos u objetivos de quien la realiza. En las definiciones de evaluación encontradas se aprecia una marcada tendencia a la integración de las diferentes posiciones. Las diferencias entre las mismas obedecen a criterios filosóficos, epistemológicos y metodológicos.
En las primeras tres décadas del siglo XX las evaluaciones se centraban en valorar solamente el resultado, tal es el caso Tyler (1950) quien define la evaluación como «(…) el proceso que determinar en qué grado han sido alcanzados los objetivos educativos propuestos». Tyler (1950), citado por Borges (2014, p.29).
Esta definición se ajusta únicamente a la comprobación del logro de los objetivos. Aun con estas limitaciones el carácter rector de los objetivos, hace imprescindible la evaluación de su cumplimiento para el rediseño del proceso.
En la década de los 60 Cronbach y Scriven introducen la valoración y el juicio, como un contenido intrínseco de la evaluación, donde el evaluador analiza y describe la realidad, pero, además, la valora, la juzga con relación a distintos criterios, percibida como fase de «(…) recogida y uso de información para la toma de decisiones (…)» (…), o sea, se ve como un proceso de enjuiciamiento del valor o mérito de un objeto.» Cronbach (1963), citado por Borges, (2014, p.30).
Según Borges (2014, p.30), «Otro momento importante en el desarrollo y evolución del concepto, le corresponde a Scriven, pues este autor le adiciona a la evaluación la necesidad de valorar el objeto evaluado, es decir, integra la validez y el método, para decidir si conviene continuar o no el programa educativo.»
Es necesario reconocer que la misma incluye de cierta forma a la anterior ya que al juzgar el mérito de un sistema de acciones, se debe estudiar necesariamente cómo transcurrió el proceso para después llegar al cumplimiento o no de los objetivos para las que fueron creadas.
En los años 70 proliferan los modelos de evaluación. En la primera mitad de la década persisten las ideas de Ralph Tyler, pero en la segunda mitad aparecen una serie de modelos alternativos entre los que se destacan la evaluación respondente de Stake (1967), citado por Segurajáuregui (2010, p.90), la evaluación democrática de MacDonald (1976) y la evaluación iluminativa de Parlett y Hamilton (1977), citados por Alcaraz (2015, p.16-17). Todas tienen en común la adopción de fundamentos epistemológicos y metodológicos naturalistas, considerando a la evaluación como valoración informada de los procesos pedagógicos, como una estrategia para la comprensión de la enseñanza y el aprendizaje con la intención de revisarlos, cambiarlos y mejorarlos.
Esta posición complementa las anteriores. Desde esta perspectiva es necesario tener en cuenta el cumplimiento de los objetivos para saber si las acciones realizadas cubren las expectativas creadas en torno a ellas, pero va más allá de la búsqueda de los aspectos que impiden las transformaciones esperadas para su rediseño oportuno. Para Stufflebeam y Shinkfield (1987) «Identificar, obtener y proporcionar información útil y descriptiva acerca del valor y el mérito de las metas, la planificación, la realización, y el impacto de un objeto [de evaluación] determinado […]». (Stufflebeam y Shinkfield (1987), citados por Calero et al (2013, p.20). ]]>
La tendencia más actual en relación con la evaluación es la que trata de integrar las diferentes posiciones, planteándose que la evaluación deber ser holística, es decir, tomar en consideración todos los posibles componentes: procesos, resultados, contextos. (González (2000), Baker (2000), González y Valcárcel (2001), Escudero (2003), Lukas y Santiago (2009), Torres (2009), Añorga (1997, 2012)), citados por Borges (2014, p.30).En las definiciones presentadas se focalizan indistintamente diferentes aspectos que van desde el reconocimiento de la evaluación con un enfoque integral, como un proceso sistemático con carácter informativo, transparente, para la emisión de juicios de valor, la mejora de la calidad del proceso y para posibilitar la toma de decisiones en un contexto determinado.
Es el caso de Añorga (1994), cuya concepción de evaluación es considerada muy completa por el autor, pues la define como el «(…) conjunto de valoraciones con enfoque integral, sistémicas y contextual que incluye el producto, pero sobre todo el proceso, que emiten acerca del objeto evaluado, como resultado de la comprensión del desarrollo alcanzado y que caracteriza la información necesaria para la toma de decisiones y posible corrección del diseño y la ejecución del objeto evaluable.» Añorga (1994), citada por Borges (2014, p.30)
Para una mejor comprensión de la evaluación como proceso es necesario tener en cuenta los tipos y funciones relacionadas con su finalidad, el momento en que se realice, los ejecutores, la situación concreta, los recursos con los que se cuente, los destinatarios, entre otros, pudiéndose apreciar que existe cierta analogía en cuanto a los términos utilizados por diferentes autores.
La clasificación básica de la evaluación, de acuerdo con su finalidad, fue propuesta por Scriven (1966), «(…) evaluación formativa y evaluación sumativa, o evaluación intrínseca y evaluación extrínseca.», Scriven (1966), citado por Alcaraz (2015, p.16).
Posteriormente aparece la evaluación diagnóstica, que se realiza previo a la aplicación del programa, para conocer las potencialidades y necesidades de los sujetos y la organización, que de acuerdo con Torres (2009), «(…) la comunidad de autores cubanos reconoce, al menos, tres funciones básicas de la evaluación educativa: diagnóstico, valoración y mejora.», Torres (2009), citado por Borges (2014, p.31).
Por otra parte, Calero et al (2013, pp.41-42), según el momento en que se lleva a cabo la evaluación, la clasifican como previa o ex ante: antes de la intervención; intermedia o in itinere: se lleva a cabo durante la intervención y final o ex post: después de finalizada la intervención.
Según la procedencia o situación de los evaluadores Calero et al (2013, p.38), la clasifican como interna o autoevaluación, externa o independiente y mixta.
En relación directa con el objeto de esta investigación, Pineda et al (2012) hace referencia a la evaluación de la transferencia y cita a diversos autores que han elaborado modelos de evaluación de la formación, reseñando que: «Los más utilizados en la evaluación de la formación continua en nuestro contexto son el modelo de los cuatro niveles de Kirkpatrick (2005) y el modelo holístico de evaluación de Pineda (2002). Ambos plantean que la identificación de los resultados de la formación en términos de transferencia, es decir, la aplicación de los aprendizajes al puesto de trabajo, es el elemento central de la evaluación.», Pineda et al (2012, p. 271).
También Cano y Bartolomé (2014), hace mención a la evaluación de la transferencia y del impacto, citándola como: «La transferencia de la formación se define como el grado en que los participantes aplican de manera efectiva el conocimiento, las habilidades y actitudes adquiridas en un entrenamiento a un contexto específico de trabajo.» Cano y Bartolomé (2014, p.22) ]]>
En este sentido, la transferencia implica la generalización al contexto de trabajo del comportamiento, habilidades o actitudes aprendidas en una situación de entrenamiento, y el mantenimiento de las mismas por un periodo de tiempo (Baldwin y Ford, 1988)», citados por Cano y Bartolomé (2014, p.22).En la mayoría de ellas han estado implícitos el control del proceso y de los resultados, la retroalimentación, la orientación, la emisión de juicio y la planeación.
Una función de gran valor es la pedagógica, que además cumple las funciones orientadoras, de diagnóstico, de pronóstico, creadora del ambiente escolar, de afianzamiento del aprendizaje, de recurso para la individualización, de retroalimentación, de motivación, de preparación de los estudiantes para la vida. Posición defendida por Castro (1995), Bhola (1997), Añorga (1999), González M. (2000) y Valcárcel (2002), citados por Solórzano (2005, p.54).
Algunas consideraciones sobre el concepto de impacto y su evaluación
El término impacto, de acuerdo con el Diccionario de uso del español, proviene de la voz «impactus», del latín tardío y significa, en su tercera acepción, «impresión o efecto muy intensos dejados en alguien o en algo por cualquier acción o suceso». (Moliner, 1988), citado por Tejeda (2011, p.45). Los análisis realizados permitieron arribar a las siguientes regularidades en el manejo del concepto de impacto:
El impacto es un efecto: efectos negativos y positivos, previstos o no, esperados o inesperados, deseados o no, directos o indirectos, primarios o secundarios, cualitativos y cuantitativos, tangibles o intangibles, efectos netos, perdurables en el tiempo, posteriori, intenso, múltiple. El Comité de Asistencia para el Desarrollo (CAD) de la Organización de Cooperación y Desarrollo Económicos (OCDE) define los impactos como «efectos de largo plazo positivos y negativos, primarios y secundarios, producidos directa o indirectamente por una intervención para el desarrollo, intencionalmente o no»», (CAD-OCDE, 2010), citado por Roger (2014, p.1).
Apodaca (1999) la ve como «efectos producidos por un programa o intervención (...)». El autor diferencia entre los «efectos brutos» y «efectos netos», estos últimos serían el «impacto», Apodaca (1999), citado por Álvarez (2013, p.36). Rogers (2012), asume la definición de la OECD (2006) «los impactos se definen como: los efectos positivos y negativos, deseados y no deseados, directos e indirectos, primarios y secundarios, que produce una intervención. (Definición del Comité de Asistencia para el Desarrollo de la OECD), 2006, citado por Rogers (2012, p.2).
Para Cabrera (2004) es «(…) el efecto múltiple sobre el entorno social». Cabrera (2004) citada por Barazal (2011, p.33). Para Aedo (2005), la evaluación de impacto: «tiene como propósito determinar si un programa produjo los efectos deseados (...) y evaluar si ellos son o no atribuibles a la intervención del programa». Aedo (2005), citado por Álvarez (2013, p.36), Bello (2009, p.4) la ve como «(…) los efectos a mediano y largo plazo que tiene un proyecto o programa (…) sean estos efectos o consecuencias deseadas (planificadas) o sean no deseadas». Esta autora retoma lo planteado por (Apodaca, 1999) al diferenciar entre resultado e impacto, distinguiendo al resultado como el beneficio bruto (cambios durante y después de realizada la acción) e impacto como el beneficio neto (resultados atribuibles solo al programa desarrollado). Crissien y Rodríguez (2014, p.38) señalan que son «(…) efectos sobre una población amplia (…)».
El impacto es un resultado: eficiencia, efectividad, eficacia, economía, rentabilidad, transferencia al puesto de trabajo, competencia adquirida, toma de decisiones, magnitud cualitativa del cambio, crecimiento, resultados en calidad, cantidad y extensión.
Couturejuzón (2004) lo considera como «(…) eficiencia educativa (…) eficacia (…) «. Couturejuzón (2004), citada por Crissien y Rodríguez (2014, p.38). Berner (2009, p.2) et al, lo ven como «(…) los resultados (…)», «(…) la eficacia (…)», «eficiencia y economía en el uso de los recursos». Esta posición puede ser extrapolada a la actividad educacional, donde también se invierten recursos cuyo uso genera efectos y resultados. ]]>
El impacto es un cambio: social permanente, debido a la intervención, permanente, duradero, transformación, mejora significativa, mejoramiento profesional, consecuencia, beneficio en las personas, los procesos y productos.Sandoval y Paz (2003), que son «(…) cambios en el bienestar de los individuos que pueden ser atribuidos a un programa (…)», citados por Martínez, Godoy y Varela (2016, p. 51). Pérez-Brito (2013, p.4) como «cambios que ocurren en las personas como resultado de un cambio inducido» y para Vanclay (2015, p.2) también «(…) son cambios (…). En este planteamiento hay que resaltar la necesidad de diferenciar entre los cambios fortuitos y los que se explican por los efectos de una acción determinada. Como se aprecia en los análisis realizados este término es usado con bastante frecuencia asociado a disímiles cuestiones de la vida social, económica, política y ambiental de la sociedad, en cada una de estas aristas ha tenido significados muy similares, algunas como expresión del efecto de una acción determinada y otras como cambios o transformaciones generadas en las personas, organizaciones, procesos o productos. En algunos casos con enfoques reduccionistas y otros con enfoques más integradores; sin embargo es necesario destacar que dado el carácter complejo y multifactorial de los procesos formativos que tienen lugar en la formación de maestros para la Educación Infantil es necesario evitar posiciones del primer tipo porque puede traer confusiones en la interpretación de los resultados de las acciones, por lo que solo una integración armónica del significado de los términos usados por los distintos autores sobre impacto puede dar una idea más completa de su sentido.
Por tanto, independientemente de la consideración del impacto como efecto, resultado o cambio, se coincide con Bello (2009, p.4) y Berner (2009, p.2) en que para entender este término hay que asociarlo con la intensidad de las diferencias (positivas o negativas, previstas o no, esperadas o inesperadas, deseadas o no, directas o indirectas, primarias o secundarias, cualitativas y cuantitativas) de los resultados generados por acciones cuyos efectos se aprecian en la transformación de las nuevas cualidades del proceso sobre el cual se ha incidido.
La evaluación de impacto es reciente respecto a otros tipos de evaluación, pero ampliamente tratada a escala nacional e internacional. Inicialmente tratada en el campo ambiental como un proceso de análisis y prevención de impactos ambientales, posteriormente fue extrapolada a casi todas las esferas de la investigación, como en el caso de la evaluación de impacto de programas educativos.
La misma constituye una de las herramientas más importantes con que se cuenta en la actualidad para evaluar la calidad de los procesos que se ejecutan en las diversas ramas del ámbito social, incluyendo la educacional. Para ganar en consenso respecto a las diversas posiciones existentes al respecto, se realizará el siguiente análisis.
Añorga (1997), asume que la evaluación de impacto «(…) incluye a todas las demás formas evaluativas, que es general y sintética, abarca el análisis de diversas esferas, los efectos esperados se pueden constatar tanto en los usuarios como en el entorno social y se dirige a conocer efectos esperados o no, positivos o negativos» y define la evaluación de impacto social como: «El grado de trascendencia de la inserción de un objeto evaluable en el entorno socioeconómico concreto, con el fin de valorar su efecto sobre los objetos aplicados y asegurar la selección mejorada de nuevos objetos de evaluación». Añorga (1997), citada por Borges (2014, p.36).
En Añorga (2001), se manifiesta una evolución en su pensamiento respecto a la evaluación de impacto al considerarla en otro momento como un «el proceso que mide el grado de trascendencia que tiene la implicación del objeto evaluable en el entorno socio económico concreto, con el fin de valorar su efecto sobre los objetos aplicados y asegurar la selección mejorada de nuevos objetos de evaluación. Se necesita evaluar el proceso íntegro, global, evaluando no solo los objetivos, sino también el «contexto», «resultado», «producto», hasta llegar al impacto». Añorga (2000), citada por Ferrer (2011, p.15).
En tanto Baker (2000) entiende que «la evaluación de impacto tiene como objeto determinar de manera general si un programa produjo los efectos deseados en las personas, hogares e instituciones y si esos efectos son atribuibles a la intervención del programa». Baker (2000), citada por Fernández, Peláez y Figueredo (2014, p.3).
Sandoval y Paz (2003) opinan que la evaluación de impacto «(…) mide los cambios en el bienestar de los individuos que pueden atribuirse a un programa o a una política específica y establece que los objetivos de este tipo de evaluación son proveer información y ayudar a mejorar su eficacia». Sandoval y Paz (2003), citados por Martínez, Godoy y Varela (2016, p. 51).
Abdala (2004) amplía esta definición y afirma que la denominación de evaluación de impacto contempla el proceso evaluativo, orientado a medir los resultados de las intervenciones, en cantidad, calidad y extensión según las reglas preestablecidas. Así, la medida de los resultados, que constituye la característica principal de la evaluación de impacto, permite comparar el grado de realización alcanzado con el grado de realización deseado. Compara la planeación con el resultado de la ejecución». Más adelante, el mismo autor explica que «(…) la evaluación de impacto abarca todos los efectos secundarios a la planeación y a la ejecución: específicos y globales; buscados -según los objetivos o no-; positivos, negativos o neutros; directos o indirectos -la sola puesta en marcha del programa puede generar efectos sobre los directamente involucrados hasta la sociedad toda». Abdala (2004), citado por Barazal (2011, p.36). ]]>
La Asociación Internacional de Evaluación de Impacto (IAIA, 2015), ofrece, en los Principios Internacionales de la Evaluación del Impacto, una definición que engloba los conceptos antes citados, en la que se consigna que «…La evaluación del impacto social (EIS) comprende los procesos de análisis, seguimiento y gestión de las consecuencias sociales, voluntarias e involuntarias, tanto positivas como negativas, de las intervenciones planeadas (políticas, programas, planes, proyectos), así como cualquier proceso de cambio social, invocado por dichas intervenciones…» (Vanclay, Estévez, Aucamp y Franks, 2015, p.1-2).Puede concluirse entonces que, de una forma u otra, todas las definiciones coinciden en contemplar la evaluación de impacto como la valoración, tanto del proceso como de los resultados de la aplicación de una acción en un grupo, que indaga en todo tipo de efectos, tanto los buscados, de acuerdo con los objetivos de la acción, como otros no planificados.
Estado actual de la evaluación de impacto en la Facultad de Educación Infantil
La mayoría (71%) de los profesores considera que sus conocimientos acerca del proceso de evaluación del impacto de los programas de formación entre adecuados y bastante adecuados, sin embargo, se aprecia dispersión en relación con los conceptos fundamentales, por ejemplo, al referirse a qué es impacto se emitieron criterios tales como: «es un efecto»; «es un cambio»; «es una transformación»; «es un resultado»; «el grado de satisfacción de los beneficiarios». Hubo coincidencia en la mayoría (60%) al referirse al impacto y su evaluación considerando solo lo positivo.
En cuanto a los elementos básicos de la evaluación del impacto se puede apreciar que el 81% de los profesores logra identificar a las «Áreas de impacto», el 62% a los «Métodos de investigación» y el 86% a la «Evaluación del proceso» como elementos del proceso, sin embargo, solo el 19% logra identificar a los «Destinatarios de las evaluaciones» como elemento del proceso. Por otro lado, el 81% identifica la «Evaluación del currículo», el 48% a las «Directivas del MES» y la «Experimentación pedagógica» como elementos del proceso.
Ante la interrogante realizada sobre cómo evaluar impacto las respuestas evidencian la no existencia de metodologías preestablecidas con este fin y que la modelación de este proceso, aún permanece en el plano empírico, lo que es evidenciado por la dispersión en las respuestas, por ejemplo: «estableciendo indicadores»; «la elaboración de un instrumento»; «la elaboración de varios instrumentos»; «a partir de una metodología», este planteamiento, aunque correcto, fue hecho en el plano perspectivo, no evidencia que existiera tal metodología, otro planteamiento fue «solo puede hacerse de manera cualitativa»; «comparando el estado inicial con un estado final».
Como puede apreciarse, no solo existe falta de consenso, sino que son respuestas parciales, no acabadas que muestran que se apela más a la intuición y a la transferencia de experiencias vividas, que a criterios establecidos por una filosofía de trabajo de la facultad.
Con relación a la inclusión del proceso de evaluación del impacto de los programas de formación en las estrategias de las diferentes instancias, el ordenamiento de las valoraciones dio como resultado que hay hasta un 50% llega a valorarlo hasta el adecuado, mientras que el resto lo hace con categorías superiores.
Lo anterior entra en contradicción con lo encontrado en la revisión de 147 de los documentos que en las distintas instancias de la facultad debían dar evidencia de que este proceso se lleva a cabo de manera planificada y conciente.
Esta contradicción es asumida aquí como falta de consenso en relación a qué es evaluar impacto y cómo esto debe ser reflejado en estos documentos y en la práctica diaria. ]]>
Al valorar el proceso de evaluación de impacto, los profesores muestran cierta polarización en las respuestas con respecto a la realidad constatada en las dimensiones anteriores, por ejemplo: a todos los indicadores de esta dimensión les fueron otorgadas categorías entre no adecuados y poco adecuados por alrededor del 25,4% de los encuestados, si a esto se añaden los profesores que dejaron de emitir su respuestas se estaría hablando de alrededor de un 42% de los encuestados, que lo evalúa desfavorablemente o no se atreve a fijar una posición con relación a estos temas, lo que pudiera indicar que este proceso no transcurre de manera adecuada, como lo muestran las evidencias anteriores.Con respecto al uso de los datos aportados por el proceso de evaluación del impacto, se encontró que se mantiene el mismo comportamiento de la dimensión anterior, llegando en este caso las evaluaciones negativas y los indecisos a alrededor del 39,7%.
Desde el punto de vista teórico se determinó que: ü La evaluación ha sido definida y conceptualizada de diversas formas, de acuerdo con las necesidades, propósitos u objetivos de quien la realiza, dentro de las que se encuentran la valoración solamente de los resultados; determinar hasta qué punto se logran los objetivos; las que apuntan a la evaluación como una estrategia para la comprensión de la enseñanza y el aprendizaje con la intención de revisarlos, cambiarlos y mejorarlos y las que consideran la evaluación como conjunto de valoraciones con enfoque integral, sistémicas y contextuales que incluye el producto, pero sobre todo el proceso, que emiten acerca del objeto evaluado, como resultado de la comprensión del desarrollo alcanzado y que caracteriza la información necesaria para la toma de decisiones y posible corrección del diseño y la ejecución del objeto evaluable. ü Los impactos son conceptualizados desde tres perspectivas diferentes: como efecto, como cambio y como resultado. ü La evaluación de impacto debe atender tanto al contexto, a los elementos de entrada, como al proceso y los resultados de la aplicación de una acción en un grupo, que indaga en todo tipo de efectos, tanto los buscados, de acuerdo con los objetivos de la acción, como otros no planificados.
Desde el punto de vista empírico se encontró que: ü El modelo del profesional establece la necesidad de evaluar el impacto del proceso de formación de estos profesionales. ü En sentido general existen conocimientos empíricos sobre la evaluación del impacto de la formación de profesores en la FEI, aunque se manifiesta cierta dispersión, tanto en lo conceptual como en lo procedimental, en relación con qué es el impacto y qué elementos tener en cuenta para su evaluación. ü Las estrategias no evidencian intención de evaluar los impactos producidos por la formación de los estudiantes egresados y se perciben limitaciones en el uso de la metodología propia de este proceso para procesar la información.
Las informaciones usadas en la toma de decisiones no provienen de estudios de impacto conscientemente organizados. Todo el estudio desarrollado permitió concluir que: · Las informaciones empíricas sobre los procesos y sus resultados, usadas para tomar decisiones en Facultad de Educación Infantil de la UPR, no provienen de estudios de impacto adecuadamente estructurados; · faltan acciones para dar seguimiento a los egresados de las diferentes carreras; · son insuficientes los proyectos dirigidos a evaluar el impacto de la formación que desarrollan en los diferentes componentes: académico, investigativo, laboral y extensionista; · existen conocimientos empíricos sobre la evaluación del impacto de la formación de profesores en la Facultad, así como dispersión, tanto en lo conceptual como en lo procedimental, en relación con qué es el impacto y qué elementos tener en cuenta para su evaluación, ya que la evaluación ha sido definida y conceptualizada de diversas formas, de acuerdo con las necesidades, propósitos u objetivos de quien la realiza.
Como se ha demostrado en los análisis realizados el estado actual del proceso de evaluación de impacto en la Facultad de Educación Infantil de la Universidad de Pinar del Río presenta afectaciones que indican limitaciones en la filosofía de trabajo en relación con el tema y la necesidad de la modelación de este proceso en correspondía con el contexto de formación de las carreras que ella gestiona. Se trata por tanto de una modelación que ponga en manos de profesores y directivos un sistema de conceptos, métodos y procedimientos que permitan un accionan coherente de todos los implicados.
REFERENCIAS BIBLIOGRÁFICAS
Abdala, E. (2004). Manual para la evaluación de impacto en programas De formación para jóvenes. Montevideo, Uruguay: OIT/Cinterfor. Recuperado de: http://www.oitcinterfor.org/node/6113
Aedo, C. (2005). Evaluación del impacto. Santiago de Chile: División de Desarrollo Económico CEPAL/GTZ. Recuperado de: http://repositorio.cepal.org/bitstream/handle/11362/5614 /S0501006_es.pdf?sequence=1&isAllowed=y
Aguilar-Morales, J. E. (2011). La evaluación educativa. México. Asociación Oaxaqueña de Psicología A.C. Recuperado de: http://conductitlan.net/psicologia_educacion/evaluacion_educativa.pdf
Alcaraz, N. (2015). Aproximación Histórica a la Evaluación Educativa: De la Generación de la Medición a la Generación Ecléctica. RIEE: Revista Iberoamericana de Evaluación Educativa, 8(1), 11-25. Recuperado de: https://repositorio.uam.es/handle/10486/668240
Añorga-Morales, J. A. (2014). La Educación Avanzada y el mejoramiento profesional y humano. Varona, (58), 19-31. Recuperado de: http://www.redalyc.org/articulo.oa?id=360634165003
Apodaca, P. M. (1999). Evaluación de los resultados del impacto. Universidad del País Vasco. Revista de Investigación Educativa, 17(2), 363-377. Recuperado de: http://revistas.um.es/rie/article/viewFile/109051/103721#page=124
Baker, J. L. (2000). Evaluación del impacto de los proyectos de desarrollo en la pobreza: manual para profesionales. Washington: Banco Mundial. Recuperado de: http://www.bivipas.unal.edu.co/handle/10720/514
Barazal, A. (2011). Modelo de evaluación de impacto de la maestría en enfermería en el desempeño profesional de sus egresados. Tesis para optar por el título de Doctor en Ciencias Pedagógicas: Instituto Superior Pedagógico «Enrique José Varona. La Habana». Recuperado de: http://tesis.repo.sld.cu/420/
Berner, H. H., Darville, P., Guzmán, N., Montoya, A. M. y Izquierdo, S. (2015). Metodología de la evaluación del impacto. Santiago. CHILE: División de Control de Gestión. I Jornada de Doctores en Ciencias de la UCMH 2015. Recuperado de: http://doccien2015.sld.cu/index.php/2015/2015/paper/view/34/17
Calero, J., Fontcuberta Estrada, X., García Martínez, Á., Ballesteros Pena, A., & De Wispelaere, J. (2016). Guía para la evaluación de programas y políticas públicas de discapacidad. CERMI.
Cano, A. (2006). Tema 5 elementos para una definición de evaluación. Recuperado de: http://www.ulpgc.es/hege/.../tema5/elementosparaunadefinicióndeevaluación/pdf.
Cortés J. y Añón, M. (2013). Tipos de evaluación e instrumentos de evaluación. Recuperado de: http://mestreacasa.gva.es/web/guest/recursos?p_p_id=77&p_p_action=0&p_p_state=maximized&p_p_mode=view&_77_struts_action=%2F
journal_content_search%2Fsearch&_77_keywords=Tipos+de+evaluaci%C3%B3n+e+instrumentos+de+evaluaci%C3%B3n.&_77_tagsEntries=&
_77_hit_inicio=228&_77_posicion_inicio=220
Costa. Barranquilla. Recuperado de: http://repositorio.cuc.edu.co/xmlui/handle/11323/260
Crissien, E. y Rodríguez, N. (2014). Impacto social y competencias de los graduados del programa de contaduría pública en la CUL. Tesis para optar al Grado Académico de Magíster en Educación.
Díaz, F. y Hernández, G. (2002). Estrategias Docentes para un Aprendizaje Significativo: una interpretación constructivista. Recuperado de: http://mapas.eafit.edu.co/rid=1K28441NZ-1W3H2N9-19H /Estrategias%20docentes%20para-un-aprendizaje-significativo.pdf
Enfoque AEVAL. (2015). Guía práctica para el diseño y la realización de evaluaciones de políticas públicas. Ministerio de Hacienda y Administraciones Públicas Agencia Estatal de Evaluación de las Políticas Públicas y la Calidad de los Servicio Recuperado de: http://www.aeval.es/export/sites/aeval/comun/pdf/evaluaciones/Guia_Evaluaciones_AEVAL.pdf
Escudero, T. (2003). Desde los tests hasta la investigación evaluativa actual. Un siglo, el XX, de intenso desarrollo de la evaluación en educación. Revista Electrónica de Investigación y Evaluación, 9(1). Recuperado de: http://www.uv.es/RELIEVE/v9n1/RELIEVEv9n1_1.htm
Ferrer, M. T., Rojas., L, Miranda, M. C., Roque, D., Sardiñas, R. I., Despaigne, A. y MilordA. C. (2011). Evaluar el impacto profesional en los jóvenes maestros: un reto para la pedagogía cubana. 67pCiudad de La Habana. Cuba: Sello editor Educación Cubana. Ministerio de Educación. Recuperado el [27 de junio del 2016] de http://www.cubaeduca.cu/medias/pdf/2827.pdf
González, C. (2003). Los bibliobuses como instrumento de fomento de la lectura. Bibliotecas. Anales de investigación, 1-2, 173-190. Recuperado el [15 de octubre del 2016] de http://revistas.bnjm.cu/index.php/anales/article/view/263
González, D. y Valcárcel, N. (2001). Evaluación y Acreditación Institucional. Universidad Mayor, Real y Pontificia de San Francisco Xavier de Chuquisaca. Sucre, Bolivia: Centro de Estudios de Postgrado e Investigación.
Guanziroli, E., Guenain, A. M. y Meireles, H. (2007). Metodología de evaluación del impacto y de los resultados de los proyectos de cooperación técnica. Brasilia, Brasil: Instituto Interamericano de Cooperación para la Agricultura IICA, 72p. Recuperado el [15 de octubre del 2016] de http://www.iica.org.br/Docs/Publicacoes/Agronegocio/Metodologia_Espanhol.pdf
Guzmán, M. (2004). Metodología de evaluación de impacto. Santiago de Chile: Dirección de control de Gestión.
INAEM - Instituto Aragonés de Empleo. (2010). Comunidad Autónoma de Aragón. Recuperado el [15 de octubre de 2016] de http://www.aragon.es/.../GobiernoAragon/.../InstitutoAragonesEmpleo/
Lara, F., y Pommiez, M. C. (2015). Guía de Evaluación Educativa UDLA. Chile: Universidad de Las Américas. Recuperado el [30 de noviembre del 2016] de http://www.udla.cl/portales/.../File/.../Guia-Evaluacion-Educativa-UDLA -30-07-2015-b.pdf
Liberta, B. E. (2007). Impacto, impacto social y evaluación de impacto. Acimed, 15(3). Recuperado el [9 de abril de 2016] de http://scielo.sld.cu/scielo.php?pid=S1024-94352007000300008&script=sci_arttext&tlng=pt
Lukas, J. F. y Santiago, K. (2009). Evaluación Educativa. Revista Electrónica de Investigación y Evaluación Educativa, 15(2). Recuperado el [28 de noviembre del 2016] de http://www.uv.es/relieve/v15n2/RELIEVEv15n2_revbook1.htm
Mirabal, M. N., J. Rodríguez, M. Guerrero y M. Álvarez. (2013). Modelo teórico para la evaluación de impacto en programas de Salud Pública. Universidad de Ciencias Médicas. Camagüey. Recuperado el [28 de noviembre del 2016] de http://files.sld.cu/boletincnscs/files/2014/01/26-respub-modelo-teorico.pdf
Moliner, M. (2000). Diccionario de uso del español. Madrid: Gredos. Recuperado el [27 de junio del 2016] de https://dialnet.unirioja.es/servlet/libro?codigo=384136
Navarro, H. (2005). Manual para la evaluación de impacto de proyectos y programas de lucha contra la pobreza. Santiago de Chile: Instituto Latinoamericano y del Caribe de Planificación Económica y Social (ILPES) Área de Proyectos y programación de inversiones, 85p. Recuperado de [15 de octubre del 2016] de http://repositorio.cepal.org/bitstream/handle/11362/5605/S053168_es.pdf;jsessionid=0418F5BA30B6CD05FBC0C67FCB9BAB03?sequence=1
Ortíz, E., Sánchez, Y. y Fernández, Y. (2011). La evaluación del impacto formativo en egresados de la Maestría en Ciencias de la Educación Superior en la Universidad de Holguín. Pedagogía Universitaria, 21(2). 18-28. Recuperado el [23 de noviembre de 2016] de http://cvi.mes.edu.cu/peduniv/index.php/peduniv/article/viewFile/714/pdf_85
Pardo, Reyna G. (2013). La evaluación en la escuela. Argentina. Recuperado el [15 de octubre del 2016] de https://www2.sepdf.gob.mx/formacion_continua/antologias/archivos.../SEP220021.pdf
Parlett, M. y Hamilton, D. (1977). Evaluation as illumination: A new approach to the study of innovatory programmes. En Hamilton, D. (Ed.). Beyond the numbers game: a reader in educational evaluation. (Pp2-35). Macmillan. London. Recuperado el [15 de octubre del 2016] de https://eric.ed.gov/?id=ED167634
Pérez-Brito, C. (2013). Análisis de Impacto Social en Proyectos de Infraestructura. Cartagena de Indias, Colombia: Unidad de Salvaguardias Ambientales y Sociales (VPS/ESG). Recuperado el [15 de octubre de 2016] de http://www.fomin-events.com/pppamericas/2013/_upload/panelistas/2_0GlFQ.pdf
Pineda, P. (2000). Evaluación del impacto de la formación en las organizaciones. Educar, 27, 119-133 Recuperado el [27 de junio de 2016] de http://www.raco.cat/index.php/Educar/article/download/20737/20577
Robles, T y Luna, R. (1999). Elaboración de indicadores para proyectos sociales. PROARCA/CAPAS/AID. Recuperado el [15 de octubre de 2016] de http://www.preval.org/documentos/00518.pdf
Rogers, P. J. (2012). Introducción a la evaluación de impacto. Universidad RMIT (Australia) y Better Evaluation: The Rockefeller Foundation. Recuperado el [15 de octubre del 2016] de https://www.interaction.org/sites/default/files/3%20-%20Introduction%20to%20Impact%20Evaluation%20-%20Spanish_0_0.pdf
Rosales, M. (2014). Proceso evaluativo: evaluación sumativa, evaluación formativa y Assesment su impacto en la educación actual. Buenos Aires, Argentina: Congreso Iberoamericano de Ciencia, Tecnología, Innovación y Educación. Recuperado el [27 de junio de 2016] de http://www.oei.es/congreso2014/memoriactei/662.pdf
Ruíz, C. (2001). La Evaluación de programas de formación de formadores. . Recuperado el [27 de junio del 2016] de http://www.tdx.cat/bitstream/handle/10803/5003/crb05de12.pdf
Sandoval, J. M. y Paz, M. (2003). Los indicadores de la evaluación del impacto de programas. México DF.: SIID SIA, 20p. Recuperado el [27 de junio de 2016]. De http://www.diputados.gob.mx/bibliot/publica/inveyana/polisoc/pdf/0403.pdf
Segurajáuregui, M. (2010). Granada. La Licenciatura en Intervención Educativa de la Universidad Pedagógica Nacional de México y la expresión de las competencias específicas planteadas para el campo de Educación Inicial en el desempeño laboral de sus egresados. Granada: Editorial de la Universidad de Granada. Recuperado el [30 de noviembre de 2016] de http://hera.ugr.es/tesisugr/19124879.pdf
Solórzano R. (2005). Modelo de impacto de la Alfabetización. (Tesis en opción al título de Doctor en Ciencias Pedagógicas) Instituto Pedagógico Latinoamericano y Caribeño; La Habana.
Stufflebeam, D.L. y Shinkfield, A. (2007). Evaluation theory, models and applications. San Francisco C.A.: Published by Jossey-Bass, A Wiley Brand. Recuperado el [24 de noviembre de 2016] de https://books.google.com.cu/books?hl=en&lr=&id=SbnlBQAAQBAJ&oi=fnd&pg=PA133&dq=Evaluation+theory,+models+and+applications.+&ots=
aiJCiIQ10-&sig=wFeTzNwEP5cjDj78pBtSLP3SKVI&redir_esc=y#v=onepage&q=Evaluation%20theory%2C%20models%20and%20applications.&f=
false
Torres, P. (2007). La Evaluación Educativa en Cuba, qué se ha logrado y que falta por lograr. [CD-ROM], CALIDED, 4-8. ISPFPG. Santiago de Cuba.
Torres, P. (2008). Sistema Cubano de Evaluación de la Calidad de la Educación. Resultado de investigación. Soporte digital. La Habana, Cuba: Instituto Central de Ciencias Pedagógicas.
Vanclay, F, Estevez, A. M., Aucamp, I. y Franks D. M. (2015). La evaluación de impacto social: lineamientos para la evaluación y gestión de impactos sociales de proyectos. IAIA As ociación Internacional para la Evaluación de Impactos. Recuperado el [23 de noviembre del 2016] de http://www.iaia.org/uploads/pdf/Evaluacion-Impacto-Social-Lineamientos.pdf
Recibido: 6 de diciembre de 2016.
Aprobado: 17 de enero de 2017.
]]>
Benito Bravo Echevarría. Correo electrónico: benito.bravo@upr.edu.cu
]]>