Serviços customizados
Espanhol (pdf)
Artigo em XML
Referências do artigo
Enviar este artigo por email
Citado por SciELO 
Similares em
SciELO 
Permalink
Introducción
La ciencia y la tecnología juegan un papel muy importante en la actualidad, debido al desarrollo constante de ellas, el ser humano ha podido dar soluciones a un sinfín de problemas que anteriormente se veían prácticamente imposible de conseguir. Para lograr progresos y resultados, el método más común son los proyectos de investigación y desarrollo (I+D). Estos parten en una primera instancia de la investigación de fenómenos y hechos observables, con la intención de, en una segunda instancia, desarrollar nuevos conocimientos, productos o servicios. (Ortiz Quistian, Tenorio Martínez, & Cerda y Meneses, 2018)
La presente investigación se enmarca en los proyectos de investigación que buscan soluciones inteligentes al planteamiento de un problema y su resultado son sistemas de tecnologías de información. Pérez Porto & Gardey (2013) plantea que un proyecto de investigación es: un procedimiento científico destinado a obtener información y formular hipótesis sobre un determinado fenómeno social o científico. Para obtener los resultados esperados uno de los aspectos que debe ser considerado es la calidad en la ejecución y control de la información que se genera y gestiona en un proyecto de este tipo. Otro aspecto sería contar con herramientas para monitorear y evaluar el avance y el desempeño de los proyectos de investigación, así como sus resultados y el impacto en la sociedad, con el objetivo de asegurar su contribución al desarrollo social y económico del país.
Fueron revisados distintos trabajos realizados anterior a la presente investigación específicamente en: el tipo de evaluación, los indicadores y la ponderación: Sexto Programa Marco (6PM)-Comisión Europea (2012), Metodología de evaluación de impactos de proyectos de investigación (2014), Criterios de evaluación de proyectos de investigación (2015) y Procedimiento para evaluar impacto de proyectos de desarrollo local de tipo económico en un territorio (2020).
Cuba está llevando una política basada en la ciencia y luego en la transformación digital, lo que ha provocado que se creen programas para la ejecución de proyectos y en este sentido las universidades cubanas juegan un papel fundamental. La Universidad de Ciencias Informáticas (UCI) está trabajando en más de 20 proyectos de investigación, los cuales deben ser presentados en una guía metodológica para la elaboración y presentación de Proyectos de I+D+i (Gómez Torres, Cruz Díaz, Páez Moro, & González Rodríguez, 2020), sin embargo, esta no forma parte de un sistema de gestión de la calidad.
Como parte de las actividades de recolección de información utilizando el método científico, se entrevistó al director de DCTI de la UCI, donde se constató que en el periodo de ejecución de esta investigación no se realiza una evaluación de los impactos en los proyectos de investigación en la UCI, una situación que dificulta la identificación de oportunidades de mejora en la calidad de estos proyectos.
La carencia de un instrumento para la evaluación de impactos de los proyectos de investigación, afecta la calidad de los resultados. De la situación problemática descrita se identifica como problema de la investigación: ¿Cómo aumentar la calidad de los proyectos de investigación de la UCI desde la evaluación de impactos?
El objeto de estudio de la investigación es el proceso de evaluación de los proyectos de investigación, enmarcado en el campo de acción: la evaluación de impactos de los proyectos de investigación de perfil informático en la UCI.
Como objetivo general se define: diseñar un procedimiento para la evaluación de los impactos de los proyectos de investigación de perfil informático desarrollados en la Universidad de Ciencias Informáticas.
Se plantea como hipótesis científica para la investigación que: con el diseño y ejecución de un procedimiento estructurado en fases y actividades, que integre los criterios de calidad científica y formación, aumentará la calidad de los proyectos de investigación de perfil informático desarrollados en la Universidad de Ciencias Informáticas.
Para la investigación se efectuó una revisión bibliográfica, que permitió la construcción de un marco teórico referencial, donde se describen las bases teóricas necesarias a tener en cuenta para el desarrollo de la propuesta. Se describe el procedimiento desarrollado, sus principales características y las fases que la componen, el cual posteriormente fue validado utilizando criterio de expertos, valorado con el criterio de usuarios mediante la utilización de la técnica IADOV, y su aplicación práctica en un estudio de caso único.
Procedimiento basado en criterio de expertos
El procedimiento propuesto se divide en tres fases: recolección de datos, procesamiento de datos y resultados, donde a cada fase hay asociadas las actividades correspondientes. En la fase de recolección de datos se deben ejecutar dos actividades: recopilar los datos necesarios para ejecutar la evaluación y establecer plan de acciones. En la fase procesamiento de datos se debe ejecutar la actividad procesar y analizar los datos. En la fase resultados se debe ejecutar la actividad generar los resultados.
Se seleccionaron siete (7) expertos relacionados con la gestión de proyectos de investigación, pertenecientes a distintas áreas de la universidad (áreas docentes y áreas productivas). Para la selección se aplicó a los candidatos un formulario de autovaloración. El 71,4% de los expertos (5 candidatos) posee un nivel de competencia Alto y el 28,6% (2 candidatos) posee un nivel de competencia medio. Se considera que los niveles de competencia de los candidatos seleccionados son adecuados para la evaluación de los elementos teóricos a valorar en el marco de trabajo diseñado y resultan suficientes para garantizar confiabilidad en los resultados. El 100% de los expertos son graduados universitarios vinculados a la actividad de CTI y han ocupado u ocupan roles como líder de proyecto, planificador o metodólogo de la universidad. El promedio de años de experiencia de los expertos consultados es de 15 años. El 14,3% posee la categoría de Máster en Ciencias y el 85,7% ostenta el grado científico de Doctor en Ciencias.
Fase 1: Recolección de datos
La presente investigación valora la calidad científica de los proyectos de investigación tomando como referencia atributos de la formación, las publicaciones, resultados introducidos y aceptación del receptor. Los atributos establecidos fueron:
Atributos de impacto de publicaciones: Índice de cumplimiento de publicaciones (PR / PP), cantidad en revistas por niveles (4 niveles), cantidad en colaboración con personal de entidades participantes, otras colaboraciones, cantidad de ponencias en eventos científicos nacionales e internacionales, cantidad de estudiantes con ponencias en eventos científicos nacionales e internacionales, si ha sido o no organizador de Taller/Sesión/Evento y la cantidad de registros de derecho de autor.
Atributos de impacto de formación: Índice de cumplimiento de trabajos de diploma (TDR / TDP), índice de cumplimiento de tesis de maestrías (TMR / TMP) e índice de cumplimiento de tesis de doctorado (TDrR / TDrP). En cada caso se tienen en cuenta las cantidades planificadas y las reales. Para la recogida de los datos se define un modelo de recolección de datos para la evaluación de impacto del proyecto.
Otros atributos: Resultados introducidos y aceptación del receptor.
Fase 2: Procesamiento de datos
Para procesar los datos obtenidos en la fase anterior, se ejecuta la actividad del procedimiento: procesar y analizar los datos. Como primer paso se pondera cada uno de los atributos descritos para la formación, las publicaciones, si el resultado ha sido introducido y si hay evidencia de la aceptación por parte de los receptores, los cuales obtienen valores desde 0 hasta 10. El criterio para definir el valor máximo correspondiente a cada atributo se determina a partir de la puntuación ofrecida por los 7 expertos. Cada experto consultado ofreció su valoración correspondiente y se tomó como valor de cada atributo el promedio obtenido de las valoraciones ofrecidas, redondeado al alza. Estos son mostrados en la tabla 1, los cuales corresponden al valor máximo que puede tomar el atributo correspondiente.
Tabla 1 - Datos obtenidos de cada atributo.
| A01 | Cantidad real / Cantidad planificada | 10 |
| A02 | Cantidad en revistas de primer nivel | 10 |
| A03 | Cantidad en revistas de segundo nivel | 8 |
| A04 | Cantidad en revistas de tercer nivel | 7 |
| A05 | Cantidad en revistas de cuarto nivel | 5 |
| A06 | En colaboración con entidades participantes | 9 |
| A07 | Otras colaboraciones | 8 |
| A08 | Ponencias en eventos científicos nacionales | 8 |
| A09 | Ponencias en eventos científicos internacionales | 10 |
| A10 | Estudiantes con ponencias en eventos nacionales | 7 |
| A11 | Estudiantes con ponencias en eventos internacionales | 8 |
| A12 | Organizador de Taller/Sesión/Evento | 8 |
| A13 | Cantidad registros de derecho de autor | 8 |
| A14 | Resultados introducidos | 10 |
| A15 | Aceptación del receptor | 10 |
| A16 | Trabajos de Diploma (cantidad real / cantidad planificada) | 8 |
| A17 | Tesis de maestría (cantidad real / cantidad planificada) | 9 |
| A18 | Tesis de doctorado (cantidad real / cantidad planificada) | 10 |
Fuente: Elaboración propia
Uno de los aspectos más relevantes en el análisis de los problemas es conocer cual atributo o criterio es más importante y en qué medida se diferencia del resto. Los pesos se obtienen a partir del criterio ofrecido por los expertos en la encuesta realizada (Anexo 2, pregunta 3) a partir de un valor numérico entre 1 y 10.
El valor relativo de cada atributo se obtiene a partir de la sumatoria de los valores otorgados por los expertos en cada atributo entre la cantidad de expertos que participan en la actividad. El peso P de los atributos se determina con la siguiente fórmula, donde: P es el peso absoluto y FP la media aritmética de los valores por cada atributo:
Luego de conocer el peso (P) relativo de cada atributo, se procede a calcular el índice de impacto (iImp), que deberá multiplicarse con la puntuación definida en la descripción de cada atributo. La tabla 2 presenta el valor del índice de impacto para lo cual se calcula mediante la fórmula siguiente:
Tabla 2 - Índice de impacto determinado para cada atributo.
| P | |||
|---|---|---|---|
| A01 | 9.57 | 0.096 | 0.916 |
| A02 | 9.71 | 0.097 | 0.944 |
| A03 | 8.43 | 0.084 | 0.710 |
| A04 | 7.29 | 0.073 | 0.531 |
| A05 | 5.43 | 0.054 | 0.295 |
| A06 | 8.71 | 0.087 | 0.759 |
| A07 | 8.14 | 0.081 | 0.663 |
| A08 | 8.14 | 0.081 | 0.663 |
| A09 | 9.57 | 0.096 | 0.916 |
| A10 | 7.14 | 0.071 | 0.510 |
| A11 | 7.86 | 0.079 | 0.617 |
| A12 | 8.29 | 0.083 | 0.687 |
| A13 | 8.43 | 0.084 | 0.710 |
| A14 | 10.00 | 0.100 | 1.000 |
| A15 | 10.00 | 0.100 | 1.000 |
| A16 | 8.00 | 0.080 | 0.640 |
| A17 | 9.00 | 0.090 | 0.810 |
| A18 | 10.00 | 0.100 | 1.000 |
Fuente: Elaboración propia a partir del estudio de las fuentes.
Posteriormente, el impacto del proyecto de investigación (IPI) se definirá por la sumatoria de los valores determinados por los especialistas a los atributos (Ev), multiplicados por su índice de impacto (iImp) respectivamente y todo ellos multiplicado por 0.01:
Tabla 3 - Determinación del impacto a partir del Índice de impacto.
| No Adecuado | Poco adecuado | Adecuado | Bastante adecuado | Muy adecuado |
Fuente: Adaptado de (Gulin G & Hernández G, 2022)
A partir del valor obtenido se determina el impacto del proyecto de investigación, ubicando ese valor en uno de los rangos definidos, comprendidos entre 0 y el valor máximo 1.18 (Todos los indicadores con la puntuación máxima), propuestos en la Tabla 3.
Fase 3: Resultados
Para el desarrollo de esta fase es necesario ejecutar la última actividad del procedimiento: generar informe de resultados de la evaluación. Este está compuesto de 4 secciones: la primera sección describe los datos generales del proyecto, la segunda muestra los resultados de la evaluación, la tercera permite describir situaciones presentadas durante la evaluación, emitir sugerencias o señalar oportunidades de mejora dentro del proyecto. Por último, la cuarta sección muestra los datos correspondientes del especialista o evaluador.
Pasos del procedimiento para la evaluación
Paso 1. El Jefe de Proyecto hace la solicitud para la evaluación del impacto del proyecto de investigación mediante la Planilla de Solicitud, la cual debe ser de fácil acceso.
Paso 2. Verificar la completitud de los datos necesarios para ejecutar la evaluación. En caso de no estar completos se le informa al Jefe de Proyecto y se le explican las causas por las cuales no fue aprobada la evaluación, en caso de tener todos los datos se informa al Jefe de Proyecto y se le explican los detalles de la revisión.
Paso 3. Inicia del proceso de evaluación comunicando los detalles de esta al especialista que va a ejecutarla. El intercambio consistirá en definir las fechas importantes de la evaluación. (Fecha de inicio, fecha para la recolección de datos, fecha de inicio para procesar los datos y la fase acordada para la entrega de los resultados de la evaluación).
Paso 4. Se inicia la fase de recolección de datos documentando los resultados obtenidos en el modelo de recepción de datos. En dicho modelo se toman los datos del proyecto y los datos necesarios para cada uno de los atributos que se miden en la evaluación.
Paso 5. El especialista analiza los datos obtenidos en el paso anterior y va otorgando la puntuación correspondiente.
Paso 6. Se calcula el impacto del proyecto de investigación (IPI) aplicando la fórmula descrita y el resultado obtenido es ubicado en la escala descrita en la misma sección.
Paso 7. Documentar los resultados obtenidos y elaborar el informe final de los resultados.
Paso 8. Se realiza una reunión final con el Jefe de Proyecto para dar una explicación de los resultados obtenidos ofreciendo oportunidad al debate e informando la evaluación final. Además, se exponen sugerencias o recomendaciones si es necesario.
Fig. 1 -Diagrama de Flujo de las actividades del Procedimiento Propuesto. Fuente: Elaboración propia.
Teniendo en cuenta los pasos presentados para realizar la evaluación de impacto, se realiza el Diagrama de flujo de las actividades a realizar del procedimiento propuesto en el orden propuesto. El diagrama presenta un Inicio y un fin de la ejecución del mismo, también presenta una bifurcación después de la actividad de verificación de los datos que en correspondencia con la completitud de los mismos la evaluación podría continuar o detenerse. En caso de detenerse se le informaría al jefe de proyecto los motivos por los que se detuvo el proceso de evaluación. En caso de continuar se realizarían el resto de actividades propuestas en el orden que aparecen en el propio diagrama: Iniciar la evaluación, analizar y recolectar de los datos, calcular el impacto, informar los resultados, realizar la reunión final de la evaluación y finalizar la misma.
En la presente investigación se emplean métodos cualitativos y cuantitativos, integrados en una estrategia para su aplicación, con el interés de validar por un lado la relevancia y pertinencia de la solución y por otro la aplicabilidad y satisfacción de los clientes. Se utiliza el método de validación Criterio o Juicio de expertos, a partir del Escalamiento de Likert, para verificar la validez y la fiabilidad de la propuesta. Se emplea un estudio de caso, con el propósito de evaluar, a partir de los resultados de la aplicación práctica del marco de trabajo, su influencia en la gestión de los proyectos de desarrollo de software de la UCI. Se aplica la técnica de Iadov para determinar el grado de satisfacción de los usuarios potenciales del marco de trabajo propuesto.
A partir de los resultados obtenidos luego de la aplicación del método de evaluación por expertos la propuesta fue satisfactoriamente valorada por los mismos. Se obtuvo un alto grado de satisfacción grupal de 0,78 utilizando la técnica Iadov, lo que demuestra conformidad con los resultados ofrecidos por el procedimiento desarrollado. Se aplicó como caso de estudio a un proyecto en fase terminal, los resultados permitieron evaluar su ejecución y verificar su utilidad para evaluar los impactos en este tipo de proyecto.
Conclusiones
El análisis de experiencias y tendencias nacionales e internacionales posibilitó la identificación y caracterización de los elementos fundamentales de la evaluación de impactos en proyectos de i+D+I. Se constató la necesidad de diseñar un procedimiento para la evaluación del impacto de los proyectos de i+D+I de perfil informático desarrollados en la Universidad de Ciencias Informáticas en el diagnóstico realizado a la DCTI de la UCI. El procedimiento diseñado recopila información relevante para poder ejecutar sus objetivos y fue validado mediante la aplicación de los métodos científicos: criterio de experto, estudio de caso y la técnica de Iadov. La propuesta fue valorada positivamente por los expertos, se constató la validez de la variable dependiente definida en la hipótesis de la investigación y se evidenció un alto nivel de satisfacción desde el punto de vista del usuario respecto a su utilización. La aplicación del procedimiento en un proyecto real demostró la aplicabilidad del mismo para obtener información que permita tomar decisiones en cuanto a los impactos de futuros proyectos que se desarrollen en la UCI.
