SciELO - Scientific Electronic Library Online

 
vol.17 número3Sistema de Comprobación en tiempo real de señales de un autopiloto de una aeronaveUna revisión de la literatura sobre la transformación digital para enfrentar el cambio de paradigma de la informatización en salud índice de autoresíndice de materiabúsqueda de artículos
Home Pagelista alfabética de revistas  

Servicios Personalizados

Articulo

Indicadores

  • No hay articulos citadosCitado por SciELO

Links relacionados

  • No hay articulos similaresSimilares en SciELO

Compartir


Revista Cubana de Ciencias Informáticas

versión On-line ISSN 2227-1899

RCCI vol.17 no.3 La Habana jul.-set. 2023  Epub 01-Sep-2023

 

Artículo original

Evaluación de impacto mediante el empleo de atributos ponderados a los proyectos de I+D+i en la UCI

Evaluation of the impact through the use of weighted attributes to the projects of R+D+i at the UCI

0000-0002-5098-3776Daysel Labañino Griñan1  *  , 0000-0002-3652-969XArturo Orellana Garcia2 

1 Universidad de las Ciencias Informáticas. Carretera a San Antonio Km 2 ½ Torrens. Boyeros. La Habana. Cuba. dlabanino@uci.cu

2 Universidad de las Ciencias Informáticas. Carretera a San Antonio Km 2 ½ Torrens. Boyeros. La Habana. Cuba. aorellana@uci.cu

RESUMEN

La evaluación del impacto tiene sus orígenes en la evaluación del impacto ambiental y su pertinencia en el desarrollo de los procesos ha cobrado mayor relevancia, con el avance de las tecnologías de la información y las comunicaciones. Estas juegan un papel muy importante en la actualidad, para lograr progresos y resultados, el método más común son los proyectos de investigación y desarrollo. Ante este escenario, hoy no es posible tener un acercamiento al impacto real alcanzado por los proyectos de investigación desarrollados en la Universidad de Ciencias Informáticas. El objetivo de la presente investigación es diseñar un mecanismo para calcular el impacto de los proyectos de investigación de perfil informático desarrollados en la Universidad de Ciencias Informáticas que mejore la calidad de los mismos. Los principales resultados se relacionan con la definición de un procedimiento estructurado en fases y actividades, que integra los criterios de calidad científica y formación y cuya puesta en práctica contribuye a mejorar la calidad de los proyectos de I+D+i, además permite contar con elementos cuantitativos para la evaluación de impacto. Para la validación de los resultados se emplearon los métodos criterio de experto y el estudio de caso, los cuales permitieron demostrar la hipótesis de la investigación. Además, se aplica la técnica de Iadov con la que se evidencia la alta satisfacción de los usuarios con la propuesta.

Palabras-clave: calidad; evaluación de impacto; procedimiento

ABSTRACT

Impact assessment has its origins in environmental impact assessment and its relevance in the development of processes has become more relevant with the advancement of information and communication technologies. These play a very important role today, to achieve progress and results, the most common method is research and development projects. Given this scenario, today it is not possible to have an approach to the real impact achieved by the research projects developed at the University of Informatics Sciences. The objective of the present investigation is to design a procedure for the evaluation of the impacts of the research projects of computer science profile developed in the University of Computer Sciences that improves their quality. The main results are related to the definition of a procedure structured in phases and activities, which integrates the criteria of scientific quality and training and whose implementation contributes to improving the quality of I+D+i projects, also allows having quantitative elements for impact evaluation. For the validation of the results, the expert criteria and the case study methods were used, which allowed to demonstrate the research hypothesis. In addition, the Ladov technique is applied, with which the high satisfaction of the users with the proposal is evidenced.

Key words: impact evaluation; procedure; quality

Introducción

La ciencia y la tecnología juegan un papel muy importante en la actualidad, debido al desarrollo constante de ellas, el ser humano ha podido dar soluciones a un sinfín de problemas que anteriormente se veían prácticamente imposible de conseguir. Para lograr progresos y resultados, el método más común son los proyectos de investigación y desarrollo (I+D). Estos parten en una primera instancia de la investigación de fenómenos y hechos observables, con la intención de, en una segunda instancia, desarrollar nuevos conocimientos, productos o servicios. (Ortiz Quistian, Tenorio Martínez, & Cerda y Meneses, 2018)

La presente investigación se enmarca en los proyectos de investigación que buscan soluciones inteligentes al planteamiento de un problema y su resultado son sistemas de tecnologías de información. Pérez Porto & Gardey (2013) plantea que un proyecto de investigación es: un procedimiento científico destinado a obtener información y formular hipótesis sobre un determinado fenómeno social o científico. Para obtener los resultados esperados uno de los aspectos que debe ser considerado es la calidad en la ejecución y control de la información que se genera y gestiona en un proyecto de este tipo. Otro aspecto sería contar con herramientas para monitorear y evaluar el avance y el desempeño de los proyectos de investigación, así como sus resultados y el impacto en la sociedad, con el objetivo de asegurar su contribución al desarrollo social y económico del país.

Fueron revisados distintos trabajos realizados anterior a la presente investigación específicamente en: el tipo de evaluación, los indicadores y la ponderación: Sexto Programa Marco (6PM)-Comisión Europea (2012), Metodología de evaluación de impactos de proyectos de investigación (2014), Criterios de evaluación de proyectos de investigación (2015) y Procedimiento para evaluar impacto de proyectos de desarrollo local de tipo económico en un territorio (2020).

Cuba está llevando una política basada en la ciencia y luego en la transformación digital, lo que ha provocado que se creen programas para la ejecución de proyectos y en este sentido las universidades cubanas juegan un papel fundamental. La Universidad de Ciencias Informáticas (UCI) está trabajando en más de 20 proyectos de investigación, los cuales deben ser presentados en una guía metodológica para la elaboración y presentación de Proyectos de I+D+i (Gómez Torres, Cruz Díaz, Páez Moro, & González Rodríguez, 2020), sin embargo, esta no forma parte de un sistema de gestión de la calidad.

Como parte de las actividades de recolección de información utilizando el método científico, se entrevistó al director de DCTI de la UCI, donde se constató que en el periodo de ejecución de esta investigación no se realiza una evaluación de los impactos en los proyectos de investigación en la UCI, una situación que dificulta la identificación de oportunidades de mejora en la calidad de estos proyectos.

La carencia de un instrumento para la evaluación de impactos de los proyectos de investigación, afecta la calidad de los resultados. De la situación problemática descrita se identifica como problema de la investigación: ¿Cómo aumentar la calidad de los proyectos de investigación de la UCI desde la evaluación de impactos?

El objeto de estudio de la investigación es el proceso de evaluación de los proyectos de investigación, enmarcado en el campo de acción: la evaluación de impactos de los proyectos de investigación de perfil informático en la UCI.

Como objetivo general se define: diseñar un procedimiento para la evaluación de los impactos de los proyectos de investigación de perfil informático desarrollados en la Universidad de Ciencias Informáticas.

Se plantea como hipótesis científica para la investigación que: con el diseño y ejecución de un procedimiento estructurado en fases y actividades, que integre los criterios de calidad científica y formación, aumentará la calidad de los proyectos de investigación de perfil informático desarrollados en la Universidad de Ciencias Informáticas.

Para la investigación se efectuó una revisión bibliográfica, que permitió la construcción de un marco teórico referencial, donde se describen las bases teóricas necesarias a tener en cuenta para el desarrollo de la propuesta. Se describe el procedimiento desarrollado, sus principales características y las fases que la componen, el cual posteriormente fue validado utilizando criterio de expertos, valorado con el criterio de usuarios mediante la utilización de la técnica IADOV, y su aplicación práctica en un estudio de caso único.

Procedimiento basado en criterio de expertos

El procedimiento propuesto se divide en tres fases: recolección de datos, procesamiento de datos y resultados, donde a cada fase hay asociadas las actividades correspondientes. En la fase de recolección de datos se deben ejecutar dos actividades: recopilar los datos necesarios para ejecutar la evaluación y establecer plan de acciones. En la fase procesamiento de datos se debe ejecutar la actividad procesar y analizar los datos. En la fase resultados se debe ejecutar la actividad generar los resultados.

Se seleccionaron siete (7) expertos relacionados con la gestión de proyectos de investigación, pertenecientes a distintas áreas de la universidad (áreas docentes y áreas productivas). Para la selección se aplicó a los candidatos un formulario de autovaloración. El 71,4% de los expertos (5 candidatos) posee un nivel de competencia Alto y el 28,6% (2 candidatos) posee un nivel de competencia medio. Se considera que los niveles de competencia de los candidatos seleccionados son adecuados para la evaluación de los elementos teóricos a valorar en el marco de trabajo diseñado y resultan suficientes para garantizar confiabilidad en los resultados. El 100% de los expertos son graduados universitarios vinculados a la actividad de CTI y han ocupado u ocupan roles como líder de proyecto, planificador o metodólogo de la universidad. El promedio de años de experiencia de los expertos consultados es de 15 años. El 14,3% posee la categoría de Máster en Ciencias y el 85,7% ostenta el grado científico de Doctor en Ciencias.

Fase 1: Recolección de datos

La presente investigación valora la calidad científica de los proyectos de investigación tomando como referencia atributos de la formación, las publicaciones, resultados introducidos y aceptación del receptor. Los atributos establecidos fueron:

Atributos de impacto de publicaciones: Índice de cumplimiento de publicaciones (PR / PP), cantidad en revistas por niveles (4 niveles), cantidad en colaboración con personal de entidades participantes, otras colaboraciones, cantidad de ponencias en eventos científicos nacionales e internacionales, cantidad de estudiantes con ponencias en eventos científicos nacionales e internacionales, si ha sido o no organizador de Taller/Sesión/Evento y la cantidad de registros de derecho de autor.

Atributos de impacto de formación: Índice de cumplimiento de trabajos de diploma (TDR / TDP), índice de cumplimiento de tesis de maestrías (TMR / TMP) e índice de cumplimiento de tesis de doctorado (TDrR / TDrP). En cada caso se tienen en cuenta las cantidades planificadas y las reales. Para la recogida de los datos se define un modelo de recolección de datos para la evaluación de impacto del proyecto.

Otros atributos: Resultados introducidos y aceptación del receptor.

Fase 2: Procesamiento de datos

Para procesar los datos obtenidos en la fase anterior, se ejecuta la actividad del procedimiento: procesar y analizar los datos. Como primer paso se pondera cada uno de los atributos descritos para la formación, las publicaciones, si el resultado ha sido introducido y si hay evidencia de la aceptación por parte de los receptores, los cuales obtienen valores desde 0 hasta 10. El criterio para definir el valor máximo correspondiente a cada atributo se determina a partir de la puntuación ofrecida por los 7 expertos. Cada experto consultado ofreció su valoración correspondiente y se tomó como valor de cada atributo el promedio obtenido de las valoraciones ofrecidas, redondeado al alza. Estos son mostrados en la tabla 1, los cuales corresponden al valor máximo que puede tomar el atributo correspondiente.

Tabla 1 - Datos obtenidos de cada atributo. 

Atributos Valor
A01 Cantidad real / Cantidad planificada 10
A02 Cantidad en revistas de primer nivel 10
A03 Cantidad en revistas de segundo nivel 8
A04 Cantidad en revistas de tercer nivel 7
A05 Cantidad en revistas de cuarto nivel 5
A06 En colaboración con entidades participantes 9
A07 Otras colaboraciones 8
A08 Ponencias en eventos científicos nacionales 8
A09 Ponencias en eventos científicos internacionales 10
A10 Estudiantes con ponencias en eventos nacionales 7
A11 Estudiantes con ponencias en eventos internacionales 8
A12 Organizador de Taller/Sesión/Evento 8
A13 Cantidad registros de derecho de autor 8
A14 Resultados introducidos 10
A15 Aceptación del receptor 10
A16 Trabajos de Diploma (cantidad real / cantidad planificada) 8
A17 Tesis de maestría (cantidad real / cantidad planificada) 9
A18 Tesis de doctorado (cantidad real / cantidad planificada) 10

Fuente: Elaboración propia

Uno de los aspectos más relevantes en el análisis de los problemas es conocer cual atributo o criterio es más importante y en qué medida se diferencia del resto. Los pesos se obtienen a partir del criterio ofrecido por los expertos en la encuesta realizada (Anexo 2, pregunta 3) a partir de un valor numérico entre 1 y 10.

El valor relativo de cada atributo se obtiene a partir de la sumatoria de los valores otorgados por los expertos en cada atributo entre la cantidad de expertos que participan en la actividad. El peso P de los atributos se determina con la siguiente fórmula, donde: P es el peso absoluto y FP la media aritmética de los valores por cada atributo:

Luego de conocer el peso (P) relativo de cada atributo, se procede a calcular el índice de impacto (iImp), que deberá multiplicarse con la puntuación definida en la descripción de cada atributo. La tabla 2 presenta el valor del índice de impacto para lo cual se calcula mediante la fórmula siguiente:

Tabla 2 - Índice de impacto determinado para cada atributo.  

Atributos FP P iImp
A01 9.57 0.096 0.916
A02 9.71 0.097 0.944
A03 8.43 0.084 0.710
A04 7.29 0.073 0.531
A05 5.43 0.054 0.295
A06 8.71 0.087 0.759
A07 8.14 0.081 0.663
A08 8.14 0.081 0.663
A09 9.57 0.096 0.916
A10 7.14 0.071 0.510
A11 7.86 0.079 0.617
A12 8.29 0.083 0.687
A13 8.43 0.084 0.710
A14 10.00 0.100 1.000
A15 10.00 0.100 1.000
A16 8.00 0.080 0.640
A17 9.00 0.090 0.810
A18 10.00 0.100 1.000

Fuente: Elaboración propia a partir del estudio de las fuentes.

Posteriormente, el impacto del proyecto de investigación (IPI) se definirá por la sumatoria de los valores determinados por los especialistas a los atributos (Ev), multiplicados por su índice de impacto (iImp) respectivamente y todo ellos multiplicado por 0.01:

Tabla 3 - Determinación del impacto a partir del Índice de impacto. 

Rango IPI < 0,25 0,25 < IPI ≤ 0,49 0,50 < IPI ≤ 0,74 0,75 < IPI ≤ 0,99 IPI ≥ 1,00
Impacto No Adecuado Poco adecuado Adecuado Bastante adecuado Muy adecuado

Fuente: Adaptado de (Gulin G & Hernández G, 2022)

A partir del valor obtenido se determina el impacto del proyecto de investigación, ubicando ese valor en uno de los rangos definidos, comprendidos entre 0 y el valor máximo 1.18 (Todos los indicadores con la puntuación máxima), propuestos en la Tabla 3.

Fase 3: Resultados

Para el desarrollo de esta fase es necesario ejecutar la última actividad del procedimiento: generar informe de resultados de la evaluación. Este está compuesto de 4 secciones: la primera sección describe los datos generales del proyecto, la segunda muestra los resultados de la evaluación, la tercera permite describir situaciones presentadas durante la evaluación, emitir sugerencias o señalar oportunidades de mejora dentro del proyecto. Por último, la cuarta sección muestra los datos correspondientes del especialista o evaluador.

Pasos del procedimiento para la evaluación

  • Paso 1. El Jefe de Proyecto hace la solicitud para la evaluación del impacto del proyecto de investigación mediante la Planilla de Solicitud, la cual debe ser de fácil acceso.

  • Paso 2. Verificar la completitud de los datos necesarios para ejecutar la evaluación. En caso de no estar completos se le informa al Jefe de Proyecto y se le explican las causas por las cuales no fue aprobada la evaluación, en caso de tener todos los datos se informa al Jefe de Proyecto y se le explican los detalles de la revisión.

  • Paso 3. Inicia del proceso de evaluación comunicando los detalles de esta al especialista que va a ejecutarla. El intercambio consistirá en definir las fechas importantes de la evaluación. (Fecha de inicio, fecha para la recolección de datos, fecha de inicio para procesar los datos y la fase acordada para la entrega de los resultados de la evaluación).

  • Paso 4. Se inicia la fase de recolección de datos documentando los resultados obtenidos en el modelo de recepción de datos. En dicho modelo se toman los datos del proyecto y los datos necesarios para cada uno de los atributos que se miden en la evaluación.

  • Paso 5. El especialista analiza los datos obtenidos en el paso anterior y va otorgando la puntuación correspondiente.

  • Paso 6. Se calcula el impacto del proyecto de investigación (IPI) aplicando la fórmula descrita y el resultado obtenido es ubicado en la escala descrita en la misma sección.

  • Paso 7. Documentar los resultados obtenidos y elaborar el informe final de los resultados.

  • Paso 8. Se realiza una reunión final con el Jefe de Proyecto para dar una explicación de los resultados obtenidos ofreciendo oportunidad al debate e informando la evaluación final. Además, se exponen sugerencias o recomendaciones si es necesario.

Fig. 1 -Diagrama de Flujo de las actividades del Procedimiento Propuesto. Fuente: Elaboración propia. 

Teniendo en cuenta los pasos presentados para realizar la evaluación de impacto, se realiza el Diagrama de flujo de las actividades a realizar del procedimiento propuesto en el orden propuesto. El diagrama presenta un Inicio y un fin de la ejecución del mismo, también presenta una bifurcación después de la actividad de verificación de los datos que en correspondencia con la completitud de los mismos la evaluación podría continuar o detenerse. En caso de detenerse se le informaría al jefe de proyecto los motivos por los que se detuvo el proceso de evaluación. En caso de continuar se realizarían el resto de actividades propuestas en el orden que aparecen en el propio diagrama: Iniciar la evaluación, analizar y recolectar de los datos, calcular el impacto, informar los resultados, realizar la reunión final de la evaluación y finalizar la misma.

En la presente investigación se emplean métodos cualitativos y cuantitativos, integrados en una estrategia para su aplicación, con el interés de validar por un lado la relevancia y pertinencia de la solución y por otro la aplicabilidad y satisfacción de los clientes. Se utiliza el método de validación Criterio o Juicio de expertos, a partir del Escalamiento de Likert, para verificar la validez y la fiabilidad de la propuesta. Se emplea un estudio de caso, con el propósito de evaluar, a partir de los resultados de la aplicación práctica del marco de trabajo, su influencia en la gestión de los proyectos de desarrollo de software de la UCI. Se aplica la técnica de Iadov para determinar el grado de satisfacción de los usuarios potenciales del marco de trabajo propuesto.

A partir de los resultados obtenidos luego de la aplicación del método de evaluación por expertos la propuesta fue satisfactoriamente valorada por los mismos. Se obtuvo un alto grado de satisfacción grupal de 0,78 utilizando la técnica Iadov, lo que demuestra conformidad con los resultados ofrecidos por el procedimiento desarrollado. Se aplicó como caso de estudio a un proyecto en fase terminal, los resultados permitieron evaluar su ejecución y verificar su utilidad para evaluar los impactos en este tipo de proyecto.

Conclusiones

El análisis de experiencias y tendencias nacionales e internacionales posibilitó la identificación y caracterización de los elementos fundamentales de la evaluación de impactos en proyectos de i+D+I. Se constató la necesidad de diseñar un procedimiento para la evaluación del impacto de los proyectos de i+D+I de perfil informático desarrollados en la Universidad de Ciencias Informáticas en el diagnóstico realizado a la DCTI de la UCI. El procedimiento diseñado recopila información relevante para poder ejecutar sus objetivos y fue validado mediante la aplicación de los métodos científicos: criterio de experto, estudio de caso y la técnica de Iadov. La propuesta fue valorada positivamente por los expertos, se constató la validez de la variable dependiente definida en la hipótesis de la investigación y se evidenció un alto nivel de satisfacción desde el punto de vista del usuario respecto a su utilización. La aplicación del procedimiento en un proyecto real demostró la aplicabilidad del mismo para obtener información que permita tomar decisiones en cuanto a los impactos de futuros proyectos que se desarrollen en la UCI.

Referencias

Del Sol Fabregat, L. A., & Tejeda Castañeda, E. (2017). Los métodos teóricos: una necesidad de conocimiento en la investigación científico-pedagógica. EDUMECENTRO. Obtenido de https://www.medigraphic.com/pdfs/edumecentro/ed-2017/ed174u.pdfLinks ]

Ortiz Quistian, C., Tenorio Martínez, D., & Cerda y Meneses, M. (2018). Metodología para la evaluación de proyectos de I+D en el sector público mexicano. Cuenca. Ecuador: Universidad de Cuenca (Ecuador). [ Links ]

Pérez Porto, J., & Gardey, A. (2013). Definición De. Obtenido de https://definicion.de/proyecto-de-investigacion/Links ]

Rodríguez Cardona, M., & Cobas Aranda, D. (11 de 09 de 2014). Metodología de evaluación de impactos de proyectos de investigación. Obtenido de International Nuclear Information System (INIS): https://inis.iaea. org/collection/NCLCollectionStore/_Public/45/078/45078486. pdf. [ Links ]

Ruíz Domínguez, R., Becerra Lois, F., & Pons García, R. (2020). Procedimiento para evaluar impacto de los proyectos de desarrollo local de tipo económico en el territorio. Cienfuegos. Cuba: Revista Científica de la Universidad de Cienfuegos. [ Links ]

Gómez Torres, J., Cruz Díaz, R. O., Páez Moro, M., & González Rodríguez, Y. (2020). Indicaciones metodológicas para la actividad de programas y proyectos de CTI. La Habana: CITMA. [ Links ]

Gómez, M. (2015). Criterios de evaluación de los proyectos de investigación. Retos y excelencia a través de los informes de los evaluadores. Granada: Universidad de Granada. [ Links ]

Recibido: 01 de Septiembre de 2023; Aprobado: 08 de Septiembre de 2023

*Autor para la correspondencia. (dlabanino@uci.cu)

El autor autoriza la distribución y uso de su artículo.

Conceptualización: Dr. C Arturo Orellana García

Curación de datos: Ing. Daysel Labañino Griñan

Análisis formal: Ing. Daysel Labañino Griñan

Investigación: Ing. Daysel Labañino Griñan

Metodología: Ing. Daysel Labañino Griñan

Administración del proyecto: Ing. Daysel Labañino Griñan y Dr. C Arturo Orellana García

Recursos: Dr. C Arturo Orellana García

Supervisión: Dr. C Arturo Orellana García

Validación: Ing. Daysel Labañino Griñan y Dr. C Arturo Orellana García

Visualización: Ing. Daysel Labañino Griñan y Dr. C Arturo Orellana García

Redacción - borrador original: Ing. Daysel Labañino Griñan

Redacción - revisión y edición: Ing. Daysel Labañino Griñan y Dr. C Arturo Orellana García

Creative Commons License