Decisión multicriterio para la evaluación y selección de proyectos de ciencia e innovación

Dra. Anays Más Basnuevo,^I Lic. Lázaro Ramos Morales,^II Dr. Fernando González Pérez,^III MSc. Manuel Piloto Farrucha,^I MSc. Mercedes Sánchez Sánchez,^I MSc. Eduardo Orozco Silva^I

I Consultoría BioMundi. Instituto de Información Científica y Tecnológica (IDICT). Ministerio de Ciencia, Tecnología y Medio Ambiente. La Habana, Cuba.
^II Grupo Empresarial InnoMAX. Ministerio de Ciencia, Tecnología y Medio Ambiente (CITMA). La Habana, Cuba.
^III Jubilado. Ministerio de Educación Superior. La Habana, Cuba.

RESUMEN

Los resultados obtenidos dentro del Sistema de Ciencia e Innovación cubano, desde el año 1995, requieren de tecnologías que contribuyan al proceso de toma de decisiones en la selección de los proyectos a ejecutar. Con este objetivo se diseñó un procedimiento para la evaluación y selección de proyectos de ciencia e innovación, ajustable a cualquier organización en el país. Se usaron herramientas de análisis cualitativo y cuantitativo de información y aplicaciones informáticas, para el diseño de indicadores, la determinación de sus pesos y la evaluación, y se estableció una prioridad para la decisión de seleccionar unos proyectos entre otros. Se garantiza además, un mecanismo de retroalimentación para la mejora del procedimiento. Se concluye que la visión integradora del procedimiento propuesto debe mejorar la efectividad de la gestión de proyectos dentro de las organizaciones y de la toma de decisiones sobre qué proyectos seleccionar para su financiamiento.

The results obtained by the Cuban Science and Innovation System since 1995 require technologies supporting decision making in the selection of the projects to be executed. To this end, a procedure was designed for the evaluation and selection of science and innovation projects, adjustable to any organization in the country. Qualitative and quantitative information analysis tools and information applications were used to design indicators and to determine their weight and evaluation. Priorities were set for the decision to select certain projects and not others. A feedback mechanism to improve the procedure is also ensured. It is concluded that an integrated outlook on the procedure proposed should improve the effectiveness of project management in organizations, as well as the process of decision making on which projects to select for funding.

Key words: multicriteria analysis, evaluation and selection of science and innovation projects.

INTRODUCCIÓN

Con el surgimiento, en 1995, del Sistema de Ciencia e Innovación Tecnológica (SCIT) en Cuba, se estructuraron los procesos de organización, financiamiento y control de los programas y proyectos, en correspondencia con las prioridades establecidas, monitorizadas y actualizadas periódicamente por el Ministerio de Ciencia, Tecnología y Medio Ambiente (CITMA). Se promovieron, además, las investigaciones a ciclo completo.

Los diferentes organismos de la Administración Central del Estado contextualizaron la legislación existente en el país en relación con la elaboración, la presentación y la gestión de proyectos, y establecieron la infraestructura necesaria para acometer lo establecido por el SCIT. Fue en este marco que surgió la necesidad de elaborar un procedimiento para la evaluación y selección de proyectos de ciencia e innovación.

A veces es necesario comparar proyectos entre sí atendiendo a criterios cualitativos, y en la mayoría de los casos la decisión deberá fundamentarse en varios de esos criterios o en una combina­ción de ambos tipos (cualitativos y cuantitativos). Aquí es donde juegan su rol los métodos multicriterio, que se clasifican en:

a) Métodos de jerarquización multicriterio, que permiten un ordenamiento estructural y, por tanto, el orden de la prioridad de las decisiones.

b) Métodos de agregación de criterios, que permiten obtener una partición de los proyectos más probables del conjunto de proyectos dado.

Cuando se van a aplicar los métodos multicriterio de evaluación, primero se definen los criterios a aplicar para esta; luego se asignarán ponderaciones a los diferentes criterios, de acuerdo con su importancia para la toma de la decisión, y se elegirá una escala de calificación para valorar los distintos proyectos en relación con cada criterio. Estos pasos previos son comunes a la aplicación de ambos tipos de métodos multicriterio. Uno de los métodos más apropiados para decidir qué proyectos financiar es la utilización de herramientas multicriteriales del tipo a).

PROCEDIMIENTO PARA LA EVALUACIÓN Y SELECCIÓN DE PROYECTOS DE CIENCIA E INNOVACIÓN

Se consideró el enfoque de procesos de la norma ISO 9000-2008, así como la observación participante de los autores durante la ejecución de 15 proyectos, la prestación de servicios para su elaboración y gestión, la realización de cursos y el desarrollo de talleres para la formación de capital humano en la temática.

Dentro del procedimiento⁶ se propuso el uso de herramientas y técnicas de análisis cualitativo de información como: la tormenta de ideas, el grupo de expertos, la matriz de Richman^7,8 y el método de Saaty⁹ en su forma simplificada. Además de las aplicaciones informáticas como: Microsoft Office Visio, Propone y Microsoft Excel; y de la moda para la determinación del valor con una mayor frecuencia en una distribución de datos.

La aplicación del procedimiento está sujeta a la existencia de los principios siguientes:

2. Cooperación entre las partes: a partir de una identificación de productos y servicios de información propios, se coopera para contribuir al incremento de su valor de uso.

3. Socialización de la información: se usan los espacios establecidos para socializar la información pertinente para los procesos de: elaboración, presentación, evaluación y selección de proyectos de ciencia e innovación.

El procedimiento consta de ocho etapas. Estas se describen a continuación:

1. Revisión y análisis de la documentación descriptiva del flujo de trabajo actual.

Se revisa la estructura de la organización sujeta al análisis, en cuanto a:

• Órgano científico y consultor.
]]> Órgano que toma decisiones.
• Grupos de expertos y área de experticia.
• Flujo de trabajo para la elaboración, presentación, selección y ejecución, de los proyectos de ciencia e innovación con la correspondiente designación de responsabilidades y autoridades.
• Tipos de proyectos que puede presentar.
• Manera de ejecutar el financiamiento a los proyectos.
• Acciones desarrolladas con el fin de mejorar la toma de la decisión en relación con el financiamiento de los proyectos de ciencia e innovación.
• Identificación de las dificultades y deficiencias que aún existen en el proceso de gestión de información para los proyectos.

2. Gestión de la información y de los conocimientos.

]]> Si durante el intercambio con los miembros de la organización, aparecen necesidades no percibidas anteriormente por ellos, relacionadas con el proceso de gestión de información efectiva en función de los procesos de elaboración, presentación, selección y ejecución de proyectos de ciencia e innovación, se rediseña el flujo de estos procesos con acciones concretas de acercamiento entre la infraestructura para la gestión de la información existente y los órganos responsabilizados y autorizados para efectuar la gestión de proyectos dentro de la organización.

3. Selección del grupo de expertos.

Un grupo de expertos, a través de una tormenta de ideas, estableció un conjunto de indicadores que responden a la legislación vigente en el país y en el sector en materia de ciencia e innovación.

Como se basa en la opinión de los expertos, es importante una adecuada selección de estos, independientemente del cargo de dirección que ocupen.

4. Tamizado y jerarquización de los indicadores.

En la tabla 1 preparación para el uso de la Matriz de Richman se muestra el conjunto de indicadores que seleccionó el grupo expertos. Como se observa, se establecen valores de 0, 1, 2, 3 y 4 para cada indicador con su significado correspondiente. Así, el indicador 1 tendrá valor 4 solo si es «muy bueno» en los elementos que seleccionó el grupo de expertos como representativos de la actividad con los proyectos de ciencia e innovación. Se basa en la opinión de los expertos antes seleccionados.

 

 

5. Asignación de los pesos a los indicadores.

Se toma como base el método de jerarquía y prioridades de Saaty, conocido también como Expert Choice. Se trata de un procedimiento de comparación por pares de los criterios que parte de una matriz cuadrada en la cual el número de filas y columnas está definido por el número de criterios a ponderar. Así se establece una matriz de comparación entre pares de criterios, comparando la importancia de cada uno de ellos con los demás. Posteriormente se establece el eigenvector principal, el cual establece los pesos (wj) que a su vez proporciona una medida cuantitativa de la consistencia de los juicios de valor entre pares de factores.¹⁰

En primer lugar se determina la importancia relativa de la variable de cada fila en relación con la variable de su columna correspondiente. Entonces es preciso, primero, completar toda la matriz introduciendo en el triángulo superior derecho el inverso del valor de la celdilla correspondiente del triángulo inferior izquierdo. Luego, es preciso sumar cada columna para obtener un marginal de columna. A continuación, se genera una matriz nueva mediante la división de cada celdilla entre el marginal de su columna. Por último, se calcula la media de los pesos para cada línea.

Esto puede hacerse con la ayuda de la aplicación Propone,¹¹ pero también con el software IDRISI,¹² en el módulo Weight.Si se hace con el primero, se compara la predominancia de un indicador con respecto a cada uno de los otros. La escala de medida que se emplea en este método y que estima el coeficiente aij, surgió de 28 escalas alternativas que se ensayaron.¹³

De esta manera:

]]> aij vale 1, cuando el criterio i, al compararlo con j, es igualmente importante.


• aij vale 3, cuando el criterio i, al compararlo con j, es ligeramente más importante (1/3 ligeramente menos importante).
  
  
• aij vale 5, cuando el criterio i, al compararlo con j, es notablemente más importante (1/5 notablemente menos importante).
  
  
• aij vale 7, cuando el criterio i, al compararlo con j, es demostrablemente más importante (1/7 demostrablemente menos importante). ]]>
  
• aij vale 9, cuando el criterio i, al compararlo con j, es absolutamente más importante (1/9 absolutamente menos importante).

Las posiciones intermedias (2, 4, 6 y 8) se utilizan cuando se logran diferenciar con mayor exactitud las prevalencias de un indicador sobre otro, y estos son muchos.

Con el PROPONE se aligera la aplicación del método de Saaty, ya que la comparación se realiza en pares, de uno contra todos (Fig.) y se selecciona el valor al dar un clic en el lugar donde este se muestra. Automáticamente aparece el resultado de la acción en la entrada del valor, y se acepta. Sucesivamente, va comparándose el primer indicador con el resto hasta el número total de estos, previamente definido. Al concluir, la aplicación informa que terminó los cálculos y le pide que salve los resultados.

 

 

La salida principal de la aplicación PROPONE es el peso de los indicadores, que se usa, más adelante, para la calificación de estos y el completamiento consecuente de la matriz de Richman.

6. Calificación de los indicadores.

En esta etapa participa un grupo de expertos formado por miembros de los diferentes órganos que deciden dentro de la organización, cuya composición debe ser diferente si es viable en función de la estructura, cantidad de empleados y complejidad de la organización al que tuvo el primero que participó en la selección, el tamizado, la jerarquización y la asignación de los pesos.

]]> Los expertos poseen la información en relación con la descripción del rango de valores (de 0 a 4) para cada indicador. Esto les permite poder asignar el valor que expone cada proyecto y situarlo en la columna «Valor», mientras que los pesos resultantes del uso de la aplicación PROPONE, se ubican en la columna «Peso».

Como son varios los expertos que evalúan un proyecto, se determina la moda (valor con una mayor frecuencia) de sus opiniones por cada indicador. Se sugiere crear una plantilla de trabajo en Excel, que favorezca la organización del trabajo en cuanto a la valoración de cada experto por cada indicador de cada proyecto.

Se procede a la calificación de los indicadores establecidos en el proyecto de análisis con la multiplicación del peso por el valor con una mayor frecuencia (moda). La calificación (Ct) es el resultado de la suma de las calificaciones de los indicadores por proyecto. De esta manera, según la cantidad de proyectos que se evalúen se obtendrán diferentes calificaciones totales (tabla 2).

 

7. Establecimiento de la jerarquía de los proyectos.

Las calificaciones que obtiene cada proyecto se ordenan de manera descendente por el órgano responsabilizado con la gestión de proyectos y se entregan al órgano que decide el otorgamiento del financiamiento.

8. Retroalimentación.

La retroalimentación al órgano que ejerce la función en relación con la gestión de proyectos dentro de la organización, se considera una vía para el mejoramiento del presente procedimiento.

CONSIDERACIONES FINALES

La integración en este procedimiento de herramientas de análisis cualitativo y cuantitativo de información con aplicaciones informáticas para los procesos de elaboración, presentación y evaluación de proyectos de ciencia e innovación, debe mejorar la efectividad de estos dentro de las organizaciones y de la toma de decisiones sobre qué proyectos seleccionar para su financiamiento.

REFERENCIAS BIBLIOGRÁFICAS

1. Herramientas para resolución de problemas [citado 22 de diciembre de 2013]. Disponible en: http://www.euskalit.net/nueva/images/stories/documentos/folleto4.pdf

2. Análisis multicriterio. ¿Por qué utilizar esta herramienta en evaluación? [citado 20 de diciembre de 2013]. Disponible en: http://ec.europa.eu/europeaid/evaluation/methodology/examples/too_cri_res_es.pdf

3. Comisión Europea. Guia del análisis costes-beneficios de los proyectos de inversión; 2003 [citado 16 de noviembre de 2013]. Disponible en: http://ec.europa.eu/regional_policy/sources/docgener/guides/cost/guide02_es.pdf

4. Roche H, Vejo C. Métodos cuantitativos aplicados a la administración. Análisis multicriterio para la toma de decisiones, 2005 [citado 16 de noviembre de 2013]. Disponible en: http://www.ccee.edu.uy/ensenian/catmetad/material/MdA-Scoring-AHP.pdf

5. Cascajo R. Metodología de evaluación de efectos económicos, sociales y ambientales de proyectos de transporte guiado en ciudades; 2004 [citado 17 de noviembre de 2013]. Disponible en: http://oa.upm.es/1926/1/ROCIO_CASCAJO_JIMENEZ.pdf

6. Orozco E, Fleitas IE, Valdés M, Sánchez M, Maynegra R, Sánchez S. Manual de procedimientos de los servicios y productos de inteligencia empresarial de la Consultoría Biomundi. Versión 3.0. La Habana: Consultoría Biomundi/IDICT; 2007.

7. Ramos L. Breve presentación del método Easy-Choice de jerarquización. La Habana: 2008.

8. Ramos L. Análisis de la cartera de productos y servicios de una empresa de servicios de ingeniería. La Habana: 2008.

9. Ramírez L. El método de jerarquías analíticas de Saaty en la ponderación de variables. Aplicación al nivel de mortalidad y morbilidad en la provincia del Chaco. Universidad Nacional del Nordeste Argentina. Comunicaciones Científicas y Tecnológicas; 2004.

10. Saaty TL. The analytic hierarchy process: planning, priority setting, resources allocation. EE.UU.; McGraw Hill; 1980.

11. Fiandor HF. PROPONE. GECYT; 2001.

12. Clark Labs. Geographic analysis and image processing software. Worcester, EE.UU.: IDRISI version 14.0 Kilimanjaro; 2003.

13. Barba RS, Pomerol JC. Decisiones multicriterio. Fundamentos teóricos y utilización práctica. Madrid: Ed. Universidad de Alcalá de Henares, 1997. p. 113.

Recibido: 3 de julio de 2013. ]]> Aprobado: 12 de marzo de 2014.

Dra. Anays Más Basnuevo: Consultoría BioMundi. Instituto de Información Científica y Tecnológica (IDICT). Ministerio de Ciencia, Tecnología y Medio Ambiente. La Habana, Cuba. Correo electrónico: anays@biomundi.inf.cu