La medición del impacto de los servicios de información: una necesidad y un reto

Lic. Ana Margarita Pérez Fernández1

RESUMEN

La evaluación de las unidades de información es una necesidad y un reto para su constante perfeccionamiento. La evaluación del impacto de las instituciones de información permite medir los resultados de su trabajo desde el punto de vista social. Se expone un conjunto de aspectos teóricos, relacionados la valoración del impacto en esta clase de instituciones; así como las posibilidades reales de su determinación.

Palabras clave: Evaluación, instituciones de información, indicadores, impacto.

ABSTRACT

The evaluation of information units is a need and a challenge for its constant improvement. The evaluation of the impact of the information institutions allows the measurement of the results of its work from the social point of view. A series of theoretical aspects related to the assessment of the impact on this type of institution, as well as the real possibilities of its determination, is exposed.

Key words: Evaluation, information institutions, indicators, impact.

Copyright: © ECIMED. Contribución de acceso abierto, distribuida bajo los términos de la Licencia Creative Commons Reconocimiento-No Comercial-Compartir Igual 2.0, que permite consultar, reproducir, distribuir, comunicar públicamente y utilizar los resultados del trabajo en la práctica, así como todos sus derivados, sin propósitos comerciales y con licencia idéntica, siempre que se cite adecuadamente el autor o los autores y su fuente original.

Cita (Vancouver): Pérez Fernández AM. La medición del impacto de los servicios de información: una necesidad y un reto . Acimed 2007;15(1). Disponible en: http://bvs.sld.cu/revistas/aci/vol15_1_07/aci11107.htm [Consultado: día/mes/año].

En la actual “sociedad de la información”, donde esta última se ha reconoce como un recurso, las organizaciones de información han experimentado un cambio de paradigma, para desempeñarse en forma proactiva en la satisfacción de las necesidades de sus usuarios/clientes. Para lograr este propósito es fundamental el proceso de evaluación, que permite “ establecer una comparación entre los objetivos que se había propuesto la institución objeto de estudio y la ejecución realizada, de manera que pueda determinarse, si se ha producido alguna variación en esta ejecución, y si esto ha ocurrido, si fue en una dirección deseada y hasta que punto se ha comportado así ” ( Rojas Benítez JL . Evaluación de organizaciones, sistemas y ofertas de información. Observaciones no publicadas).

Según Ponjuán Dante , la evaluación es el “ cálculo para calificar y medir el logro y la forma de satisfacer los objetivos propuestos por un determinado sistema o unidad ”.1

Según Rojas Benítez , “ evaluar implica valorar el desenvolvimiento del servicio y su correspondencia con los objetivos que persigue. En ella, se obtienen elementos que reflejan el funcionamiento de dicho servicio y su relación con las expectativas de sus usuarios. Analiza, emite criterios de valor, propone cambios para el mejoramiento ” ( Rojas Benítez JL . Herramientas para la evaluación de los servicios de información en instituciones cubanas. [Tesis para optar por el título de Doctor en Ciencias de la Información]. La Habana: Facultad de Comunicación; 2001. p. 125).

Para evaluar actualmente los servicios, se utilizan indicadores, porque estos “ facilitan el control en el proceso de dirección y sirven como base para la referencia y diálogo entre el personal de la biblioteca, las distintas entidades que contribuyen a la biblioteca y la comunidad de usuarios ”.2

Sobre el uso de los indicadores para este fin, Rojas Benítez plantea:” del conjunto de requisitos necesarios para emprender la tarea de evaluación, uno de los más importantes es la determinación de indicadores…para medir el funcionamiento del sistema de objeto de estudio ” ( Rojas Benítez JL . Herramientas para la evaluación de los servicios de información en instituciones cubanas. [Tesis para optar por el título de Doctor en Ciencias de la Información]. La Habana: Facultad de Comunicación; 2001. p. 125).

Varios autores coinciden en categorizar los niveles de la evaluación para las unidades de información de la siguiente manera:

• Eficacia.
• Costo-eficacia (eficiencia).
• Costo-beneficio (efectividad).
• Impacto.

El nivel en que se evalúa determinará la selección de los indicadores a medir.

Cada nivel tiene un propósito específico, así ( Rojas Benítez JL. Evaluación de organizaciones, sistemas y ofertas de información. Observaciones no publicadas):

• Al nivel de la eficacia, se contempla la evaluación de los servicios y sistemas, o parte de ellos, con respecto a su capacidad de satisfacer a sus usuarios/clientes en relación con sus productos o con el propio servicio.
• El costo-eficacia se relaciona directamente con el funcionamiento interno del servicio, cuyo resultado revelará el costo que implica alcanzar un nivel de eficacia determinado.
• El costo-beneficio relaciona los resultados, salidas, con el uso, mediante el cual se producen los beneficios y con los gastos que ha ocasionado proporcionar este uso y si verdaderamente el costo por mantenerlo se justifica con los beneficios que genera el uso.
• El nivel de impacto se relaciona con los resultados que se obtienen a partir del uso de la información obtenida mediante los servicios o productos.

Se pretende profundizar en el cuarto nivel de evaluación, el impacto, estudiar los aspectos teóricos relacionados con este concepto y analizar su posibilidad de medición.

Para cumplir este objetivo, se parte de algunos conceptos teóricos necesarios; posteriormente, se reflexiona sobre la relación entre beneficios e impacto, y por último, se exponen ciertos elementos relacionados su medición.

El impacto y el porqué de su medición

Ponjuán Dante , define el impacto como: “ fuerza de una situación sobre otra. Indicador utilizado en la especialidad de bibliotecología/ciencia de la información para relacionar el uso de la información con los resultados alcanzados en la práctica social y su influencia en los cambios ulteriores ”.1

Rojas Benítez afirma que el impacto “está determinado por los resultados que se obtienen en la práctica y las transformaciones que pueden producirse como efecto de ese uso” ( Rojas Benítez JL. Herramientas para la evaluación de los servicios de información en instituciones cubanas. [Tesis para optar por el título de Doctor en Ciencias de la Información]. La Habana: Facultad de Comunicación; 2001. p. 125).

En opinión de esta autora, la aparición del concepto de impacto en bibliotecología/ciencia de la información se asocia a la evolución de las maneras de evaluar los resultados de la ciencia y la tecnología. Esto es lógico, sobre todo, si se considera que una dirección fundamental de las salidas del trabajo de las bibliotecas y los centros de información es el apoyo a las investigaciones y la docencia.

Pero, ¿cómo se han medido los resultados en la esfera de la ciencia y la tecnología?

En una primera etapa, resultaba suficiente medir el insumo, es decir, los recursos humanos y financieros dedicados al desarrollo de la ciencia y la tecnología, para conocer su efecto multiplicador en la prosperidad de la sociedad -su origen está en “ La ciencia: frontera sin límites ” un documento elaborado por Vannevar Bush, en 1945, a pedido del presidente Roosevelt. Ese informe dio lugar a la primera generación de políticas de la ciencia que se extendieron de Estados Unidos a otros países en las siguientes décadas, y en él, se sugiere que la ciencia básicamente desencadena avances tecnológicos y éstas, crecimiento económico, etcétera. Este modelo se asocia históricamente a la práctica de medir la ciencia por publicaciones, citaciones, etcétera. Entre los años sesenta y setenta, se añadió a la medición de los insumos, la referida a la oferta científico-tecnológica por medio de los llamados indicadores de producto, los que, en lo fundamental, pusieron el énfasis en la bibliometría y las patentes. La tercera etapa tiene su origen en la década de los años ochenta, a partir de la necesidad de información cuantitativa y cualitativa para formular y evaluar las políticas de innovación. En los años finales de la década del 90, comenzó a cobrar fuerza la búsqueda de una nueva generación de indicadores de impacto para evaluar los resultados de la ciencia y la tecnología; así como un “redescubrimiento” de su dimensión social ( Pérez Lariño MT. Una propuesta de indicadores de ciencia y tecnología para la evaluación del desempeño de los principales generadores de las actividades científicas y tecnológicas. [Tesis presentada en opción al grado de Máster en Ciencia, Tecnología y Sociedad]. La Habana: Instituto Superior del MININT “Eliseo Reyes”; 2001. p. 32-33).

Tanto en los conceptos de impacto, como en el caso de la ciencia y la tecnología, se refiere la práctica social, porque es en ella, donde realmente se puede apreciar lo que es posible alcanzar a partir del uso de los servicios y productos de información, en el caso de la bibliotecología y las ciencias de la información. Este aspecto se incluye entre las variables básicas del modelo de auditoria propuesto por Villardefrancos. Esta autora plantea que: “ El estudio del impacto social de las organizaciones de información permite revisar, supervisar y controlar el cumplimiento de metas sociales a nivel interno y externo de las organizaciones, permite fortalecer la concepción de las organizaciones de información como entes generadores de integración de diferentes grupos, esta integración ocurre, tanto desde el punto de vista social y de la comunidad como, a partir de los intereses temáticos y laborales ” ( Villardefrancos Álvarez MC. Propuesta de un modelo integral para auditar organizaciones de información en Cuba, [Tesis para optar por el título de Doctor en Ciencias de la Información]. La Habana: Facultad de Comunicación;2005. p. 100).

Dicha autora muestra como el impacto social se asocia a los diferentes procesos que componen la gestión de información, aunque concluye que: ” los servicios de información constituyen la vía por la que se proyecta el impacto social de las organizaciones de información, por ende, el acercamiento a lo que se produce o se entrega como servicio y su beneficio económico o social, así como identificar y clasificar los valores que permiten medir los objetivos trazados frente a la comunidad a la que está llamada a atender la organización, cobra un gran valor ” ( Villardefrancos Álvarez MC. Propuesta de un modelo integral para auditar organizaciones de información en Cuba, [Tesis para optar por el título de Doctor en Ciencias de la Información]. La Habana: Facultad de Comunicación; 2005. p. 100).

Esta autora considera que la medición del impacto en bibliotecología/ciencias de la información, presenta ventajas evidentes que pueden denominarse: “efecto demostrativo”, “efecto orientador” y “efecto motivador”. Esta propuesta representa las ventajas que ofrece la medición del impacto en ciencia y tecnología.

El efecto demostrativo está en el hecho de que por medio de la medición del impacto es posible demostrar fehacientemente el resultado de la actividad en la práctica social, que permite, a su vez, demostrar su valor e importancia.

El efecto orientador se relaciona con algo muy importante: la planificación del impacto, que es posible y necesario. Este se relaciona directamente con un estudio de usuarios, que permitirá definir los grupos de usuarios claves hacia los cuales debe dirigirse el esfuerzo, y definir los servicios y productos a ellos destinados con el objetivo de maximizar el impacto.

Sobre la planificación del impacto, el CITMA, en documento emitido al respecto señaló: “ … Se impone entonces afrontar el proceso de planificación del impacto, porque no basta con identificar el impacto alcanzado, sino que resulta imprescindible analizar los impactos potenciales de los resultados (…) trabajar en la dirección a que (…) la obtención del resultado conlleve a la consecución de un impacto ” ( Pérez Lariño MT . Una propuesta de indicadores de ciencia y tecnología para la evaluación del desempeño de los principales generadores de las actividades científicas y tecnológicas. [Tesis presentada en opción al grado de Máster en Ciencia, Tecnología y Sociedad]. La Habana: Instituto Superior del MININT “Eliseo Reyes”; 2001. p. 32-33). Esta afirmación es totalmente aplicable a los servicios de bibliotecología/ciencias de la información.

El efecto motivador se relaciona con las consecuencias que para los trabajadores de la información tiene el hecho de ver el resultado de su trabajo en la práctica social, y el reconocimiento a su labor. Esto, sin dudas, influye positivamente en su capacidad creadora.

Resulta importante para lograr los efectos anteriores materializar la medición del impacto.

Relación beneficios impacto

Una reflexión que la autora cree necesario realizar en esta contribución es la relación entre los beneficios y el impacto.

Beneficio es “ una salida, valor, resultado positivo o eficacia en una operación o actividad que se espera alcanzar o se alcanzó en un plazo de tiempo como resultado de haber efectuado una determinada inversión ”.1

“ Los beneficios de las organizaciones de información resultan del uso de sus productos y servicios, desde la satisfacción de sus usuarios hasta la entrada de nuevos recursos financieros destinados a originar y distribuir nuevas salidas y entradas en forma de gastos y costos ” ( Rojas Benítez JL . Evaluación de organizaciones, sistemas y ofertas de información. Observaciones no publicadas). Se contemplan, tanto los beneficios que reciben los usuarios como los que obtiene su proveedor.

Como puede observarse, tanto el impacto como los beneficios se vinculan con los resultados del uso de los productos y servicios.

La diferencia en cuanto a la manera en que se vinculan, se señala indirectamente en la referencia hecha por Ponjuán Dante sobre la clasificación de las mediciones planteada por Menou, donde se asocian las mediciones a determinados indicadores con alcance específico.2 En la clasificación, se menciona el beneficio que se obtiene al hablar de la medición de los resultados, y se plantea que esta se relaciona con el tiempo ahorrado, el aumento de la productividad, la calidad del trabajo, el avance y la actualización en el trabajo, entre otros.

En los indicadores mencionados, se aprecian evidentes beneficios, pero, si nos ajustamos a las definiciones de impacto, vistas antes, donde se habla de “ influencia en los cambios ulteriores ”, y de “ transformaciones ”, esto no se puede medir con dichos indicadores sino que se necesitarían otros. Por ejemplo, ¿qué implica el tiempo ahorrado?; para medir su impacto, sería necesario determinar qué cambios produjo; análogamente habría que operacionalizar qué consecuencias produjo una mayor productividad: ¿contribuyó esto a resolver un problema social, necesidades concretas de un producto, como la demanda de una determinada población?

Por otra parte, Menou, en su clasificación, plantea que la medición de la relación entre el uso y los resultados obtenidos es la que se refiere al impacto y se analiza desde la perspectiva del proveedor y del usuario del servicio ( Rojas Benítez JL. Evaluación de organizaciones, sistemas y ofertas de información. Observaciones no publicadas).

Es innegable que definir indicadores de impacto es un problema muy complejo, y en la bibliografía disponible, se aprecia que, aún cuando los autores diferencian claramente los conceptos de beneficios e impacto, a la hora de definir los indicadores, se borra un poco la frontera entre ellos.

Todos los impactos positivos son beneficios, aunque no todos los beneficios implican impacto social.

Medición del impacto

Se conoce la complejidad y subjetividad del proceso de evaluación; a pesar de que se han encontrado en la literatura, indicadores operacionalizados que reducen, en gran medida, las dificultades que presenta este proceso.

Sin embargo, con respecto a la medición del impacto, existen dificultades realizar su operacionalización. Es necesario señalar que, a pesar de que se insistió en la búsqueda de bibliografía, los elementos recuperados fueron muy escasos.

Un indicador para medir el impacto, referido por varios autores es la “satisfacción del usuario”. Este, sin embargo, sólo tiene un impacto social desde el punto de vista psicológico, porque determinar si el usuario quedó o no satisfecho, no mide el resultado del uso que éste hizo de la información obtenida con el servicio/producto.

Algo similar pudiera decirse del indicador denominado “ Reconocimiento oportuno de las oportunidades y amenazas ” ( Rojas Benítez JL. Evaluación de organizaciones, sistemas y ofertas de información. Observaciones no publicadas), porque aun cuando este produce un beneficio indiscutible para el usuario, el impacto estaría dado por el resultado obtenido del aprovechamiento de las oportunidades o de la conjura de las amenazas.

En el artículo titulado “ El impacto de la información sobre la calidad de los recursos humanos para la investigación ”, un grupo de autores mexicanos se propone evaluar el impacto a partir de la medición del grado de aprendizaje de las habilidades necesarias para utilizar críticamente la información en un grupo de doctores en ciencia de las facultades de dos universidades mexicanas.3 Para ello, realizan un análisis de la literatura citada en sus tesis, y utilizan como indicador el factor de impacto de las revistas citadas, con la hipótesis de que la comunidad científica utiliza con mayor frecuencia aquellas que presentan un factor de impacto elevado. Estos autores, a pesar del título elegido para su trabajo, declaran que intentaron construir indicadores de calidad de las tesis a partir de la literatura citada. Se observa una tendencia también vista en la bibliografía: hablar sobre impacto y medir calidad.

En opinión de esta autora, el factor de impacto se utiliza en ciencia y tecnología para evaluar la productividad de los científicos, y en las bibliotecas y centros de información, con dos fines: para escoger las revistas a adquirir -o a utilizar para realizar las búsquedas solicitadas- y, en caso de producir alguna revista científica, para evaluar su calidad.

Orozco Silva, en un informe presentado al “ World Library and Information Congress: 70th IFLA General Conference and Council ”, expuso los diferentes servicios de inteligencia empresarial que ofrece el IDICT a la comunidad científica cubana, y sus resultados.4

Esta referencia sirve de base para reflexionar sobre la posible operacionalización de los resultados alcanzados con el fin de medir el impacto (tabla ). La propuesta se queda en la dimensión cualitativa del asunto, al realizar dicotómicamente la medición (sí o no). Pudiera definirse un modo de cálculo, a partir de la asignación de valores, pero esto, dependería del lugar donde se pretenda aplicar, según la importancia de cada indicador y las características particulares de la institución.

Tabla. Servicio de inteligencia. Resultado-indicador de impacto

Servicio	Resultado	Indicador de impacto
Perfiles estratégicos	Decidir con respecto a una negociación	La decisión tomada implicó: Ganancias superiores para la organización.* (sí/no) La aparición de un nuevo mercado prometedor en cuanto a sus    posibilidades. (sí/o) No realizar la negociación por determinarse que no era ventajosa (sí/no)
Estudios de tendencias	Decidir sobre continuar o no en una línea de investigación	La decisión tomada permite: Continuar con la línea de investigación por su pertinencia, actualidad y posibles resultados. (sí/no) Abandonar la línea de investigación y dedicar los esfuerzos y recursos a otra que posibilite desarrollo y ganancias. (sí/no)
Estudios de mercado	Decidir sobre la producción y comercialización de un producto o servicio.	La decisión tomada implicó: Producir y comercializar el producto/servicio con las perspectivas de ganancias que ello representa. (sí/no)
	Decidir sobre invertir o no en un mercado específico.	Se determinaron las posibilidades    reales de ganancias al invertir en    el mercado (sí/no)

         * Se habla de posibilidades o perspectivas de ganancias, sobre la base de que comúnmente
            en los proyectos, se realiza una proyección de las ganancias esperadas.

Por ejemplo, los autores del artículo titulado “ Estudio del impacto de los servicios de información electrónicos en los resultados de la investigación científica ”, publicado por un grupo de autores del Departamento de Biblioteconomía y Documentación, de la Facultad de Humanidades de la Universidad Carlos III de Madrid, proponen evaluar el impacto del uso de los recursos de información disponibles en los servicios de bases de datos de la red de la universidad y los resultados del proceso científico en el ámbito académico de dicha institución, a partir de un análisis comparativo de los resultados obtenidos en las diferentes facultades.5 Como se observa, se intenta medir impacto de la información en los investigadores, esta vez con más éxito.

Para ello, se basan en la información sobre los resultados obtenidos, que ofrece un sistema de información de actividades de investigación desarrollado en esa institución universitaria, así como del control que poseen sobre el acceso a ese servicio, a partir del módulo integrado para la gestión de bases de datos del sistema que actualmente funciona en la biblioteca de la universidad. Estos elementos son muy importantes, porque, aun cuando el artículo, por cuestiones de espacio y objetivos, no aborda las características que deben poseer los indicadores, sí trata sobre la información que se necesita para realizar los cálculos que permite medir el impacto.

Para determinar los resultados del proceso científico, los autores calculan un índice compuesto, Ic, a partir de tres grupos de indicadores:

• Indicadores de difusión de los resultados de investigación:
  • Cantidad de artículos publicados.
  • Cantidad de libros publicados.
• Indicadores de la formación de nuevos científicos:
  • Tesis doctorales defendidas.
• Indicador de contribuciones económicas:
  • Cantidad de patentes registradas.

Por último, a partir de la comparación de dicho índice y el número de accesos a las bases de datos en línea, exponen, a partir del análisis de tablas y gráficos, la relación entre los valores altos en los extremos del proceso, y que prueba el impacto positivo de estos servicios de información.

Esta horma de medición del impacto pudiera ser aplicable a instituciones con características similares, aunque cada una de ellas, debe definir los valores de un factor de ponderación que se utiliza para el cálculo del Ic, que, como se mencionó anteriormente, depende de los objetivos y características de una institución particular.

Hasta el momento, se aprecia la realización de diferentes intentos y propuestas para medir el impacto del trabajo de información en la toma de decisiones, en la investigación y la producción científica. Un aspecto sobre el que no se encontraron propuestas en la bibliografía es la medición del impacto de los servicios de información en la actividad docente.

Al respecto, pudiera valorarse la factibilidad de su medición mediante los siguientes indicadores:

• Actualización anual de la bibliografía complementaria para las asignaturas.
• Influencia en la modificación de los planes de estudio, a partir de cambios detectados en la esfera del conocimiento.

CONCLUSIONES

• El impacto es un beneficio logrado, que es posible medir.
• Es necesario medir el impacto debido a las ventajas que ello ofrece.
• La medición del impacto de los servicios de información es aún un problema abierto, en el que, a pesar de algunos avances, queda mucho por trabajar.
• La operacionalización de los indicadores para medir el impacto dependerá, en muchos casos, del lugar concreto en el que se utilizarán.

REFERENCIAS BIBLIOGRÁFICAS

1. Ponjuán Dante G. Gestión de información en las organizaciones. Principios, conceptos y aplicaciones. Santiago: CECAPI;1998. p. 65.

2. Norma ISO 11620. Información y documentación. Indicadores del trabajo bibliotecario. Ginebra: ISO;1998.

3. Arenas M, Licea de Arenas J, Valles J. El impacto de la información sobre la calidad de los recursos humanos para la investigación. Ciencias de la Información 1998;29(2):17-24.

4. Orozco Silva E. Instituto de Información Científica y Tecnológica: 40 años potenciando el desarrollo social mediante servicios de información. Disponible en: http://www.ifla.org/IV/ifla70/109-s.htm

5. Suárez Balseiro CA, Iribarren Maestro I, Sanz Casado E. Estudio del impacto de los servicios de información electrónicos en los resultados de la investigación científica. 2005. En: Memorias de las 8vas Jornadas Españolas de Documentación. Barcelona: Colegio Oficial de Bibliotecarios Documentalistas de Cataluña;2003.

Recibido: 30 de diciembre del 2006. Aprobado: 9 de enero del 2007.

1Licenciada en Matemática. Investigadora Auxiliar.

Ficha de procesamiento

Términos sugeridos para la indización

Según DeCS1

EVALUACIÓN DE IMPACTO; SERVICIOS DE INFORMACIÓN.
IMPACT EVALUATION; INFORMATION SERVICES.

Según DeCI2

EVALUACIÓN DE LOS SERVICIOS.
SERVICE EVALUATION.

1BIREME. Descriptores en Ciencias de la Salud (DeCS). Sao Paulo: BIREME, 2004.

Disponible en: http://decs.bvs.br/E/homepagee.htm

2Díaz del Campo S. Propuesta de términos para la indización en Ciencias de la Información. Descriptores en Ciencias de la Información (DeCI). Disponible en: http://cis.sld.cu/E/tesauro.pdf