Índice Anterior Siguiente
Acimed 2007; 15(4)

Evaluación y calidad de los servicios de información: una propuesta teórico-metodológica

Lic. Marlén Alarcón Echenique,1 Lic. Loreto Cárdenas Yzquierdo,2 Lic. Margarita Bellas Vilariño3 y Lic. Isabel Santiesteban Gómez4

Resumen

Se presenta un conjunto de aspectos teórico-conceptuales relacionados con la evaluación y la calidad, así como la relación entre ambos términos. Se analizan la visión y la aplicación de estos elementos en la actividad bibliotecaria. Se realiza un primer acercamiento teórico-metodológico con vista a contribuir a su perfeccionamiento.

Palabras clave : Evaluación, calidad, indicadores.

Abstract

A group of theoretical and conceptual aspects related to evaluation and quality, is presented, as well as the relation between these two terms. The view and application of these elements in library activities is analyzed. A first theoretical-methodological approach towards the achievement of perfection is carried out.

Key words : Evaluation, quality, indicators.

Copyright: © ECIMED. Contribución de acceso abierto, distribuida bajo los términos de la Licencia Creative Commons Reconocimiento-No Comercial-Compartir Igual 2.0, que permite consultar, reproducir, distribuir, comunicar públicamente y utilizar los resultados del trabajo en la práctica, así como todos sus derivados, sin propósitos comerciales y con licencia idéntica, siempre que se cite adecuadamente el autor o los autores y su fuente original.

Cita (Vancouver): Alarcón Echenique M, Cárdenas Yzquierdo L, Bellas Vilariño M, Santiesteban Gómez I . Evaluación y calidad de los servicios de información: una propuesta teórico-metodológica. Acimed 2007;15(4). Disponible en: http://bvs.sld.cu/revistas/aci/vol15_4_07/aci07407.htm [Consultado: día/mes/año].

La evaluación es una tema recurrente en la actividad bibliotecaria, que abarca el análisis crítico de todas —o parte— de las actividades y procesos, con la finalidad de determinar la calidad de estas organizaciones, a partir de la validez de los objetivos propuestos y la pertinencia o no de los métodos utilizados, para lo cual se emplean indicadores que facilitan medir cualitativa y cuantitativamente al sistema en su conjunto, ahora con mayor énfasis en la satisfacción del usuario.

Sobre la base de estos preceptos, se realiza una propuesta teórico-metodológica con un conjunto de elementos considerados esenciales para la selección de las variables que facilitan la obtención de la información, así como para identificar los logros, las deficiencias y proyectar —por medio de nuevas estrategias— otras formas para el mejoramiento continuo de la actividad bibliotecaria.

Algunas reflexiones teóricas sobre la evaluación y la calidad

La evaluación tiene como objetivo saber o conocer algo sobre una organización. El Diccionario de la Real Academia Española (1992) define la evaluación como la acción y efecto de evaluar, y a la vez como:

• Señalar el valor de una cosa.
• Estimar, apreciar, calcular el valor de una cosa.

La evaluación devela información referida al funcionamiento de un sistema, de manera que permite tomar decisiones y elaborar estrategias que tengan como finalidad el perfeccionamiento continuo del sistema.

La información resultante de la evaluación puede reunirse en cuatro grandes grupos: las fortalezas, que expresan los valores positivos, las debilidades, consideradas las deficiencias del sistema, las oportunidades y las amenazas externas.

Todo proceso evaluativo implica un programa de ejecución para organizar de forma adecuada las diferentes tareas relacionadas con las etapas principales:

• La descripción del estado actual: se realiza con el objetivo de buscar y compilar los datos con el empleo de métodos y técnicas adecuados.
• El análisis crítico de dicho estado: donde se emite un diagnóstico de las condiciones en que se encuentra aquello que deseamos evaluar con el propósito de determinar si han ocurrido cambios a partir del diseño preestablecido, y en qué dirección.
• La etapa de proposiciones: que permite formular un conjunto de recomendaciones según los resultados obtenidos en la etapa anterior.

La evaluación presenta cuatro niveles, dirigidos a la valoración del sistema desde diferentes posiciones. Definir el alcance de la evaluación es imprescindible porque permite esclarecer si se refiere a la eficacia (aspectos técnicos), a la eficiencia (aspectos económicos, los costos), así como los beneficios (de usuarios y proveedores) y finalmente el impacto (resultados y transformaciones ocurridas como efecto del uso).

Refiriéndose a la definición de evaluación, Núñez Paula expresa que “el proceso de evaluación de un sistema o entidad de información, en las circunstancias que actualmente presenta el desarrollo de los servicios de información, debe ajustarse a los enfoques modernos de trabajo profesional en este campo y, a su vez, debe proponerse encaminar la actividad informativa de la organización hacia la implementación de un sistema integral de trabajo, basado en los nuevos enfoques que han tenido gran impacto en el campo informacional en la década de los años 90, es decir, la aplicación de sistemas de calidad con la consecuente implementación de la gestión de la calidad total, la planificación y comunicación estratégicas, la mercadotecnia y otros de menor alcance internacional, como el enfoque socio-psicológico del servicio de información y bibliotecario, surgido de la experiencia y estudio de valiosos especialistas cubanos”.1

Por su parte, Cañedo Andalia define la evaluación como: “… un proceso de juicio que ejecutan los seres humanos, y que su ejecución debe verse como el examen de un producto o evento en relación con las expectativas (lo que espera el usuario del producto o servicio)”.2

Según Peón , la evaluación se entiende: “…como el establecimiento de un procedimiento permanente de captación y valoración de información que, a su vez, suministra los datos resultantes de esos procesos, para lograr el mejor aprovechamiento posible, eficaz y eficiente de los recursos”.3

Para Lancáster evaluar es: “establecer una comparación entre los objetivos que se propuso la institución objeto de estudio y la ejecución realizada, de manera tal que se pueda determinar si se produjo alguna variación en la ejecución, y si esto ha ocurrido, si fue en una dirección deseada y hasta qué punto se ha comportado así. Esta tarea es de una gran trascendencia porque posibilita determinar en qué medida la unidad de información (en este caso, una biblioteca) es capaz de hacerle frente a las demandas informativas de sus usuarios, identificar las limitaciones y fallas de sus servicios y realizar sugerencias que contribuyan a su mejoramiento”.4

Guinchat y Menou consideran que la tarea de evaluación es “... una investigación que formula su hipótesis y sus objetivos, define los fenómenos que es necesario analizar, agrupa datos por diferentes vías (documentos, observación, medición, entrevistas, etc.) los analiza y deduce de ellos conclusiones”.5

Ponjuán Dante define la evaluación como el “cálculo para calificar y medir el logro y la forma de satisfacer los objetivos propuestos de un determinado sistema o unidad”.6 En esta definición, la autora resalta la importancia de la correspondencia entre los resultados y lo planificado, a partir de los elementos rectores de la organización (políticas, misión, objetivos), matizados por las condiciones del entorno.

Aún cuando las definiciones de estos autores tienen diferentes enfoques, todos coinciden en los fines e importancia de la evaluación; así como en la necesidad de considerar la integralidad y sistematicidad de este proceso.

Sobre estas definiciones, puede inferirse que la evaluación es un enjuiciamiento donde se analizan la eficacia y la eficiencia, un proceso continuo que se formula científicamente, en el cual se analiza la correspondencia entre la misión, visión, objetivos y las metas, a la luz de las oportunidades, amenazas, fortalezas y debilidades, así como los beneficios, el impacto, la necesidad de modificar los objetivos, estrategias, proyectos, acciones, productos y servicios de una organización con el fin de tomar decisiones para su perfeccionamiento.

La evaluación se compone de una cadena de procesos entre los cuales se encuentran:

• Definir los fenómenos a analizar.
• Determinar los niveles e indicadores.
• Recopilar la información.
• Comparar la ejecución con los objetivos.
• Comparar los resultados con las expectativas.
• Valorar la información, determinar las fortalezas, debilidades, oportunidades y amenazas.
• Deducir conclusiones.
• Desarrollar o modificar estrategias y objetivos.
• Perfeccionar la estructura, proyectos, procesos, productos, servicios y la organización en general.

La calidad es una filosofía de vida empresarial y humana. Extendida después de la segunda guerra mundial, ha generado impresionantes resultados en el desarrollo económico, social y hasta cultural. Los principios y la práctica de la gestión de la calidad han evolucionado rápidamente desde la inspección y el control hasta la gestión total de la calidad y excelencia de las organizaciones. Cada etapa se ha caracterizado por un pensamiento propio hasta alcanzar un nivel complejo, amplio, dinámico y sobre todo orientado al cliente.

Hoy, el fenómeno de la calidad puede observarse desde perspectivas muy distintas y complementarias: la calidad del producto, la calidad del proceso, la calidad de los recursos humanos que elaboran el producto, la calidad de las tecnologías, etcétera.

La calidad desde la perspectiva del usuario, se entiende como: "la totalidad de las partes y características de un producto o servicio, que influyen en su habilidad de satisfacer necesidades declaradas o implícitas".7 Esta perspectiva, basada en el usuario como principio y fin de la calidad, es más compleja de lo que a menudo se cree, sobre todo, si se considera su dinámica y la existencia de elementos de las necesidades no revelables con facilidad, cuya atención proporcionaría altos grados de satisfacción en el cliente.

La perspectiva basada en el proceso se concentra en la satisfacción de determinadas especificaciones que responden, a su vez, a exigencias previamente determinadas entre los futuros usuarios del producto o servicio.

La calidad, por tanto, representa a cierto conjunto de propiedades y características de un producto o servicio que repercuten en la capacidad de la biblioteca para satisfacer las necesidades expresadas o implícitas de los usuarios. Es un conjunto relativo, dinámico y cambiante. Pero no solo debe considerarse el servicio o el producto, sino los atributos asociados a ellos: la diligencia y profesionalidad del personal, el entorno, los recursos, etcétera.

El encuentro entre la evaluación y la calidad

Los indicadores son las herramientas para evaluar la calidad y la eficacia de las ofertas, así como para valorar la eficiencia del empleo de los recursos asignados por una biblioteca a su cartera de servicios/productos y las actividades. Para develar lo que ocurre, se deben elegir aquellos que resulten apropiados.

En este sentido, existen un grupo de criterios para la aplicación de indicadores normalizados, entre los que se destacan los recogidos por la Norma ISO 11620:8

• Contenido informativo. Aporta información clarificadora, de modo que sea útil para medir una actividad, identificar los logros conseguidos, localizar problemas o deficiencias para actuar en su remedio.
• Fiabilidad. El indicador debe ser fiable, producir el mismo resultado siempre que se utilice en las mismas circunstancias. El hecho de que un indicador refleje la variabilidad implícita de los datos, por ejemplo, las variaciones estacionales o las fluctuaciones en las actividades de préstamo, no significa que no sea fiable.
• Validez. El indicador debe medir lo que se desea.
• Idoneidad. Debe adecuarse al objetivo para el que se ha formulado. Las unidades y escala deben ser las adecuadas, y las operaciones necesarias para implantar el proceso de medida deben ser compatibles con los procedimientos habituales de la biblioteca.
• Carácter práctico. El indicador deberá utilizar datos que resulten accesibles con un esfuerzo razonable, en términos de tiempo y de grado de capacitación del personal, costos operativos, tiempo y paciencia que se requiere de los usuarios.
• Comparabilidad. Si el indicador se emplea para comparar bibliotecas, debe permitirlo. Esto es así, si una vez considerados los posibles defectos de exactitud, un mismo resultado en dos instituciones significa que el nivel de calidad de ambas es el mismo.

Existen diversos tipos de indicadores entre los que se encuentran aquellos que relacionan inversión y producción, producción y uso, inversión y uso; así como aquellos que relacionan el uso real y potencial, estos últimos referidos al impacto.

Actualmente, la tendencia se dirige hacia la búsqueda de una visión integradora orientada a la satisfacción del usuario. La obtención sistemática de un alto nivel de calidad debe comprenderse como un proceso necesariamente constante y del cual todos los miembros de la entidad son responsables: una actitud activa ante las deficiencias cuya intención debe ser prevenir o solucionar, sin dilación y con transparencia.

La combinación acertada de los elementos abordados posibilita:

• Establecer mejoras en los flujos informativos de la biblioteca.
• Perfeccionar el conocimiento de los usuarios.
• Contribuir al mejoramiento de la imagen de la biblioteca.
• Elevar la calidad de sus ofertas.
• Mejorar las relaciones con los usuarios.
• Reajustar las inversiones en recursos y perfeccionarlas.
• Mejorar la integración del personal.

Propuesta teórico-metodológica

Variables:

Sobre la base de la relación que existe entre los principios de la evaluación, la calidad y la gestión de información se consideró oportuno abordar, para esta propuesta teórico-metodológica, las dimensiones de la gestión de información: el ambiente, los procesos, las personas, la tecnología, la infraestructura y los productos/servicios.

El ambiente (interno y externo). Está integrado por diversos componentes (entidades y procesos) susceptibles de medirse. La información resultante puede contribuir a la toma de decisiones. En el ambiente, pudieran considerarse como elementos objeto de evaluación:

Ambiente interno:

• Condiciones en que realizan el trabajo.
• Mecanismos de comunicación.
• Políticas de trabajo.
• Recursos tecnológicos.

Ambiente externo:

• Estudios de mercado, segmentación, prioridades.
• Información sobre oportunidades económicas u otras.
• Convenios con otras instituciones.
• Información sobre los proveedores.
• Información sobre las publicaciones y los medios.

Los procesos. Son los componentes del sistema que se articulan lógicamente para transformar las entradas en resultados, con el empleo de recursos, para apoyar los objetivos de la organización. En este sentido, pudieran considerarse entre los elementos a evaluar:

• Los datos e información sobre los usuarios.
• El entrenamiento del personal que ejecuta la tarea.
• El manejo de las materias primas.
• La elaboración de ofertas.
• Las respuestas a solicitudes.
• La existencia de manuales de procedimientos.
• El tiempo de entrega de la información.
• La participación del usuario (elaboración y acceso) en relación con la oferta.
• La automatización de los procesos.

Las personas. Se ocupan de ejecutar las tareas. Su comunicación constante es esencial. Como elementos para la evaluación pudieran considerarse:

a) Entre los empleados

• Las habilidades para el uso de las tecnologías. El trato a los usuarios.
• La sensibilidad hacia las necesidades de información de los usuarios.
• La curiosidad intelectual.
• La creatividad.
• El respeto y ética.
• El rigor y precisión.
• La capacidad para trabajar en equipos.
• Las habilidades para la selección y manipulación de la información.
• La capacidad de comunicación.

b) Entre los usuarios

• Las habilidades para la descripción de las necesidades y la recuperación de información.
• El nivel de satisfacción con respecto a las ofertas.
• Las habilidades para el manejo de la información.
• El conocimiento de las ofertas.

Las ofertas (productos/servicios). Constituyen la salida del sistema y deben corresponderse con los objetivos, misión, metas..., ajustados a las necesidades reales de los usuarios. Por tanto, pudieran contemplarse para la evaluación:

• La frecuencia de uso del producto/servicio.
• La reducción del ruido.
• La flexibilidad.
• La calidad.
• El empleo adecuado del tiempo.
• El mejor uso de los recursos, la reducción de los costos.

La infraestructura. Merecen especial atención en la evaluación:

• La inversión en recursos de información.
• La inversión en recursos humanos.
• La inversión en recursos tecnológicos.
• El número de puestos de lectura destinados a usuarios.
• Las condiciones del área de trabajo.
• Las condiciones del área de atención a los usuarios.
• El alcance temático y la cantidad de ejemplares por título disponibles.
• Las tareas (acciones y operaciones) en que se descompone la actividad.
• El tiempo destinado a la actividad.

La tecnología. La incorporación de las tecnologías a la actividad bibliotecaria se manifiesta de forma gradual; por tanto, ocurre que —cada vez más— las organizaciones deben coexistir con nuevos y antiguos sistemas. En este punto, puede valorarse:

• La automatización de procesos y tareas.
• La disponibilidad de equipamiento.
• El dominio de los nuevos recursos informativos
• La seguridad informática.
• Las capacidades y potencialidades para el manejo de información digital.

Fuentes

a) Documentales:

• Referidas a estrategias o políticas.
• Referidas a la planificación (planes o programas).
• Organizativas.

b) No documentales:

• Personales (directivos, expertos, usuarios del estudio).
• Actividades (consejos de dirección, reuniones de trabajo, eventos).

c) Técnicas:

• Análisis documental.
• Observación directa y participante.
• Entrevista.
• Sociométricas, para el trabajo en grupos.
• Informétricas, para el procesamiento de información obtenida por las técnicas anteriores.

 

Referencias bibliográficas

1. Núñez Paula I. ¿Cómo evaluar un servicio de alto valor agregado y ajuste a la medida? Primera parte. Ciencias de la Información. 1999;(4):13-26.
2. Cañedo Andalia R. Elementos conceptuales útiles para la implementación de los sistemas de calidad. La Habana: Editorial Ciencias Médicas. 1997. Disponible en: http://bvs.sld.cu/revista s /aci/vol5_s_97/supsu197.htm [Consultado: 3 de enero de 2007].
3. Peón JL. Evaluación de los procesos documentales. México DF: UNAM. 1995.
4. Lancaster FW. If you want to evaluate your library services. 2 ed. Londres: Library Association. 1993.
5. Menou MJ. Indicadores para la evaluación del impacto de la información en el desarrollo. Montevideo: Centro Internacional de Investigación para el Desarrollo. Oficina Regional para América Latina y el Caribe . 1993.
6. Ponjuán, G. Gestión de información en las organizaciones. Principios, conceptos y aplicaciones. Santiago: Universidad Católica de Chile. 1998.
7. Pinto Molina M. Gestión de calidad en documentación. Granada: Universidad de Granada. Facultad de Documentación. 1998. Disponible en: http://www.dialnet.uniriga.es/se r vlet/autor?código.html . [Consultado: 14 de enero de 2007].
8. Instituto Politécnico Nacional. Coordinación General de Bibliotecas y Servicios de Información. Norma ISO 11620: 1998 (e). Información y documentación  - Indicadores de desempeño para bibliotecas. Disponible en: http: / /azul.bnct.ipn.mx/iv_aniv/norma_iso_11620.htm [consultado: 14 de enero de 2007].

Recibido: 8 de febrero de 2007. Aprobado: 13 de febrero de 2007.
Lic. Loreto Cárdenas Yzquierdo . Departamento Metodológico. Biblioteca Nacional "José Martí". Ave. Independencia y 20 de Mayo, Plaza de la Revolución. Ciudad de La Habana, Cuba. Correo electrónico: [e-mail]

1Licenciada en Bibliotecología y Ciencias de la Información. Centro de Estudios sobre la Juventud.

2Licenciada en Bibliotecología y Ciencias de la Información. Departamento Metodológico. Biblioteca Nacional "José Martí".

3Licenciada en Bibliotecología y Ciencias de la Información. Presidenta de la Asociación Cubana de Bibliotecarios (ASCUBI). Departamento Metodológico. Biblioteca Nacional "José Martí".

4Licenciada en Información Científica y Técnica y Bibliotecología. Departamento Desarrollo de Colecciones. Instituto de Documentación e Información Científica y Tecnológica (IDICT).

Ficha de procesamiento

Términos sugeridos para la indización

Según DeCs1

EVALUACIÓN; SERVICIOS DE INFORMACIÓN.
EVALUATION; INFORMATION SERVICES.

Según DeCI2

EVALUACIÓN; EVALUACIÓN DE LA CALIDAD; EVALUACIÓN DE LOS SERVICIOS.
EVALUATION; QUALITY EVALUATION; SERVICES EVALUATION.

1BIREME. Descriptores en Ciencias de la Salud (DeCS). Sao Paulo: BIREME, 2004.

Disponible en: http://decs.bvs.br/E/homepagee.htm

2Díaz del Campo S. Propuesta de términos para la indización en Ciencias de la Información. Descriptores en Ciencias de la Información (DeCI). Disponible en: http://cis.sld.cu/E/tesauro.pdf

Índice Anterior Siguiente