Criterios e indicadores para evaluar las bibliotecas digitales

MsC. Zulia Ramírez Céspedes1

Resumen

Se abordan los conceptos de biblioteca digital, biblioteca tradicional, biblioteca electrónica, biblioteca híbrida y biblioteca virtual. Se valora un grupo de propuestas, aparecidas en la literatura, para evaluar las bibliotecas digitales y se sistematiza un conjunto de criterios e indicadores para evaluar esta clase de entidades. Los criterios propuestos son: identidad, actualización, accesibilidad, arquitectura de información, servicios de información, colecciones, contenido, diseño de interfase, posicionamiento, sistema de búsqueda y recuperación y usabilidad.

Palabras clave: Bibliotecas digitales, evaluación criterios e indicadores.

Abstract

The concepts of digital library, traditional library, electronic library, hybrid library and virtual library are analyzed. A group of proposals found in literature to evaluate the digital libraries is considered, as well as an assembly of criteria and indicators to evaluate this type of entities. The proposed criteria are: identity, updating, accessibility, information architecture, information services, collections, content, design of interface, positioning, system of search and recovery, usability.

Key words: Digital libraries, evaluation criteria, indicators.

Copyright: © ECIMED. Contribución de acceso abierto, distribuida bajo los términos de la Licencia Creative Commons Reconocimiento-No Comercial-Compartir Igual 2.0, que permite consultar, reproducir, distribuir, comunicar públicamente y utilizar los resultados del trabajo en la práctica, así como todos sus derivados, sin propósitos comerciales y con licencia idéntica, siempre que se cite adecuadamente el autor o los autores y su fuente original.

Cita (Vancouver): Ramírez Céspedes Z. Criterios e indicadores para evaluar las bibliotecas digitales . Acimed 2006;14 (6). Disponible en: http://bvs.sld.cu/revistas/aci/vol14_6_06/aci04606.htm [Consultado: día/mes/año].

Las potencialidades que ofrece Internet, desde la comunicación hasta de acceso a la información, sin olvidar las facilidades para desarrollar el comercio, se han modelado hacia el interior de las organizaciones, con el fin de perfeccionar los procesos necesarios para la gestión de la información y la comunicación.

Los sistemas de información de las organizaciones se transformaron de estáticos y monótonos a dinámicos, y han adquirido un mayor protagonismo como resultado de las facilidades que brinda el trabajo en red.

Las bibliotecas digitales se han convertido, desde la década de los años 90´, en el paradigma reiterado de los sistemas y servicios bibliotecarios, en virtud del cual se han desarrollado múltiples iniciativas, diversos productos y servicios digitales, así como diversos consorcios de colaboración con el fin de reutilizar y compartir el conocimiento.

La implementación de este tipo de sistema de información es sumamente compleja, debido a que es necesario un conjunto de requerimientos, la mayor parte de los cuales se encuentran estrechamente relacionados o se desprenden de las tecnologías de información y comunicación. Entre los más comunes se destacan:

• La implementación de un sistema de bases de datos, soportado en una plataforma abierta con estándares que permiten su interoperabilidad con otros sistemas.
• El desarrollo de una interfaz gráfica amigable con la que los procesos internos se conviertan en transparentes para el usuario.
• La creación de un sistema de seguridad que permita mantener la integridad de los recursos y servicios.

Existen variados modelos -metodologías, guías de pasos, tutoriales, etc.- para diseñar e implementar servicios y productos en ambiente digital o para el Web. La mayor parte se base en las propuestas de la arquitectura de la información y la usabilidad, que comprende pasos que van desde el estudio de la comunidad de usuarios hasta la implementación tecnológica y evaluación, sin dejar a un lado, la organización de la información y el diseño gráfico y visual de la interfase.

Sin embargo, las propuestas de evaluación no son muy abundantes en este campo. Numerosas investigaciones y esfuerzos prácticos se realizan, pero la evaluación en muy escasas ocasiones forma parte de ellos. Según Saracevic y Covi, en la práctica, la comunidad se concentra en construir y mantener los servicios ofrecidos a los usuarios, por lo que las aproximaciones hechas, tienen poco de investigación.1

Esto puede ser el resultado del vertiginoso desarrollo de la tecnología, que sirve como infraestructura a las bibliotecas digitales y que impone una gran rapidez al sistema, y no deja tiempo y lugar a la evaluación. O tal vez, el propio carácter descentralizado y diverso de la red, que permite en la mayoría de los casos, tener usuarios virtuales, físicamente desconocidos y difíciles de involucrar.

Una cuestión no menos importante a valorar en este caso, es qué se entiende por biblioteca digital, su alcance y sus objetivos.

No obstante, el desarrollo de las bibliotecas digitales, no son una nueva esfera de actuación para el profesional de la información y los modelos de evaluación no constituyen una aproximación válida sino además, necesaria.

La presente contribución intenta sistematizar un conjunto de indicadores para evaluar la efectividad de las bibliotecas digitales.

A pesar de que una completa evaluación debe considerar los costos y beneficios,2 no se tratarán los indicadores de eficiencia, debido a que la presente propuesta se enfoca fundamentalmente hacia la organización de la información dentro en los sistemas, las posibilidades y facilidades de interacción del usuario con este y la satisfacción de sus necesidades de información.

Biblioteca digital

Una biblioteca es un sistema que selecciona, adquiere, organiza, representa, almacena y distribuye información para una comunidad de usuarios, con independencia del medio que soporte dichos procesos y la interfase por medio de la cual interactúe el usuario con el sistema.

Las bibliotecas pueden definirse actualmente según el uso que hacen de las tecnologías de información y comunicación para desarrollar los procesos, aunque existe mucha ambigüedad en cuanto al uso de los términos; así como a los límites existentes entre cada una de ellas. De cualquier manera, esta tipología incluye desde las bibliotecas que no emplean las tecnologías de información y comunicación hasta las que realizan cada uno de sus procesos en ambiente digital.

Básicamente, existen las siguientes definiciones:

• Biblioteca tradicional
• Biblioteca electrónica
• Biblioteca híbrida
• Biblioteca virtual
• Biblioteca digital

La definición de biblioteca tradicional o clásica como su nombre indica, se reserva a las bibliotecas que realizan sus procesos sin el empleo, o con muy poco empleo, de las tecnologías de información y comunicación. Se distinguen por poseer los contenidos en soporte papel y el acceso ocurre mediante referencias bibliográficas contenidas en los catálogos. Estas bibliotecas son las menos, la mayoría emplea herramientas tecnológicas en diversos grados para ejecutar algunos o todos sus procesos.

Con la definición de biblioteca electrónica, comienzan los problemas de ambigüedad, porque para muchos, toda biblioteca que, en alguna medida, emplee las tecnologías, puede considerarse una biblioteca electrónica.

Según Pérez, la biblioteca electrónica sería aquella que permite acceder a bancos de información en formato electrónico.3 Este tipo de bibliotecas incluiría también los catálogos automatizados de bibliotecas tradicionales. La biblioteca electrónica intentaría entonces, reproducir la producción impresa pero con un medio diferente del soporte papel.

Sin embargo, Ortiz Repiso y Moscoso plantean que la biblioteca electrónica hace referencia a un concepto de biblioteca todavía asociado a la noción de un espacio físico, pero desde el cual los usuarios pueden acceder a recursos impresos y digitales, si bien no de una forma integrada. Estos recursos se seleccionan, adquieren y procesan con el fin de que recuperarlos por medio de sistemas informáticos, de una forma parecida a como se hace con los recursos tradicionales.4

Según esta última definición, los términos biblioteca electrónica o automatizada pueden emplearse indistintamente.

Al parecer, las bibliotecas electrónicas tienen algo que las distingue de las tradicionales, y es la automatización del aparato de búsqueda de información, el catálogo; mientras que los recursos de información pueden estar tanto en formato digital como impreso, con predominio de este último.

No muy lejos de esta definición, se encuentra la de Biblioteca híbrida, término que muchos autores emplean para identificar aquella biblioteca que está en un periodo de transición hacia la biblioteca digital. Es decir, un estadio intermedio entre la biblioteca tradicional y la biblioteca virtual, donde coexisten ambos formatos, y por lo tanto pueden existir servicios tradicionales y servicios en ambiente digital.

Como se observa, apenas se pueden determinar las diferencias entre las definiciones de biblioteca electrónica y biblioteca híbrida. Bajo ambos términos, pueden encontrarse un mismo tipo de biblioteca, aunque la híbrida apunte más a la digitalización.

Algo similar sucede con los adjetivos virtual y digital, los cuales se utilizan de formas diversas como por ejemplo:

• Biblioteca digital y virtual constituyen un mismo fenómeno: conjunto organizado de recursos y servicios de información en ambiente digital, electrónico o virtual.
• Biblioteca digital como un conjunto organizado de documentos digitalizados (documentos que tienen un original en papel y que por medio de un proceso de escaneo se llevan a formato digital), y biblioteca virtual como una colección de recursos Web.
• Biblioteca digital como un conjunto de servicios que brindan acceso a la información en formato digital, y biblioteca virtual como aquella que por medio de la realidad virtual y la inteligencia artificial intenta modelar un ambiente similar al existente en una biblioteca tradicional.

Si se parte de analizar el significado semántico de ambos términos, lo digital es aquello que se representa por medio del sistema digital binario de ceros y unos, mientras lo virtual es algo que tiene existencia aparente y no real, es una modelación de la realidad a con el auxilio de las técnicas de la inteligencia artificial. De lo cual, se infiere que todo lo virtual es digital, pero no todo lo digital es virtual.

En este caso, las diferencias se encuentran básicamente en la interfase con la que interactúa el usuario y no en los servicios, el formato de los documentos, y en la organización de estos.

Según Urra, la biblioteca digital es una biblioteca en la que una proporción significativa de los recursos de información se encuentran disponibles en formato digital (pdf, doc, etc. o microforma), accesible por medio de las computadoras. El volumen digital puede sostenerse localmente o puede accederse remotamente por medio de las redes de computadoras. En estas bibliotecas, el proceso de digitalización empezó con el catálogo, continuo con los índices de la revista y los servicios de resumen, y finalmente la publicación de los e-book o libros electrónicos.5

Este mismo autor considera que en el caso de la biblioteca virtual, no se trata sólo de que los contenidos estén en formato digital, lo que prevalece en el concepto de biblioteca digital, estos son una parte necesaria pero no suficiente. En una biblioteca virtual es necesario que las fuentes de información estén disponibles de alguna manera y su acceso sea ubicuo, es decir, sin importar dónde residan físicamente sus usuarios ni quién se encargó específicamente de su procesamiento y almacenamiento. Predomina el concepto de biblioteca como espacio y como proceso por lo que es un concepto que refleja el dinamismo de Internet.

No obstante, en la práctica profesional, predomina el uso indistinto de ambos términos, con una fuerte tendencia a la estandarización del término biblioteca digital, definida por la Digital Libraries Federation como:

“Organizaciones que proveen los recursos, incluido el personal especializado, para seleccionar, estructurar, distribuir, controlar el acceso, conservar la integridad y asegurar la persistencia en el tiempo de colecciones de trabajos digitales, fácil y económicamente disponibles para su uso por una comunidad definida o para un conjunto de comunidades ”.6

Las bibliotecas digitales proporcionan sus servicios por medio de una red de computadoras, sea privada de una organización o una red de acceso público como Internet.

En este último caso, pueden emplear diversos recursos y servicios de información, disponibles en Internet, y de esta manera tienen función de intermediarias entre dichos servicios, a los cuales brindan acceso, y el usuario final que hace uso de ellos; o por el contrario, pueden brindar sus propios servicios y recursos a cualquier usuario conectado a la red, con independencia de que forme parte o no del universo de usuarios para los cuales se concibió originalmente.

Una biblioteca digital puede integrar colecciones de documentos de diversas organizaciones y utilizar las redes telemáticas para acceder a dichos documentos. En estos casos, el acceso a la información, ubicada en servidores situados en lugares distintos de la red, debe ocurrir con transparencia para el usuario.

En otros casos, las bibliotecas digitales se conforman con colecciones especializadas en una temática o rama específica del conocimiento, y se diseñan en consideración a los usuarios de una organización concreta, con independencia de que cualquier usuario conectado a red pueda acceder a ella, como consecuencia de las facilidades que brinda Internet para compartir recursos.

Una biblioteca digital puede tener documentos que constituyan versiones digitales de documentos en formato impreso, así como documentos que generados en ambiente digital. En la mayoría de los casos, el original en papel carece de importancia, debido a que la interacción del usuario con el sistema (biblioteca) se produce por medio de las redes telemáticas y no de forma física.

En una biblioteca digital, los recursos de información pueden ser propios de la biblioteca o pueden distribuirse en distintas partes de la red. En este último caso, la biblioteca sólo se ocupa de ofrecer acceso a esa información, presenta la ventaja de contar con un conjunto de recursos que si bien no son propios de la biblioteca, constituyen una alternativa para el acceso a la información de interés por parte de los usuarios. El problema de utilizar recursos distribuidos radica en que no se posee un control sobre ellos, que su disposición está en dependencia de terceras personas, ajenas al sistema, por lo que un día es posible acceder a un recurso y al día siguiente ese recurso no encontrarse disponible. Esto requiere de un seguimiento constante de los recursos remotos a los cuales brinda acceso la biblioteca.

Entre los servicios y productos más comunes que pueden encontrarse en una biblioteca están:

• El sistema de catálogos de la biblioteca, que permite acceder a documentos a texto completo -libros, artículos de revistas, ponencias, tesis, etcétera.
• Servicio de referencia (en línea).
• Sección de nuevas adquisiciones.
• Enlace a recursos de interés distribuidos en la red, entre otros.
• Comunidades de usuarios, etcétera.

Esto no constituye un modelo, cada biblioteca posee los productos y servicios que mejor se correspondan con las necesidades de información de su comunidad de usuarios. En materia de servicios y productos no hay nada rígido porque las necesidades de información no lo son, de ahí que cualquier iniciativa puede resultar válida.

Evaluación de las bibliotecas digitales

Como se ha comentado con anterioridad, una biblioteca digital es un sitio Web que soporta un sistema de información, por ello, su evaluación conlleva el engranaje de los aspectos considerados para la evaluación de sitios Web y la evaluación de servicios de información.

Ambos tipos de evaluación se abordan con frecuencia en la literatura, con frecuencia, enfocados a uno u otro objeto de evaluación. Sin embargo, no es común encontrar propuestas para la evaluación de bibliotecas digitales, donde confluyan indicadores de evaluación de sitios Web y de servicios de información.

En la evaluación de bibliotecas digitales, deben concurrir, tanto aspectos de la evaluación de los sistemas bibliotecarios como aspectos de valoración de entornos digitales, así como la organización de la información en estos contextos y la interacción del usuario con ellos.

Esto debe desarrollarse por medio de tres dimensiones:

1. Bibliotecológica: donde se deben considerar los componentes de este tipo de sistema de información: usuarios, servicios y productos de información, elementos de organización y representación de contenidos, sistemas de búsqueda y recuperación de información, recursos, etcétera.
2. Tecnológica: dimensión que parte de la concepción de una biblioteca digital como un sitio Web, y del análisis del software y hardware disponibles para su implementación.
3. Interacción usuario-sistema: enfocado básicamente hacia el diseño de la interfase, traducción visual y funcional del sistema, mediante la cual interactúa el usuario con el contenido.

En la literatura, se han encontrado muy pocos modelos de evaluación que integren estas tres dimensiones, porque la evaluación de bibliotecas digitales suele hacerse en atención a aspectos como la usabilidad o accesibilidad, muy relacionados con la interacción usuario-sistema, o por medio de indicadores para evaluar la calidad de los recursos de información en Internet.

Saracevic y Covi analizan varias iniciativas como los proyectos Perseus, Tulip y MESL, entre otros. Sin embargo, la mayoría de estas propuestas se han desarrollado para resolver problemas prácticos y no como resultado de la labor de la comunidad investigadora.1

Basado en ello, los autores sugieren el siguiente conjunto de criterios procedentes de la práctica de evaluación en bibliotecas tradicionales, sistemas de recuperación, e interfases, que pueden adaptarse a las bibliotecas digitales:

•  Criterios procedentes de la biblioteca tradicional.

• Colección -objetivos, alcance, autoridad, cubrimiento, circulación, audiencia, formato, preservación, etcétera.
• Información -precisión, representación y organización, singularidad, enlaces, presentación, etcétera.
• Uso -accesibilidad, disponibilidad, facilidades de búsqueda, usabilidad, etcétera.
• Estándares para un número de elementos y procesos.

•  Criterios procedentes de la recuperación de información

• Relevancia.
• Satisfacción, etc.

•  Criterios procedentes de la interacción usuario-sistema e interfase.

• Usabilidad, funcionalidad, esfuerzo, tareas apropiadas, errores de interfase.

Esta corta lista de criterios, sólo constituye un marco de referencia para cualquier propuesta metodológica que tenga por objetivo la evaluación de las bibliotecas digitales.

Un acercamiento válido también lo constituye el “Marco para la Evaluación de Servicios Bibliotecarios Digitales”, desarrollado por Choudhury, 2 y utilizado para evaluar el proyecto CAPM, Comprehensive Access to Printed Materials, de la Universidad Johns Hopskins de los Estados Unidos.

Dicho marco se basa fundamentalmente en la evaluación de las preferencias de los usuarios, obtenidas por medio de mecanismos de retroalimentación, y se organiza en tres fases:

1. Evaluación de los costos y los beneficios asociados, a partir de prototipos para la implementación.
2. valuación de los servicios, a partir de métodos que permitan modelar las preferencias de los usuarios –por ejemplo, mediante técnicas multivariables. Este tipo de técnicas se han utilizado ampliamente en estudios de mercado para predecir la demanda de nuevos productos, y su filosofía consiste en que los usuarios puedan evaluar ellos mismos el sistema, para maximizar mejor la utilidad que este les brinda.2
3. Análisis de los costos y resultados obtenidos.

Esta aproximación puede utilizarse en proyectos de implementación de bibliotecas digitales, debido que permite evaluar, paso a paso, desde los primeros prototipos de diseño, hasta la implementación.

En resumen, la calidad de los servicios y productos electrónicos puede evaluarse desde diferentes perspectivas: cuantitativa, cualitativa y bibliométrica, aunque la más generalizada es aquella que se centra en la satisfacción del usuario y en el análisis y la valoración de una serie de criterios que deberían estar presentes al representar y brindar acceso a los contenidos en el entorno digital de una biblioteca.

A continuación, se presenta un conjunto de indicadores sistematizados, a partir de las propuestas encontradas en la literatura, y de los aspectos relacionados con cada una de las dimensiones que deben considerarse para la evaluación de las bibliotecas digitales, y que se mejoraron con anterioridad.

Indicadores para la evaluación de las bibliotecas digitales

1. Identidad

Sistema de atributos que singularizan a la institución que conforma la biblioteca digital. Debe existir una articulación conciente de estos elementos con el fin de generar en el usuario, un reconocimiento acorde con los intereses de la institución; así como aportar a la confiabilidad en los productos y servicios que esta ofrece.

Entre los indicadores que pueden utilizarse para su evaluación, se encuentran:

• La correcta aplicación de los signos de identidad visual (identificador, logotipo). Se debe atender a una ubicación relevante dentro del sitio de manera que se hagan visibles con facilidad.
• Declaración de la misión y objetivos para comprender la finalidad de los servicios y productos que ofrece.
• Existencia de un medio de contacto (correo electrónico) con los profesionales a cargo de la biblioteca con el fin de facilitar la retroalimentación.

2. Actualización

• La indicación explicita de la fecha de creación de la biblioteca digital. Suele indicarse al pie de la página principal de la biblioteca, junto a los datos de identidad. En algunas ocasiones, es necesario ser precavidos, porque, en algunas bibliotecas, aparece la fecha del día en que se consulta la página de la biblioteca; ello no significa que los contenidos se encuentren actualizados sino que se trata de un mecanismo que actualiza automáticamente la fecha, y en consecuencia, se debe buscar el dato de la actualización en otros lugares.
• La indicación explicita de la fecha de actualización de los contenidos. Generalmente, este dato se indica en las bibliotecas digitales de varias maneras:

  •  Explícitamente en la página principal, como dato de valor añadido a los contenidos.
  •  Al pie de la página principal de la biblioteca junto a la fecha de creación.
  •  En diferentes páginas de la biblioteca, en dependencia de la naturaleza de los contenidos incluidos.

• La existencia de enlaces obsoletos, que permiten acceder a páginas que no existen, porque han cambiado de URL o se eliminaron. Esto hace perder tiempo de navegación al usuario.
• La existencia de enlaces erróneos, que no llevan a ningún sitio, porque al establecer el enlace se han cometido errores en su presentación.

3. Accesibilidad

Consiste en la capacidad de una biblioteca digital para facilitar su localización y consulta por todos los usuarios, con independencia de las condiciones físicas y técnicas que estos dispongan para acceder a ella. Se deben considerar todas las posibles dificultades y limitaciones con las que puede encontrarse un usuario que visite su biblioteca: discapacidad física (auditiva y visual), diversidad de aplicaciones para el usuario, diferentes tipos de conexión, diferentes navegadores o diferentes versiones de este, diferentes tamaños de los monitores, ausencia del software adecuado para descargar determinados ficheros, necesidad de descargar e instalar plugins adicionales, desconocimiento de la lengua, etcétera.

En definitiva, integra un variado conjunto de cuestiones que pueden hacer que los contenidos de una biblioteca digital puedan no ser accesibles para todos. Estos aspectos son importantes para determinar la calidad de la difusión de los contenidos de las bibliotecas digitales, y especialmente, cuando los contenidos corresponden a sitios oficiales con contenidos públicos, como muchas veces, el caso de las bibliotecas digitales.

De manera general, los indicadores que es necesario considerar para evaluar este criterio son los siguientes:

• Diseño compatible con diferentes navegadores o diferentes resoluciones de pantalla. Se evalúa la existencia o ausencia de distorsiones en la visibilidad de las páginas de la biblioteca digital, a partir de cualquiera de las versiones de los navegadores de uso más generalizado entre los usuarios: Internet Explorer y Netscape. Se puede valorar positivamente la indicación expresa de las características técnicas necesarias para una visualización del Web.
• Existencia de versiones alternativas de visualización para bibliotecas digitales con presentaciones Flash, que pueden dificultar la carga y legibilidad de los contenidos para aquellos usuarios sin condiciones técnicas en su computadora para trabajar con este tipo de aplicaciones.
• Cumplimiento de la normativa WAI (Web Accesibility Initiative), una iniciativa del Consorcio de la Wide World Web (W3C) con recomendaciones para hacer accesibles a los contenidos de la Web a todos, y especialmente, a las personas con algún tipo de discapacidad auditiva, visual, cognitiva, etcétera. Este criterio es prácticamente obligatorio hasta el nivel 2 en los sitios Web de contenido oficial y público.
• Prestaciones: Posibilidades y facilidades que se ofrecen al usuario para utilizar la información con el máximo grado de independencia y libertad posible. Opciones de descargar, copiar, imprimir y enviar por correo, etcétera.
• Existencia de una “Ayuda” al usuario sobre la estructura de los contenidos y la navegación de la biblioteca, especialmente cuando esta es compleja y amplia. También incluye la presencia del mapa del sitio. Para muchos autores, la ayuda del sitio y el mapa de su estructura no son necesarios si el sistema está bien organizado. Sin embargo, en la práctica, cuando el usuario se enfrenta a un sistema con muchos servicios y opciones de navegación, el mapa del sitio puede resulta una herramienta válida para poder orientar al usuario dentro del sistema.
• La presencia de versiones en otras lenguas de los contenidos de la biblioteca, para alcanzar no sólo una mayor accesibilidad sino también una mayor difusión.

4. Arquitectura de la información

La arquitectura de la información es la disciplina que se ocupa de estructurar y organizar los contenidos en un Web. Se estructura a partir de una serie de elementos que deben evaluarse para determinar la procedencia o no de su selección:

• Esquemas de organización de la información (EOI). Delimita las características compartidas de los elementos que integran el contenido y las influencias de su agrupamiento lógico.7 Determinar un EOI no es más que realizar un proceso de clasificación en el que los contenidos se agrupan en clases de acuerdo con sus propiedades y características comunes. Pueden ser exactos (alfabéticos, numéricos, geográficos) o ambiguos (organización por temática). Los esquemas deben evaluarse en función de la funcionalidad que tiene el uso de un tipo con respecto a otro. Este aspecto es muy importante porque las formas de organizar la información en las bibliotecas digitales no siempre es la más adecuada, debido a que, con frecuencia, se adaptan comportamientos de las bibliotecas tradicionales a las digitales sin analizar que el medio digital tiene sus propias peculiaridades.
• Sistema de navegación. Se emplean para trazar el curso del usuario en su proceso de consulta, determinar su posición, y hallar el camino de regreso. Aportan sentido de contexto y comodidad.7 Se deben evaluar de acuerdo con la facilidad con que el usuario puede desplazarse por todas las páginas que componen la biblioteca digital, y ello es posible gracias al conjunto de recursos y estrategias de navegación, diseñadas para conseguir un resultado perfecto de localización de la información y de orientación para el usuario. Estos aspectos son importantes para evitar las sensaciones de desbordamiento de la información y pérdida, las que pueden producirse al navegar por los contenidos. La naturaleza hipertextual de la biblioteca digital exige, al menos, dos niveles de evaluación sobre los que deben aplicar los criterios e indicadores:
• Micronavegación: considera todos los aspectos relacionados con la navegación interna en los contenidos propios de la biblioteca digital.
• Macronavegación: se relaciona con los enlaces de la biblioteca digital hacia el exterior y su visibilidad en todo el entorno de la biblioteca, es decir, cuestiones como las posibilidades de recuperación del recurso electrónico en los buscadores más utilizados por los usuarios, el número de recursos que tienen enlace a la biblioteca digital.

Los indicadores que se valoran en este criterio son los siguientes:

• Presencia de un sistema de navegación global, de ser posible, siempre en el mismo lugar y en cada una de las páginas que compone la biblioteca digital, para que el usuario tenga siempre presente la estructura general de los contenidos principales de la biblioteca.
• Empleo de rutas de navegación que permitan ubicar al usuario en que lugar del sitio se encuentra y que recorrido ha realizado para llegar hasta un punto específico.
• Presencia de enlaces que agilizan y facilitan la navegación. Entro estos, se encuentran los regresos a la página principal desde cualquier página del interior de la biblioteca, los enlaces de subir, cuando la página es demasiado larga, los empleados para regresar o ir hacia delante en el caso de una navegación lineal, entre otros.
• Profundidad en la navegación. Se considera la cantidad de niveles por los que es necesario transitar para alcanzar un contenido. Muchos autores se rigen por la regla de los 3 clics, que plantea que un contenido que está a más de 3 clics de la página principal es un contenido difícil de acceder. Se debe ser muy relativo a la hora de evaluar este indicador.
• Presencia de un buscador interno. Los buscadores internos constituyen una opción alternativa para acceder a los contenidos del sitio, por lo que deben integrarse, con un adecuado diseño, al resto de elementos de la arquitectura de información.
• Sistema de etiquetado. Los sistemas de etiquetas garantizan la representación general del contenido disponible en el sitio. Su función fundamental es comunicar la información eficientemente, con un mensaje directo y claro, de forma que el usuario pueda identificar aquella etiqueta que representa los contenidos que busca. El sistema de etiquetado debe evaluarse según la efectividad y falta de ambigüedad del término o icono empleado para representar el conjunto de contenidos que describen.

5. Servicios de información

La utilización de la informática ha revolucionado el ámbito bibliotecario. Por medio de computadoras y terminales, los usuarios pueden realizar consultas sobre los fondos en bases de datos, leer información almacenada en formato CD-ROM y acceder a Internet. Estos servicios son muy propios de la biblioteca que se trate, por este motivo, no se mencionaran todos los servicios existentes para bibliotecas digitales porque existe una gran diversidad de ellos. Pueden mencionarse algunos indicadores generales como:

• La diversidad de servicios de información. Se relaciona con la cantidad de servicios y productos disponibles, y la diversidad de contenidos que estos ofrecen. Entre los servicios más comunes, se encuentran: los servicios de referencia mediante la mensajería instantánea, los directorios de recursos Web, descritos e indizados, la generación de comunidades de interés, los espacios personalizables, alertas de novedades, etcétera.
• Servicio de referencia: Especial interés reviste este servicio, pero se encuentra poco en bibliotecas digitales, a pesar de las grandes posibilidades que brinda la interconectividad de redes. Constituye el espacio donde existe mayor interacción entre el usuario y los especialistas de una biblioteca digital, no sólo para responder a sus preguntas, sino además para orientarlo en el uso del sistema y ayudarlo a desarrollar ciertas habilidades.

Para evaluar este servicio, se pueden considerar los siguientes indicadores:

•   Presencia de interactividad. Determinada por la posibilidad de que el usuario realice preguntas en línea al referencista, y de interactuar en tiempo real con él.
• Tiempo de respuesta. Espacio de tiempo que transcurre entre la solicitud y la satisfacción del usuario. Se determina por la rapidez con que se contesta una pregunta de referencia al usuario.
• Exactitud de la respuesta. Se valora que la respuesta sea concisa y presente un nivel de exactitud acorde con la pregunta realizada.

6. Colecciones

La concepción de las colecciones en una biblioteca digital difiere considerablemente de una biblioteca tradicional. Las colecciones en una biblioteca digital, pueden ser propias y distribuidas, y pueden generarse en ambiente digital, a partir de la digitalización de una colección impresa. En cualquier caso, existe una serie de indicadores generales que son esenciales para evaluar dichas colecciones:

• Presencia de una adecuada política de desarrollo de colecciones: Debe presentar una clara correspondencia entre los objetivos de la biblioteca, las necesidades de los usuarios y los recursos materiales y financieros, así como la tipología documental, el alcance temático, idioma, formato, etcétera.
• Alcance de la colección: Determinado por la profundidad y la amplitud de las temáticas que contempla la colección, así como los periodos de tiempo que abarca . También debe valorarse si el alcance de la colección es previamente declarado o no, y su correspondencia con los objetivos de la biblioteca.8
• Formato apropiado: El formato en que están disponibles los recursos de información que integran la colección es de suma importancia. Debe existir una uniformidad en la selección de dicho formato, el cual no debe sacrificar la calidad de la presentación del contenido, y debe asegurar, en cierta medida, una protección legal al documento.
  De manera general, los documentos que integran las colecciones en una biblioteca digital, se encuentran en formato pdf, debido a la fidelidad que este guarda al documento original, a sus posibilidades de protección de la información que contiene y la compatibilidad con diferentes sistemas.
• Rapidez de la descarga: Independientemente de que las colecciones sean propias o distribuidas, debe garantizarse una rápida descarga y visualización de los documentos que integran las colecciones. No obstante, la evaluación de este indicador es muy relativo, pero se debe valorar en una conexión estable y siempre comparando varias bibliotecas.
• Frecuencia de uso de colecciones y servicios: En una biblioteca digital, la frecuencia con que se utilizan las colecciones y los servicios, puede conocerse mediante diferentes técnicas de medición. La más difundida es el análisis de logs, que proporciona información estadística a partir del análisis de los ficheros logs que se almacenan en el servidor cuando un usuario accede al sistema. Aunque esta técnica no es muy fiable, en ocasiones, resulta de gran ayuda para saber de manera general la cantidad de accesos que reciben los recursos y los servicios de la biblioteca digital, para tomar decisiones en cuanto a su actualización, diseño, estructura. Para realizar este análisis, se necesitan herramientas que permitan desarrollar dicho análisis estadístico.

7. Contenido

Este parámetro integra todo un conjunto de requerimientos propios de los contenidos o de la información que proporciona una biblioteca digital. Los indicadores o parámetros que pueden aportar información en este sentido, resultan un tanto subjetivos y, a veces, difíciles de verificar, por lo cual depende, en última instancia, del propósito del evaluador o de la capacidad intelectual o científica de la persona que efectúa el análisis.

• Autoridad. Este criterio es esencial para distinguir la credibilidad de la fuente de información y la calidad de los contenidos de una biblioteca digital. El autor de los contenidos, se trate de una persona o de una organización, debe identificarse claramente mediante una serie de indicadores presentes en el recurso informativo:
• Adscripción del autor a la organización a la que pertenece.
• Breve información sobre el currículo académico o profesional del responsable.
• Dirección de correo electrónico para facilitar el contacto directo con el autor para emitir dudas y criterios.
• Cobertura: Se trata de valorar la amplitud y el nivel de profundidad con que los contenidos se tratan en la biblioteca digital, aspectos que dependen, en cierta medida, de los propósitos declarados en la misión y los objetivos de la biblioteca, o de la especificación del colectivo de usuarios al que se dirige la información.
• Exactitud y precisión: Para conocer la exactitud de los contenidos incluidos en la biblioteca, estos deben verificarse de algún modo. Se valora, en ocasiones, el empleo de citas bibliográficas explícitas, para posibilitar su consulta. Este indicador se refiere igualmente, a la correcta formulación de los contenidos, sin ambigüedades ni errores gramaticales.
• Pertinencia: La pertinencia se relaciona con la validez y la utilidad de los contenidos incluidos en la biblioteca digital en función de los objetivos y propósitos declarados.

8. Diseño de la interfase

En este parámetro, se valoran varias cuestiones relacionadas con el aspecto físico o la ergonomía de la biblioteca digital que contribuyen a hacer del recurso digital un espacio agradable a la vista y fácil de interactuar por el usuario.

Los indicadores que aportarían información al respecto son:

• Fuente adecuada. Se compone de tres elementos básicos: la familia tipográfica, el tamaño de la letra y el contraste. Un criterio de selección adecuado de la familia tipográfica debe considerar la legibilidad de la letra en función del medio digital, el cual tiene sus especificidades. Entre las más idóneas, se encuentran la Arial, la Verdana, la Trebuchet MS y la Georgia, que se diseñaron para el medio digital y son estándares que garantizan su correcta visualización. El tamaño de la letra o puntaje debe estar en función de la legibilidad, se recomienda la utilización de un puntaje mínimo de 10 puntos para el texto continúo. Otro elemento es el contraste de la letra con su entorno gráfico, básicamente el referente al contraste entre texto y fondo. No es recomendable el uso de fondos tramados ni de colores oscuros que atentan contra la legibilidad.
• Sistematicidad de los elementos del sistema de navegación. Se determina a partir de ubicación estable de sus elementos y el estilo empleado para su representación.
• Zonificación de los componentes de la interfase. Deben estar ubicados en función de su uso y su jerarquía.
• Homogeneidad de estilos. Los textos, las imágenes los gráficos, los enlaces, deben guardar una relación visual coherente en las diferentes zonas de la interfase, de manera que se perciba la correspondencia formal de las partes en el todo. Esto ayuda a la orientación del usuario en el proceso de navegación y afianza el discurso de identidad inherente al sistema en cuestión.

9. Posicionamiento

El posicionamiento se refiere al lugar que ocupa la biblioteca digital con respecto a otras bibliotecas, tanto en los buscadores como en la preferencia de los usuarios.

Se evalúan en este parámetro, los siguientes indicadores.

• Posicionamiento en buscadores. Este parámetro debe evaluarse a partir de la entrada de palabras clave que describan la biblioteca y debe valorarse su posición en los resultados.
• Empleo de metadatos. Los metadatos son datos que describen los contenidos de los objetos o recursos de información, de manera que los sistemas de búsqueda y recuperación (buscadores) de información en Internet conozcan de su existencia para garantizar su accesibilidad. Existe varios esquemas, y el más prestigioso es el Dublin Core, un esfuerzo para probar y determinar los elementos sustanciales necesarios para describir los materiales. Sin embargo, la carencia de normas comunes en los metadatos es aún otra barrera para el acceso a la información y su uso en una biblioteca digital, o en un esquema coordinado de ellas. Estos diversos modelos de metadatos que permiten incorporar, en campos determinados, elementos de descripción física como autor, título, extensión, fecha,… y elementos de descripción de contenidos como palabras clave y resumen. Se debe valorar el empleo de metadatos básicos como autor, titulo y palabras clave, y por medio de cuál formato o modelo se asignaron.

10. Sistema de búsqueda y recuperación

El sistema de búsqueda y recuperación de información en una biblioteca digital, se conforma por medio el catálogo de la biblioteca, de ahí que sea imprescindible evaluar su efectividad, organización; así como las posibilidades que brinda al usuario para la búsqueda y recuperación de información.

Según Coutin, los sistemas tradicionales de recuperación de información en medios electrónicos, trabajaban con cinco puntos básicos esenciales:9

• La recuperación de las referencias de información en lugar de la información en sí.
• La necesidad de disponer de índices básicos de la información que contiene el sistema, de manera que esta pueda recuperarse.
• El uso de los operadores booleanos como vía de combinar diversas opciones para buscar la información.
• El uso del lenguaje natural para acceder a los datos por medio de lenguajes de búsquedas controlados que describen los contenidos del sistema.
• La existencia de registros con diversos formatos.
• En dependencia de estos puntos esenciales, se proponen los siguientes indicadores:
• Factibilidad del uso de un formato bibliográfico determinado. Debe permitir hacer una selección de campos adecuada a la tipología de documentos y su nivel de descripción.
• Norma empleada para la descripción bibliográfica: Se debe analizar la factibilidad del uso de una u otra norma y si esta se emplea bien.
• Nivel de descripción física de los recursos. La descripción de un recurso puede hacerse en dos niveles. Uno sintético, denominado primer nivel de descripción, y otro más exhaustivo, denominado segundo nivel de descripción. El empleo de uno u otro nivel está en correspondencia con la política de procesamiento trazada por la biblioteca y que debe responder a las características y necesidades de sus usuarios.
• Nivel de descripción de contenido. Se debe valorar qué tipo de descripción de contenido se ha utilizado, si indización mediante palabras clave, descriptores, o se ha empleado un tesauro, y también si se ha utilizado el resumen como otra forma para describir el contenido de los documentos.
• Campos utilizados para la búsqueda. Qué campos de la base de datos se seleccionaron para que el usuario pueda realizar la búsqueda. En las bibliotecas digitales, con frecuencia, se ofrece sólo la posibilidad de buscar por los campos autor, título y materia, a pesar de que la automatización permite usar otros criterios de búsqueda.
• Utilización de operados booleanos que permitan combinar opciones de búsqueda en varios campos simultáneamente.
• Formatos de salida de los resultados. El formato de salida determina la cantidad de elementos que aparecerán en los resultados para describir un recurso recuperado y de qué manera se mostrarán. Suele dársele la posibilidad al usuario de escoger entre dos formatos, uno resumido y otro más exhaustivo, o también que escoja qué elementos necesita aparezcan relacionados en el registro de recuperación.

11. Usabilidad

La usabilidad puede entenderse como un concepto y como el conjunto de técnicas empleadas para evaluar la facilidad de uso de un sistema de información digital.

Según Baeza y Rivera, la usabilidad permite:

• Medir el desempeño de un usuario que ejecuta una serie de tareas específicas con respecto al tiempo de terminación de las tareas o sobre la base del número de errores cometidos.
• Determinar los niveles de preferencia subjetiva o el grado de satisfacción.
• La facilidad de aprendizaje podría medirse en base al número de tareas completadas en cierto periodo, número de errores cometidos, o respecto al número de veces que utilizó la opción de ayuda.

Existen varios tipos de evaluación de la usabilidad, pero las más utilizadas son la evaluación heurística y los test de usabilidad. Estas herramientas son complejas de diseñar, y ejecutar, pero brindan muy buenos resultados, que permiten conocer en qué medida un sitio Web es usable por parte de los usuarios.

Conclusiones

• A pesar de la proliferación de bibliotecas digitales en la red, existen en la literatura pocas propuestas de evaluación para estos sistemas de información, la mayoría de las cuales se desarrollaron para resolver problemas prácticos y no como resultado de la investigación de la comunidad científica relacionada con el tema.
• Las bibliotecas digitales constituyen sistemas de información, soportados en una infraestructura tecnológica y de redes de ambiente Web, por lo que su evaluación debe hacerse desde una perspectiva que integre criterios bibliotecarios, de interacción usuario-sistema e interfase, y de organización de contenidos en sitios Web.
• Entre los criterios para evaluar la efectividad en las bibliotecas digitales, se encuentran:
• Identidad -correcta aplicación de los signos de identidad visual, declaración de la misión y objetivos y existencia de un medio de contacto.
• Actualización -fecha de creación, fecha de actualización de los contenidos, existencia de enlaces obsoletos, existencia de enlaces erróneos.
• Accesibilidad -diseño compatible con diferentes navegadores o diferentes resoluciones de pantalla, existencia de versiones alternativas de visualización para bibliotecas digitales con presentaciones Flash, cumplimiento de normativa WAI, facilidad de prestaciones, presencia de “Ayuda”, presencia de versiones en otras lenguas.
• Arquitectura de información -esquemas de organización de la información, sistema de navegación, sistema de etiquetado.
• Servicios de información -diversidad de servicios de información, presencia de interactividad, tiempo de respuesta, exactitud de la respuesta.
• Colecciones -adecuada política de desarrollo de colecciones, alcance, formato, rapidez de descarga, frecuencia de uso.
• Contenido -autoridad, cobertura, exactitud y precisión, pertinencia.
• Diseño de interfase -fuente, sistematicidad, zonificación, homogeneidad.
• Posicionamiento -posicionamiento en buscadores, empleo de metadatos.
• Sistema de búsqueda y recuperación -formato, norma de descripción, nivel de la descripción, campos para la búsqueda, empleo de operadores booleanos, formato de salida, etcétera.
• Usabilidad.

  Referencias bibliográficas

1. Saracevic T, Covi L. Challenges for Digital Library Evaluation. En: Proceedings ASIS 2000;37:341-50.

2. Choudhuri, S, Hobbs B, Lorie M. A Framework for Evaluating Digital Library Services. D-Lib Magazine 2002;8(7/8). Disponible en: http://www.dlib.org/dlib/july02/choudhury/07choudhury.html [Consultado: 22 de mayo del 2006].

3. Pérez D. La biblioteca digital. Disponible en: http://www.uoc.edu/web/esp/articles/La_biblioteca_digital.htm [Consultado: 18 de enero del 2006].

4. Ortiz Repiso V, Moscoso P. La biblioteca digital: inventado el futuro. INFO 2002. La Habana: IDICT; 2002.

5. Urra P. Análisis del paradigma de la complejidad para reducir la perplejidad que produce el acceso a las redes. INFO-2006. La Habana: IDICT; 2006.

6. Leiner BM. El alcance de la biblioteca digital. Disponible en: http://www.bibnal.edu.ar/paginas/recursosbiblio/scope.htm [Consultado: 14 de febrero del 2006].

7. Rosenfeld L, Morville P. Information architecture for the World Wide Web. Cambridget: O'Relly ; 1999.

8. Smith AG. Testing the Surf: Criteria for Evaluating Internet Information Resources. The Public-Access Computer Systems Review 1997;8(3). Disponible en: http://epress.lib.uh.edu/pr/v8/n3/smit8n3.html [Consultado: 7 de abril del 2006].

9. Coutín Domínguez A. Arquitectura de información para sitios Web. Guía práctica para usuarios. Madrid: Anaya Multimedia, 2002.

Recibido: 25 de noviembre del 2006. Aprobado: 1 de diciembre del 2006.
MsC. Zulia Ramírez Céspedes. Departamento Bibliotecología y Ciencia de la Información. Facultad de Comunicación. Universidad de La Habana. Calle G No. 506 entre 21 y 23, El Vedado, Plaza de la Revolución, Ciudad de La Habana, Cuba. CP 10400. Correo electrónico: [e-mail]

1Máster en Bibliotecología y Ciencias de la Información. Profesor Instructor. Departamento Bibliotecología y Ciencia de la Información. Facultad de Comunicación. Universidad de La Habana.

Ficha de procesamiento

Clasificación: Artículo teórico.

Términos sugeridos para la indización

Según DeCS1

AUTOMATIZACION DE BIBLIOTECAS; INTERNET
LIBRARY AUTOMATION; INTERNET

Según DeCI 2

BIBLIOTECA DIGITAL; INTERNET; EVALUACIÓN DE LA CALIDAD.
DIGITAL LIBRARY; INTERNET; QUALITY EVALUATION.

1BIREME. Descriptores en Ciencias de la Salud (DeCS). Sao Paulo: BIREME, 2004.

Disponible en: http://decs.bvs.br/E/homepagee.htm

2Díaz del Campo S. Propuesta de términos para la indización en Ciencias de la Información. Descriptores en Ciencias de la Información (DeCI). Disponible en: http://cis.sld.cu/E/tesauro.pdf