ARTÍCULO ORIGINAL
Métodos, técnicas y constantes para la evaluación de los catálogos de acceso público en línea
Methods, techniques and constants for the evaluation of online public access catalogs
Airelys Campos Herrera
Facultad de Comunicación de la Universidad de La Habana. La Habana, Cuba.
]]>
RESUMEN
Objetivo: examinar los métodos y técnicas utilizados en la evaluación de los catálogos de acceso público en línea e identificar las constantes para su evaluación.
Métodos: se utilizó el análisis documental para verificar dentro de la bibliografía los estudios referidos a los métodos y técnicas utilizados en las evaluaciones de los catálogos de acceso público en línea. Se analizaron además diferentes iniciativas dedicadas a la evaluación de catálogos en línea, de forma que se pudiera identificar a qué aspecto evaluativo se dedicaba cada uno de los estudios analizados.
Resultados: se han desarrollado un conjunto de iniciativas para la evaluación de la calidad de los catálogos de acceso público en línea desde diferentes dimensiones, entre las que se encuentran las referidas a las prestaciones de los catálogos en línea; la que toma en consideración el análisis de los errores; la referida a los estudios de la interfaz y la que considera la usabilidad de los sistemas, en la que generalmente se relacionan los aspectos relativos, por una parte, a la arquitectura de la información y, por otra, a la implícita ya en este enfoque desde la perspectiva de los usuarios.
Conclusiones: en los estudios dedicados a la evaluación de catálogos en línea existe gran diversidad terminológica para identificar las diferentes prácticas, pero pudieran sistematizarse en tres grandes divisiones: cualitativos, cuantitativos y los que utilizan las comparaciones. Los métodos utilizados en la evaluación de los catálogos en línea contienen, en general, un amplio componente de aplicación estadística y pudiera plantearse que no son en su totalidad métodos producidos por la Bibliotecología o la Ciencia de la Información, de forma propia, sino que están marcados por la influencia de otros campos de conocimiento, como son las Ciencias Matemáticas y de la Computación, la Psicología cognitiva, la usabilidad, entre otras disciplinas. La mayoría de los autores no establecen diferencias entre los métodos y las técnicas de recogida de información. Las diferentes propuestas analizadas, desde perspectivas diversas, con diferentes terminologías e incluso a través de diferentes indicadores y técnicas de recopilación de información, se enfocan esencialmente en el estudio de la amigabilidad y la usabilidad del sistema o todo lo referido a sus capacidades ergonómicas, la gestión de los contenidos o todo lo referido a la creación, mantenimiento, reutilización o ajustes del sistema metainformativo, y la transparencia del sistema de recuperación de la información.
Palabras clave: catálogos de acceso público en línea, evaluación, calidad de los catálogos.
Objective: examine the methods and technique used in the evaluation of the catalogues of public access on line and identify the constants for its evaluation.
Methods: document analysis was used to verify in the bibliography the studies referred to the methods and technique used in the evaluations of the catalogues of public access on line. They analyzed besides different initiatives related to the evaluation of catalogues on line, so that it could identify to which evaluative method appearance devoted each one of the studies analysed.
Results: a group of initiatives are developed for the quality of the evaluation of the catalogues on line from different dimensions; among them is the referred to the provision of the catalogues on line; the one who takes in consideration the analysis of the errors; the referred to the studies of the interface and the one that considers the usability of the systems, in which they generally relate the relative appearances of the architecture of the information and the already implicit in this approach from the perspective of the users.
Conclusions: in the studies about the evaluation of catalogues on line there is a terminological diversity to identify the different practice, but it could be systematised in three big divisions: qualitative, quantitative and those that use the comparisons. The methods used in the evaluation of the catalogues on line contain, in general, a wide component of statistical application, but we can say that in their whole methods they are not properly produced by the Bibliotecology or by the Science of the Information, but they are marked by the influence of other fields of knowledge, as the Mathematical Sciences and the Computation, the cognitive Psychology, the usability, among other disciplines. The majority of the authors do not establish differences between the methods and the collection of information technique. The different proposals analysed, from diverse perspectives, with different terminologies and even through different indicators and compilation of information, are essentially focused in the study of the usability of the system or all that is referred to his ergonomic capacities, the management of the contents or the creation, maintenance, reuse or adjust of the metainformative system, and the transparency of the system of recovery of the information.
Key words: online public access catalogs, evaluation, catalog quality.
]]> INTRODUCCIÓN
Hasta la irrupción de las nuevas tecnologías de la información y la comunicación (TIC), y en particular Internet, los sistemas de información atesoraban generalmente recursos tangibles. Con el advenimiento de la Web se hizo más complejo el desarrollo de las colecciones que progresivamente comenzaron a contar con documentos electrónicos y virtuales, lo cual exigía a los profesionales de la información enfrentar el desafío de cambiar la perspectiva de los procesos técnicos, esta vez con nuevos requerimientos capaces de enfrentar la complejidad documental (especialmente desde el punto de vista de la integración estructural).
Esta realidad demanda la reorganización y el rediseño de procesos esenciales en los sistemas de información, en particular para el almacenamiento y recuperación de la información, de forma tal que faciliten un acceso diáfano y expedito a la información. En este sentido, cobra vital importancia la atención a los métodos utilizados para la descripción, tanto desde el punto de vista formal como de contenido.
Aun cuando muchas organizaciones, grupos de trabajo e individuos están utilizando Internet para generar y/o distribuir información, y la cantidad de recursos electrónicos que se encuentran disponibles en la Web se haya incrementado sustancialmente en los últimos años,1 buena parte de las colecciones, especialmente aquellas que no se generan en HTML, son "invisibles"2 desde las bondades que actualmente ofrecen las búsquedas generales en Internet, por lo que se puede plantear que existe una inminente necesidad de acceder a este tipo de recursos a partir de nuevas estrategias en la gestión de los contenidos. Consecuentemente, los catálogos en línea requieren nuevas etiquetas específicas (nuevos conjuntos de metadatos), nuevos metalenguajes, una nueva semántica y una nueva sintaxis para lograr una búsqueda y la recuperación eficiente.
El nuevo reto para los profesionales de la información consiste en representar no solo los conceptos constantes o explícitos de los documentos, sino los cambios en la comprensión o en la utilización de estos, cambios emergentes o circunstanciales, que también deben ser identificados como insumos para la construcción de los metadatos y para el proceso de gestión del conocimiento, lo que identificaría nuevas temáticas que servirían a los usuarios potenciales de los sistemas de información.3 La garantía para la competitividad y la excelencia en la prestación de los servicios de los catálogos en línea depende de una nueva visión estratégica en los procesos de evaluación y gestión de la calidad, con la identificación de las oportunidades que ofrece un escenario en constante transformación y el apoyo a las nuevas exigencias de adaptabilidad y cambios incesantes para la prestación de servicios a través de un perfeccionamiento continuo.
Los procesos de evaluación se apoyan en el uso de indicadores para la medición del funcionamiento de las organizaciones. La evaluación de productos bibliográficos, de recursos informativos y de los resultados materiales de la actividad profesional, ha sido relegada, generalmente, a un segundo plano. En la actualidad es cada vez mayor el número de estudios que se dedican a la evaluación de estos productos, no tanto con fines de gestión, sino con el objeto de hacer valoraciones de calidad.4 Por tanto, este artículo tiene como objetivo examinar los métodos y técnicas utilizados en la evaluación de los OPAC e identificar las constantes para la evaluación de estos.
MÉTODOS Y TÉCNICAS PARA LA EVALUACIÓN DE LOS CATÁLOGOS EN LÍNEA
La aplicación de la automatización en la recuperación de los registros bibliográficos estuvo representada en sus inicios por grandes bases de datos que propiciaron la creación de los catálogos en línea. Con el desarrollo de las tecnologías de la información y las comunicaciones apoyadas en las redes, el acceso a los registros ha trascendido las puertas de las bibliotecas, lo que es posible a través del acceso remoto a catálogos en línea de acceso público (OPAC). Su principal objetivo era que los usuarios finales pudieran conducirse, autónoma e independientemente, en las búsquedas de información en línea.5 Fueron los catálogos en línea los primeros sistemas de recuperación de la información diseñados para que fueran usados directamente por el público en general, requirieran o no entrenamiento.6
Con el uso extendido de los catálogos en línea, estos se han convertido en un canal dinámico de acceso a los recursos de información en constante crecimiento a través del uso de las redes y las posibilidades de los hiperenlaces. Aunque aún persisten en muchos de ellos varias dificultades para su uso, son importantes para los catalogadores, pues sirven de guía para el uso de reglas y estándares cuando se trabaja con registros bibliográficos, y además para aproximarse y adoptar medidas que desde la usabilidad y el diseño centrado en los usuarios permita el aprovechamiento y la explotación de los OPAC acorde con las necesidades de los usuarios de los sistemas de información.7 En los momentos actuales, el análisis y el estudio de los usuarios, así como la creación de productos/servicios que satisfagan sus necesidades, resulta un tema complejo, sobre todo si se trata de estos productos y servicios en el ambiente de la web, tanto más si se analizan bajo las influencias de la filosofía de la web 2.0.
]]> Lo cierto es que las nuevas generaciones de usuarios (usuarios 2.0) han crecido con el uso de las computadoras y con el acceso a todas las bondades que estas ofrecen; por tanto, sus formas de consumo, acceso y procesamiento de la información, así como sus necesidades y expectativas, son otros, pues requieren y esperan productos y servicios personalizados y con respuesta inmediatas, colaborativos y multitareas, asumen el aprendizaje participativo, prefieren el acceso no lineal a la información, prefieren las representaciones gráficas al texto escrito y esperan que las interfaces de los diferentes sistemas sean más intuitivas.8 Estos usuarios consumen una gran variedad de información, pero no de forma estática, ya que se convierten, a su vez, en productores de nuevas informaciones, que los benefician con las ventajas significativas del conocimiento que se construye.Los diseñadores y profesionales de la información han de proponerse hacer de los OPAC un sistema para mejorar, promover, facilitar el uso y el consumo de información en los sistemas de información, a través de la incorporación de técnicas y herramientas que cumplan con el requisito que valoran los usuarios: la facilidad de uso. En este sentido, puede decirse que son diferentes las perspectivas que presentan los estudios relacionados con los OPAC en el ámbito de su mejoramiento, y sobre todo que se realizan de forma parcial enfocados en las diferentes prestaciones que estos ofrecen.
MÉTODOS DE EVALUACIÓN
En lo referido a los métodos utilizados para la evaluación, pudiera plantearse que existe gran diversidad terminológica para identificar las diferentes prácticas utilizadas en este sentido, pero que pudieran sistematizarse en tres grandes divisiones: cualitativos, cuantitativos y los que utilizan las comparaciones.
Métodos cuantitativos
Estos son métodos que se centran sobre todo en la recogida de informaciones estadísticas relativas al funcionamiento de la institución, relacionados con la eficiencia, la eficacia y la relación costo-eficacia.9 Son métodos enfocados en el funcionamiento de los sistemas, pero aunque muy necesarios, presentan como inconveniente que utilizan estadísticas recogidas por el personal o por sistemas automáticos; por tanto, los datos recogidos pueden tener cierta desviación, de lo que se infiere que los resultados no sean confiables del todo.
Métodos cualitativos
Se auxilian de técnicas de recopilación de información cualitativas, como pueden ser los intercambios de opiniones o tormentas de ideas, entrevistas y cuestionarios, estrategias mucho más cercanas a las sensaciones humanas. Son mayormente utilizados para descubrir resultados a largo plazo, metas e impacto de los sistemas.10 Los métodos cualitativos tienden a utilizar un acercamiento natural y holístico en el proceso de evaluación. "También tienden a prestar más atención a los aspectos subjetivos de la experiencia humana y su conducta".11 Estos métodos deben ser aplicados con extremo cuidado teniendo siempre presente que la satisfacción con los resultados de los sistemas estará en consonancia con los grupos de usuarios que los reciben, elemento muy complejo por la propia diversidad de criterios y percepciones que existe de un grupo a otro, lo cual depende, a su vez, de un conjunto de factores subjetivos y policausales. ]]>
Métodos comparativos
Se reconoce como el método que utiliza la comparación entre varios sistemas, procesos, productos o servicios para la determinación de mejores prácticas, como el benchmarking. Se trata de un proceso de evaluación de productos, servicios y procesos entre organizaciones, mediante el cual una analiza cómo otra realiza una función específica para igualarla o mejorarla. La aplicación de estos métodos permite a las organizaciones alcanzar mayor calidad en sus productos, servicios y procesos a partir de la cooperación, colaboración y el intercambio de información. Tienen como objetivo corregir errores e identificar oportunidades, aprendiendo a dar soluciones y tomar decisiones siguiendo los patrones de los líderes, este tipo de estudios se realiza en contacto directo con los competidores o no competidores y al finalizar se comparten los resultados para que cada organización cree su propio sistema de mejoras organizacionales.12
Cabe destacar en este espacio que cada uno de los métodos antes mencionados persiguen sus objetivos particulares y están determinados por las técnicas de recopilación de información que utilizan en cuanto al proceso evaluativos; que la combinación de varios de ellos podría resultar beneficiosa para cumplir cabalmente el objetivo de cualquier evaluación. Estas técnicas de recolección de información deben ser compatibles con el método usado en el proceso de evaluación, de forma tal que pueda proporcionar la información necesaria. Existe gran cantidad de técnicas de recopilación de información, pero resultan las más utilizadas en el proceso de evaluación las que se muestran a continuación:
1. Los test. ]]>
2. Las valoraciones de los participantes.
3. Las valoraciones de los expertos.
4. Las encuestas.
5. Las entrevistas.
]]>6. La observación de conducta y actividades.
7. La evaluación de actuación del personal.
]]>8. El análisis diario de participantes.
9. El análisis de archivos históricos y actuales.
10. El análisis transaccional.
11. El nálisis de contenido.
12. Las técnicas bibliométricas, sobre todo el análisis de citas.
]]>13. Los archivos del uso.
14. La evidencia anecdótica.9
Las actividades de evaluación no dejan de ser de utilidad, aunque no conduzcan inmediatamente a la toma de decisiones. La reflexión que ellas generan sobre las debilidades que develan es útil para definir nuevas líneas de trabajo que se enfoquen en resolver los elementos que generan dificultades e insatisfacciones, tanto de los empleados como de los usuarios/clientes.
Los métodos utilizados en la evaluación de OPAC en general contienen un amplio componente de aplicación estadística y pudiera plantearse que no son en su totalidad métodos producidos por la Bibliotecología o la Ciencia de la Información, de forma propia, sino que están marcado por la influencia de otros campos de conocimiento como son las Ciencias Matemáticas y de la Computación, la Psicología Cognitiva, la HCI, la usabilidad, entre otras disciplinas. Vale aclarar que la utilización de ninguno de estos métodos es excluyente a otro, aunque suelen aplicarse en función de lo que se desea medir en cada uno de los casos, cuestión que ha contribuido a medir la calidad desde perspectivas puntuales y no desde un punto de vista integral.
La mayoría de los autores no establecen diferencias entre los métodos y las técnicas de recogida de información, y pueden consultarse, desde clasificaciones muy generales, hasta otras muy detalladas y empleadas para casos particulares. Cuando se mencionan estudios generales pudiera analizarse el que propone que se desarrollen cuatro metodologías básicas para la evaluación de catálogos: ]]>
]]>- Cuestionarios: tanto para los usuarios como para los trabajadores del sistema.
- Entrevistas en grupo: con la selección de un tema determinado, también aplicado a los usuarios finales como al personal del sistema.
- Monitoreo del sistema: tanto a través de la observación directa de los usuarios, como del registro de las operaciones del sistema.
- Experimentos controlados o de laboratorio.13
Por otra parte, existen otros más específicos y detallados que pretenden la evaluación de un aspecto particular dentro de los catálogos en línea. En el caso del estudio de la interfaz se encuentran los siguientes métodos:
Métodos previos a la distribución comercial de la interfaz
- Revisiones de expertos: a partir de evaluaciones heurísticas, revisión por recomendaciones previas, inspección de la consistencia y simulaciones de usuarios.
- Prueba de usabilidad: a través de las pruebas rebajadas, prueba de exploración, prueba de campo, prueba de validación y otros.
- Prueba de laboratorio. ]]>
- Cuestionarios.
- Entrevistas y discusiones con los usuarios.
Métodos durante la vida activa del producto
- Seguimiento de la actuación del usuario.
]]> - Seguimiento y/o ayuda telefónica u online.
- Comunicación de problemas.
- Grupos de noticias.
- Información al usuario: a través de boletines o FAQs.14
Otro que atiende tanto la perspectiva del sistema como la del usuario y donde se diferencia entre métodos y técnicas de recopilación de datos es el estudio que propone los siguientes:
]]> - Análisis de prototipos.
- Experimentos controlados.
- Análisis de transacciones de protocolos (TLA).
- Análisis comparativos.
- Análisis de protocolos.
]]> - Evaluaciones de expertos del sistema.15
Los tres primeros métodos (análisis de prototipos, experimentos controlados y análisis de transacciones de protocolos), que propone este estudio están enfocados al funcionamiento del sistema, mientras que los tres últimos (análisis comparativos, análisis de protocolos, evaluaciones de expertos del sistema) son más utilizados para verificar el comportamiento humano y su interacción con el sistema; de ahí que se considere esta propuesta, generalizadora e integradora. De tal modo, en este mismo estudio se proponen como técnicas de recopilación de datos: los cuestionarios, las entrevistas, los registros de transacciones de logs, los registros de protocolos y los registros de protocolos verbales. Se enuncia además la factibilidad y pertinencia de combinar varias técnicas de investigación para llegar a obtener mejores resultados.
Se debe mencionar que se considera correcta la utilización de cualquier tipo de métodos y técnicas de recopilación de datos para la evaluación de los catálogos en líneas, tomando en consideración, por supuesto, los objetivos que se pretenden con la utilización de cada uno de ellos, en cada uno de los casos a evaluar. Lo óptimo sería la combinación de varios métodos y técnicas que aporten suficientes datos, de modo tal, que puedan ofrecer la información más cercana a la realidad para su posterior evaluación y toma de decisiones, utilizando tanto datos cuantitativos como cualitativos, referentes tanto a los usuarios como al sistema, de manera que permita una apreciación integral de este producto y/o servicio. Se describen a continuación algunas técnicas de recopilación de información utilizadas con mayor frecuencia en los estudios de evaluación en OPAC, de los cuales se conocen ventajas y desventajas en su aplicación.
El análisis de transacciones lógicas (TLA).
El análisis transaccional es un procedimiento de investigación basado en el análisis de las actividades desarrolladas por una persona al utilizar un ordenador, que se encuentran grabadas en la memoria de éste. "El TLA, en su forma más sencilla, consiste en la grabación del diálogo que sostiene el usuario con un sistema online. Los análisis de transacciones más completos registran asimismo la respuesta del sistema y los datos del rendimiento del sistema (por ejemplo el tiempo de respuesta del sistema), y proporcionan suficiente información para reconstruir todas las fases y las características del diálogo usuario-sistema. Incluye los términos usados en la búsqueda, los registros presentados en pantalla, las ayudas solicitadas, los errores cometidos y las respuestas del usuario".4
]]>
Por otra parte, se plantea que es el registro que queda en un determinado soporte automático, referente a la interacción que se produce entre un sistema y las personas que lo usan. Se denomina entonces transacción en tanto se entienden las interacciones entre los usuarios y los sistemas como un registro de tal actividad. Este método lo que pretende en esencia es entender y registrar el comportamiento de usuarios y el sistema para su análisis por parte de los profesionales de la información, así como para los propios usuarios. Los registros de transacciones pueden usarse para diferentes fines: "obtener los datos necesarios para evaluar y mejorar la eficiencia del funcionamiento interno del sistema, para optimizar el uso de los recursos computacionales y para analizar y mejorar interface de usuario".16
Este tipo de técnica se ha utilizado generalmente para:
- Mejorar los sistemas de recuperación de la información.
- Mejorar la utilización de los sistemas por parte de los usuarios.
- Analizar el comportamiento de los usuarios finales, tanto desde el punto de vista humano como por el sistema. ]]>
- Identificar cómo es usado el sistema por los usuarios finales.
- Estudiar los sistemas prototipo o las mejoras necesarias en los sistemas.
En el ámbito de la Bibliotecología y la Ciencias de la Información esta técnica de investigación y análisis se ha orientado fundamentalmente al estudio del comportamiento de los usuarios ante los sistemas automatizados, con la finalidad de mejorar los sistemas de búsqueda y recuperación de la información, y específicamente se ha centrado en el uso y éxito de las estrategias de búsqueda, así como en el uso de diferentes sintaxis y mecanismos de búsqueda. En particular, TLA ha sido utilizado para la reducción de los fracasos en las búsquedas, también en término de la evaluación de los proyectos de alfabetización informacional, así como en el diseño o rediseño de los catálogos.17 Para esto se analizan cuestiones tales como el número y tipo de búsquedas realizadas, el sistema de recuperación usado, los errores cometidos en la búsqueda, el sistema de corrección de estos, el uso de los mecanismos de ayuda, etc.18 Es considerado en algunas ocasiones poco objetivo, ya que el análisis que se realiza de los datos es elaborado por parte de un analista, tomando en consideración la subjetividad que pudiera aportar al estudio, las experiencias y los conocimientos y formas de hacer de los diferentes especialistas.
Aunque el TLA ha sido una técnica de recopilación bastante utilizada para el análisis de los sistemas automatizados, tiene también un conjunto de limitaciones que redundan sobre todo en el aspecto de la percepción de los usuarios sobre los sistemas, por lo que es muy recomendable su utilización en las evaluaciones combinado con otras técnicas que permitan una mayor interacción con el usuario, así como sus comentarios y reacciones ante la utilización de los sistemas.
Análisis de protocolos verbales
Protocolos verbales es el termino que se le da a los comentarios o verbalizaciones que produce un individuo o pequeño grupo de personas cuando se les pide que expliquen qué están haciendo, por qué lo están haciendo de esa manera, cómo esperaban poder hacerlo respecto al desarrollo de una tarea en particular o a su comportamiento en la realización deesta.19 A esta técnica se le conoce también como pensando en voz alta (think aloud) y recientemente se ha convertido en una técnica de investigación cualitativa bastante utilizada en la obtención de datos en las investigaciones relativas a los usuarios de bibliotecas.20 ]]>
El análisis de los protocolos verbales es una técnica introspectiva de recolección de información utilizada en estudios que pretenden develar el funcionamiento los procesos cognitivos de la mente humana.21 Originalmente esta técnica de investigación se desarrolló en el campo de la psicología cognitiva. Inicialmente fue utilizado para analizar la capacidad de los seres humanos en el proceso de resolver problemas. Esta técnica se ha utilizado además en el campo de los expertos diseñadores de sistemas para captar los datos relativos a cómo estos expertos resuelven los problemas en su campo de expertise.22
Las principales ventajas del método de protocolo verbal tienen que ver con la calidad y la cantidad de datos obtenidos. Esta técnica es particularmente útil para estudiar áreas en donde se conozca muy poco. Sin embargo, también tiene como desventaja que requiere el empleo de mucho tiempo para su realización, además de que durante el proceso de observación de las tareas los participantes en el estudio son conscientes de esto, y por tanto puede tener algún impacto en los resultados.23 El protocolo verbal se ha utilizado con determinada regularidad en estudios sobre la lectura, la usabilidad y en general con estudios sobre los sistemas de búsqueda y recuperación de información, desde la perspectiva del usuario.
CONSTANTES PARA LA EVALUACIÓN DE LOS CATÁLOGOS EN LÍNEA
En la literatura revisada se pueden identificar los trabajos de diferentes autores que han desarrollado evaluaciones desde perspectivas concretas, que si bien dan una idea de diferentes atributos de calidad y no resta mérito a las evaluaciones en ningún momento, habría que señalar que la calidad es un elemento policausal que, al analizarse desde una sola perspectiva, contribuye con determinado sesgo a la calidad total del producto/servicio. Por tanto, evaluar el sistema de información desde la perspectiva de la calidad total significaría la evaluación de todos sus componentes, a saber: mecanismos de búsqueda, bases de datos, lenguajes e interfaz; de manera que con la determinación de las debilidades, permita emprender acciones de mejora de forma que tribute a la satisfacción de los usuarios finales del sistema, y preste atención a que, cuando se habla de productos documentales, es necesario tener en cuenta la distinción entre "calidad descriptiva (se vincula a la fidelidad al documento original (calidad intrínseca) y la calidad recuperativa (dependerá de factores externos al propio documento relacionados con su búsqueda y recuperación)".24
Por tanto, puede plantearse que la evaluación de la calidad de los OPAC como producto documental debe ir encaminada, por una parte, a las representaciones de los documentos a los que brinda acceso u ofrece referencia y, por otra, a las que tienen que ver con las posibilidades que ofrece el sistema para su búsqueda y recuperación, desde el profundo conocimiento de las necesidades y expectativas de los usuarios, o al menos en sus formas de conductas, tomando en consideración el contexto de sus problemas, sus objetivos, intenciones, conocimientos, criterios, experiencias previas, etcétera,26 cuestiones que se encuentran claramente representadas en los componentes que conforman los OPAC´s y las funciones que ellos desempeñan. ]]>
Se han desarrollado un conjunto de iniciativas para la evaluación de la calidad de los OPAC´s, desde diferentes dimensiones, sin resultar ninguna de ellas excluyentes, entre las que se encuentran:
]]> Teniendo en cuenta el análisis de las propuestas anteriores, se pueden advertir un conjunto de constantes que debería tener cualquier sistema de evaluación de OPAC´s en tres órdenes fundamentales:1. La referida a las prestaciones de los catálogos en línea (Jativa, 2004; Ramesh y O'Brien, 2000; Moscoso, 1998; Hildreth, 1982).
2. La que toma en consideración el análisis de los errores (Chapman y Massey, 2002; Ballard, 2001; Ortego y Bonal, 2000; Herrero-Solana, 1997; Frías, 1996; Chapman, 1994).
3. La referida a los estudios de la interfaz (Moscoso y García-Ortiz, 2007; Marcos, 2004; Moscoso, 1998, Chery et al, 1994).
4. La que considera la usabilidad de los sistemas, en la que generalmente se relacionan los aspectos relativos, por una parte, a la arquitectura de la información y, por otra, a la implícita ya en este enfoque desde la perspectiva de los usuarios (Ortiz-Repiso y otros, 2006; Guha y Saraf, 2005; Travieso, 2007; Kani-Zabihi, 2008).
- en cuanto a la amigabilidad y a la usabilidad del sistema o todo lo referido a sus capacidades ergonómicas.
- en cuanto a la gestión de los contenidos o todo lo referido a la creación, mantenimiento, reutilización o ajustes del sistema metainformativo.
- la transparencia del sistema de recuperación de la información.
Capacidad ergonómica
Se trata de reconocer y diseñar, según las particularidades de los usuarios, el diseño de los diálogos, la construcción de los enlaces cognitivos entre usuarios y el sistema, posibilitar la confiabilidad en cuanto a la calidad de la documentación y todo el trabajo de incorporación inteligible de ayuda en línea para poder interpretar e integrar las características polisémicas de los recursos de información. En esto es imprescindible la personalización de los formatos de consulta y recuperación, el reconocimiento y ajuste a los perfiles de los usuarios y las modalidades en la construcción de interfaces. Desde cada una de las propuestas estudiadas se advierte, con mayor o menor complejidad, la importancia que para los sistemas de evaluación de calidad en los OPAC se intenta predecir y eliminar errores, diseñar interfaces y modelos de control de procesos más cercanos a la comprensión de las comunidades de conocimiento (o discursivas).
Gestión de contenidos
Es de especial importancia la capacidad de enlaces o el redireccionamiento de los OPAC, en especial en ambientes de software libres, para brindar servicios a tiempo y a la medida de los usuarios, de forma que pueda evitarse la desinformación o la sobresaturación de los usuarios, que no siempre es equiparable con la "falta" de información, sino que cada vez está más relacionada con estrategias no siempre explícitas o culturalmente cercanas a los usuarios.
La gestión de contenidos es relevante, sobre todo cuando los documentos no están físicamente en los OPAC y necesiten de tácticas integradoras para captar recursos en diferentes formatos. Las capacidades lingüísticas se convierten en un potencial significativo para mediar entre los intereses de los usuarios y las capacidades de los sistemas. "En resumen, una interacción usuario/sistema más rica y directa, y en este sentido creemos necesario reivindicar la búsqueda avanzada y señalar la utilidad de disponer de herramientas terminológicas que la faciliten".25
Transparencia en la recuperación
Los OPAC deben ser lo suficientemente claros como para que el usuario no necesite un curso de formación ni un manual para poder consultarlo (capacidad ergonómica); deben permitir facilidades para una eficiente, efectiva y eficaz recuperación de la información. Las tendencias en los modelos de recuperación apuntan al mejoramiento de las capacidades dialógicas de los sistemas desde las estrategias del procesamiento del lenguaje natural o cualesquier otra que viabilice el acceso a recursos relevantes, ahorre tiempo, energías y costes, y que permita cada vez mayor autonomía para los usuarios.
CONCLUSIONES
Los estudios dedicados a la evaluación de catálogos en línea se enfocan esencialmente en ganar y mantener a los usuarios y minimizar la diferencia entre sus expectativas y el producto/servicio recibido. Esta actividad, requiere del conocimiento profundo de las necesidades de los usuarios/clientes, de la evaluación continua de los productos/servicios, así como de los procesos que los generan con el fin emprender acciones de mejora. Existe gran diversidad terminológica para identificar las diferentes prácticas, pero pudieran sistematizarse en tres grandes divisiones: cualitativos, cuantitativos y los que utilizan las comparaciones. Los métodos utilizados en la evaluación de OPAC´s en general contienen un amplio componente de aplicación estadística y pudiera plantearse que no son en su totalidad métodos producidos por la Bibliotecología o la Ciencia de la Información, de forma propia, sino que están marcados por la influencia de otros campos de conocimiento como son las Ciencias Matemáticas y de la Computación, la Psicología cognitiva, la HCI, la usabilidad, entre otras disciplinas. La mayoría de los autores no establecen diferencias entre los métodos y las técnicas de recogida de información. ]]>
Las diferentes propuestas analizadas, desde perspectivas diversas, con diferentes terminologías e incluso a través de diferentes indicadores y técnicas de recopilación de información, atienden de alguna manera a la amigabilidad y a la usabilidad del sistema o a sus capacidades ergonómicas, a la gestión de los contenidos o lo referido a la creación, mantenimiento, reutilización o ajustes del sistema metainformativo y a la transparencia del sistema de recuperación de la información. Atender a estas constantes, de forma articulada, en el desarrollo de cualquier estudio evaluativo posterior en OPAC´s permitirá evaluar este producto o servicio de manera integral, lo que contribuirá a su mejoramiento en todos los órdenes.
REFERENCIAS BIBLIOGRÁFICAS
1. Martínez F. Enseñanza de la recuperación y acceso por tema en las Escuelas de Bibliotecología Mexicanas. Boston: 67th IFLA Council and General Conference; 2001.
2. Codina L. Internet invisible y Web semántica: ¿el futuro de los sistemas de información en línea? 2003 [citado 20 de mayo de 2007]. Disponible en: http://www.lluiscodina.com/articulos/websemantica.pdf
3. Alveranga L. Representação do conhecimento na perspectiva da Ciência da Informação em tempo e espaço digitais. Rev Electr Bibliotec Ciênc Inform. 2003;15:25-31.
]]>
4. Bonal JL, Ortego MP. Métodos de evaluación de la calidad de catálogos automatizados: análisis comparativos. Bilbao: VII Jornadas españolas de documentación; 2000.
5. Markey K. Twenty-Five Years of End-User Searching. Part 1: Research Findings. J Inform Sci Tecnol. 2007;58(8):1071-81.
6. Larson R. The decline of subject searching: Long term trends and patterns of index use in an online catalog. Journal of American Socieiy for Information Science, 1991;42:36-49.
7. Huang J, Wong K. Technical services and user service improvement. Libr Manag. 2006;27(6/7):505-14.
8. Breeding M. Tendencias actuales y futuras en tecnologias de la información para unidades de información. El profesional de la información. 2011;11(1):9-15.
]]>
10. Lancáster FW, Pinto M. Procesamiento de la información científica. Madrid: Arco/Libros; 2001.
11. Powell RR, Connaway LS. Basic research methods for librarians. Westport: Libraries Unlimited; 2004.
12. APQC. The Bechmarking Code of Conduct [Internet]. 2005 [citado 13 de mayo de 2011]. Disponible en: http://www.orau.gov/pbm/pbmhandbook/apqc.pdf
13. Catalán Vega MA. Metodologías de evaluación de Interfaces Gráficas de Usuario [tesis]. 2000 [citado 20 de mayo de 2007]. Disponible en: http://eprints.rclis.org/6732/
14. Larson R. The decline of subject searching: Long term trends and patterns of index use in an online catalog. J Am Soc Informat Scien. 1991(42):135-43.
]]>
15. Penniman WD, Dominick WD. Monitoring and evaluation of online information system usage. Informat Proces Manag. 2001;16(1):75-82.
16. Hider PM. Constructing an index of search goal redefinition through transaction log analysis. J Docum. 2007;63(2):175-87.
17. Johnson GI, Briggs P. Question-asking and verbal protocol. En: Cassell C, Symon G, editors. Qualitative methods in organizational research. London: Sage. 1994. p. 55-71.
18. Ghuna T, Saraf V. OPAC usability: assessment through verbal protocol. The Electronic Librar. 2005;23(4):463-73.
19. Yang SC. Reconceptualizing think-aloud methodology: refining the encoding and categorizing techniques via contextualized perspectives. Comput in Hum Behav. 2003;19(1):95-115.
]]>
20. Casari Boccato VR, Spotti M, Lopes F. O uso de linguagem documentária em catálogos coletivos de bibliotecas universitárias: um estudo de avaliação sociocognitiva com protocolo verbal. Perspectivas em Ciência da Informação. 2010;15(3):23-51.
21. Morrison HG. Online catalogue research and the verbal protocol method, Library HiTech. 1999;17(2):197-206.
22. Griffiths JR, Hartley RJ, Willson JP. An improved method of studying user-system interaction by combining transaction log analysis and protocol analysis. Informat Res. 2002;7(4):67-75.
23. Pinto M. Gestión de la calidad en documentación. Rev Bibliotecon Docum. 1998;1:171-83.
24. Belkin NJ. A methodology for taking account of user tasks, goal and behavior for desing of computerized library catalogs. SIGCHI Bull. 1991;23(1):61-5.
]]>
25. Alvite ML, Rodríguez B. Evaluación de interfaces de OPACs implementadas con UNICORN en las universidades madrileñas. III Jornadas españolas de bibliotecas digitales. Madrid: Universidad Politécnica; 2002.
Recibido: 1ro. de diciembre de 2014.
Aprobado: 14 de abril de 2015.
Airelys Campos Herrera. Facultad de Comunicación de la Universidad de La Habana. La Habana, Cuba. Correo electrónico: airelys@fcom.uh.cu
]]>