Artículos

Evaluación de la calidad de la información en Internet: estado del arte y consideraciones para su aplicación en la BVS Adolec México

Igor Martín Ramos Herrera,1 Alfredo Hidalgo San Martín2 y Alfredo de Jesús Célis de la Rosa3

Resumen

Objetivo: Presentar el estado del arte en cuanto a las propuestas y criterios para evaluar la calidad de la información que se difunde en Internet, en particular, aquella relacionada con el campo de la salud. Métodos: Se empleó un diseño cualitativo con un acercamiento de investigación documental. A partir de la consulta de diversos motores de búsqueda y bases de datos en línea, se obtuvieron más de 200 documentos. Se aplicó un análisis de contenido temático a los documentos seleccionados y se identificaron las propuestas existentes. Resultados: Las propuestas para la evaluación de la calidad de los recursos en la red se clasifican de la siguiente forma: a) propuestas de criterios para evaluar los recursos de la red, b) referencias o guías de autores y sitios que evalúan los recursos, c) evaluación de recursos y creación de índices para su consulta, y d) propuestas de evaluación de materiales no tradicionales. Conclusiones: Existe una gran cantidad de propuestas para la evaluación de la calidad de los recursos disponibles en Internet sin clasificar y sistematizar. Se identificaron los diferentes tipos de propuestas y sus características. Esto permitirá establecer las bases para asegurar la calidad de los recursos en la biblioteca virtual en salud sobre adolescentes en México.

Casificación: Artículo de revisión

DeCS: CALIDAD; EVALUACION; INTERNET; INFORMACION; SALUD; MEXICO

DeCI: EVALUACION DE LA CALIDAD; RECURSOS DE INFORMACION; INTERNET; BIBLIOTECA VIRTUAL; INFORMACION EN SALUD; MEXICO

 

Abstract

OBJECTIVE: To present the state of the art concerning proposals and criteria for the assessment of the information disseminated in Internet, particularly the information related to health. METHODS: A qualitative design with a document research approach was used. More than 200 documents were collected from various search tools and on-line databases. An analysis of the thematic content was applied to the documents and the existing proposals were identified. OUTCOMES: The proposals for quality assessment of the resources available in the Web are classified as follows: a) proposals of criteria for the assessment of resources in the Web, b) references or author guides and sites which evaluate the resources, c) assessment of resources and creation of indexes for consultation and d) proposals of assessment of non-traditional material. CONCLUSIONS: There is a great deal of proposals for quality assessment of the resources available in Internet that lack classification and systematization. In this article the different types of proposals were identified and characterized. This will allow to establish the bases to guarantee the quality of the resources available in the virtual health library concerning teenagers in Mexico.

Classification: Review article

Subject headings: QUALITY; EVALUATION; INTERNET; INFORMATION; HEALTH; MEXICO

Subject headings: QUALITY EVALUATION; INFORMATION RESOURCES; INTERNET; VIRTUR LIBRARY; HEALTH INFORMATION; MEXICO

 

En el ámbito popular se dice que "el conocimiento es poder". La información, materia prima con la que se construye el poder del conocimiento, es ese poder. Pero, sólo cierta parte de la información es poder: aquella información que es confiable.1

 

A inicios del siglo XXI, se considera que Internet es la principal fuente de información científica y de salud en el mundo, al grado de que se ha convertido en uno de los medios más importantes para encontrar y publicar información. Sin embargo, es muy probable que el incremento en la cantidad de información en línea resulte en una sobrecarga de información sin filtrar y con una evaluación inapropiada de la calidad de los recursos. 2 Entonces, ¿cómo podemos asegurar que la información publicada en la red sea confiable?

La información disponible en la red presenta una serie de características que la hacen en extremo variable, por lo que su calidad no puede ser definida per se. Entre los factores que determinan esta variabilidad se encuentran: el potencial de interacción con los distintos tipos de medios -no sólo texto, audio y video, sino cualquier otra forma de comunicación asistida por la tecnología; la confiabilidad de la información -lo cual depende de su origen, avales, control de su publicación, etc.; la exactitud de los datos ofrecidos en la red, es decir, que sean actuales, detallados, exactos y completos; el valor o ponderación que se otorgue a la información ofrecida, y; la categoría o tipo de información, sea literatura científica, literatura "gris", documentos publicitarios y de relaciones públicas, así como la literatura tipo "vanity".1,3,4

Al comparar los materiales impresos con los que se publican en Internet, Ambre colaboradores.5 comentan que no existe control editorial sobre estos últimos, debido a que no existe control alguno sobre Internet en general. El control editorial dentro de la comunidad científica exige de que sean los mismos colegas quienes evalúen los materiales -el llamado peer review. Aunque no existe consenso al respecto, se dice que el control de calidad se manifiesta en un sitio, cuando explícitamente se realiza una evaluación de sus contenidos, presentación, fuentes, etc., mediante la aplicación de una serie de criterios predeterminados. Actualmente estos criterios no se han estandarizado y distan de ser universales. Aún así, existe una infinidad de propuestas para evaluar los recursos y sitios en Internet, baste decir, por lo pronto, que muchos autores se han dedicado a revisar esta situación,4,6-9 y a proponer algunas fórmulas para su aplicación. Entre ellas, la planeación adecuada, la aplicación de normas éticas, el uso de metadatos y estándares, etcétera.10

Sobre la calidad de los distintos tipos de literatura que pueden encontrarse en la red, Tillman4 comenta, por una parte, que la literatura científica que se publica en este medio se somete a un proceso de revisión mediante la aplicación de los criterios que ofrecen los comités de revistas internacionales en salud, o de organismos entre los que destacan los criterios de la Convención de Vancouver,11 la American Psychological Association12 y la Modern Language Association.13 Dichos trabajos se revisan antes de publicarse en la red, por lo que la calidad de sus contenidos se evalúan a priori. Sin embargo, ello no asegura ni la calidad de los sitios donde se publican ni su accesibilidad. Además, no sólo existe información científica en la red, también es posible encontrar materiales que se evalúan en forma distinta o que nunca se evalúan. Tal es el caso de la literatura "gris", que se conforma por todos aquellos panfletos, borradores, folletos, reportes técnicos, material de promoción, etc., que no pasan -y tal vez no pasen nunca- por un proceso de evaluación formal debido a su carácter de información general; la literatura "vanity", que incluyen todos aquellos documentos muy específicos que tienen información de gran valor pero que no se han revisado por algún comité o no se han difundido por la industria publicitaria; y por último, la publicidad como tal y la información relativa a relaciones públicas, que incluyen desde la promoción de servicios personales hasta la oferta de una amplia gama de productos comerciales. La elección de criterios de evaluación apropiados es crucial y determina en extremo el impacto de la información.3

Actualmente, existen criterios explícitos que evalúan la coherencia interna o externa de un recurso, pero la evaluación real debe dirigirse a medir su efectividad como fuente de información para los usuarios. Por ello, la Organización Internacional para la Normalización define el término calidad como la totalidad de características de una entidad que determinan su capacidad para satisfacer las necesidades, sean implícitas o explícitas, de los usuarios.14 De tal modo, que se debe revisar cuidadosamente el contexto en el cual la calidad puede expresarse y utilizarse. Por su parte, December 6 establece que el término calidad, en función de la información en Internet, es una meta que implica un proceso continuo de planeación, análisis, diseño, implementación, promoción e innovación, para asegurar que la información cubra las necesidades de los usuarios en cuanto a contenido e interfase. Más aún, Eysenbach,15 argumenta que la información debe producirse, validarse y difundirse de forma que involucre a sus consumidores, a fin de garantizar una práctica no autoritaria, el acceso de todos a la información en salud e información de alta calidad en Internet.

Ante esta situación, algunos organismos internacionales gestan una serie de esfuerzos para establecer controles de calidad. Así, este trabajo se propone presentar el estado del arte en cuanto a las propuestas y criterios para la evaluación de la calidad de la información que se difunde en Internet. En particular, se enfatiza en aquellas propuestas que involucran la información del campo de la salud. Su finalidad es servir como base para el diseño metodológico del modelo de control y evaluación de la calidad de la BVS Adolec México. Este trabajo surge de la recomendación hecha por la Organización Panamericana de la Salud 16 de ejercer un control de calidad que asegure el perfeccionamiento de las fuentes de información disponibles en la Biblioteca Virtual en Salud.

Métodos

Para la realización de este trabajo se adoptó un diseño cualitativo, con un acercamiento a la investigación documental. El estudio se inició con una búsqueda de documentos en la propia Internet, a partir de las palabras claves: evaluación, calidad, control, Internet e información en salud, tanto en español como en inglés. Para tal fin, se utilizaron algunos de los motores de búsqueda disponibles en la red, como: Altavista, Google, Lycos y otros. Además, se consultaron algunas bases de datos en línea como Medline (Internet Grateful Med), Proquest y la misma BVS de Bireme.

En cada una de estas fuentes se utilizó el siguiente procedimiento: se hicieron búsquedas con cada palabra clave de forma aislada o combinaciones sencillas de dos, tres o más términos relacionados mediante operadores booleanos. No se utilizaron operadores de proximidad ni semánticos a causa de que en esta fase del trabajo aún no se practicaba el análisis de contenido de los documentos; además, las bases de datos mencionadas se encuentran muy limitadas en este sentido.

Como resultado, se localizaron más de 200 referencias a sitios y documentos. En una revisión preliminar, se detectaron que sólo alrededor de 20 sitios y documentos parecían mostrar los principales aspectos del tema, mientras el resto sólo hacían mención del asunto o elaboraban aplicaciones prácticas de las propuestas hechas por otros autores. Además, la bibliografía de los documentos seleccionados sirvió de apuntador hacia otras referencias que coincidían en su importancia sobre el tema y que no se localizaron en la revisión preliminar, así que fueron recuperadas en este momento. Hasta aquí se reunieron unos 50 artículos científicos, sitios en Internet, libros y artículos de difusión que se consideraron representativos del tema.

Se decidió finalizar la búsqueda sistemática y sólo volver a buscar más información si se consideraba necesario para complementar alguna parte del trabajo. Sin embargo, preocupados por obtener aquellos documentos que mostraran los criterios de calidad que se han desarrollado hasta la fecha y que se recomiendan para evaluar la calidad de los sitios en Internet, nos percatamos de la necesidad de evaluar la calidad de los mismos documentos que teníamos a la mano. Tomando en cuenta que Ciolek17 es uno de los autores más referidos en este campo de trabajo, se decidió utilizar su propuesta de "verdades" para evaluar todos los documentos seleccionados e identificar si su calidad era la adecuada para esta revisión. Según estas verdades, la información en Internet debe proveer su propia información, ser útil e informativa, ser fácil de encontrar, ser universalmente accesible, estar bien estructurada y organizada, tener formato y edición adecuados, y ser fácil de establecer, iniciar, mantener y mejorar.

De esta forma, los casi 50 documentos sometidos a esta segunda etapa fueron evaluados mediante los criterios de Ciolek. Obviamente, los artículos científicos obtenidos de revistas reconocidas no fueron sometidos a este procedimiento. Como resultado, se descartaron 12 trabajos por considerar que no cubrían algunos de los criterios expuestos.

Más adelante, se aplicó un análisis de contenido temático a los documentos seleccionados. Se hizo una lectura a profundidad con dos orientaciones: sintáctica y semántica. 18 Para tal fin, se utilizó el programa ATLAS/ti, que facilitó el análisis, la elaboración de categorías y la descripción analítica subsecuente. Como parte de este proceso, se conformó una base con 40 categorías de análisis, surgidas directamente de la lectura de los documentos. Con ellas, se logró sistematizar el análisis de los documentos, de donde surgió la clasificación aquí propuesta en los resultados.

Finalmente, se realizó un análisis intercaso de algunas categorías, que permitió identificar los criterios que desarrolla cada autor y la forma en que interactúa con el contexto referido en ellos, también llamado análisis pragmático (ver resultados en la sección Estado del arte...). Para ello, se utilizó la herramienta de manejo de redes semánticas que ofrece el programa, que permitió organizar los conceptos, tal fue el caso de la identificación de los criterios más difundidos (figura 1).

 

Fig.1. Red semántica mostrando los criterios comunes a distintos autores.

 

Resultados

El tema de la evaluación de calidad de la información que se publica en Internet se ha analizado desde apenas hace una década; a pesar de que aún se realizan gestiones para unificar criterios, el tema va más allá del alcance de un solo grupo de trabajo. La información que se publica en Internet desde el campo de la salud no es la excepción y sigue las tendencias generales. En un intento por mostrar la situación hasta finales de los noventa, el trabajo de Ciolek19 sirve de pilar para la presente revisión.

Dada la problemática comentada en la introducción, Ciolek19 plantea una serie de puntos álgidos en torno a la calidad de la información en la red que reflejan la complejidad del asunto: la carencia de confiabilidad de la red; las tareas metodológicas urgentes de programación, los procedimientos adecuados de desarrollo, las herramientas de control, las revisiones bibliográficas exhaustivas, así como la evaluación y reorganización de los recursos; la programación del software adecuado para la expresión de la información; los procedimientos de colocación de recursos en la red (instrucciones, estilo, tráfico, etc.); la estructura de los recursos, es decir, la falta de normalización de los formatos y la evaluación de los recursos tanto desde la perspectiva comercial como académica.

En este último punto, que conforma la base para este trabajo de revisión, se destacan los trabajos de Caywood,20 Ciolek,17 Smith,9 Tillman4 y Grassian,7 quienes se reconocen como los autores pioneros y los más citados en la literatura sobre el asunto. En su intento por identificar las características esenciales de un recurso bueno o de "alta calidad", ellos establecieron las bases para la elaboración de criterios universales para la evaluación de los sitios en la red. Aunque sin estar de acuerdo entre sí, los controles de calidad propuestos por estos autores incluyen25 criterios y 250 indicadores, entre los que se encuentran los siguientes: acceso, diseño, contenido y originalidad de la información, facilidad de encontrarla en la red, estructura y organización, formato y presentación, utilidad e integridad de la información, facilidad de mantenimiento, facilidad para entender el alcance del recurso, facilidad para identificar el metadato, estabilidad, multimedia, propósito, revisiones, aplicabilidad, costo, fuente, fecha y otras cuestiones. A pesar de la existencia de estas propuestas aún no se ha logrado desarrollar un estándar al respecto, por lo que los interesados han tomado distintas posiciones ante el problema, lo cual se revisa a continuación.

Estado del arte sobre evaluación de calidad de la información

Después del trabajo de Ciolek, la discusión académica sobre el tema continúa tanto desde la perspectiva de autores independientes, entre ellos Oliver y colaboradores,21 Luz y colaboradores22 y Smith,23 como desde la perspectiva de organizaciones, entre otras la Fundación Health On the Net, la Organización Internacional para la Normalización y el Instituto de Tecnologías de Información en Salud, que intentan sistematizar, e incluso facilitar el proceso de evaluación de la calidad de los recursos en la red. Estos y otros trabajos pueden clasificarse de la siguiente forma: a) propuestas de criterios para evaluar los recursos de la red, b) referencias o guías de autores y sitios que evalúan los recursos, c) evaluación de recursos y creación de índices para su consulta, y d) propuestas de evaluación de materiales no tradicionales (figura 2). A continuación se desglosan sus principales características.

 

Fig.2. Clasificación de los propuestas sobre evaluación de calidad de la información sobre salud en Internet.

A) Propuestas de criterios para evaluar la calidad de los sitios en la red
Después del trabajo realizado por autores pioneros, algunos de estos mismos y otros interesados en el tema desarrollaron una serie de propuestas nuevas, muchas veces basadas en las primeras. Estas propuestas ofrecen algunos puntos de vista alternativos y criterios no considerados anteriormente.

Oliver y colaboradores,21 por ejemplo, establecen dos aspectos que conforman la calidad de un recurso de Internet visto desde la perspectiva de los usuarios: a) calidad del sitio, conformado por aspectos estéticos y afectivos, navegación dentro del documento, facilidad de uso y acceso al sitio, así como estructura y diseño de la información, y b) calidad de la información, conformado por relevancia y alcance del contenido, precisión y equilibrio del contenido, calidad de los enlaces, identificación del autor, autoridad del autor, identificación del recurso y de la documentación, además de la validez del contenido. En total, Oliver y colaboradores proponen una serie de 11 categorías y 125 indicadores, cada uno con su escala numérica correspondiente que permite al interesado evaluar la calidad de un sitio mediante parámetros numéricos.

Por su parte, los integrantes del Health Summit Working Group3 realizan un análisis de la literatura publicada en la red y de algunos impresos sobre el tema, que sirve para proponer un juego de criterios, llamados también "caja de herramientas". Estos criterios pueden utilizarse por los profesionales de la información en salud y los usuarios para evaluar los recursos en salud de la red. Entre los criterios propuestos por este grupo se encuentran los siguientes: credibilidad, contenidos, declaración de propósitos, enlaces, diseño, interactividad y alarmas. El objetivo del grupo es mejorar la calidad de la información en salud de la red, por lo que valoran el desarrollo de estos criterios -diseñados como base para la toma de decisiones y el desarrollo de nuevas herramientas- como un paso inicial hacia este objetivo.

Centrale Santé24 es una institución francesa que reunió a un grupo de profesionales de la salud y la información con la finalidad de elaborar un juego de criterios que permitieran evaluar la calidad de la información sobre salud en idioma francés. Este trabajo se desarrolló a partir de la propuesta de Ambre y colaboradores,5 y del Health Summit Working Group. 3 Sus 49 criterios, llamados Net Scoring, se clasifican en 8 categorías y a cada criterio se le otorga un valor en una escala de 0 a 10, en dependencia de su ponderación como esenciales, importantes y menores. Estos criterios son: credibilidad, contenidos, enlaces, diseño, interactividad, aspectos cuantitativos, ética y accesibilidad. Este grupo asegura que si los criterios mencionados se utilizan, la calidad de los sitios podría mejorar enormemente, y quienes se verán beneficiados, en última instancia, serán los usuarios finales.

Luz y colaboradores,22 por su parte, proponen un análisis de la calidad de la información, desde la perspectiva de los sistemas centrados en el usuario, esto es, aquellos criterios relacionados con la relación hombre-computadora y que impactan en el diseño, en los contenidos y en el mantenimiento de un sitio en Internet. Basados en la propuesta de Norman y Drapers25 para esta forma de diseño, sus principales criterios de trabajo son el "golfo de ejecución" asociado a la consulta de un sitio y donde se incluyen los criterios de autoría y responsabilidad, acceso, auxilio y navegabilidad; el "golfo de evaluación" asociado a la respuesta que dicho sitio pudiera ofrecer ante una consulta, comprende los criterios de estructura, enlaces relevantes y completos, ayuda para decisión de los enlaces, retroalimentación y declaración de autorías; y los criterios generales, que tratan sobre aspectos generales de la aplicación puesta en Internet, incluye los siguientes aspectos: lenguajes y medios utilizados, legibilidad de los materiales, divulgación de lo que sucede en el sitio, disponibilidad y garantía de uso pleno, evaluación periódica del servicio y de los enlaces, corrección del sitio y seguridad.

Tillman,26 a su vez, establece una serie de indicadores clave y aclara que es necesario comprender el estado actual de las publicaciones en Internet a fin de identificar lo mejor posible la calidad de los recursos donde el ambiente es sumamente cambiante e inestable. Sus indicadores de calidad son: facilidad para encontrar el alcance de la información ofrecida y los criterios de inclusión que permiten determinar si lo que se ve concuerda con las necesidades particulares; facilidad para identificar la autoridad de quienes lo publican y la actualidad de lo publicado; la estabilidad de la información y facilidad de uso en función de conveniencia, organización y facilidad de conexión.

Otras propuestas de este mismo grupo son: MedCERTAIN, avalada por la Unión Europea, propone asignar una certificación a los sitios sobre salud con base en su confiabilidad; OMNI (Organising Medical Networked Information), avalada por una serie de instituciones inglesas, cuya lista de evaluación es una de las más completas en la actualidad. El proyecto DISCERN,27 creado por la Biblioteca Británica y la Universidad de Oxford, diseñada para los usuarios de los servicios de salud en la red. CHiQ (Centro para la Calidad de la información en Salud de la Gran Bretaña), que ofrece a los usuarios la posibilidad de acceder a información confiable y veraz. QUICK (The Quality Information ChecKlist), elaborado por el mismo centro que el anterior, pero que está dirigida a los usuarios jóvenes. Medical Matrix, por ser parte, ofrece a la comunidad de usuarios de servicios de salud, el acceso a sitios de calidad que cuenten con recursos digitales.

Un análisis con mayor detalle muestra que algunos se inclinan a evaluar aspectos específicos, tal es el caso de los que ofrecen criterios para evaluar los aspectos éticos de un sitio o quienes desarrollan criterios para evaluar el nivel de medicina basada en evidencias. Además, están aquellos que intentan evaluar la calidad de las publicaciones periódicas publicadas en Internet.

Entre los esquemas que evalúan los aspectos éticos de un sitio se destaca el realizado por la Health On the Net Foundation,28 que pretende garantizar la calidad de la información en salud mediante un sistema basado en la honorabilidad de quienes publican. Este código es para creadores y editores de sitios en la red que deciden fundamentar su trabajo en la ética, la honestidad y la transparencia en la difusión de su información y que, por tanto, se adhieran al código mediante una declaración explícita hecha a la fundación. Este código establece que cualquier sitio debería atender los siguientes lineamientos éticos: autoridad, complementariedad, confidencialidad, atribuciones, legitimación, información sobre la autoría del material, información sobre el patrocinio, honestidad en la política publicitaria y editorial.

Por su parte, la Internet Healthcare Coalition, con sede en los Estados Unidos de Norteamérica, desarrolla su "Código de ética electrónica de Washington" que establece una serie de principios sobre lo que debería ser un sitio en la red con información sobre salud. Su intención es asegurar que todos los usuarios de Internet conozcan los riesgos que implica tener acceso a la información en salud a través de la red y se resume en 8 criterios: candor, calidad, consentimiento informado, privacidad, profesionalismo en el servicio de salud en línea, asociaciones responsables y considerar la opinión del usuario. Además, debe observar permanentemente el apego al "Código de Ética".

Otra organización de este tipo es el Health Internet Ethics Consortium el que está formado por la unión de un grupo de proveedores de información en salud de renombrada calidad, quienes proponen una lista de 14 principios éticos para publicar en la red. De igual forma, la American Medical Association,29 desarrolló una serie de lineamientos que deben observar todos aquellos que deciden publicar en la red. Tales lineamientos, llamados principios de gobierno de la asociación cubren las áreas de contenido, publicidad y patrocinios, privacidad y confidencialidad y comercio electrónico.

El grupo de propuestas sobre medicina basada en evidencias está lidereado por Harris,1 quien desarrolló un juego de criterios llamado la lista CARS -credibility, accuracy, reasonableness, and support (credibilidad, precisión, racionalidad, y soporte) que permite facilitar la operación de separar la información de calidad de aquella que no la presenta. Harris recomienda que actitud tomar ante una búsqueda de información en la red y sugiere observar una postura de reto, adaptación, enfoque permanente y evaluación. Esta actitud ofrecerá beneficios y permitirá al usuario mantenerse a tono con la avalancha de información.

El CHiQ (Centre for Health Information Quality - UK), mencionado antes, ofrece un apartado sobre la premisa de que la información debe basarse en la mejor evidencia disponible, llamada por ellos veracidad.

En el ámbito de las ciencias de la salud, en general, y de las publicaciones médicas a escala internacional, en particular, se han definido una serie de criterios cualitativos y cuantitativos que deben cumplir los interesados en publicar trabajos científicos. Estos criterios son la base para los editores de aquellas publicaciones periódicas que han accedido a Internet y pueden diferir un poco entre las distintas publicaciones. Sin embargo, en términos generales, los trabajos científicos en ciencias de la salud incluyen las siguientes secciones: título, resumen, introducción, material y métodos, resultados y discusión, además de cierto número limitado de cuadros y figuras. Este esquema se encuentra muy difundido30,31 y es ampliamente aceptado por la comunidad científica de las ciencias de la salud. Goodman y colaboradores.32 notan que la calidad de los documentos a publicar se incrementa cuando los manuscritos se someten al proceso de revisión por pares, particularmente cuando la revisión incluye una lista de cotejo referente a las particularidades que se deben considerar para cada tipo de investigación y publicación.

Está claro que muchos de estos criterios son comunes a los distintos autores; en general todos intentan sistematizar la evaluación de la calidad, algunos con criterios similares, otros con criterios no considerados por los demás autores.

B) Guías y catálogos de sitios que evalúan la calidad de los recursos en Internet
Estos trabajos son muy útiles para quienes se inician en el conocimiento del tema, presentan interfases sencillas y sistematizadas. Para los más avanzados, estas guías ofrecen una forma de actualizar sus conocimientos al facilitar el acceso a la información sobre el tema. De ninguna manera la intención de estos catálogos es la de ofrecer una herramienta sobre cómo evaluar la calidad. Más bien, ofrecen un índice para que los usuarios puedan acceder al material donde se trata el tema. Estas guías o catálogos constan principalmente de compilaciones de referencias del material que se encuentra disponible en distintos formatos y en distintas regiones del mundo, en dependencia de su alcance y objetivos. Además, hacen un intento por tamizar los mejores trabajos y los más representativos, desde distintas perspectivas. Sin embargo, las referencias colocadas no se evalúan en cuanto a la calidad del sitio o de sus contenidos, simplemente ofrecen la referencia y dejan al usuario la tarea de evaluarlos.

En un intento por comprender mejor este tipo de trabajos, consideramos dividirlos en: 1) catálogos, los que presentan una serie de referencias, sitios y ligas en la red respecto a un tema en particular (tipo compilaciones), 2) guías, que ofrecen información detallada sobre cómo efectuar cierta acción paso a paso, al tiempo que ofrecen referencias sobre el tema en turno, y 3) combinaciones de catálogos/guías.

A continuación se presentan varios ejemplos de estos trabajos, donde su principal característica es la forma en que se acercan al asunto de la evaluación de calidad, o bien, la revisión de un tema específico.

• Catálogos y/o guías de motores de búsqueda para Internet. Por ejemplo, Auer33 y Barker.34
  
• Catálogos y guías sobre documentos que definen cómo citar los recursos de la red. Por ejemplo, Estivill,35 Greenhill36 y Land.37
  
• Catálogos y guías de sitios donde, a su vez, se ofrecen guías para referir derechos de autor adecuadamente. Por ejemplo, Bonney.38
  
• Catálogos y/o guías sobre ética y etiqueta en la red. Por ejemplo, Ciolek39 y Health on the Net Foundation.28
  
• Catálogos y/o guías sobre evaluación de recursos multimedia. Por ejemplo, Learning Technology Corporation Limited40 y Vaughan.41
  

En general, se considera que un catálogo es aquel que ofrece una combinación de las distintas opciones aquí presentadas y que las guías versan sobre uno de los temas en particular -en ambos casos ofrecen una combinación de catálogo-guía o guía-catálogo. Como muestra, se presenta a continuación una breve descripción de algunos ejemplos dentro de esta categoría.

La maestra Nicole Auer,33 profesional en el área de bibliotecas del Tecnológico de Virginia, Estados Unidos, desarrolló un catálogo de referencias bibliográficas que trata de abarcar el problema de la enseñanza y el uso de las habilidades del pensamiento crítico para evaluar los recursos de Internet. Este catálogo se creó inicialmente para una conferencia, pero debido a su popularidad, se pensó en la ventaja que tendría colocarlo a disposición de todos los usuarios de la red. La autora comenta que su lista no es completa, pero que trata de mostrar lo más representativo en el medio. Su catálogo lo clasifica en:

• Recursos de Internet, con más de 50 sitios relacionados.
• Recursos impresos, con casi 60 referencias a artículos científicos y libros.
• Ejemplos de sitios en Internet. Lugares donde se explica la evaluación de recursos como materia dentro de programas académicos en ciencias de la biblioteconomía, y donde se facilitan herramientas para evaluar los sitios de la red.
• Listas de correo. Posee 7 listas entre las que se encuentra Nettrain, Info-quality-L y web4lib, entre otras.
  
• Libros útiles, con dos referencias sobre el tema.
  

Por otro lado, a pesar de que el trabajo de Gardois2 no se ubica directamente en esta categoría de trabajos, porque no se trata de un recurso que esté permanentemente en línea, su enorme lista de referencias es un ejemplo de la gran cantidad de información que existe al respecto. En total, él hace referencia a 57 documentos, tanto impresos como en Internet, donde se representa la problemática y los criterios existentes sobre la evaluación de la información médica en la red. Sus resultados muestran que la mayor parte de los trabajos analizados corresponden a sitios de Internet, pero también considera sitios de FTP, listas de correo y grupos de noticias.
Smith23 hace un catálogo de enlaces hacia sitios que tratan sobre los criterios para evaluar los recursos de información, en especial aquellos que están en Internet. El autor dirige este trabajo a los profesionales de la información y otros interesados en formar guías de recursos, o bien, aquellos que pretendan conocer las características a evaluar en la información disponible en la red. Al igual que los anteriores autores de este apartado, Smith divide su compilación en los siguientes apartados:

• Sitios que presentan criterios generales de evaluación (más de 40 referencias en la red).
  
• Sitios donde se presentan criterios de evaluación utilizados para recursos específicos ( con 10 referencias -algunas de los cuales son menos útiles que otras pero se incluyeron para mostrar el amplio rango de criterios usados).
  
• Referencias de documentos que contienen comentarios generales sobre la temática (con 3 referencias).
  

El sitio de la University of Illinois at Chicago42 realizó una compilación muy interesante de herramientas de búsqueda y materiales que permiten evaluar la calidad de los recursos en red. Aparte de referenciar bases de datos y motores para búsqueda de información, el sitio dispone de una lista de enlaces a otros lugares, que permiten hacer evaluaciones críticas de recursos, así como a fuentes bibliográficas sobre el tema. Cualesquiera de estas opciones ubica a los usuarios en las referencias más citadas por todos los autores y que son las que se incluyeron en este trabajo.

Puede encontrarse una infinidad de sitios que ofrecen este servicio de catalogación, algunos son producto de académicos interesados en el tema, otros los ofrecen instituciones a partir de su servicio bibliotecario, mientras que otros proceden de empresas privadas a manera de un servicio adyacente a servicios comerciales. Entre todos ellos se hallan Barker,34 Bonney,38 Cyber Tours43 y December.6

C) Trabajos que han evaluado los recursos en la red sobre algún tema específico (y en ocasiones crean un índice para su consulta)

Este grupo de interesados en un tema específico, evalúa directamente otros sitios en la red, y aquellos que cumplen sus criterios, se presentan en forma de índice para que los usuarios interesados los consulten con la confianza de acceder a sitios de calidad.

The Argus Clearinghouse44 es una referencia obligada, cuando se desea consultar cualquier información sobre salud en la red. La principal característica de este lugar es que los sitios que aquí se presentan, organizados a manera de catálogo, fueron incluidos como resultado de su calidad. Este proyecto ofrece, además, la lista de criterios que utilizan para evaluar los recursos comprendidos, y que pueden utilizarse por los usuarios para aplicarlos en sus búsquedas personales. Estos criterios se basan en el nivel de descripción de los recursos, nivel de evaluación del recurso, diseño, esquemas organizativos y meta-información.

Dos recursos que fueron integrados al primer grupo de este trabajo, pero que también ofrecen a los consumidores de servicios de salud la posibilidad de acceder a otros sitios, previamente evaluados, son el proyecto Discern y el proyecto BIOME,45 antes llamado OMNI.46 El primero ofrece un instrumento disponible en línea y de un manual educativo, el usuario está habilitado para evaluar cualquier sitio con información en salud con la finalidad de usarla como parte de sus elecciones de tratamiento. El segundo, promovido por el BIOME Special Advisory Group on Evaluation,45 ofrece una interfaz para la búsqueda de información de calidad para usuarios del Reino Unido.

A continuación se presenta una serie de sitios que cubren las mismas funciones que los citados en este apartado y que fueron compilados por Harris.1 Cada uno de estos sitios tiene un objetivo particular y una audiencia específica, en dependencia del área que cubren (no se analizan aquí por cuestión de espacio):

• Best of 1996 Social Sciences, Humanities & Asian-Pacific Studies WWW Resources. http://coombs.anu.edu.au/SpecialProj/QLTY/BEST/Method96.html
• CyberHound. http://www.thomson.com/cyberhound
• CyberStacks. http://www.public.iastate.edu/~CYBERSTACKS
• Infofilter. http://www.usc.edu/users/help/flick/Infofilter
• The Internet Public Library. http://www.ipl.org
• Magellan Internet Guide. http://www.mckinley.com
• SiteGrade. http://www.sitegrade.com
• Stevie's Web Site Ratings. http://www.steview.com/cgi-bin/STEVIE/rat_home
  

D) Evaluación de materiales no tradicionales de publicación (que no sean artículos científicos).
Se incluyen esquemas que evalúan publicaciones y revistas electrónicas, programas multimedia, listas de correo profesional, foros de mensajes o grupos de noticias, literatura "gris", literatura vanity y educación en línea.

Schulz y colaboradores,47 ofrecen un catálogo de criterios de calidad para publicaciones electrónicas en medicina (PEM) elaborados por el grupo "CBT" de la Sociedad Alemana de Informática Médica, Biometría y Epidemiología, motivado por la percepción de recursos en red aún no desarrollados con calidad. Este grupo establece que el desarrollo de una buena PEM requiere de competencia en el dominio, en ingeniería de software, en medios, en diseño y didáctica. Su catálogo de criterios está dividido en: a) contenido (autoría, requerimientos formales y referencia al grupo objetivo), b) aspectos técnicos (plataforma, limitaciones de hardware, instalación del software, rendimiento-flexibilidad-características de ejecución-interfases y criterios especiales para publicaciones electrónicas basadas en Internet), c) codificación de la información y modalidades de presentación (texto meta-información, aspectos formales, apariencia, acrónimos y términos especiales, hipertexto, recuperación de información), d) gráficos,48 e) animación, fotografías, secuencias de video y audio49 (interacción entre diferentes modalidades de presentación), e) ergonomía y diseño (requerimientos básicos, elementos de control, organización de la pantalla, color y sistema de ayuda), f) diálogo y didáctica (inclusión del conocimiento, evaluación del conocimiento, diálogo-navegación, motivación) y g) posibilidad de ampliación. Finalmente, estos autores comentan que su catálogo no es completo dada la aparición de nuevas tecnologías y su efecto en la enseñanza.

Existe una modalidad de documentos académicos que se publican directamente en Internet sin antes editarse en algún formato impreso: las revistas electrónicas. Una gran cantidad de ellos intentan difundir la información médica, y de otras disciplinas, a la comunidad científica y general. Este tipo de revistas siguen de alguna manera las medidas editoriales de evaluación de calidad preparadas para documentos impresos. Sin embargo, deben hacer un esfuerzo extra para diseñar, desarrollar y mantener los sitios de la red donde se publican. De esta manera, una revista electrónica puede evaluarse mediante los mismos criterios de calidad que se aplican para cualquier otro sitio en la red. Un ejemplo de los criterios para contenidos y formato en este sentido es el de la revista Forum for

Qualitative Research.50

Para aquellos interesados en utilizar programas multimedia, existen algunas formas de evaluar su calidad. Perry51 ofrece una guía de criterios, para programas multimedia que emplearán los profesionales (46 preguntas), una comparación entre programas de entrenamiento y juegos multimedia (8 criterios de comparación) y una evaluación de programas de entrenamiento multimedia (27 criterios). Todos ellos orientados al aspecto del aprendizaje y dirigidos a facilitar los procesos pedagógicos. Algunos otros autores han dedicado parte de sus trabajos a este rubro. Vaughan (1999), por ejemplo, evalúa los objetivos de aprendizaje, el estilo de interacción y el uso apropiado de los medios.

Hernández-Borges y colaboradores52 analizan la calidad de las listas de correo profesionales debido a su popularidad y utilidad como recursos médicos. Ellos analizaron las listas NEPHROL, PDIAL-L y HYPERTEL mediante el factor de impacto del Science Citation Index y el criterio llamado "Índice de calidad potencial". Concluyeron que los participantes de dichas listas son autores calificados por lo que puede considerarse que las listas de correo electrónico son un buen complemento a las revistas especializadas.

Otro medio no tradicional son los foros de mensajes. Aunque actualmente no existen propuestas para evaluar la calidad de este tipo de materiales, es posible encontrar algunos lugares donde han desarrollado restricciones de acceso y criterios de participación a fin de mejorar la calidad del sitio. Tal es el caso del foro que dirige la Suprema Corte de Justicia de México,53 que establece normas para el registro de los participantes, prohibición de lenguaje ofensivo y uso de mayúsculas, restricciones de contenido, etcétera.

Se habla también de la dificultad para evaluar la calidad de la literatura vanity y de la literatura "gris". 22, 26 A pesar de que este tipo de publicaciones puede ser de calidad, no es fácil valorarla, debido a la gran variabilidad de los formatos de presentación y contenidos, además de que no poseen algunas de las pistas visuales que, en un momento determinado, facilitan el análisis crítico por parte del usuario. Puede decirse que cualquier documento de este tipo podría evaluarse mediante algunos de los criterios propuestos anteriormente, siempre y cuando el documento lo permita. Por ejemplo, Sequeira54 propone una serie de criterios para evaluar la literatura "gris" dentro del marco de una base de datos útil para el sector salud en América Latina y el Caribe. Su propuesta incluye los siguientes elementos importantes para selección, validación e inclusión: a) los proveedores de la información deben ser agentes institucionales, b) la información enviada debe revisarse y validarse previamente por la institución o agencia proveedora, y c) los autores individuales deberán respaldar sus investigaciones, artículos, documentos o escritos en alguna de las situaciones o prácticas producidas a raíz de los procesos de reforma del sector salud. Por su parte, el juego de criterios propuesto por Harris,1 aunque no elaborado para este fin, bien puede permitir la evaluación de esta literatura debido a su naturaleza y conformación. De manera similar, los criterios Quick55 pueden ofrecer una alternativa para evaluar este tipo de recursos.

Con respecto a los materiales propagandísticos y de patrocinio, las disposiciones de la American Medical Association29 ofrecen una alternativa bastante viable para su formato y ubicación, estas características se incluyen en otros juegos de criterios revisados en este trabajo, así como algunos aspectos que se proponen sobre privacidad y confidencialidad de la información, los que también se tratan por la Fundación Health on the Net.

Por último, pero no menos importante, destacan los criterios de evaluación de sitios educativos, sean a distancia o en línea. Este aspecto cuenta con cierta tradición en el campo educativo debido a su relevancia en los procesos formativos. La educación en línea y a distancia ha merecido el trabajo de una gran cantidad de investigadores y educadores, tanto del sector gubernamental como de la iniciativa universitaria pública y privada. Entre estas propuestas se encuentran las del grupo del ILCE,56 quienes proponen un modelo basado en la evaluación del diseño, de la administración, del uso y comprensiva de los recursos para la educación en línea y a distancia. Muchos de los criterios son afines con los revisados en otros apartados de este trabajo, pero otros están sumamente orientados a la evaluación de los aspectos psicopedagógicos o comunicacionales.

Discusión

Como se estableció, para que un documento o recurso de la red sea de calidad, debe cubrir las necesidades del usuario para el cual fue dispuesto. La calidad de sus contenidos y la forma en que se presente en la red, dependerá de todo el esfuerzo realizado desde el momento en que se preparan textos y materiales, su colocación en línea hasta su habilitación para la retroalimentación.

El análisis de documentos y herramientas sobre la calidad de la información en la red es motivo de preocupación actual. Hasta la fecha existen una gran cantidad de propuestas sobre evaluación de calidad de los recursos en Internet que no se han clasificado ni sistematizado. Este trabajo ha permitido identificar los tipos de propuestas y sus características. Muchos autores concuerdan con que los criterios para evaluar la calidad de la información en salud, en Internet, deben llegar a un consenso, donde se espera que los criterios sean simples y claros, fácilmente comprensibles para el público en general,8 y por los profesionales de la información. Kamel y colaboradores,57 plantean que para que un criterio sea candidato para evaluar la calidad debe ser alcanzable, mesurable, observable, entendible y razonable.

Por nuestra parte, consideramos que las tendencias apuntan a que el logro de la estandarización de los criterios no está muy lejos. Así lo mencionan las principales instituciones de salud en el mundo. La sistematización de una herramienta que defina los criterios a aplicar y la persona que deba aplicar tales criterios (diseñador, usuario, administrador, experto en el tema) es un objetivo de trabajo, entre otros, para la Biblioteca Virtual en Salud Adolec México.

De igual forma, los resultados aquí obtenidos servirán de guía para la implementación del sistema de control de calidad de los recursos que se coloquen a disposición en dicha biblioteca, lo cual se tratará en otro lugar, una vez analizada la forma de implementación.

Agradecimientos

Por los valiosos comentarios del Maestro José Ramiro Caballero Hoyos en las fases previas del trabajo.

 

Referencias bibliográficas

1. Harris R. Evaluating Internet Research Sources. Vanguard University of Southern California. 1997. Disponible en: <http://www.vanguard.edu> [18 de abril de 2001].
   
2. Gardois P. Evaluating the quality of medical information on the Internet: a brief bibliography. 8th ICML Conference Proceedings. 2000. Disponible en: <http://www.icml.org/ posters/post28/poster28.htm#_Toc479232455> [4 de marzo de 2001].
   
3. Health Summit Working Group. Criteria for Assessing the Quality of Health Information on the Internet - Policy Paper. 1999. Disponible en: <http://hitiweb.mitretek.org/ docs/policy.html#eval> [4 de abril de 2001].
   
4. Tillman HN. Evaluating the Quality of Information on the Internet or Finding a Needle in a Haystack. En: Presentation delivered at the John F. Kennedy School of Government. Cambridge; Harvard University:1995.
   
5. Ambre J, Guard R, Perveiler FM, Renner J, Rippen, H. Criteria for Assessing the Quality of Health Information on the Internet. 1997. Disponible en: <http://hitiweb.mitretek.org/ docs/criteria.pdf> [23 de mayo de 2001].
   
6. December J. The World-Wide Web Virtual Library. 1997. Disponible en: <http://www.w3.org/vl> [2 de abril de 2001].
   
7. Grassian E. Thinking Critically about World Wide Web Resources. 2000. Disponible en: <http:// www.library.ucla.edu/libraries/college/help/critical/index.htm> [10 de junio de 2001].
   
8. Kim P, Eng T, Deering MJ, Maxfield T. Published criteria for evaluating health related web sites: review. BMJ 1999; 318: 647-9.
   
9. Smith AG. Testing the Surf: Criteria for Evaluating Internet Information Resources. The Public-Access Computer Systems Review 1997; 8(3). Disponible en: <http://www.vuw.ac.nz/~agsmith/evaln/index.htm> [10 de abril de 2001].
   
10. Wells A. Enhancing Discovery: the Role of Standards in Describing Internet Resources. 1997. Disponible en: <http://www.nla.gov.au/nla/staffpaper> [24 de enero de 2001].
    
11. International Steering Committee. Uniform requirements for manuscripts submitted to biomedical journals. Ann Intern Med 1979; 90: 95-9.
    
12. American Psychological Association (APA). Publication manual of the American Psychological Association.4a. ed. Washington, D. C:APA; 1994.
    
13. Gibaldi J. MLA Style Manual and Guide to Scholarly Publishing. 2a. ed. Modern Language Association; 1985.
    
14. International Organization for Standardization, Technical Committee ISO/TC 176. ISO 8402: Quality management and quality assurance - Vocabulary. 2a. ed. GénEva: International Organization for Standardization; 1994.
    
15. Eysenbach G. Towards quality management of medical information on the Internet: evaluation, labeling, and filtering of information. BMJ 1998; 317: 1496-1502.
    
16. Organización Panamericana de la Salud. Adolec-Bireme. Guía de implementación del Área de Adolescencia y Salud en la Biblioteca Virtual en Salud (BVS Adolec). Washington, DC: OPS; 1999.
    
17. Ciolek TM. Information quality: catalogue of potent truisms. 1997. Disponible en: <http:// www.ciolek.com/WWWVLPages/QltyPages/QltyTruisms.html> [7 de abril de 2001].
    
18. Krippendorff K. Metodología de análisis de contenido. Teoría y práctica. Barcelona: Paidos; 1990.
    
19. Ciolek TM. The Six Quests for the Electronic Grail: Current Approaches to Information Quality in WWW Resources. Review Informatique et Statistique dans les Sciences humaines (RISSH) 1996; (1-4): 45-71. Disponible en: <http://www.ciolek. com/PAPERS/QUEST/QuestMain.html> [10 de julio de 2001].
    
20. Caywood C. Library selection criteria for WWW resources. 1995. Disponible en: <http://duckdock. acic.com/carolyn/criteria.htm> [4 de abril de 2001].
    
21. Oliver KM, Wilkinson GL, Bennett LT. Evaluating the Quality of Internet Information Sources. En: Paper Presented at The Annual Convention of the Association for the Advancement of Computing in Education (AACE). Junio de 1997. Calgary, Canadá: ED-MEDIA/ED-TELECOM, 1997. Disponible en: <http:// www.edtech.vt.edu/edtech/kmoliver/webeval/AACE97.html> [25 de marzo de 2001].
    
22. Luz GM, García LS, Oliveira SM. Evaluación de Servicios de Información en la Internet: Estado del Arte e Implicaciones Metodológicas en el Design y en la Mantención. 2000. Disponible en: <http://www.icml.org/monday/spanish1/luz.htm> [2 de enero de 2001].
    
23. Smith AG. Evaluation of information sources. 2001. Disponible en: <http://www.vuw.ac.nz/ ~agsmith/evaln/evaln.htm> [5 de marzo de 2001].
    
24. Centrale Santé. Net Scoring ®: criteria to assess the quality of Health Internet information. 1997. Disponible en: <http://www.chu-rouen.fr/dsii/publi/netscoring.html> [7 de abril de 2001].
    
25. Norman DA, Drapers W eds. User-Centered System Design. Hilldale, N.J.: Lawrence Erlbaum; 1986.
    
26. Tillman HN. Evaluating quality on the Net. 2000. Disponible en: <http://www.hopetillman.com/ findqual.html> [18 de febrero de 2001].
    
27. Charnock D, Shepperd S, Needham G, Gann R. DISCERN: an instrument for judging the quality of written consumer health information on treatment choices. Journal of Epidemiology & Community Health 1999; 53: 105-11. Disponible en: <http://www.discern.org.uk> [4 de abril de 2001].
    
28. Health on the Net Foundation. 2000. Disponible en: <http://www.hon.ch/HONcode/Spanish/ index.html> [12 de marzo de 2001].
    
29. American Medical Association (AMA). Principles governing AMA Web sites. 2000. Disponible en: <http://www.ama-assn.org/ama/pub/category/1905.html> [18 de marzo de 2001].
    
30. Day RA. Cómo escribir y publicar trabajos científicos. Washington DC: OPS; 1990.
    
31. Velásquez L. Redacción del Escrito Médico. México, D. F.: Ediciones Médicas del Hospital Infantil de México Federico Gómez; 1986.
    
32. Goodman SN, Berlin J, Fletcher S, Fletcher RH. Manuscript quality before and after peer review and editing at Annals of Internal Medicine. Ann Intern Med 1994; 121: 11-21.
    
33. Auer N. Bibliography on Evaluating Internet Resources. Emergency Librarian 1998; 25(5): 23-4. Disponible en: <http://www.lib.vt.edu/research/libinst/evalbiblio.html> [2 de abril de 2001].
    
34. Barker J. Teaching Library Internet Workshops. University of California, Berkeley. 2000. Disponible en: <http://www.lib.berkeley.edu> [10 de marzo de 2001].
    
35. Estivill A. Cómo citar recursos electrónicos. 1997. Disponible en: <http://www.ub.es/biblio/ citae.htm#norma> [5 de abril de 2001].
    
36. Greenhill A. Electronic References & Scholarly Citations of Internet Sources. 2001. Disponible en: <http://www.spaceless.com> [12 de abril de 2001].
    
37. Land T. Web Extension to American Psychological Association Style (WEAPAS) (Rev. 1.6). 1998. Disponible en: <http://www.beadsland.com/weapas> [23 de marzo de 2001].
    
38. Bonney M. Locating, Evaluating, and Citing Web Resources. Syracuse University. 2000. Disponible en: <http://maxwell.syr.edu> [4 de abril de 2001].
    
39. Ciolek TM. Ethics and Etiquette of Internet Resources. 2001. Disponible en: <http://www.ciolek. com/WWWVLPages/QltyPages/QltyEtiq.html> [18 de abril de 2001].
    
40. Learning Technology Corporation Limited. Models for Evaluating Multimedia Learning Provision. 1997. Disponible en: <http://www.educationau.edu.au/reports/models/ class6.htm> [8 de abril de 2001].
    
41. Vaughan S. Evaluating multimedia. 1999. Disponible en: <http://www.kcl.ac.uk/humanities/ cch/hwc/hwc992/cal/eval.html> [10 de enero de 2002].
    
42. University of Illinois at Chicago. Criteria for Critical Evaluation of Information on the Internet. 2001. Disponible en: <http://www.uic.edu/classes/bhis/bhis510/lim3/criteval.htm> [20 de enero de 2002].
    
43. Cyber Tours. Hands-on Instructional Tours of the Web. 2000. Disponible en: <http://www.cybertours.com> [20 de abril de 2001].
    
44. The Argus Clearinghouse. 2001. Disponible en: <http://www.clearinghouse.net> [4 de marzo de 2001].
    
45. BIOME, Special Advisory Group on Evaluation. 2001 Disponible en: <http://biome.ac.uk/sage> [8 de enero de 2002].
    
46. Organizing Medical Networked Information. OMNI Guidelines for Resource Evaluation. 1999. Disponible en: <http://omni.ac.uk/agec/evalguid.html> [2 de marzo de 2001].
    
47. Schulz S, Klar R, Auhuber T, Schrader U, Koop A, Kreutz R, et al. Criterios de Calidad para Publicaciones Electrónicas en Medicina. 1999. Disponible en: <http://www.imbi.uni-freiburg.de/medinf/gmdsqc/es.htm> [2 de abril de 2001].
    
48. Howie W. Audio guide for Web Developers. 2001. Disponible en: <http://www.walthowe.com/ pubweb/gg0.html> [4 de abril de 2001].
    
49. Howie W. Audio guide for Web Developers. 2001. Disponible en: <http://www.walthowe.com/ pubweb/audio.html> [4 de abril de 2001].
    
50. Forum for Qualitative Research. Notes for Layout. 2000. Disponible en: <http://www.qualitative-research.net/fqs/fqs-eng.htm> [16 de enero de 2001].
    
51. Perry T. Evaluating multimedia. 2000. Disponible en: <http://www.coastal.com/clarity> [2 de marzo de 2001].
    
52. Hernández-Borges A, Macías P, Torres A. Are Medical Mailing Lists Reliable Sources of Professional Information? En: MEDNET 97. The World Congress of the Internet in Medicine. Brighton,UK: MEDNET; 1997.
    
53. Suprema Corte de Justicia de México. Noticia sobre los foros de mensajes. 1999. Disponible en: <http://www.scjn.gob.mx/charlas/default.asp> [10 de Julio de 2001].
    
54. Sequeira Z. Base de datos de literatura gris. Centro de información y análisis sobre la reforma del sector salud en América Latina y el Caribe. 2001. Disponible en: <http://www.americas.health-sector-reform.org/spanish/clhdbp2.htm#crit-selec> [2 de abril de 2001].
    
55. Health Education Authority. Quick: The quality information checklist. 2001. Disponible en: <http://www.quick.org.uk> [3 de abril de 2001].
    
56. Morales VC, Carmona MV, Espíritu RS, González NI. Modelo de evaluación de software educativo. Instituto Latinoamericano de la Comunicación Educativa. 2001. Disponible en: <http://investigacion.ilce.edu.mx/dice/proyectos/evaluacion/modelo.htm> [10 de febrero de 2002].
    
57. Kamel BM, Roudsari AV, Gordon C, Muir J. The Use of Quality Benchmarking in Assessing Web Resources for the Dermatology Virtual Branch Library of the National electronic Library for Health (NeLH). J Med Internet Res 2001; 3 (1): e5. Disponible en: <http://www.jmir.org>.
    

Recibido: 25 de noviembre del 2003 Aprobado: 7 de enero del 2002
Prof. Igor Martín Ramos Herrera. Departamento de Salud Pública, Centro Universitario de Ciencias de la Salud. Sierra Mojada 950, Colonia Independencia. Guadalajara, Jalisco, México. CP 44340. México. Correo electrónico: [e-mail]

 

1 Profesor Investigador del Departamento de Salud Pública. Universidad de Guadalajara. Departamento de Salud Pública, Centro Universitario de Ciencias de la Salud.
2 Maestro en Salud Pública. Coordinador de la Biblioteca Virtual en Salud ADOLEC México. Unidad de Investigación Epidemiológica y en Servicios de Salud del Adolescente. Instituto Mexicano del Seguro Social.
3 Doctor en Epidemiología. Investigador de la Unidad de Investigación Epidemiológica y en Servicios de Salud del Adolescente.