EvaCyT: una metodología alternativa para la evaluación de las revistas científicas en la región iberoamericana

Dra.C. María Elena Mesa Fleitas,1 Lic. Yaniris Rodríguez Sánchez2 y Lic. Yohanely Savigne Chacón2

Resumen

Con el objetivo de desarrollar una metodología alternativa para la evaluación de las revistas científicas en la región Iberoamericana, se analizaron y compararon cinco metodologías de evaluación. Estas fueron: metodología para la selección de las revistas para la base de datos Science Citation Index del Institute for Scientific Information (ISI), metodología del proyecto Scientific Electronic Library Online (SciELO), metodología Latindex, metodología de la Academia de Ciencias de Cuba y el modelo de normativa de publicaciones científicas, desarrollado por la Universidad de Salamanca. La propuesta metodológica realizada, EvaCyT, se compone de cinco módulos: edición, forma o presentación, actividad, circulación y repercusión; comprende la valoración, tanto de los aspectos formales como de contenido de las publicaciones científicas, y puede aplicarse a diferentes entidades.

Palabras clave: Revistas científicas, evaluación, metodología, Iberoamérica.

Abstract

With the objective to develop an alternative methodology for the evaluation of the scientific journals in Ibero-America, 5 evaluation methodologies were analyzed and compared: methodology for the selection of journals for the Science Citation Index database of the Institute for Scientific Information (ISI), methodology of the Scientific Electronic Library Online (SciELO) project, Latindex methodology, methodology of the Academy of Sciences of Cuba and the model of scientific publication norms, developed by the University of Salamanca. The methodological proposal made, EvaCyT, is composed of five modules: publication, form or presentation, activity, circulation and impact. It includes the evaluation of the formal and content aspects of the scientific publications, and it may be applied to different organizations.

Key words: Scientific journals, evaluation, methodology, Ibero-America.

Copyright: © ECIMED. Contribución de acceso abierto, distribuida bajo los términos de la Licencia Creative Commons Reconocimiento-No Comercial-Compartir Igual 2.0, que permite consultar, reproducir, distribuir, comunicar públicamente y utilizar los resultados del trabajo en la práctica, así como todos sus derivados, sin propósitos comerciales y con licencia idéntica, siempre que se cite adecuadamente el autor o los autores y su fuente original.

Cita (Vancouver): Mesa Fleitas ME, Rodríguez Sánchez Y, Savigne Chacón Y . A EvaCyT: una metodología alternativa para la evaluación de las revistas científicas en la región iberoamericana. Acimed 2006;14(5). Disponible en URL: http://bvs.sld.cu/revistas/aci/vol14_5_06/aci14506.htm [Consultado: día/mes/año].

La validación de la calidad de las publicaciones que soportan el desarrollo de la ciencia en general y de sus disciplinas en particular es una necesidad inherente al propio desarrollo científico. Comprende aspectos como la evaluación de la cobertura y la visibilidad que presentan las revistas en las bases de datos con cobertura internacional y la determinación de su impacto en la comunidad científica.

En este sentido, son muchas las organizaciones que han desarrollado metodologías, modelos y diferentes sistemas de evaluación para medir, sobre la base de diversos parámetros y normas, la calidad de las publicaciones.

Sucede que la falta de un diseño de investigación adecuado en muchos trabajos científicos, la existencia de errores que afectan al proceso de publicación, las deficiencias del sistema de arbitraje y de las políticas editoriales de las revistas, propician que no todas las publicaciones contribuyan, como deben, al progreso de la ciencia. A su vez, el carácter preliminar de muchos de los resultados publicados; la estrechez de perspectiva de los trabajos; la ausencia de los elementos metodológicos necesarios para determinar su validez científica; su falta de relevancia para las cuestiones propias de la actividad del lector; así como la redundancia de la información; unido a la forma incorrecta de abordar la literatura que utilizan la mayor parte de los especialistas de cualquier rama del conocimiento, aún cuando se han publicado metodologías efectivas para su realización, imponen la necesidad de desarrollar una vía eficaz de evaluación de la literatura científica.1

La validez de una revista científica emerge de la profesionalidad del comité editorial que la conforma y de los árbitros, quienes vigilan la comunicación del conocimiento humano, para garantizar su legitimidad, consistencia y valor. Esto supone la existencia de un sólido comité editorial y de árbitros con profundos conocimientos en la materia como para validar el nuevo conocimiento expuesto.2

La evaluación, como actividad inherente al desarrollo de cualquier entidad, es un proceso sistemático que debe realizarse sobre la base de una metodología consistente, con vista a determinar la validez y confiabilidad del objeto que se evalúa. Así, una publicación científica, como vehículo de comunicación que es, se evalúa entonces desde la perspectiva de sus mensajes y como canal de comunicación.

A continuación, se expondrán los aspectos principales que caracterizan los cinco modelos de evaluación de las revistas científicas, seleccionados con vista al desarrollo de una nueva propuesta metodológica para la evaluación de esta clase de publicaciones.

Modelos para la evaluación de las revistas científicas

Metodología del Institute for Scientific Information (ISI). Uno de los modelos que se utilizan para evaluar las revistas científicas es el empleado para la selección de las fuentes que ingresan al Science Citation Index (SCI), una poderosa bases de datos multidisciplinaria desarrollada desde hace décadas por el Institute for Scientific Information (ISI) de los Estados Unidos, que se toma como referencia por gozar de un reconocido prestigio dentro de la comunidad científica internacional y por constituir un paradigma en materia de bibliografía científica de vanguardia a escala mundial.

Sin embargo, es oportuno aclarar que el ISI, si bien posee uno de los sistemas de evaluación de publicaciones científicas más competente, sus bases de datos con frecuencia presentan un claro sesgo de selección a favor de las revistas científicas del primer mundo (anglosajonas y, en especial, por las editadas en los Estados Unidos) en detrimento de las publicaciones científicas del tercer mundo editadas en idiomas diferentes al inglés. Con esto, en ocasiones se resta visibilidad y legitimidad a los resultados publicados en dichas revistas y, en la práctica, se hace casi imposible evaluar estas a partir de esta fuente.

En respuesta a esta problemática, generada por la imposibilidad práctica de aplicar los modelos de evaluación utilizados por los países del primer mundo en la valoración de las revistas del tercer mundo, se han creado otros modelos o metodologías de evaluación sean de cobertura nacional o internacional que, en alguna forma, tratan de solucionar la escasa difusión y visibilidad de las revistas científicas de estos países, así como el poco acceso a estas, a partir de indicadores consistentes y actualizados sobre el uso y el impacto de la literatura científica.

Las bases de datos del ISI cubren actualmente más de 16 000 revistas, libros y actas de eventos internacionales en las áreas de las ciencias y las tecnologías, las ciencias sociales, las artes y las humanidades.

Cada revista que pretende ingresar en sus bases de datos, se somete a un riguroso proceso de evaluación antes de su aceptación o rechazo definitivo. En este proceso, se analizan los requisitos básicos de publicación, su contenido editorial, internacionalidad y diferentes índices de citas con respecto a la revista y a sus autores, periodicidad, entre otros.

Entre los requisitos editoriales básicos se encuentran: los títulos de las revistas deben ser informativos, los títulos de los artículos y los resúmenes deben ser completamente descriptivos, los datos bibliográficos de las referencias citadas y la dirección de los autores de cada trabajo deben aparecer en forma completa, etcétera.

La aplicación de un proceso de revisión por pares es otro de los indicadores que utiliza el ISI para probar la calidad de la fuente presentada y la exactitud e integridad de las referencias citadas. Con respecto al análisis de citas, el proceso de evaluación del ISI es único, porque sus editores tienen una amplia variedad de datos de citación a su disposición. Para las revistas establecidas, se consideran medidas de citas completas, factor de impacto e índice de inmediatez; para las recién creadas, los editores examinan el registro de publicaciones de los autores y de los miembros del cuerpo editorial, para conocer dónde se han publicado sus artículos y si sus trabajos se han citado. Ningún elemento se considera aisladamente, sino que se combinan e interrelacionan; así puede el editor responsable del área a la que se corresponde la revista determinar todos sus puntos fuertes y débiles.

El ISI evalúa e incluye revistas electrónicas en sus bases de datos y trata de analizar en ellas todos los indicadores de calidad utilizados para las revistas tradicionales. Los patrones para evaluar la periodicidad se comportan diferentes en este formato electrónico. Las revistas electrónicas de investigación pueden adoptar dos formas básicas: publicarse en el formato tradicional, en ediciones que contienen una colección de artículos, o publicar los artículos de uno en uno.

Metodología del Proyecto SciELO (Scientific Electronic Library Online)4

SciELO es el resultado de un proyecto de investigación de la Fundação de Amparo à Pesquisa do Estado de São Paulo (FAPESP) en colaboración con el Centro Latinoamericano y del Caribe de Información en Ciencias de la Salud (BIREME). Consiste en una biblioteca electrónica que contempla el desarrollo de una metodología común para la preparación, almacenamiento, diseminación y evaluación de literatura científica en formato electrónico. El objetivo fundamental de este proyecto es aumentar radicalmente la visibilidad, la accesibilidad y la credibilidad nacional e internacional de las publicaciones científicas de América Latina y el Caribe.

La metodología SciELO facilita la publicación electrónica de las ediciones integradas de revistas científicas, la organización de bases de datos bibliográficas y de texto completo y la producción de indicadores estadísticos de uso y de impacto de la literatura científica.

Para evaluar las revistas científicas se utilizan criterios de evaluación que se desarrollaron sobre la base de identificar, estimular y crear una colección-núcleo de revistas científicas, donde el estándar de calidad alcance a las revistas científicas internacionales de primera línea. El proceso de revisión y aprobación de estas revistas se realiza por especialistas en cada área.

La evaluación de las revistas comprende su circulación, uso e impacto, que se miden y analizan a diferentes niveles: geográfico, temático e institucional. Esta evaluación induce y promueve el mejoramiento de la calidad de las revistas y agrega valor al tiempo final del usuario que gana acceso a base de datos de colecciones de revistas que siguen normas comunes.

Las contribuciones pueden estar escritas en idioma español, portugués e inglés y no tienen que ser necesariamente publicadas en papel. Algunos criterios utilizados para la evaluación de las revistas participantes son:

• Carácter científico de la publicación.
• Inclusión en índices internacionales.
• Arbitraje por pares (peer review).
• Calidad del cuerpo editorial.
• Periodicidad.
• Presencia de títulos, resúmenes y descriptores en inglés.
• Uso de la revista.
• Frecuencia.

Metodología de Latindex5

Latindex es el Sistema Regional de Información en Línea para revistas científicas de América Latina, el Caribe, España y Portugal. Se fundó en 1995 ante la necesidad de difundir las publicaciones científicas de países iberoamericanos que tienen escasa visibilidad en las bases de datos internacionales de reconocida autoría, es decir, con el objetivo de lograr la visibilidad de las publicaciones periódicas y seriadas que se editan en la región, partir de criterios de calidad estandarizados, reconocidos previamente por expertos en la materia.

En este proyecto coopera una red de centros regionales y nacionales que, en forma coordinada, compila, normaliza y distribuye información bibliográfica sobre las publicaciones científicas seriadas que se publican en la región. Su nodo central radica en la UNAM, México. Comprende tres productos principales que se desarrollan en fases sucesivas: un directorio, un catálogo y un índice.

El directorio contiene los títulos de más de 12 787 títulos de revistas sin evaluar, provenientes de treinta países latinoamericanos, España y Portugal, e incluye una descripción bibliográfica básica normalizada y los datos del editor.

El catálogo es un sistema para categorizar revistas; además, es una plataforma de evaluación que cada país utiliza para generar o apoyar otros sistemas de evaluación científica y académica. La selección de revistas presenta información detallada y confiable sobre parámetros de calidad editorial, e indirectamente revela ciertos parámetros de calidad sobre el contenido. Incluye títulos de más de 1 500 publicaciones.

Latindex ha establecido 33 criterios de evaluación. Aquellas revistas que cumplen 25 de estos criterios se incluyen en el catálogo. El índice contiene información bibliográfica sobre los títulos de publicaciones iberoamericanas y del Caribe. Es un índice de recursos electrónicos que conecta a revistas científicas en línea. Actualmente posee 1 723 enlaces. Algunos de los aspectos que considera Latindex para evaluar las revistas científicas son los siguientes:

• Cuerpo editorial.
• Identificación de los autores.
• Entidad editora.
• Periodicidad.
• Tablas de contenidos.
• Sistema de arbitraje.
• Definición de la revista.
• Contenido original.
• Resumen en dos idiomas.

Metodología de la Academia de Ciencias de Cuba6

Es la metodología que utiliza la Comisión Permanente de Publicaciones Periódicas de la Academia de Ciencias de Cuba para la evaluación de las revistas científicas del país. Para evaluar sus revistas, los editores deben enviar una serie de datos a la Comisión, a saber: título, número en el registro nacional de publicaciones seriadas, nombre de la editorial, fecha de fundación, ISSN, persona responsable de la publicación, frecuencia de aparición, tirada, revistas referativas y bases de datos en las que se procesa, etcétera.

La evaluación se realiza por tres especialistas. Ellos se ocupan de analizarla y verificar los aspectos que así lo requieran con las propias casas editoriales. Cada uno de esos aspectos se evalúa en cinco categorías: Muy bien, Bien, Regular, Mal o Muy Mal. Los resultados se registran en una hoja de cálculo donde adquieren valores cuantitativos, y el puntaje total de la revista es el resultado de la suma de todos los aspectos. Las revistas que alcancen la categoría “A” reciben el aval de la Academia.

La Academia de Ciencias de Cuba presenta entre los parámetros a evaluar los siguientes:

• Proporción de artículos arbitrados.
• Proporción de artículos que informan resultados originales.
• Regularidad de la aparición; números combinados.
• Puntualidad.
• Origen de los árbitros.
• Frecuencia.
• Elementos de valor añadido. Incluye índice de autores, tabla de contenido, índice acumulativo, índice de materias, información sobre cursos y eventos, reseñas de libros y otros.
• Idoneidad de los títulos.
• Resúmenes en español e ingles.
• Originalidad y novedad científica, etcétera.

Modelo de evaluación normativa de revistas científicas7

Desarrollado por un grupo de investigación español, perteneciente al Departamento Biblioteconomía y Documentación de la Universidad de Salamanca, se creó con el propósito de facilitar el tratamiento de la información contenida en las revistas y mejorar su calidad como medio de comunicación científica. Considera una serie de normas internacionales de presentación de publicaciones periódicas, como las normas ISO y otras no oficiales, entre las que se destacan las pertenecientes a la UNESCO, la American Medical Association, la European Association Scientific Editors, etcétera.

Presenta 261 preceptos normativos, algunos oficiales, que pueden ser obligatorios o facultativos y otros no oficiales o recomendados, que son sugerencias de diferentes autores. El modelo presenta distintos niveles de evaluación donde se agrupan cada uno de los referidos preceptos. Entre ellos, se pueden citar:

• Calidad editorial.
• Reputación y prestigio del editor y comités editoriales.
• Calidad de los contenidos.
• Capacidad de atracción.
• Repercusión.
• Visibilidad y accesibilidad, etcétera.

Análisis comparativo de los modelos de evaluación

El análisis de estos modelos se basa principalmente en la presencia de algunos criterios de evaluación en cada uno de ellos y en la identificación de los indicadores que forman parte de estos criterios, con el fin de determinar el rigor evaluativo por el que atraviesan las revistas que evalúan (tabla).

Tabla. Incidencia de criterios e indicadores en modelos evaluativos

Modelos		A	B	C	D	E
Criterios	Indicadores
Contenido	Originalidad del contenido	x	x	x	x	x
Idoneidad de los títulos	x	x	x	x	x
Relevancia y novedad científica	x	x	x	x	x
Actualidad del contenido	x	x	x	x	x
Presencia de resúmenes	x	x	x	x	x
Edición	Prestigio del consejo editorial	x	x	x	x	x
Puntualidad de la revista	x	x	x	x	x
Regularidad de la aparición	x	x	x	x	x
Presencia de árbitros nacionales e internacionales	x	x	x	x
Revisión por pares		x		x
Calidad del sistema de arbitraje	x	x	x	x	x
Forma	Elementos de valor agregado	x				x
Estructura de la sección materiales y métodos					x
Autoridad	Internacionalidad de la autoría			x	x
Índice de citación		x		x
Afiliación de autores	x	x	x	x	x
Difusión	Procesamiento en bases de datos internacionales		x	x		x
Frecuencia de uso de la revista		x
Versión electrónica accesible en Internet	x	x	x	x
Normalización	Aplicación de normas internacionales	x	x	x	x	x
Resúmenes y palabras claves en dos idiomas	x	x	x		x
Dirección completa explícita	x	x	x	x	x
SIN	x	x	x	x	x
Repercusión	Análisis del impacto				x
Índice de inmediatez				x

A: Latindex
B: SciELO.
C: Modelo normativo de evaluación de revistas científicas.
D: base de datos del ISI.
E: Modelo de la Academia de Ciencias de Cuba.

Existe cierta similitud entre los criterios e indicadores que recogen cada uno de estos modelos, aunque se destacan más la periodicidad de la publicación, la actualidad y la originalidad del contenido, la novedad científica, la aplicación de normas internacionales y la revisión por pares como vía para realizar una ciencia certificada, que avala científicamente los resultados que arrojan los estudios bibliométricos y las evaluaciones que se desarrollan.

El impacto, por su parte, es la medida de la repercusión que tiene una revista en una comunidad científica. Entre los modelos estudiados, sólo el ISI y el proyecto SciElo consideran estos indicadores y en el caso especifico del ISI, estos presentan un peso importante para medir la calidad de las publicaciones científicas. De hecho, SciElo los considera, aunque como un objetivo a largo plazo, tal vez por la ausencia pronunciada de revistas de la región con índices de citación altos. Sin embargo, es oportuno señalar la necesidad de que las revistas científicas de América Latina y el Caribe traten de alcanzar una mayor visibilidad y reconocimiento a escala internacional. Todavía queda mucho por hacer en materia de calidad entre las revistas de la región.

Metodología EvaCyT

Las publicaciones científicas deben responder, con un alto nivel de eficiencia y eficacia, a la estrategia informacional de un país, sobre todo entre los países del tercer mundo, teniendo en cuenta el sesgo de procesamiento que existe en los grandes sistemas y servicios internacionales de información, mayormente de habla inglesa. Se trata de establecer políticas editoriales que aúnen esfuerzo para garantizar la certificación y la calidad de los resultados proporcionados por la comunidad científica de la región.

La metodología EvaCyT comprende cinco módulos y es el resultado de un análisis exhaustivo de otros tipos de modelos de evaluación y su estructura busca integrar sinérgica y holísticamente los parámetros editoriales esenciales, incluidos los indicadores de impacto y visibilidad pertinentes con la finalidad de contribuir al progreso de la ciencia.

Módulo de edición de la metodología EvaCyT

• Consejo editorial
  1. Internacionalidad
  2. Categoría científica
• Consejo de redacción
• Fecha de recepción y aceptación

Módulo de forma y presentación

• Formato de la publicación
  1. Año de publicación
  2. Volumen de la publicación
  3. Número de la publicación
  4. Código ISSN
• Portadas e índices
• Registro de circulación
• Afiliación
• Instrucción a los autores
• Elementos de valor agregado

1. Índices acumulativos:
   – Materia
   – Cronológico
   – Autor
2. Anuncios de productos y servicios
3. Anuncios de eventos científicos

Módulo de actividad  

• Cantidad de artículos por número
• Proporción de artículos originales
• Correspondencia entre el título de la publicación y el contenido
• Resúmenes
• Palabras clave
• Gráficos y figuras
• Colaboraciones de otras instituciones
• Calidad de los resúmenes y palabras clave
• Periodicidad
• Estabilidad

Módulo de circulación

• Difusión en base de datos internacionales
• Colaboración internacional
• Canje y donación internacional
• Canje y donación nacional

Módulo de repercusión

• Impacto relativo
• Cantidad de citas por artículo publicado
• Cantidad de citas por artículo citado
• Mapeo según el indicador visibilidad-impacto

Referencias bibliográficas

1. Cañedo Andalia R. La utilización de los expertos en la evaluación de las publicaciones periódicas primarias. Acimed 1998;6(3). Disponible en URL: http://bvs.sld.cu/revistas/aci/vol6_3_98 /aci06398.htm [Consultado: 10 de junio del 2006].

2. Moreno M. Condiciones para una evaluación eficaz. Disponible en URL http://redescolar.ilce.edu.mx/redescolar/bib/articulos/htm/condi_evalua.htm [Consultado: 4 de junio del 2006].

3. Testa J. La base de datos del ISI y su proceso de selección de revistas. Disponible en URL: http://bvs.sld.cu/revistas/aci/vol9_s_01/sci23100.htm [Consultado: 4 de junio del 2006].

4. Criterios SciElo. Disponible en URL: http://www.scielo.org_es.htm [Consultado: 6 de junio del 2006].

5. Latindex. Sistema Regional en Línea para Revistas Científicas de América Latina y el Caribe, España y Portugal. Disponible en URL: http://www.latindex.org . [Consultado: 3 de junio del 2006].

6. Academia de Ciencias de Cuba (ACC). Evaluación de las revistas científicas cubanas por la Comisión Permanente de Publicaciones de la Academia de Ciencias de Cuba. La Habana: ACC; 2004.

7. Delgado López Cózar E, Jiménez Contreras E. Normalización y evaluación de revistas científicas. Disponible en URL: http://72.14.209.104/search?q=cache:wNGg4bZkuSUJ:bvs.insp.mx/crics/disco/ponentes/evaristojimenez/normalizacion-II.pdf+Delgado+L%C3%B3pez+C%C3%B3zar+Jim%C3%A9nez+Contreras+Normalizaci%C3%B3n+y+evaluaci%C3%B3n+de+revistas+cient%C3%ADficas&hl=es&gl=cu&ct=clnk&cd=9 [Consultado: 16 de junio del 2006].

Recibido: 21 de junio de 2006. Aprobado: 16 de julio de 2006.
Dra.C. María Elena Mesa Fleitas. Instituto de Documentación e Información Científico y Tecnológica (IDICT). Capitolio de La Habana, Prado entre Dragones y San José, La Habana Vieja, Ciudad de La Habana, Cuba. Correo electrónico: [e-mail]

1Doctora en Ciencias de la Información. Coordinadora del Grupo de Investigaciones Biblioinformétricas. Instituto de Información Científica y Tecnológica (IDICT).
2Licenciada en Bibliotecología y Ciencias de la Información. Grupo de Investigaciones Biblioinformétricas. Instituto de Información Científica y Tecnológica (IDICT).

Ficha de procesamiento

Términos sugeridos para la indización

Según DeCs1

PUBLICACIONES SERIADAS; ESTUDIOS DE EVALUACIÓN; AMÉRICA LATINA; CUBA.

SERIAL PUBLICATIONS; EVALUATION STUDIES; LATIN AMERICA ; CUBA .

Según DeCI2

PUBLICACIONES SERIADAS; EVALUACIÓN DE PUBLICACIONES; INDICADORES; AMÉRICA LATINA; CUBA.

SERIAL PUBLICATIONS; SERIALS EVALUATION; INDICATORS; LATIN AMERICA ; CUBA .

1BIREME. Descriptores en Ciencias de la Salud (DeCS). Sao Paulo: BIREME, 2004.

Disponible en URL: http://decs.bvs.br/E/homepagee.htm

2Díaz del Campo S. Propuesta de términos para la indización en Ciencias de la Información. Descriptores en Ciencias de la Información (DeCI). Disponible en URL: http://cis.sld.cu/E/tesauro.pdf