Evaluación de publicaciones periódicas científicas y técnicas brasileñas^*

Rosaly Favero Krzyzanowski¹ María Cecilia Gonzaga Ferreira²

RESUMEN

Se presenta una metodología desarrollada para la evaluación de los aspectos formales y de contenido de las publicaciones periódicas científicas brasileñas. La metodología para el análisis del contenido se basó en procedimientos preestablecidos, y se aplicó por investigadores de diferentes campos del conocimiento, lo que posibilitó establecer 3 niveles de relevancia en la clasificación de las revistas: prioritario, importante y de importancia relativa. La evaluación formal se aplicó por las autoras y se basó en el modelo de Braga y Oberhofer que establece criterios de puntuación para determinar el nivel de ejecución alcanzado por las revistas (muy bueno, bueno, mediano y débil). Los resultados obtenidos demuestran la necesidad de aplicar ambas evaluaciones (contenido y forma) para logar una visión global de la calidad de las publicaciones.

Descriptores: PUBLICACIONES PERIODICAS/análisis; METODOLOGIA; BRASIL.

La proliferación de títulos de revistas en las diferentes áreas del conocimiento, ha sido motivo de preocupación de los profesionales interesados en la calidad de la información científica, trátese de autores, editores, publicistas, indizadores, documentalistas, bibliotecarias y, especialmente, investigadores (usuarios de la información). En el ámbito internacional se han formulado fuertes críticas en relación con la publicación de revistas "sin criterio de calidad, y en las que se han perdido esfuerzos, materiales, recursos financieros y hasta prestigio de organizaciones científicas o instituciones". Entre ellas se pueden destacar las siguientes:

• Irregularidad en la publicación y distribución de la revista.
• Falta de normalización de los artículos científicos y de la revista en su conjunto.
• Falta del cuerpo editorial y de árbitros (autoridades de la revista).

En el ámbito nacional se agregan los puntos siguientes:

• Insuficiente penetración de la lengua portuguesa en el exterior.
• Bajo grado de originalidad y de novedad en los artículos científicos publicados.

Como consecuencia directa de estos factores negativos, que perjudican el patrón de calidad de las revistas científicas brasileñas, es escasa su aceptación en el medio, científico internacional, a lo que se añade su restringida indización en los índices y bibliografías internacionales, las cuales utilizan también "filtros de calidad" como el Science Citation Abstracts del Institute for Scientific Information (ISI).

Una de las mayores preocupaciones nacionales en este sentido lo constituye la falta de recursos financieros, que impide a los editores mantener la independencia económica de sus revistas científicas y los obliga a buscar subsidios en las agencias financieras del país; esta ayuda es casi imposible de ofrecer a todas las publicaciones que existen actualmente.¹

Las agencias preocupadas con esta situación, han definido políticas de apoyo a las revistas científicas, con el objetivo principal de contribuir a que no perezcan las publicaciones de buena calidad y a que se divulguen las investigaciones realizadas muchas veces con el auxilio de las propias agencias.

En virtud de lo antes expuesto, este trabajo se propone la evaluación conjunta del mérito (contenido) y ejecución (forma) de publicaciones periódicas científicas y técnicas brasileñas, a partir de las listas básicas de revistas científicas relevantes ya evaluadas por la Fundación de Amparo a la Investigación del Estado de Sao Paulo (Fapesp), por el Consejo Nacional de Desarrollo Científico y Tecnológico (CNPq) y por la Financiadora de Estudios y Proyectos (Finep), con la aplicación de criterios evaluativos adoptados internacionalmente. Su objetivo es subsidiar los programas de apoyo a publicaciones científicas de estas agencias con vista a su mejoramiento.

Revisión de la literatura

En la década de los años 60 comenzaron a aparecer estudios sobre evaluación de revistas científicas y técnicas, que demostraron la necesidad de definir parámetros mensurables para reflejar la calidad de la información en ellas registrada. En un artículo publicado por Arends² en 1968, se dio a conocer una evaluación de las revistas médicas venezolanas basada en un modelo creado por el grupo de trabajo de la UNESCO en 1964 para la selección de revistas científicas latinoamericanas. (UNESCO. Grupo de Trabajo para la selección de revistas científicas latinoamericanas, 1964. Río Pedras, Puerto Rico. Montevideo: Centro de Cooperación Científica de la UNESCO para la América Latina, 1964).

El modelo establece algunos criterios de medición de las revistas como presentación del material, duración, regularidad, periodicidad, aceptación de colaboradores de otras instituciones, nivel de especialización, indización, etc.

En 1982, Braga y Oberhofer³ presentaron una propuesta para modificar el modelo de la UNESCO con vistas a su aplicación en la evaluación de revistas científicas y técnicas producidas en Brasil. El modelo intenta reflejar aspectos relativos a la forma de la revista dentro de parámetros medibles. A cada criterio corresponde un número de variables y condiciones necesarias para que la revista en cuestión obtenga una puntuación. El número total de puntos obtenidos por la revista determina su nivel de ejecución: muy bueno, bueno, mediano y débil. Según sus autores, "la selección de criterios se hizo en atención a su aplicabilidad (existencia de herramientas para la selección y análisis), a las características peculiares de las revistas nacionales, a las restricciones económicas, tipogáficas, etc. y, principalmente al valor que confieren a la prueba de calidad de 2 funciones básicas de las publicaciones periódicas, es decir, la función memoria -archivo del conocimiento- y la función difusión- transmisión amplia de ideas".

En 1991, Krzyzanowski¹ dio seguimiento al proyecto de evaluación de publicaciones periódicas científicas brasileñas desarrollado en 1988, y encaminado a refinar y actualizar el núcleo básico de revistas científicas nacionales en las diferentes áreas del conocimiento definido en el primer estudio. El objetivo de este seguimiento fue subsidiar el programa de apoyo financiero a revistas científicas de la Fapesp. La metodología adoptada en ambos estudios (1988 y 1991) mantuvo como principio la evaluación del mérito de las revistas por los árbitros según parámetros preconcebidos por los autores y la clasificación en 3 niveles de relevancia: prioritario, importante y de importancia relativa.

En 1995, Castro y Ferreira de Bireme (Centro Latinoamericano y del Caribe de Información en Ciencias de la Salud),⁴ realizaron a petición de la OPS (Organización Panamericana de la Salud) un estudio de las revistas latinoamericanas indizadas en Medline (Medlars Online) y en Lilacs (Literatura Latinoamericana y del Caribe en Ciencias de la Salud), con vistas a implantar un modelo de evaluación de las publicaciones aspirantes a ser indizadas en esta última y a reevaluar los títulos en ella ya registrados. El estudio usó el modelo de Braga³ con algunos cambios. Con él se pudieron verificar aspectos relativos a la presentación de las revistas científicas que podían perjudicar su calidad y, por consiguiente, su indización en los índices internacionales.

Metodología

Pasos generales

A partir de la lista de revistas científicas brasileñas financiadas por el CNPq/Finep (130 títulos), de 1995/1996 y del núcleo básico de publicaciones periódicas científicas brasileñas (372 títulos provenientes de la evaluación del mérito realizada por la Fapesp en 1991)¹ fue posible proceder a una reevaluación de las revistas, encaminada a su actualización y análisis crítico en el aspecto de contenido (mérito) para conformar un "núcleo básico único de títulos de publicaciones periódicas científicas brasileñas". Se le agregó al estudio la evaluación de forma (ejecución) para indagar acerca de la situación de las revistas en aspectos relativos a la normalización y la periodicidad, entre otros.

Pasos específicos para la evaluación del mérito

Para la evaluación del mérito, se contó con la colaboración de especialistas de las coordinadoras de áreas de la Fapesp que tomaron en consideración la Guía utilizada en el análisis del mérito de revistas científicas (anexo 1). Cada especialista o grupo de especialistas analizaron todos los títulos relacionados en la lista de 1991 antes citada. En total se analizaron 407 títulos. A tal efecto los evaluadores recibieron las orientaciones siguientes:

1. Extraer los títulos considerados no relevantes hacia su respectiva área de actualidad.
2. Reelegir el nivel de relevancia de los títulos ya revisados en la edición de 1988 con un grado de relevancia inadecuado.
3. Incluir nuevos títulos no relacionados en la lista, considerados relevantes, para mejorar y actualizar el núcleo básico. En esta etapa, los 130 títulos de la lista del CNPq/Finep se cotejaron con los 407 de la lista de la Fapesp, y se incluyeron, los que aún no aparecían.

Finalmente, todos los títulos se clasificaron según su grado de relevancia y se les anotaron sus respectivas prioridades (PR, IM, IR) en modelos preelaborados para cada área y subárea del conocimiento (anexo 2).

Una vez realizada la evaluación del mérito, la Coordinadora de Publicaciones de la Fapeps pudo organizar el núcleo básico de publicaciones periódicas científicas nacionales de 1996.

Pasos específicos para la evaluación de la forma

Para realizar la evaluación de la forma (ejecución) se utilizó el modelo de Braga y Oberhofer³ adaptado al propósito de este estudio (anexos 3 y 4). Se examinaron los 3 últimos números de cada título provenientes de la lista conjunta Fapesp y CNPq/Finep, y se le confirieron los valores alcanzados según cada variable.

A continuación se presentan algunos pasos seguidos en el análisis de las variables:

1. Normalización: las revistas se evaluaron de acuerdo con las variables establecidas en el modelo y recibieron una puntuación acorde a la normalización de los 3 fascículos analizados. Se utilizaron como parámetro para medir la normalización las normas de la Asociación Brasileña de Normas Técnicas (ABNT). En el caso de las referencias bibliográficas, se comprobó en primer término qué norma se adoptaría -ABNT, ISO (International Organization for Standardization), etc.- y seguidamente se analizó si la revista respondía a la norma establecida. En cuanto a las otras variables, la revista recibió una puntuación según las condiciones establecidas en el modelo.
2. Duración: se tomó en consideración la fecha de inicio y el tiempo ininterrumpido de existencia de la revista. Los datos referidos a los títulos se buscaron en el Catálago Colectivo Nacional de Publicaciones Seriadas del Instituto Brasileño de Información en Ciencia y Tecnología (CCN/IBICT).
3. Periodicidad: el punto relativo a la periodicidad se verificó en la revista y se confirmó en el CCN/IBIT. Las revistas con periodicidad regular obtuvieron la puntuación en dependencia del número de fascículos publicados al año. Recibieron 1 punto de menos las revistas atrasadas (fecha anterior a 1995) y/o aquéllas que usualmente presentan números acumulados. Las revistas con una periodicidad "irregular" también perdieron 1 punto.
4. Indización de títulos en bases de datos internacionales: las revistas obtuvieron puntos en esta variable en los casos en que las fuentes de indización o las bases de datos internacionales se encontraban registradas en los fascículos examinados. Se tuvieron en cuenta 3 fuentes internacionales. A cada fuente se le atribuyeron 5 puntos.
5. Difusión (formas de distribución): como de "distribución gratuita" se consideraron y obtuvieron 1 punto) las publicaciones que no registran una forma de distribución en sus fascículos y/o sólo se difunden mediante donaciones o canjes. Las publicaciones que indican precio de subscripción obtuvieron 3 puntos en esta variable.
6. Existencia de colecciones en las bibliotecas -base del Sistema Comut: para comprobar la existencia de colecciones en las bibliotecas- base del Sistema Comut, se utilizó el CCN/IBIT. Se le atribuyó 1 punto a cada biblioteca- base que poseyera el 75 % de la colección de publicaciones con fecha posterior a 1993.
7. Colaboración de autores: la publicación de trabajos de autores de diferentes instituciones del país o de autores extranjeros, en colaboración o no, se analizó y obtuvo los puntos conforme al anexo 6.
8. División del contenido: se encontraron algunas dificultades en el establecimiento de la puntuación de esta variable, pues no siempre se especifica el tipo de artículo en la publicación.
1. El modelo de evaluación relativo al análisis del contenido, utilizó 2 clasificaciones diferentes para los artículos: una para el área de las ciencias exactas y biológicas y otra para el área de las humanidades. En esta última se realizaron adaptaciones, a partir de consultas a especialistas del área.
9. Desempeño general: la puntuación para cada variable y el total general logrado, permitieron una clasificación general de la ejecutoria de cada publicación analizada. Según la puntuación, las publicaciones obtuvieron los resultados siguientes:

MUY BUENO (81 puntos o más)

BUENO (de 56 a 80 puntos)

MEDIANO (de 31 a 55 puntos)

DÉBIL (hasta 30 puntos)

10. Convencionalismos utilizados en las tablas y en los resultados:

• SC (sin características): utilizado en los títulos, cuyas características no permiten el uso del modelo de evaluación de publicaciones científicas (incluye serie, anuarios y otros documentos).
• SD (Sin desempeño): se utilizó en los títulos evaluados con la clasificación de "importancia relativa". Esos títulos no se analizaron en cuanto a su forma (ejecución).
• NL (No localizados): utilizados en los títulos no localizados en las bibliotecas.

TABLA. Clasificación de las publicaciones por área del conocimiento

Area/Subárea	No. de títulos	%
Arquitectura y urbanismo	32	9
Astronomía	04	1
Ciencias agrícolas	33	10
Ciencias biológicas	23	7
Humanidades	94	28
Ciencias de la salud	39	11
Ingeniería	43	13
Economía	39	11
Física	03	1
Geociencias	07	2
Matemáticas	07	2
Química	16	5
Total	340	100

Resultados obtenidos

Se estudió un total de 407 títulos de la lista de Fapesp y 130 de la lista de CNPq/Finep. De los 407 títulos de Fapesp, 340 (84 %) se consideraron relevantes y 67 (16 %) no relevantes.

De los 130 títulos de CNPq/Finep, 79 (61 %) se consideraron relevantes (que ya formaban parte de la lista de los 340 de Fapeps). Los 51 (39%) títulos restantes se consideraron no relevantes.

Del total de 340 títulos relevantes de Fapesp, incluidos los 79 relevantes del CNPq/Finep, se obtuvo el resultado relativo al mérito siguiente: 108 (32 %) títulos prioritarios; 120 (35 %) importantes; 112(33 %) de importancia relativa. En atención a la ejecución, de los 340 títulos relevantes 54 (16 %) fueron muy buenos; 31(9 %) buenos; 57 (17 %) medianos; 52 (15 %) debiles; 19 (6 %) no localizados; 15 (4 %) sin características y 112 (33 %) sin desempeño (títulos de importancia relativa).

En los 108 títulos prioritarios, los resultados en relación con la ejecución (MB, B, M, D) fueron: muy bueno 32 (30 %), bueno 19 (18 %), mediano 25 (23 %) débil 20 (18 %), no localizado 4 (4 %) y sin características 8 (7 %).

En los 120 títulos importantes, los resultados en cuanto a la ejecución fueron: muy bueno 22 (18 %), bueno 12 (10 %), mediano 32 (27 %), débil 32 (27 %), no localizados 11 (9 %) y sin características 11 (9 %).

Si se observa el universo de los 340 títulos relevantes en distintas áreas del conocimiento de acuerdo con la clasificación por área de CNPq, se puede comprobar la distribución de títulos evaluados (tabla ).

CONSIDERACIONES

A partir de las evaluaciones realizadas, se pueden deducir las consideraciones siguientes:

• Es posible comprobar en cada título evaluado las clasificaciones generales de desempeño y perfeccionar la evaluación, a pesar de los resultados obtenidos en variables aisladas (por ejemplo: cuántos puntos obtuvo una publicación en normalización, duración, indización contenido, etc.) o reunir los resultados de un conjunto de variables. De esta manera es posible además, a criterio del evaluador eliminar variables o modificarlas de conformidad con el objetivo de la evaluación. No obstante, hay que estar alerta, pues puede ocurrir alguna alteración en el modelo, pues en cuyo caso sería necesario reorganizar la escala de valores (puntuación) para la obtención del resultado final de la ejecución.
• Se observa aun que las publicaciones con altos índices de ejecución recibieron la influencia, sobre todo de 2 variables del modelo (duración e indización). A pesar de que estas variables no invalidan por sí solas la clasificación de mérito de las publicaciones (por ejemplo, las prioritarias con menos de 25 años de existencia) ellas podrían comprometer su ejecución, si se tiene en cuenta que las bases de datos internacionales demoran en aceptar la indización de nuevos títulos.
• A pesar de ello, el modelo de evaluación de la ejecución es importante para mejorar las características de forma de las publicaciones, pues permite detectar aspectos técnicos que requieren reajustes.
• Las publicaciones con evaluación de contenido prioritarias y de forma muy buenas y buenas, conforman el núcleo de las revistas más selectivas del estudio.
• Del mismo modo, las publicaciones con evaluación de contenido importantes y de forma muy buenas y buenas deben ser consideradas como de buena calidad.
• El análisis de los resultados obtenidos permite, como en anteriores estudios, concluir que es necesaria la evaluación conjunta del mérito (contenido) y de la forma (ejecución) para poder tener una visión global de la calidad de las publicaciones.
• Los modelos utilizados en este estudio para la evaluación del contenido y de la forma de las publicaciones podrían significar la base para establecer criterios por las agencias financiadoras con vistas a facilitar el trabajo de apoyo financiero a las agencias científicas brasileñas en las distintas esferas del conocimiento. Ello sugiere que las revistas de fomento desarrollen en conjunto un estudio relativo a los criterios de evaluación de publicaciones, que condicione un juicio más amplio y uniforme de las revistas científicas.
• Se sugiere también a las agencias financiadoras como Fapesp y CNPq /Finep alertar a los editores para que intensifiquen los controles de calidad de sus revistas y eviten la proliferación de revistas de la misma especialidad con la consiguiente dispersión de fondos, esfuerzos e información del propio órgano publicador o de las propias agencias financiadoras, a las que se les solicitan los recursos. Se debe destacar, además, que este trabajo de conscientización se está realizando en el país por la Asociación Brasileña de Editores Científicos (ABEC) desde 1985.
• Finalmente, se sugiere a los órganos financiadores analizar la posibilidad de mantener, de acuerdo con sus normas, un auxilio financiero constante a las revistas consideradas priorizadas y que pertenezcan a instituciones de investigación, enseñanza y sociedades científicas.

REFERENCIAS BIBLIOGRÁFICAS

1. Krzyzanowski R F. Programa de apoio ás revistas cientificas para a FAPESP. Ci Inf 1991; 20(2):137-50.
2. ARENDS L. Las revistas medicas venezolanas: evaluación de su calidad. Acta Cient Venez 1968; 19:148-51.
3. Braga G M. Obherhofer A Diretrizes para a avaliacao de periódicos científicos e técnicos brasileiros. Rev Lat 1982; (1):27-31.
4. Castro R C F, Ferreira M C G. Periódicos latino-americanos: avaliacao das características formais e sua relacao com a qualidade científica Ci Inf Brasilia 1996; 25(3):357-67.

Rosaly Favero Krzyzanowski

[e-mail]

Abstract

This paper presents an evaluation methodology for Brazilian current scientific periodicals based both on merit (content) and performance (form). The methodology for merit evaluation was employed by researchers from different fiels of knowledge (evaluation made by fellows),enabling the periodicals classification in three levels of relevance: prior, important and of relative importance. The form evaluation was applied by the authors, and is based on the Braga & Oberhofer model, which establishes criteria of measuring points, and determines performance levels for the periodical (Very Good, Good, Median and Weak). The results point out the need of applying both evaluations (merit and performance) to reach a global view of the publications quality.

Subject headings: PERIODICALS/analysis;METHODOLOGY;BRAZIL

   
 
 

 
 
 

^* Trabajo presentado en el Seminario sobre Evaluación de la Producción Científica, realizado en Sâo Paulo por el Proyecto SciELO del 4 al 6 de marzo de 1998.
¹ Directora del Departamento Técnico del Sistema Integrado de Bibliotecas de la Universidad de Sâo Paulo.
² Bibliotecaria.
* Comut es un programa de conmutación bibliográfica, creado en Brasil en 1980 por el Ministerio de Educación y Cultura, con vistas a dotar al país de mecanismos eficientes de acceso a la información disponible en las principales bibliotecas brasileñas (denominadas por el programa como bibliotecas-base).