RESUMEN

Descriptores: PUBLICACIONES PERIODICAS/análisis; METODOLOGIA; BRASIL.

La proliferación de títulos de revistas en las diferentes áreas del conocimiento, ha sido motivo de preocupación de los profesionales interesados en la calidad de la información científica, trátese de autores, editores, publicistas, indizadores, documentalistas, bibliotecarias y, especialmente, investigadores (usuarios de la información). En el ámbito internacional se han formulado fuertes críticas en relación con la publicación de revistas "sin criterio de calidad, y en las que se han perdido esfuerzos, materiales, recursos financieros y hasta prestigio de organizaciones científicas o instituciones". Entre ellas se pueden destacar las siguientes:

• Irregularidad en la publicación y distribución de la revista.
• Falta de normalización de los artículos científicos y de la revista en su conjunto.
• Falta del cuerpo editorial y de árbitros (autoridades de la revista).

• Insuficiente penetración de la lengua portuguesa en el exterior.
• Bajo grado de originalidad y de novedad en los artículos científicos publicados.

Las agencias preocupadas con esta situación, han definido políticas de apoyo a las revistas científicas, con el objetivo principal de contribuir a que no perezcan las publicaciones de buena calidad y a que se divulguen las investigaciones realizadas muchas veces con el auxilio de las propias agencias.

En virtud de lo antes expuesto, este trabajo se propone la evaluación conjunta del mérito (contenido) y ejecución (forma) de publicaciones periódicas científicas y técnicas brasileñas, a partir de las listas básicas de revistas científicas relevantes ya evaluadas por la Fundación de Amparo a la Investigación del Estado de Sao Paulo (Fapesp), por el Consejo Nacional de Desarrollo Científico y Tecnológico (CNPq) y por la Financiadora de Estudios y Proyectos (Finep), con la aplicación de criterios evaluativos adoptados internacionalmente. Su objetivo es subsidiar los programas de apoyo a publicaciones científicas de estas agencias con vista a su mejoramiento.

Revisión de la literatura

El modelo establece algunos criterios de medición de las revistas como presentación del material, duración, regularidad, periodicidad, aceptación de colaboradores de otras instituciones, nivel de especialización, indización, etc.

En 1982, Braga y Oberhofer³ presentaron una propuesta para modificar el modelo de la UNESCO con vistas a su aplicación en la evaluación de revistas científicas y técnicas producidas en Brasil. El modelo intenta reflejar aspectos relativos a la forma de la revista dentro de parámetros medibles. A cada criterio corresponde un número de variables y condiciones necesarias para que la revista en cuestión obtenga una puntuación. El número total de puntos obtenidos por la revista determina su nivel de ejecución: muy bueno, bueno, mediano y débil. Según sus autores, "la selección de criterios se hizo en atención a su aplicabilidad (existencia de herramientas para la selección y análisis), a las características peculiares de las revistas nacionales, a las restricciones económicas, tipogáficas, etc. y, principalmente al valor que confieren a la prueba de calidad de 2 funciones básicas de las publicaciones periódicas, es decir, la función memoria -archivo del conocimiento- y la función difusión- transmisión amplia de ideas".

En 1991, Krzyzanowski¹ dio seguimiento al proyecto de evaluación de publicaciones periódicas científicas brasileñas desarrollado en 1988, y encaminado a refinar y actualizar el núcleo básico de revistas científicas nacionales en las diferentes áreas del conocimiento definido en el primer estudio. El objetivo de este seguimiento fue subsidiar el programa de apoyo financiero a revistas científicas de la Fapesp. La metodología adoptada en ambos estudios (1988 y 1991) mantuvo como principio la evaluación del mérito de las revistas por los árbitros según parámetros preconcebidos por los autores y la clasificación en 3 niveles de relevancia: prioritario, importante y de importancia relativa.

En 1995, Castro y Ferreira de Bireme (Centro Latinoamericano y del Caribe de Información en Ciencias de la Salud),⁴ realizaron a petición de la OPS (Organización Panamericana de la Salud) un estudio de las revistas latinoamericanas indizadas en Medline (Medlars Online) y en Lilacs (Literatura Latinoamericana y del Caribe en Ciencias de la Salud), con vistas a implantar un modelo de evaluación de las publicaciones aspirantes a ser indizadas en esta última y a reevaluar los títulos en ella ya registrados. El estudio usó el modelo de Braga³ con algunos cambios. Con él se pudieron verificar aspectos relativos a la presentación de las revistas científicas que podían perjudicar su calidad y, por consiguiente, su indización en los índices internacionales.

Metodología

Pasos generales

Pasos específicos para la evaluación del mérito

1. Extraer los títulos considerados no relevantes hacia su respectiva área de actualidad.
2. Reelegir el nivel de relevancia de los títulos ya revisados en la edición de 1988 con un grado de relevancia inadecuado.
3. Incluir nuevos títulos no relacionados en la lista, considerados relevantes, para mejorar y actualizar el núcleo básico. En esta etapa, los 130 títulos de la lista del CNPq/Finep se cotejaron con los 407 de la lista de la Fapesp, y se incluyeron, los que aún no aparecían.
]]> Finalmente, todos los títulos se clasificaron según su grado de relevancia y se les anotaron sus respectivas prioridades (PR, IM, IR) en modelos preelaborados para cada área y subárea del conocimiento (anexo 2).

Una vez realizada la evaluación del mérito, la Coordinadora de Publicaciones de la Fapeps pudo organizar el núcleo básico de publicaciones periódicas científicas nacionales de 1996.

Pasos específicos para la evaluación de la forma

Para realizar la evaluación de la forma (ejecución) se utilizó el modelo de Braga y Oberhofer³ adaptado al propósito de este estudio (anexos 3 y 4). Se examinaron los 3 últimos números de cada título provenientes de la lista conjunta Fapesp y CNPq/Finep, y se le confirieron los valores alcanzados según cada variable.

A continuación se presentan algunos pasos seguidos en el análisis de las variables:

1. Normalización: las revistas se evaluaron de acuerdo con las variables establecidas en el modelo y recibieron una puntuación acorde a la normalización de los 3 fascículos analizados. Se utilizaron como parámetro para medir la normalización las normas de la Asociación Brasileña de Normas Técnicas (ABNT). En el caso de las referencias bibliográficas, se comprobó en primer término qué norma se adoptaría -ABNT, ISO (International Organization for Standardization), etc.- y seguidamente se analizó si la revista respondía a la norma establecida. En cuanto a las otras variables, la revista recibió una puntuación según las condiciones establecidas en el modelo.
2. Duración: se tomó en consideración la fecha de inicio y el tiempo ininterrumpido de existencia de la revista. Los datos referidos a los títulos se buscaron en el Catálago Colectivo Nacional de Publicaciones Seriadas del Instituto Brasileño de Información en Ciencia y Tecnología (CCN/IBICT).
3. Periodicidad: el punto relativo a la periodicidad se verificó en la revista y se confirmó en el CCN/IBIT. Las revistas con periodicidad regular obtuvieron la puntuación en dependencia del número de fascículos publicados al año. Recibieron 1 punto de menos las revistas atrasadas (fecha anterior a 1995) y/o aquéllas que usualmente presentan números acumulados. Las revistas con una periodicidad "irregular" también perdieron 1 punto.
4. Indización de títulos en bases de datos internacionales: las revistas obtuvieron puntos en esta variable en los casos en que las fuentes de indización o las bases de datos internacionales se encontraban registradas en los fascículos examinados. Se tuvieron en cuenta 3 fuentes internacionales. A cada fuente se le atribuyeron 5 puntos.
5. Difusión (formas de distribución): como de "distribución gratuita" se consideraron y obtuvieron 1 punto) las publicaciones que no registran una forma de distribución en sus fascículos y/o sólo se difunden mediante donaciones o canjes. Las publicaciones que indican precio de subscripción obtuvieron 3 puntos en esta variable.
6. Existencia de colecciones en las bibliotecas -base del Sistema Comut: para comprobar la existencia de colecciones en las bibliotecas- base del Sistema Comut, se utilizó el CCN/IBIT. Se le atribuyó 1 punto a cada biblioteca- base que poseyera el 75 % de la colección de publicaciones con fecha posterior a 1993.
7. Colaboración de autores: la publicación de trabajos de autores de diferentes instituciones del país o de autores extranjeros, en colaboración o no, se analizó y obtuvo los puntos conforme al anexo 6.
]]> División del contenido: se encontraron algunas dificultades en el establecimiento de la puntuación de esta variable, pues no siempre se especifica el tipo de artículo en la publicación.
1. El modelo de evaluación relativo al análisis del contenido, utilizó 2 clasificaciones diferentes para los artículos: una para el área de las ciencias exactas y biológicas y otra para el área de las humanidades. En esta última se realizaron adaptaciones, a partir de consultas a especialistas del área.
8. Desempeño general: la puntuación para cada variable y el total general logrado, permitieron una clasificación general de la ejecutoria de cada publicación analizada. Según la puntuación, las publicaciones obtuvieron los resultados siguientes:

MUY BUENO (81 puntos o más)

BUENO (de 56 a 80 puntos)

MEDIANO (de 31 a 55 puntos)

DÉBIL (hasta 30 puntos)

9. Convencionalismos utilizados en las tablas y en los resultados:
]]> SC (sin características): utilizado en los títulos, cuyas características no permiten el uso del modelo de evaluación de publicaciones científicas (incluye serie, anuarios y otros documentos).
• SD (Sin desempeño): se utilizó en los títulos evaluados con la clasificación de "importancia relativa". Esos títulos no se analizaron en cuanto a su forma (ejecución).
• NL (No localizados): utilizados en los títulos no localizados en las bibliotecas.
TABLA. Clasificación de las publicaciones por área del conocimiento

Area/Subárea	No. de títulos	%
Arquitectura y urbanismo	32	9
Astronomía	]]> 04	1
Ciencias agrícolas	33	10
Ciencias biológicas	23	7
Humanidades	94	28
Ciencias de la salud	39	11
Ingeniería	]]> 43	13
Economía	39	11
Física	03	1
Geociencias	07	2
Matemáticas	07	2
Química	]]> 16	5
Total	340	100

Resultados obtenidos

Se estudió un total de 407 títulos de la lista de Fapesp y 130 de la lista de CNPq/Finep. De los 407 títulos de Fapesp, 340 (84 %) se consideraron relevantes y 67 (16 %) no relevantes.

De los 130 títulos de CNPq/Finep, 79 (61 %) se consideraron relevantes (que ya formaban parte de la lista de los 340 de Fapeps). Los 51 (39%) títulos restantes se consideraron no relevantes.

Del total de 340 títulos relevantes de Fapesp, incluidos los 79 relevantes del CNPq/Finep, se obtuvo el resultado relativo al mérito siguiente: 108 (32 %) títulos prioritarios; 120 (35 %) importantes; 112(33 %) de importancia relativa. En atención a la ejecución, de los 340 títulos relevantes 54 (16 %) fueron muy buenos; 31(9 %) buenos; 57 (17 %) medianos; 52 (15 %) debiles; 19 (6 %) no localizados; 15 (4 %) sin características y 112 (33 %) sin desempeño (títulos de importancia relativa).

En los 108 títulos prioritarios, los resultados en relación con la ejecución (MB, B, M, D) fueron: muy bueno 32 (30 %), bueno 19 (18 %), mediano 25 (23 %) débil 20 (18 %), no localizado 4 (4 %) y sin características 8 (7 %).

En los 120 títulos importantes, los resultados en cuanto a la ejecución fueron: muy bueno 22 (18 %), bueno 12 (10 %), mediano 32 (27 %), débil 32 (27 %), no localizados 11 (9 %) y sin características 11 (9 %).

Si se observa el universo de los 340 títulos relevantes en distintas áreas del conocimiento de acuerdo con la clasificación por área de CNPq, se puede comprobar la distribución de títulos evaluados (tabla ).

CONSIDERACIONES

A partir de las evaluaciones realizadas, se pueden deducir las consideraciones siguientes:
• Es posible comprobar en cada título evaluado las clasificaciones generales de desempeño y perfeccionar la evaluación, a pesar de los resultados obtenidos en variables aisladas (por ejemplo: cuántos puntos obtuvo una publicación en normalización, duración, indización contenido, etc.) o reunir los resultados de un conjunto de variables. De esta manera es posible además, a criterio del evaluador eliminar variables o modificarlas de conformidad con el objetivo de la evaluación. No obstante, hay que estar alerta, pues puede ocurrir alguna alteración en el modelo, pues en cuyo caso sería necesario reorganizar la escala de valores (puntuación) para la obtención del resultado final de la ejecución.
]]> Se observa aun que las publicaciones con altos índices de ejecución recibieron la influencia, sobre todo de 2 variables del modelo (duración e indización). A pesar de que estas variables no invalidan por sí solas la clasificación de mérito de las publicaciones (por ejemplo, las prioritarias con menos de 25 años de existencia) ellas podrían comprometer su ejecución, si se tiene en cuenta que las bases de datos internacionales demoran en aceptar la indización de nuevos títulos.
• A pesar de ello, el modelo de evaluación de la ejecución es importante para mejorar las características de forma de las publicaciones, pues permite detectar aspectos técnicos que requieren reajustes.
• Las publicaciones con evaluación de contenido prioritarias y de forma muy buenas y buenas, conforman el núcleo de las revistas más selectivas del estudio.
• Del mismo modo, las publicaciones con evaluación de contenido importantes y de forma muy buenas y buenas deben ser consideradas como de buena calidad.
• El análisis de los resultados obtenidos permite, como en anteriores estudios, concluir que es necesaria la evaluación conjunta del mérito (contenido) y de la forma (ejecución) para poder tener una visión global de la calidad de las publicaciones.
• Los modelos utilizados en este estudio para la evaluación del contenido y de la forma de las publicaciones podrían significar la base para establecer criterios por las agencias financiadoras con vistas a facilitar el trabajo de apoyo financiero a las agencias científicas brasileñas en las distintas esferas del conocimiento. Ello sugiere que las revistas de fomento desarrollen en conjunto un estudio relativo a los criterios de evaluación de publicaciones, que condicione un juicio más amplio y uniforme de las revistas científicas.
• Se sugiere también a las agencias financiadoras como Fapesp y CNPq /Finep alertar a los editores para que intensifiquen los controles de calidad de sus revistas y eviten la proliferación de revistas de la misma especialidad con la consiguiente dispersión de fondos, esfuerzos e información del propio órgano publicador o de las propias agencias financiadoras, a las que se les solicitan los recursos. Se debe destacar, además, que este trabajo de conscientización se está realizando en el país por la Asociación Brasileña de Editores Científicos (ABEC) desde 1985.
• Finalmente, se sugiere a los órganos financiadores analizar la posibilidad de mantener, de acuerdo con sus normas, un auxilio financiero constante a las revistas consideradas priorizadas y que pertenezcan a instituciones de investigación, enseñanza y sociedades científicas.

REFERENCIAS BIBLIOGRÁFICAS

1. Krzyzanowski R F. Programa de apoio ás revistas cientificas para a FAPESP. Ci Inf 1991; 20(2):137-50.
2. ARENDS L. Las revistas medicas venezolanas: evaluación de su calidad. Acta Cient Venez 1968; 19:148-51.
3. Braga G M. Obherhofer A Diretrizes para a avaliacao de periódicos científicos e técnicos brasileiros. Rev Lat 1982; (1):27-31.
4. Castro R C F, Ferreira M C G. Periódicos latino-americanos: avaliacao das características formais e sua relacao com a qualidade científica Ci Inf Brasilia 1996; 25(3):357-67.
Rosaly Favero Krzyzanowski

Dtsbi@ORG.usp.br

Abstract

This paper presents an evaluation methodology for Brazilian current scientific periodicals based both on merit (content) and performance (form). The methodology for merit evaluation was employed by researchers from different fiels of knowledge (evaluation made by fellows),enabling the periodicals classification in three levels of relevance: prior, important and of relative importance. The form evaluation was applied by the authors, and is based on the Braga & Oberhofer model, which establishes criteria of measuring points, and determines performance levels for the periodical (Very Good, Good, Median and Weak). The results point out the need of applying both evaluations (merit and performance) to reach a global view of the publications quality.

Subject headings: PERIODICALS/analysis;METHODOLOGY;BRAZIL ]]>    
 
 


 
 
 




^* Trabajo presentado en el Seminario sobre Evaluación de la Producción Científica, realizado en Sâo Paulo por el Proyecto SciELO del 4 al 6 de marzo de 1998.
¹ Directora del Departamento Técnico del Sistema Integrado de Bibliotecas de la Universidad de Sâo Paulo. ]]> ² Bibliotecaria.
* Comut es un programa de conmutación bibliográfica, creado en Brasil en 1980 por el Ministerio de Educación y Cultura, con vistas a dotar al país de mecanismos eficientes de acceso a la información disponible en las principales bibliotecas brasileñas (denominadas por el programa como bibliotecas-base). ]]> 1991 20 2 2 137-50 1968 19 148-51 1982 1 1 27-31 1996 25 3 3 357-67