Seminario sobre Evaluación de la Producción Científica: Informe final

Irati Antonio¹ y Abel Packer²

RESUMEN

Se describen los objetivos y el programa del Seminario sobre Evaluación de la Producción Científica, realizado en São Paulo por el Proyecto SciELO del 4 al 6 de marzo de 1998. Se incluye un seminario de los trabajos presentados, así como los resultados y las conclusiones del evento.

Descriptores DeCS: SciELO; PRODUCCION CIENTIFICA; EVALUACION; BRASIL.

El Seminario sobre Evaluación de la Producción Científica tuvo lugar en São Paulo del 4 al 6 de marzo de 1998, con la presencia de especialistas en bibliometría, cienciometría, informetría y política científica y tecnológica, tanto brasileñas, como de otros países.

Como actividad integrante del Proyecto SciELO, el seminario tuvo como objetivo contribuir al desarrollo del proyecto, especialmente, en relación con el análisis de criterios, la metodología y los indicadores que permitan subsidiar programas y proyectos de evaluación de la producción científica.

Financiado por la Fundación de Amparo a la Investigación del Estado de São Paulo (Fapesp) e implementado en colaboración con el Centro Latinoamericano y del Caribe de Información en Ciencias de la Salud (Bireme), el proyecto desarrolló una metodología para la preparación, almacenamiento, diseminación y análisis de revistas científicas en formato electrónico.

La aplicación de la metodología está disponible en un sitio en Internet denominado SciELO (Scientific Electronic Library Online), biblioteca virtual que reúne una colección de revistas científicas brasileñas (URL:http://www.scielo.br).

La metodología SciELO está formada por módulos integrados que posibilitan, al mismo tiempo, la publicación de textos completos de artículos, su almacenamiento en bases de datos y su recuperación eficiente e inmediata. La metodología incluye además un módulo para el control y la medida del uso de revistas en Internet, así como de su impacto mediante la producción de informes, a partir de los cuales los especialistas podrán analizar la literatura científica incluida en la biblioteca. Estos informes se basan en indicadores y criterios cuantitativos y en técnicas y métodos bibliométricos.

El seminario reunió a especialistas y representantes de instituciones brasileñas e internacionales para discutir la evaluación de la literatura científica; en él se abordaron tanto los aspectos técnicos y normativos, como los de política científica y producción científica propiamente. Por ello, el seminario se dividió en dos partes. La primera abarcó dos días de conversatorios y debates ante un público escogido de aproximadamente 40 especialistas (4 y 5 de marzo); la segunda se dedicó a un workshop que reunió exclusivamente a consultores invitados y al equipo del proyecto (6 de marzo).

Además de las conferencias de Brasil, México, Estados Unidos, Chile, Uruguay y Bélgica, cuyos trabajos están publicados en este número de Ciência da Informaçao, estuvieron presentes por la Fapesp, su director científico José Fernando Pérez, que abrió el evento, y uno de los coordinadores del proyecto: Rogério Meneghini, además de Abel Packer, de BIREME, otro de los coordinadores del proyecto, y representantes de las siguientes instituciones: Consejo Nacional de Desarrollo en Ciencia y Tecnología (CNPq), Instituto Brasileño de Información en Ciencia y Tecnología (Ibict), Asociación Brasileña de Editores Científicos (ABEC), Financiadora de Estudios y Proyectos (Finep), Universidad de Sao Paulo (USP), Universidad Estadual Paulista (Uneso), Universidad de Campiñas (Unicamp) Universidad Pontificia Católica de Campiñas (Puccamp), Instituto for Scientific Information (ISI), y Comisión Nacional de Investigación Científica y Tecnológica de Chile (Conicyt).

El seminario contó también con la participación de profesores e investigadores, de profesionales del área de la ciencia de la información y de editores científicos de diferentes áreas del conocimiento, en especial, de los editores de las revistas que forman parte de SciELO.

Resumen de los trabajos y conclusiones

El Seminario sobre Evaluación de la Producción Científica se constitiyó en un fórum sobre el tema, a la vez que divulgó el proyecto y sus objetivos, y dio lugar a un oportuno debate sobre la comunicación científica y sus instrumentos.

En primer lugar, el Seminario situó al proyecto en el ámbito del sistema de la comunicación científica y de la evaluación de la producción científica en el país, en tanto instrumento capaz de perfeccionar los medios de divulgación, aumentar la visibilidad y el acceso a las publicaciones, así como crear indicadores consistentes y actualizados sobre el uso y el impacto de la literatura científica.

Los análisis, opiniones y diferentes manifestaciones de los profesionales y especialistas que trabajan en las áreas de la información y la comunicación científica, recibidos por el equipo del proyecto, indican que la metodología SciELO satisface la demanda existente en el país, por canales más eficientes y sistemáticos de comunicación y evaluación científica.

En los dos primeros días del encuentro se abordó el tema con amplitud, el cual se inició con la exposición de las condiciones existentes en el país para la publicación y diseminación de la literatura científica, incluidos problemas como los canales de comunicación, los niveles de calidad y evolución de la producción científica nacional en los últimos años, la visibilidad, distribución y demanda por indicadores para las tomas de decisión (José Fernando Pérez y Rogério Meneghini). Seguidamente se presentó el Proyecto SciELO y se destacaron sus objetivos, hipótesis, resultados y estrategias para el mejoramiento del proceso de comunicación científica como un todo, especialmente para una mayor divulgación y diseminación de las publicaciones científicas -con vistas a ampliar su visibilidad nacional e internacional- y para lograr que el uso y el impacto de estas publicaciones sean instrumentos para la evaluación de la producción científica (Abel Packer).

Los siguientes conversatorios se refirieron a la política científica y tecnológica como instrumento para el planeamiento, la promoción y el desarrollo de la actividad científica. Se abordaron aspectos políticos, sociales, económicos e institucionales que orientan y condicionan las inversiones en el área, y se subrayó la necesidad de perfeccionar los mecanismos y modelos de evaluación del desempeño (individual e institucional) y de crear y mantener actualizados los indicadores cienciométricos adecuados para orientar la toma de decisiones en la selección y promoción de programas de investigación, así como las actividades referidas a la distribución de los recursos financieros y materiales y al avance de la ciencia y la tecnología (Sandra Brisolla, Anna Maria Prat, César Macías Chapula, y Edson Kondo).

El segundo día del seminario comenzó con la presentación del tema sobre el punto de vista del editor científico, en cuyo contexto se discutieron los criterios y procedimientos editoriales adoptados para la selección y evaluación de la literatura científica con vistas a su publicación, así como los aspectos que condicionan a la actividad editorial en el área científica (Charles Pessanha y Lewis Joel Greene). Para cerrar este panel, se analizaron los criterios existentes para la evaluación de las revistas científicas brasileñas y los criterios de selección para SciELO, referidos al mérito (contenido) y al desempeño (forma) de las publicaciones, lo que permite la clasificación de las revistas en niveles de relevancia en sus respectivas áreas (Rosaly Krzyzanowski).

Más adelante se discutió en el seminario sobre los indicadores cienciométricos, en este caso en cuanto a sus aspectos técnicos y metodológicos con destaque de su importancia, finalidad, limitaciones y posibilidades de aplicación. Se presentaron una serie de indicadores para la publicación y para las citas, y se analizó su adecuación en relación con las políticas científicas, principalmente en los países latinoamericanos, dada la dependencia existente de los indicadores producidos por el ISI, que considera un número limitado de revistas de la región (Ernesto Spinak). El panel prosiguió con la presentación de la metodología del Institute for Scientific Information (ISI), para el análisis de citas y para la selección de revistas (James Testa) y con la descripción de un estudio del caso, que aplica indicadores bibliométricos y econométricos para la evaluación de instituciones científicas, con inclusión de aspectos tales como la enseñanza y la ubicación de recursos (Ronald Rousseau).

Como cierre de la primera parte del seminario dedicada a los conversatorios, se realizó un debate general con la participación de los conferencistas y del público, en el que se reconoció la significación de poder contar con métodos de evaluación de la producción científica, con especial atención al contexto latinoamericano, y donde se plantearon problemas como la necesidad del intercambio interinstitucional y de la compatibilidad entre las metodologías de evaluación, el límite de los indicadores, las dimensiones políticas del tema y la necesidad de un esfuerzo conjunto de la comunidad científica en el establecimiento de políticas de evaluación. Hubo manifestaciones de apoyo al proyecto referidas a la continuidad en el desarrollo de la metodología de evaluación, siempre que se trate de iniciativas a seguir con posibilidades concretas que viabilicen a corto plazo la puesta en práctica de un amplio sistema de apoyo a los programas de evaluación científica.

La segunda parte del seminario (día 6 de marzo), se dedicó exclusivamente a un workshop con la participación del equipo del proyecto -Abel Packer, Irati Antonio, Mariana Biojone, Asael Silva y Alberto Pedroso García- y de los especialistas Anna Maria Prat, César Macías-Chapula, Edson Kondo, Ernesto Spinak, Ronald Rosseau y James Testa, con el objetivo de enfocar más detenidamente la metodología de evaluación considerada por el proyecto en los siguientes aspectos básicos: ?qué indicadores producir?, ?Cuáles indicadores deberán ser publicados y cuáles no? La compatibilidad con la metodología del Institute for Scientific Information; citas, áreas de asuntos, etc. Para cada indicador, ¿cuál serían los datos mínimos a producir: número de revistas y de registros?

Los aspectos más discutidos en este debate y las principales recomendaciones podrían resumirse de la forma siguiente:

• Los objetivos de la calidad de la comunicación y de la producción científica son fundamentales.
• La definición de directrices que encuentren repercusión y apoyo nacional e internacional para el desarrollo y la aplicación de la metodología de evaluación es esencial.
• Los debates sobre estas directrices se deben efectuar con la participación de la comunidad científica internacional, principalmente la de América Latina.
• La necesidad de establecer sistemas claramente definidos para la selección de las revistas científicas que conformarán la base de datos, es un criterio que debe integrarse a la metodología.
• La necesidad de compatibilidad y aceptación internacional de la metodología (incluido el ISI) para posibilitar la comparación y el análisis de datos.
• El flujo de la aplicación de la metodología se debe establecer y divulgar (cómo clasificar las revistas y los datos, procesar y comunicar los datos con claridad, verificar la consistencia de las informaciones, diseminar los indicadores a los editores, establecer un canal de comunicación para recibir sugerencias).

La consistencia e integridad de los datos son fundamentales y podrán ser respaldadas por la metodología.

La disponibilidad de datos originales de los medios necesarios para la obtención de indicadores y datos de evaluación, además de la disponibilidad de los informes, es indispensable para permitir que se realicen los diferentes análisis.

La metodología debe concentrarse en los indicadores básicos ya reconocidos internacionalmente, aunque se le deben agregar indicadores específicos, conforme a las necesidades de la clientela.

La promoción de las investigaciones y proyectos del área de bibliometría, es un campo que se debe explorar por el proyecto.

El aspecto sumamente positivo del seminario ha sido el enriquecimiento de la metodología SciELO con múltiples perspectivas relacionadas con el tema de la evaluación de la producción científica sea cual fuere la proposición de directrices y recomendaciones para el desarrollo del proyecto, como el análisis de la metodología de evaluación y la discusión de los indicadores básicos (factor de impacto de una publicación, el número de veces que un autor y una revista son citados, por cuáles autores y revistas son citados, etc.) ya se trate de aspectos políticos y administrativos vinculados con su aplicación (el uso de patrones internacionales, el desarrollo de estrategias para la difusión de la metodología, el tipo y la forma de los datos que serán ofrecidos, los patrones para la selección de revistas, la compatibilidad entre las bases de datos, las citas y las áreas del conocimiento, etc.), así como las limitaciones de los indicadores.

Otros beneficios del seminario incluyen el establecimiento de intercambios con especialistas e instituciones, que abarca no sólo el canje de información, sino también la posibilidad de desarrollar actividades y proyectos conjuntos; la visualización de que el SciELO es el embrión de una base de datos sobre la producción científica brasileña y un medio eficiente para la evaluación de la producción científica; y la compartimentación e intercambio entre las bases de datos brasileñas y las internacionales (como la del Institute for Scientific Information). Incluso, representantes de los países de América Latina han manifestado su interés en aplicar la metodología SciELO en programas de publicaciones electrónicas y bases de datos.

Irati Antonio

[e-mail]

Abstract

It describes the aims and program of the Scientific Literature Evaluation Seminar, organized by the SciELO Project, on March 4-6, 1998. It includes a summary of the presented lectures, as well as the results and conclusions of the event.

Subject headings: SciELO; SCIENTIFIC PRODUCTION; EVALUATION; BRAZIL.

 

¹ Consultora, SciELO.
² Coordinador, SciELO.