Desccriptores DeCS: CIENCIOMETRIA; INVESTIGACION; EVALUACION; ECONOMETRIA/métodos; FACTOR DE IMPACTO; ANALISIS DE CITAS; PRODUCCION CIENTIFICA; PUBLICACION ELECTRONICA; BIBLIOMETRIA; UNIVERSIDADES/eficiencia; UNIVERSIDADES/efectividad.
El presente artículo se ha dividido en 2 partes. La primera describe la evaluación de una pequeña universidad de Flandes, Bélgica, conocida como LUC a partir de datos cienciométricos, con el objetivo principal de analizar la investigación con visibilidad internacional.
La segunda parte muestra cómo puede utilizarse un método econométrico como instrumento de evaluación para determinar los recursos disponibles. También se demuestra cómo un cuerpo teórico que combina la bibliometría, la cienciometría y la econometría puede aplicarse a problemas concretos,1,2 y que, por tanto, la bibliometría puede ser la solución adecuada para determinados problemas.3
b) En su trabajo, estos científicos se basan en la obra de colegas y de precursores en su campo.
c) Se publican los resultados de este trabajo. ]]>
d) Se someten a la apreciación de pares iguales.e) Los científicos muestran en sus publicaciones cómo se han basado en el trabajo previo de otros, al mencionar en sus textos una lista de referencias.
f) Las revistas científicas desempeñan un papel esencial en la comunicación entre colegas científicos. Esta es la principal razón por la que la literatura científica es una representación de la actividad científica y de la red de relaciones entre subcampos.
g) El número de publicaciones de un grupo de investigación, puede considerarse un indicador de su producción científica.
h) El número de veces que la obra de un grupo es citada por otras publicaciones, da la medida del impacto y de la visibilidad internacional de esa obra.
i) En el sistema global de revistas, se puede distinguir entre las "centrales", es decir, las revistas internacionales importantes, y las periféricas que son de orientación más regional.
j) El Instituto de Información Científica (ISI) abarca por medio de su Índice de Citas Científicas (SCI), el grueso de las revistas internacionales importantes en las ciencias puras, aplicadas y médicas.
Los indicadores cienciométricos no están destinados a sustituir a los especialistas, sino más bien a hacer que las investigaciones sean visibles y analizables, de manera que los especialistas tengan una adecuada información a su disposición y por tanto puedan formular una opinión mejor fundamentada.9,10 Estos indicadores son más eficaces cuanto más alto sea el nivel de agregación.11
Los científicos que laboran en las universidades tienen varias responsabilidades: admás de la enseñanza y la investigación, tienen una obligación para con la sociedad en su conjunto. El método cienciométrico considera sólo el aspecto investigativo, esencialmente el alcance de las contribuciones de un grupo de investigación en relación con el desarrollo de nuevos conocimientos en el frente investigativo. Esto implica que muchas de las actividades normales de los investigadores, no se toman en consideración.
Los resultados de esta investigación se distribuyeron en tres versiones. La primera contiene los resultados de cada grupo por separado. Cada grupo de investigación recibió un informe que contenía sólo sus resultados, además de una copia con la descripción de los resultados globales de LUC. La segunda versión que sólo contiene los resultados globales de LUC, se repartió a los grupos de investigadores y al Consejo de Investigaciones. Finalmente hay una versión oficial (en holandés) dada a conocer públicamente (tras ser aprobada por el Consejo de Investigaciones), para que los interesados en los métodos y en los resultados puedan consultarla. Esta versión oficial ha sido traducida al inglés4 y todos los datos en ella contenidos se han mantenido en el anonimato.
Se introdujo un parámetro de investigación que expresaba una fracción de horas trabajadas en una investigación, para lo cual se emplearon los mismos porcentajes de la OECD, o sea, en cuanto a los miembros del personal pagado por la propia universidad, este parámetro se fijó en 0,4(40 %); en lo que respecta a los investigadores pagados por la Fundación Nacional de la Ciencia y otras organizaciones similares, el parámetro se estableció en 1,0 (100 %); el personal académico empleado por un período menor al 100 % se contabilizó en proporción al porcentaje de su tiempo de trabajo (los que tenían un trabajo a tiempo parcial su parámetro se valoró en 0,2). Si el porcentaje del régimen de trabajo es inferior al 20 %, las personas en este caso sólo se consideran como profesores y su parámetro investigativo se calcula en 0,0. Con el uso de estos parámetros y el número de personas activas en cada grupo de investigación, se calculó el indicador PYE-Res/año, es decir, los equivalentes promedio persona-año en labores investigativas durante el período 1981-1993.
El impacto se ha medido sobre la base de la cantidad de citas por publicación y está relacionada con un patrón internacional (un promedio mundial).
Indicadores de producción (PA, Pt, P, Pf)
Para cada grupo de investigación se ha determinado el número total de publicaciones y el número de publicaciones incluidas en el archivo LUC-JCR (Journal Citation Reports), durante el período 1981-1993. Estos indicadores se identifican con los símbolos PA y Pt. El número de publicaciones incluidas en el JCR de 1981 a 1993 se denota con la letra P. El SCI utiliza una clasificación de las publicaciones según se trate de artículos originales, cartas, notas, artículos de revisión, resúmenes, conferencias, editoriales, reseñas de libros y correcciones. Solamente las cuatro primeras categorías mencionadas se consideran para los parámetros Pt y P.
A menudo sucede que un grupo de investigación publica artículos en cooperación con científicos de otros grupos, tanto dentro como fuera de la universidad.12 Vale preguntar si estas publicaciones pueden o no ser completamente atribuidas a cada grupo de investigación participante. Esto constituye un problema, en especial cuando las publicaciones se relacionan con los datos de entrada, como son los equivalentes persona-año para una investigación.
De hecho, los artículos que surgen de una colaboración se basan en parte en los esfuerzos y recursos de otros grupos. Por esta razón, se han utilizado aquí dos esquemas de contabilización: el usual y directo (una publicación es una unidad) y el fraccionado (tomando en consideración la colaboración). Si, de acuerdo con las indicaciones sobre publicaciones encontradas en los archivos del SCI, un artículo es publicado por miembros de dos grupos, cada grupo recibe la mitad del crédito. Si son tres grupos, entonces cada uno recibe la tercera parte del crédito y así sucesivamente. A las publicaciones calculadas por el método fraccionario e incluidas en el archivo LUC-JCR, se les asigna el símbolo Pf. Este indicador sólo se ha utilizado para medir la productividad de un grupo de investigación o de una facultad.
Obsérvese que los indicadores P, Pt y Pf sólo se relacionan con artículos del LUC-JCR, es decir, con artículos originales, cartas, notas y artículos de revisión publicados en un número de la JCR y que tienen la dirección de LUC.
Indicadores de productividad (PA/PYE-Res por año; Pf/PYE-Res por año)
La productividad se mide utilizando las relaciones PA/PYE-Res y Pf/PYE-Res (número total de publicaciones y número fraccionado en JCR por equivalente persona-año en actividades de investigación) en el lapso de un año. Como el objetivo de este informe es determinar la posición internacional de LUC, sería conveniente comparar la productividad de los grupos de investigación y de las facultades con un patrón internacional. Esto permitiría determinar si la productividad es alta o baja desde un punto de vista global (internacional). Sin embargo, no es posible en estos momentos obtener datos fiables para hacer tal comparación. ]]>
La comparación de la productividad entre diferentes grupos de investigación no es por lo general significativa. Además del hecho de que esto sólo determinaría la posición relativa local de un grupo, existe la complicación de que los hábitos de publicación varían marcadamente entre los distintos campos y departamentos científicos. Por ejemplo, tiene poca importancia comparar la productividad de un grupo experimental con la de un grupo dedicado a la ciencia aplicada. La principal función de este indicador es encontrar los grupos de investigación con una productividad muy baja, es decir, grupos que publican muy poco con respecto a su capacidad investigadora.Indicadores de impacto (Ct, Ctex, C, Cex, CpP, CexpP, CpP/FCSm, CpP/JCSm, JCSm/FCSm, PSt, PS)
Estos indicadores sólo tienen que ver con artículos del LUC-JCR. Para cada científico se ha determinado el número total de citas durante el período 1981-1993 (y esto es con respecto a los artículos publicados en este período). Esto se ha identificado con el símbolo Ct, en el que también se incluyen las autocitas. Para dar una idea de la cantidad de autocitas, se determinó también el número total de citas sin incluir autocitas, y el porcentaje de autocitas (símbolos Ctex, PSt). Estos indicadores se determinaron para un período de cuatro años tras la publicación (símbolos C, Cex, PS). Además se obtuvo la cantidad promedio de citas por artículo con autocitas y sin estas (símbolos CpP y CexpP).
Por regla general, un grupo publica artículos en determinadas revistas, las cuales constituyen la colección de revistas de ese grupo. Es posible obtener el factor de impacto para cada revista de esta colección, es decir, el número de veces promedio en que se cita el artículo publicado en esa revista. Obsérvese que para el cálculo del factor de impacto de una revista, se toman en consideración todos los artículos y no sólo aquéllos publicados por el grupo de investigación que se evalúa. En este informe, el factor de impacto se denomina JCS (Journal Citation Score: puntuación de las citas de la revista).
El uso de factores de impacto de revistas posibilita formular una media ponderada del factor de impacto para la colección de revistas donde publica el grupo (símbolo JCSm). Ejemplificaremos esta construcción de la siguiente manera: supongamos que un grupo publicó en un año determinado 3 artículos en la revista A y 2 en la revista B; luego supongamos que los artículos de la revista A tuvieron como promedio 6 citas (JCS = 6) y los de la B, 2 (JCS = 2). La media ponderada del factor de impacto para la colección de revistas de este grupo en ese año sería (JCSm): (3 x 6 + 2 x 2:5=4:4.
Los factores de impacto pueden calcularse de diversas formas. La utilizada en este informe difiere de la oficial, es decir de la del ISI. La noción del factor de impacto siempre se refiere a una cantidad promedio de citas de artículos publicados en cierta revista. El factor de impacto del ISI se refiere al número promedio de citas obtenido durante el segundo o tercer año posterior a la publicación. Para presentarlo de una forma más precisa: el factor de impacto del ISI para una revista X en 1998 se obtiene al dividir la suma de las citas en el año 1998 de los artículos publicados en esta revista en los años 1996 y 1997 entre la suma de la cantidad de artículos publicados en esa revista X durante esos mismos años.
Nuestro trabajo se ha limitado a un período predeterminado, llamado un período de 4 años,13 que consiste en el año de publicación (año uno) y los 3 años siguientes. Una consecuencia de esta elección del período de 4 años es que tan sólo las publicaciones del período 1981-1989 pueden analizarse en su totalidad.
Los indicadores mencionados, son indicadores básicos que responden a preguntas como: ¿cuál es la frecuencia con que se citan los artículos dentro del conjunto de revistas del SCI? y ¿cuál es la media ponderada del factor de impacto de las revistas en las que se publican las investigaciones? Estos indicadores no responden a la pregunta de si un grupo de investigación es o no más citado que otros grupos similares y si la puntuación de las citas en la revista del grupo es alta o baja vista desde una perspectiva internacional. Una comparación directa entre los grupos o los departamentos de una universidad, basada en números absolutos de citas (C), de citas por publicación (CpP) o el factor de impacto de la colección de revistas (JCSm) no es por lo general significativa, dada la diversidad de hábitos a la hora de citar en diferentes campos de la ciencia. En campos como la inmunología, las listas de referencias son mucho más largas que en matemática o en computación. Por lo tanto, hemos optado por un método donde al menos para el análisis del impacto se ha establecido un nivel de referencia internacional. Las puntuaciones de los grupos de investigación de LUC se comparan entonces con este nivel de referencia internacional. Hemos calculado, por subcampo, la cantidad promedio de citas que recibe un artículo de ese campo, lo cual se denomina promedio global por campo y se denota como FCS (field citation score). Para la clasificación de revistas por subcampos, se parte de la clasificación de revistas en categorías según el ISI. Luego se comparan las puntuaciones de las citas de LUC con las existentes en el mundo y entonces puede establecerse si los artículos de un grupo de investigación son más o menos citados que el promedio global imperante en el campo donde opera el grupo de investigación. Por lo general, un grupo trabaja en más de un campo y, por consiguiente, la media ponderada que se utiliza (símbolo FCSm) es similar al cálculo de la media ponderada del factor de impacto (JCSm).14
Se elaboraron 3 importantes indicadores sobre la base de las variables CpP, JCSm y FCSm:
a) La relación entre el impacto obtenido y el impacto de la colección de revistas: Cpp/JCSm. ]]>
Aquí se compara la puntuación del promedio de citas de un grupo de investigación (CpP) con la media ponderada del factor de impacto de las revistas en la cual publica el grupo (JCSm). Este indicador permite determinar si la obra de un grupo -dentro de un parámetro de citas en 4 años-1 es más citada que el promedio. El poder evaluativo de este indicador es limitado por el hecho de que no se toma en cuenta el nivel de citación de la colección de revistas.Un grupo que publica en revistas menos importantes- con un bajo factor de impacto- y que es citado con la misma frecuencia promedio que se citan los artículos de su colección de revistas, es clasificado por este indicador en el mismo nivel que un grupo que publica en las principales revistas con un alto factor de impacto y obtiene una puntuación de citas promedio igual a la de su colección de revistas.
Por su puesto que estos 3 indicadores no son independientes. El conocimiento de dos de ellos determina el tercero.
Rousseau15 aborda otro método para los análisis de tendencias. Los indicadores se estudian aquí sobre una base anual para hallar la evolución del impacto del grupo. Los gráficos que se muestran a continuación, reflejan la evolución anual y los promedios de 3 años. Considerando que la evolución de un año al otro ocurre a menudo de forma irregular, se recomienda concentrar la atención en la evolución de los promedios de 3 años.
La figura muestra el total de trabajos publicados anualmente por un grupo de investigación o facultad. Todas las publicaciones, incluidas las categorizadas en (S), C y P, se toman en cuenta.
Esta figura representa la relación entre el número de publicaciones y el factor persona-año equivalente en la investigación (PYE-Res).
4. Productividad de JCR
Esta figura muestra lo mismo que el anterior excepto que ahora sólo se analizan las publicaciones de JCR.
5. Número total de citas por año
Aquí se muestra el número total de citas (en las revistas de JCR) que el grupo o facultad ha obtenido por año. Sólo se analizan las citas de publicaciones de 1981 a 1993.
A medida que se incremente el número acumulativo de artículos citables durante el período, es normal que también aumente este gráfico. Si ello no ocurre así, constituye un punto negativo del grupo.
a) Pt/Pjtot
Este indicador brinda el porcentaje de artículos en el archivo LUC-JCR(Pt) con respecto al total de artículos de revistas (Pjtot).
Si este porcentaje se aproxima al 100 %, ello significa que el grupo de investigación publica sus artículos principalmente en las revistas cubiertas por JCR. En ese caso, el SCI tiene una buena cobertura de la producción de este grupo. ]]>
b) Pjtot/AAEste indicador brinda el porcentaje de artículos de revistas con respecto al número total de publicaciones (PA). Si este porcentaje es cercano al 100 %, ello significa que el grupo publica mayormente artículos y que es menor la importancia de otros tipos de publicaciones.
¿Cómo deben interpretarse estos indicadores? Hablando en términos comparativos, si un grupo de investigación publica una gran cantidad de artículos en revistas no cubiertas por JCR, ello puede interpretarse de dos formas. Si se asume que la cobertura del SCI es adecuada y realmente abarca todas las principales revistas, entonces se ha de llegar a la conclusión de que obviamente este grupo no publica en revistas importantes. En ese caso, la relación Pt/Pjtot es un indicador de la posición internacional del grupo como lo muestra su comportamiento en cuanto a la publicación de trabajos, es decir, de la elección de revistas para publicar artículos (o puede ser que los artículos del grupos sólo se acepten en revistas de menos importancia). Por eso una relación pequeña significa una posición internacional débil.
Por otra parte, se puede asumir que la cobertura del SCI es inadecuada al no considerar muchas revistas importantes. Si se asume asimismo que el grupo publica en revistas importantes, entonces la relación Pt/Pjtot se convierte en un indicador de cobertura del SCI con el grupo de investigación (departamento, facultad) como norma.
Puede que surja un problema con la adecuación del SCI en aquellos campos donde la publicación de alto nivel no está limitada a un grupo relativamente pequeño de las mejores revistas internacionales en idioma inglés, pero en él existe un amplio espectro de revistas de orientación local (es decir, dirigidas a una nación o a un grupo idiomático) que publican artículos de gran calidad. En general, el problema no está en las ciencias. Sin embargo, este aspecto ha de considerarse en la interpretación de los resultados.
Se pueden hacer observaciones análogas con respecto a la relación Pjtot/PA. Si un grupo tiene una relación Pjtot/PA baja, ello puede significar que el grupo no quiere o no es capaz de publicar en revistas. Sin embargo, también puede significar que en ese campo de investigación, las revistas tienen un menor papel en la divulgación de los conocimientos científicos.
Por consiguiente, el 18 % se refiere a otros tipos de publicaciones, lo que demuestra que en la Facultad de Ciencia y Medicina son también importantes los anales de congresos y las contribuciones en libros editados. De estos artículos de revistas, el 72 % pertenece a las categorías de la JCR: artículos originales, cartas, artículos de las categorías de revisión y notas. En general, no hay problema de cobertura para el SCI porque una gran parte de las demás publicaciones son resúmenes de revistas de JCR.
Los 586 artículos de la Facultad en JCR se citaron 2 915 veces. El porcentaje de autocitas fue igual al 38 %, que es bastante alto. En relación con el impacto a corto plazo, se observa que estos artículos (publicados en el período 1981-1989) se citaron como promedio 3,38 veces durante los primeros 4 años tras la publicación (39 % son autocitas).
El factor de impacto promedio de la colección de revistas de la facultad fue 4,77 y la puntuación promedio mundial de citas fue 4,83, lo que demostró que la Facultad en su conjunto publica dentro del nivel promedio. El impacto promedio de la Facultad se sitúa justo por debajo del promedio mundial (3,88/4,83=0,8) donde se toman en cuenta los márgenes de errores. El impacto de la colección de revistas fue de 0,81.
Los análisis de las tendencias demuestran una trayectoria irregular, aunque terminan de forma ascendente. Se puede decir con toda seguridad que en 1989 la Facultad de Ciencias y Medicina alcanzó el promedio mundial.
Los debates que sostuve con varios científicos fueron, a mi modo de ver, muy instructivos para ambas partes. Como se ha mencionado anteriormente, son sólo los científicos quienes pueden valorar correctamente los resultados obtenidos. Un aspecto común de todas las discusiones fue que los científicos se sintieron un tanto disgustados con los resultados promedio (promedios a lo largo de todo el período), pero satisfechos con los análisis de las tendencias que muestran el avance por ellos logrando. A menudo señalaron que los programas de investigaciones más extensos requerían de un tiempo de incubación para poder ponerse en marcha. Asimismo enfatizaron que, además de las citas "objetivas" los contactos personales y las solicitudes de orientación eran también importantes para sentirse apreciados por sus iguales.
Como respuestas a preguntas más específicas, se registraron los comentarios siguientes:
La primera incursión en este terreno apareció con la investigación realizada por Charnes, Cooper y Rhodes en 1978,20 primer trabajo que utilizó la técnica de DEA, cuya definición formal de la eficiencia es:
"Una unidad alcanza el 100 % de eficiencia sólo cuando:
a) Ninguno de sus productos puede aumentar sin que aumente uno o más de sus insumos o sin que disminuyan algunos de los otros productos.
b) Ninguno de sus insumos puede disminuir sin que disminuyan algunos de sus productos o aumenten algunos de los demás insumos".
Al no existir forma alguna de establecer una norma absoluta de eficiencia, Charnes y Cooper introdujeron la siguiente definición de eficiencia relativa: "Cualquier unidad puede alcanzar el 100 % de eficiencia relativa, sólo cuando las comparaciones con otras unidades pertinentes no ofrezca ningún indicio de ineficiencia en el uso de un insumo o producto." ]]>
El uso del DEA tiene 2 ventajas:Para mayor claridad, se explica en la figura 1 la técnica del DEA. En esta figura se representa gráficamente la eficiencia relativa de varias unidades UTD imaginarias, las cuales utilizan un insumo para generar 2 productos.
Los ejes horizontal y vertical representan la relación de cada producto (OUT1 y OUT2) con respecto a la cantidad de insumos empleados (IN). En el DEA, el desempeño de cada UTD se compara con los de otras unidades consideradas en ese caso. Las unidades con mejor desempeño utilizan sus insumos de una forma más óptima que las demás. Otra vez la relatividad de este enfoque tiene que subrayarse. Las unidades más óptimas forman una frontera llamada la "frontera de la eficiencia". Las unidades con menor desempeño precisan de más insumos para generar la misma cantidad de productos y por lo tanto están situadas a cierta distancia de la frontera. La ineficiencia de las mismas se representa con la distancia radial. Es obvio que todas las unidades situadas en la frontera de la eficiencia tendrán un índice de desempeño relativo igual a 1 (son totalmente eficientes).
La frontera de la eficiencia incluye a todas las unidades de toma de decisiones, como se puede ver en la figura 7.
Es por eso que la técnica se denomina DEA. A fin de incrementar el desempeño de una UTD no óptima como la UTD 2, una nueva estrategia tiene que estar dirigida hacia la evolución en pos de la frontera de la ificiencia. La técnica DEA sugiere una evolución radial a partir de la fuente hacia el punto de meta en la frontera que representa lo que esa unidad pudiera lograr. De esa forma, se logra llegar a la unidad de desempeño óptimo UTD 2: Se observa que la UTD 2 está situada entre las 2 unidades óptimas UTD 8 y UTD 5, que forman un grupo de referencia para UTD 2. El grupo de referencia permite calcular las reducciones de insumos y ocasionalmente, las reducciones de productos necesarios para obtener una unidad con desempeño eficiente, además de mostrar dónde y cómo actuar. Hay otras vías no radiales para convertir en eficientes a ciertas unidades. Por ejemplo, una evolución puramente vertical lleva a una unidad eficiente UTD 2".
Ahora, para resolver un problema específico, hay que calcular el desempeño de cada UTD K (k=1...n) comparado con las unidades de mejor desempeño del grupo. Por lo tanto, es necesario maximizar la relación de productos ponderados (Ork, r=1..s; k=1..n) con respecto a los insumos ponderados (Iik; i=1..m, k=1..n), sujetos a la condición de que las relaciones similares para cada UTD sean inferiores o iguales a la unidad, es decir, a 1. El siguiente modelo matemático brinda una mejor precisión. ]]>
Las variables de decisiones de este modelo son coeficientes de ponderación (Vrk e Uik): un conjunto para cada unidad. Están constituidas de esa forma para que arrojen el resultado más beneficioso para la unidad en cuestión. Esto significa que los valores altos se atribuyen a los mejores resultados, y que los valores bajos se atribuyen a los insumos utilizados con más frecuencia. El resultado más elevado posible, es por supuesto el 1. Cuando ello ocurre, la unidad se denomina entonces eficiente. Las ecuaciones (3) y (4) definen por razones técnicas un límite por debajo del cual no pueden aparecer ponderaciones. Hemos utilizado e=0.000001.
Este modelo DEA no es lineal ni convexo. Como no existe una forma fácil de resolver este tipo de problema, es procedente transformar el modelo en un modelo de programación lineal; ello se hace otorgando al denominador un valor igual a 1. El nuevo modelo permite una fácil solución con los paquetes de software existentes como LINGO. Así se obtiene el siguiente modelo lineal y convexo.
Los recursos dan respuesta a la pregunta: ¿quién o qué permite a un departamento alcanzar sus objetivos?
Investigación básica y aplicada.
Los recursos obtenidos para hacer esta investigación23 (una o dos variables). ]]>
Clasificaciones de los departamentos por parte de una comisión externa.22Otros recursos de la Universidad subvencionados por el gobierno (incluye el financiamiento de equipos y de los fondos para la biblioteca).
Resultados de la Universidad Católica de Leuven: 36 departamentos de los cuales 13 tienen una puntuación de eficiencia igual a 1.
Son 100 % eficientes: derecho eclesiástico, filosofía, criminología, economía aplicada, historia, psicología y antropología, fisica, química, electrónica, arquitectura, ciencias biológicas aplicadas, medicina y kinestesia. Sólo para que se conozcan, se mencionan los menos eficientes: construcción (46 %), geología y geografía (42 %), estomatología (27 %), preparación física (gimnástica y deportiva: 23 %).
Eficiencia y efectividad
Para obtener un alto grado de eficiencia, una UTD está en plena libertad de utilizar sus recursos como lo desee.
Los departamentos pueden emplear todos sus insumos para obtener un solo producto o resultado (ej: enseñanza) y aun así lograr una puntuación de 1. Sin embargo, si una unidad tiene varias funciones, no se le puede considerar realmente eficiente si no se desempeña bien en cada una de ellas. Ello conlleva la introducción de la noción de efectividad. Dentro del marco del DEA se ha tenido en cuenta la efectividad a través de la imposición de límites a los factores de ponderación.24
Se imponen restricciones a los instrumentos de ponderación y se añaden las condiciones siguientes:
Por otra parte, la estomatología continúa en el 26 % y la gimnástica y el deporte se mantienen en el 22 %, por lo que siguen siendo las más deficientes.
ronald.rousseau @kh.khbo.be
Subject headings: SCIENTOMETRICS; RESEARCH; EVALUATION; ECONOMETRICS/methods; IMPACT FACTOR; CITATION ANALYSIS; SCIENTIFIC PRODUCTION; ELECTRONIC PUBLISHING; BIBLIOMETRICA UNIVERSITIES/efficiency; UNIVERSITIES/effectiveness
]]>