RESUMEN

Descriptores: INDICADORES; METODOLOGIA.

Indicadores cuantitativos, virtudes y limitaciones

Cuantificación y modelaje

Una de las más importantes metas en la búsqueda de conocimientos es la obtención de modelos. Se entiende por modelo un procedimiento de cualquier naturaleza (práctico, matemático, gráfico, verbal, etc.), capaz de reproducir entre sus aspectos más significativos una relación de antecedentes (causas) y consecuentes (efectos) de manera idéntica a la que ocurre en el universo en el que nos incluimos. El modelo, al concentrarse en los aspectos relevantes, corresponderá a una simplificación del evento real y es justamente ahí en que residen su fuerza y sus ventajas: sin pagar el precio integral, sin necesitar de la ocurrencia del evento en sí, se puede pronosticar cómo se comportaría el universo (ciencia) o se puede lograr cómo inducir en él una determinada configuración final (tecnología). En la mayoría de los casos y en el mejor sentido ello representa un significativo ahorro.

Las llamadas ciencias exactas, sobre todo las físicas y las ingenierías reúnen un cúmulo enorme de resultados de gran éxito en favor del bienestar del ser humano. Tal éxito se estructura en modelos matemáticos que representan de manera excelente los procesos pertinentes y, sin duda, deviene decisivamente de una cuantificación muy bien elaborada. Hace más de 100 años (aproximadamente en 1860) William Thomson (quien más tarde recibió el título de Lord Kelvin)¹ decía:

"He afirmado muchas veces que si usted puede expresar en números aquéllo de lo que habla, conoce algo sobre el tema, pero si, tratándose de cualquier tema, usted no puede expresarlo en números, su conocimiento es pobre e incompleto. Ello podría significar el comienzo del saber, pero difícilmente su espíritu haya progresado hasta el estadio de la ciencia."

Hoy día, quizás se pueda considerar el entusiasmo de Kélvin un tanto exagerado, aunque no resulta difícil comprenderlo: "los fenómenos de las físicas y las ingenierías se adaptan de modo absolutamente perfecto a la cuantificación y al modelaje matemático". Gracias a ello ha sido posible asociar a los aspectos significativos de los procesos naturales, cual magnitudes capaces de ser medidas en términos de unidades e instrumentos apropiados. Considérese, por ejemplo, las nociones de caliente y frío: a través de la variable física temperatura y del empleo de termómetros. Esta noción puede ser transformada en números que tienen un sentido para todos. ?Qué le sucedería a un ser humano abandonado y sin protección alguna en un ambiente de temperatura -40, 24, ó 150 °C?

Eso parece muy simple de acuerdo con la magnitud de los resultados mostrados. Por qué entonces, ¿no se aplica a todos los campos del conocimiento humano?

Se han realizado grandes esfuerzos en muchos de ellos: econometría, para la economía, sociometría, para las ciencias sociales, psicometría, relacionada con la personalidad y a ciertas habilidades del ser humano, etc. Para ilustrar (y también para demostrar que el entusiasmo por la cuantificación no ha decaído en estos últimos 150 años), véase lo que pronostica el control total de la calidad en un área de interface exacta/social de gran prestigio en la actualidad, cuyo objetivo es la gerencia óptima de la prestación de productos y servicios.²

Los parámetros de control de un proceso son índices numéricos establecidos sobre los efectos de cada proceso para medir su calidad total. ]]> Los parámetros de comprobación de un proceso son índices numéricos establecidos sobre las principales causas que afectan determinado parámetro de control.

No obstante, el éxito alcanzado en estas ciencias no es comparable al obtenido en las ciencias exactas.

No es fácil establecer magnitudes

En primer lugar, el ejemplo de la temperatura es de hecho, muy sencillo, pero no sería honesto tomarlo como representativo para acotar el establecimiento y perfeccionamiento de magnitudes ni siquiera de las ciencias exactas. Aunque haya otras con discutible popularidad como la longitud (usualmente dada en metros) y la masa (referida en general, al kilogramo, la mayoría no registra un significado inmediato, palpable, de fácil comprensión, pero corresponde a una abstracción que sólo tendría (si lo tuviera) sentido para un especialista. Y si así fuera, serían necesarios muchos especialistas para implantarlos, ello sólo es posible lograrlo con múltiples reuniones y debates que podrían prolongarse durante décadas.

En física, existen 2 expresiones relacionadas con la velocidasd y la masa de un cuerpo en movimiento. En una de ellas, ambas magnitudes son simplemente multiplicadas y en la otra se logra el producto de la velocidad por ella misma y por la masa y se divide su resultado por 2.

¿Qué significan cada una de estas expresiones? ¿Qué información está disponible en cada caso? Ese tema fue discutido durante años en el siglo XIX y se llegó a la conclusión de que ambas son importantes y corresponden a diferentes aspectos del proceso cuerpo en movimiento. Se establecieron así los conceptos de movimiento rectilíneo (el primero) y energía cinética (el segundo).*

Lo determinístico y lo estocástico

Un segundo aspecto significativo se refiere a la característica de las relaciones de causa y efecto, que pueden ser determinísticas o estocásticas. Pertenecen a la categoría de las determinísticas aquellas en donde la causa y el efecto están relacionadas directamente: la ocurrencia (o una variación) de la primera necesariamente conlleva el surgimiento (o el cambio) en el último, frecuentemente obedeciendo a una ley matemática conocida (al menos ésta es una condición que ha contribuido mucho al éxito de los indicadores en cuestión). Ahora, en el caso de las estocásticas, la relación entre causa y efecto es indirecta; la ocurrencia (o una variación) de la primera no se refleja en el efecto, sino en la probabilidad de su ocurrencia (o de su modificación).

Un ejemplo sencillo de relación estocástica es la que existe entre el tabaco y ciertos tipos de cáncer: tal relación existe pero no es cierto ni que todos los fumadores contraerán la dolencia, ni que un no-fumador no la contraiga. Fumar no conduce necesariamente a la enfermedad como consecuencia pero, ciertamente, aumenta la probabilidad de que ella aparezca. Además, mientras mayor es la cantidad de tabaco consumido, la probabilidad aumentará, pudiendo incluso, como en el caso determinístico, existir una ley matemática aplicable. Ella, sin embargo, no estará relacionando la causa con el efecto, pero sí la probabilidad de que ocurra.

Es muy común en ciertos medios, intentar confundir las opiniones de los interlocutores con argumentos determinísticos y con el establecimiento de relaciones con procesos estocásticos. Los que se oponen al uso de los cinturones de seguridad, citan ejemplos de situaciones en las cuales los envueltos en accidentes mueren incluso con los equipos instalados; los fumadores se justifican cuando mencionan al abuelo de más de 90 años, quien desde los 15 consume 2 cajetillas de cigarrillos por día, mientras que un primo (que jamás colocó en sus labios un cigarrillo) falleció con menos de 20. Estos ejemplos sólo echarían por tierra la relación entre el uso del cinturón y la reducción de muertes por accidentes de tránsito y entre el tabaco y las enfermedades, en el caso de que tales relaciones fuesen determinísticas. Ellas son, no obstante, estocásticas, de modo que los ejemplos mencionados se encuentran dentro de lo normal. Como se trata de probabilidades, poco peso o sentido existe en un evento aislado, pues a partir de él nada se puede probar o invalidar. Llegar a conclusiones exige estudios y comparaciones en conjuntos representativos en situaciones de igual naturaleza. ]]> En este sentido, un indicador que se relacione sólo estocásticamente con la magnitud del proceso que se desea medir, es con seguridad, más sensible y menos definitivo que un indicador determinístico. Así, cuando un determinado proceso es de naturaleza estocástica también estocástico tendrá que ser el modelo que lo describirá. En otras palabras los indicadores relacionados estarán vinculados entre sí según una ley estocástica, lo cual implica que el grado de control y el conocimiento que se posee del proceso son mucho menores y mucho más sensibles si se comparan con una situación determinística.

En el caso de que se trate de clasificar los procesos y las magnitudes de las ciencias extactas en determísticas, estocásticas y no paramétricas (es decir, no representados numéricamente) predominará con seguridad, la primera categoría; incluso al repetirse el ejercicio en la esfera de las ciencias sociales y humanas, ésta seguirá siendo, casi seguro, la categoría de menor alcance, con lo cual se configura un ambiente menos aleatorio para los indicadores cuantitativos.

Si se establecen tales indicadores para las ciencias exactas, entonces esto constituye un desafío de considerable envergadura y mayor aún sería si se desarrollan para las ciencias humanas y sociales. Ello podrá realizarse con la mera transmisión de la experiencia en este sentido, acumulada desde los primeros hasta los últimos. Se necesitará de mucha cautela para que esta transformación se produzca de manera útil y provechosa. Sin lugar a dudas, éste es no obstante, un esfuerzo utilizado y una vez armónicamente integrado a los métodos y técnicas tradicionales de las ramas no exactas del conocimiento, se deberá contribuir significa-tivamente y para que esas áreas se desarrollen y para que generen modelos cada vez más perfectos en los procesos por ellas estudiados.

La medición

Si se concuerda en que ser de naturaleza estocástica es muy común en las ciencias sociales y humanidades, surge una complicación nueva en la cuantificación de los aspectos relevantes de los procesos: la medición. En una relación determinística basta con hacer una observación y el valor correspondiente queda accesible, es decir, se interactúa con el proceso (eventualmente con un instrumento de medición adecuado) y se obtiene un resultado satisfactorio en la mayoría de los casos. En el caso estocástico, como el antes discutido, las observaciones aisladas no permiten concluir o deducir: es necesario disponer de un conjunto representativo de observaciones de la misma categoría para poder plantear afirmaciones fundamentadas.

Añádase a ello el problema, nada sencillo, de identificar y emplear sensores y detectores (materiales) para los procesos estudiados por las ciencias sociales y humanidades. En las ciencias exactas, los resortes, las columnas de mercurio, los imanes y otros dispositivos auxilian en la búsqueda de la información. En las ciencias no exactas la mayor ingeniosidad está en manos de las personas (¡en plural!) y de su capacidad de observación y de cuestionamiento directo.

Si se combina la necesidad de observar a muchas personas con la de realizar muchas observaciones, el costo sería incalculable y esto sin mencionar el enorme esfuerzo posterior en cuanto a organización, estudio, análisis y síntesis de la información recopilada (una muestra de este todo tan complejo lo constituyen los censos de población).

No obstante, esta situación está cambiando decisivamente en los últimos años. Máquinas con sofisticados recursos para almacenar, compilar, organizar y reorganizar información se tornan diariamente más poderosas, más disponibles y más asequibles. Situaciones jamás imaginadas se convierten del día a la noche en triviales y reducen la carga de intenso trabajo con enorme cantidad de datos.

El momento de cuantificar es, sin lugar a dudas éste. Les toca a los científicos e investigadores velar para que ello ocurra de modo tal que se logre el máximo de utilidad e integridad. En este trabajo se abordan algunos aspectos que deben considerarse para la construcción sistematizada de indicadores cuantitativos referidos a procesos de cualquier naturaleza.
 

La construcción de indicadores cuantitativos

• Disminuir la distancia entre la cima (preguntas) y la base (informaciones) del diagrama en pequeños trechos, a través de la implantación de criterios para el análisis de los indicadores en diferentes etapas de su desarrollo.
• Que en el instante de la concepción/proposición de un indicador se observen los aspectos básicos necesarios para que éste sea bueno al menos provisionalmente; también deben evitarse vicios básicos que puedan limitar en el futuro su validez o alcance.

• Propuesta de los indicadores; búsqueda en el proceso de dimensiones o aspectos con características específicas, que puedan contener directa o indirectamente las respuestas deseadas.
• Patronización de la metodología de obtención: esta metodología debe ser estable, bien definida y fácil de reproducir, de tal modo que pueda ser repetida en circunstancias idénticas y los datos resulten coherentes entre sí.
]]> b) Etapa de obtención de la información:
• Reelaboración de los datos en bruto: la información deseada permanece escondida entre los datos seleccionados (pregunta atribuida a Arno Penzias, ganador del Premio Nobel de Física: Where is the information lost in the data? Se hace necesario reelaborarlos (por ejemplo reordenándolos de diferentes modos o efectuando algún tipo de cálculo) para que ella aparezca.
• Interpretación: corresponde a averiguar lo que la información resultante significa realmente, y qué respuesta se obtuvo de hecho. Es, de cierta manera, una retroalimentación: ¿qué pregunta se respondió efectivamente atendiendo a la original o a otra cualquiera? Si es otra, ¿cuál?
c) Etapa de perfeccionamiento de la relación indicador-información:
• Refinamiento: con frecuencia la implantación de la interpretación conlleva algún tipo de refinamiento en una o en varias de las etapas anteriores (enunciado de las preguntas originales, metodología de obtención, reelaboración).
• Valores de referencia: consolidado un indicador, se pueden identificar en muchas ocasiones valores específicos dotados de significación especialmente relevante que pueden convertirse en metas a superar (velocidad del sonido, índice de solvencia mínimo para uso de los bancos por el Comité de Basilea y otros similares).

Características a priori

Se refiere a las propiedades indispensables que cualquier indicador-candidato debe necesariamente mostrar:
1. Relevancia (selectividad, según el IPEA³ y Tironi⁴ ); el indicador debe reflejar un aspecto importante, esencial, crítico del proceso/sistema.
2. Graduación de la intensidad: el indicador debe variar lo suficiente durante los procesos sistema de interés.
3. Univocidad: el indicador debe reflejar con gran claridad un aspecto único y bien definido del proceso/sistema.
]]> Patronización (estabilidad, según el IPEA y Tironi): la creación del indicador se debe basar en una norma, un procedimiento único, bien definido y estable en el tiempo.
4. Rastreabilidad: los datos en los que se fundamenta la obtención del indicador así como los cálculos efectuados y los nombres de los responsables por la selección, deben ser registrados y conservados.
Más ilustrativo aun que los ejemplos de indicadores-candidatos que cumplen con todos estos requisitos es la presentación de los contra-ejemplos, donde al menos uno se ausente. Se debe tomar en cuenta el problema de medir el potencial de aprendizaje de los alumnos de una institución de enseñanza superior (ellos constituirían entonces el sistema de interés). Tómese como un primer posible indicador la edad de los estudiantes (en años): se podrían tomar en cuenta los criterios: relevancia, univocidad, patronización y rastreabilidad. La graduación de la intensidad, no obstante, no sería suficiente para posibilitar alguna conclusión: la mayoría de los involucrados tendría prácticamente la misma edad.

Un segundo intento pudiera ser el número del calzado. Se trata de un indicador unívoco, suficientemente variable (presumiblemente entre 34 y 45) y su obtención puede ser patronizada y rastreada. Carece totalmente no obstante, de relevancia en relación con lo que se pretende estudiar (la altura en centímetros sería otra instancia del mismo tipo).

A modo de ejemplo se podría pensar también en las notas obtenidas por los estudiantes. Las restricciones (aparentemente superficiales) existirían quizás referidas a la patronización y a la rastrabilidad, pero los otros aspectos podrían ser contemplados, al menos potencialmente. Por supuesto que habría que contar con un importante trabajo de extracción de la información deseada (indicador del potencial de aprendizaje) de los datos brutos disponibles (notas en los exámenes).

Cambiando el contexto pero permaneciendo en la misma área (la cual quedaría con la denominación propuesta: educaciometría ...), sería posible ilustrar el aspecto univocidad. Las estadísticas sobre el desempeño escolar se restringen a los aprobados (67,2%) y, por consiguiente, a los desaprobados (32,8%). Este segundo indicador no es unívoco, pues entrelaza efectos y acontecimientos diferentes y presenta poca utilidad en relación con la fuente de información referida al proceso. Sólo sirve para mostrar un resultado no deseado y no permite definir acciones correctivas, toda vez que no contempla la naturaleza exacta de lo que anda mal. Basta con calcular en términos de casos límites: en la sala hubo muchas bajas durante el período lectivo, pero todos los alumnos (67,2%) que continuaron hasta el final aprobaron; en la sala B ningún estudiante renunció; todos participaron en las actividades y evaluaciones programadas pero sólo el 67,2 % logró el desempeño mínimo necesario. En ambos casos, el simple indicador suspensos tendría el mismo valor, pero con significados muy distintos; las posibilidades para solucionar el problema tendrían que ser igualmente diferentes para cada caso.

Características deseables

Aunque puedan estar presentes (deliberadamente o por casualidad), lo cierto es que en el momento de la proposición las propiedades deseadas de los indicadores tienden al perfeccionamiento de los resultados, tanto en su conceptualización como en su obtención. En muchas ocasiones se han incluido cambios mayores o menores en el significado, es decir, en la interpretación de lo que realmente los números representan.

Se consideran deseables: la cobertura (según el IPEA³ y Tironi⁴), el alcance o amplitud, la portabilidad o transferabilidad y la invariancia de escala. En esencia los 3 indican si se puede aplicar el indicador a procesos/sistemas diferentes de aquellos para los cuales él fue inicialmente concebido, sin que pierda su validez, su significado ni su aspecto fidedigno referido a la información que revela.

• La amplitud aumenta cuando la nueva aplicación corresponde a procesos/sistemas de diferente naturaleza, pero dentro de la misma subárea del conocimiento en la que el indicador es usualmente empleado.
• La portabilidad, más fuerte, signfica que el uso del indicador puede ser dirigido con éxito en el estudio de sistemas/procesos de otras subáreas del conocimiento contiguas a algunas en la que funciona adecuadamente.
• La invariancia de escala está presente cuando el indicador mantiene su validez y su interpretación, salvo si las dimensiones del proceso o sistema examinado sean acentuadamente diferentes.
]]> En esta ocasión podrían ofrecerse buenos ejemplos en términos de indicadores bibliométricos y de los relacionados con la información, sobre todo aquellos que buscan establecer alguna especie de evaluación. En el contexto se podrían encontrar diferentes subáreas de interés: ¿qué se pretende realmente evaluar?
• ¿Investigadores?
• ¿ Publicaciones?
• ¿ Instituciones?
• ¿Progresos en determinadas áreas del conocimiento?
• ¿El grado de desarrollo de una región (estado o país)?
Parece razonable tomar en consideración 3 de estas categorías, -investigadores, instituciones y áreas del conocimiento - como relativas a sistemas, procesos distintos en una misma subárea de interés. De este modo, un indicador que funcione bien en las 3, tendrá un alcance mayor que el otro, aplicable sólo a una o a 2 de ellas.

La categoría publicaciones es a su vez diferente a la anterior, pero no del todo apartada de ella. No sería un absurdo afirmar que un indicador adecuado a la primera pueda también tener sentido para la última. En caso positivo correspondería a un indicador con buena portabilidad. El grado de desarrollo de una región parece constituir una tercera categoría, diferente a las otras 2, una vez más la aplicación a ella de cualquier indicador eficaz en las otras 2 constituye otro ejemplo de portabilidad.

Viene a colación en este punto un comentario, cuya importancia no podría ser mayor: el hecho de que un indicador sea excelente en un determinado contexto, no implica que pueda ser empleado automáticamente en otros, aun cuando estén próximos. En el mejor de los casos, en el nivel de malo, su interpretación acostumbrada podrá simplemente perder el sentido. La portabilidad no es obvia, no es vidente, no se encuentra a priori. Necesita comprobarse y sólo se debe aceptar cuando sea exhaustivamente comprobada.

La tendencia natural, en especial cuando se trata de un indicador de gran éxito y credibilidad, es cuestionar la portabilidad. Esto implica la existencia de un riesgo enorme de tomar decisiones erradas con serios prejuicios morales y materiales para personas e instituciones, en casos de un exceso de confianza en números de validez insuficientemente establecidos, aunque aplicadas a otras situaciones. ]]> Retomemos el problema de evaluar instituciones e investigadores para demostrar la invariancia de escala, la última y más sutil de las características mencionadas. Por ejemplo, la Facultad R cuenta con 150 docentes que publican 75 artículos al año en vehículos de expresión internacional; la Universidad S, con 4 000 docentes publica 2 000 artículos de este tipo al año. Ambas presentan el mismo índice de 0,5 artículos/(docentes, año). Superficialmente se podría decir que los 2 grupos de investigadores son igualmente productivos. Mas, ¿es eso en verdad real? Eventualmente podría no serlo: los encargos administrativos no crecen en general de forma proporcional al aumento del número de docentes de una institución. Así, en la Universidad la carga administrativa por profesor tiende a ser menor; ella tendría más tiempo para investigar por lo que debería publicar más. Es decir 0,5 artículos (docentes/año) podría no significar lo mismo en la escala 4 000 y en la escala 150, lo que implicaría que este indicador no presentaría invariancia de escala.

Existe también otro factor que bien puede contribuir a que la información contenida en un indicador no sea exactamente la misma en los 2 casos: en una institución pequeña un equipo dado es usado sólo por un investigador, por lo que permanece ocioso buena parte del tiempo; en una institución grande pueden tener lugar incluso algunas disputas por tener acceso a cierto equipo. Una vez más, 0,5 artículos/(docentes/año) no representa exactamente el mismo significado en un caso que en el otro. Obsérvese que esta consideración permite suponer que el indicador número de artículos/recursos invertidos en equipamiento no satisface igualmente a la invariancia de escala.

Finalmente, un indicador invariable de escala debería mantener su interpretación, incluso cuando se aplique a un solo investigador. Aunque interesante, la discusión de este punto no se realizará aquí.

Ventajas que pueden convertirse en riesgos

a) Es muy favorable construir indicadores a partir de datos naturalmente disponibles en el sistema / proceso en estudio.

En la creación de indicadores no se pueden dejar de tener en cuenta los riesgos que ellos pueden implicar. Parte de ellos podrían ser los costos financieros de su determinación, aunque estos no son siempre el punto de mayor dificultad. Mucho peor y mucho más difícil de definir es la necesidad de cambio en el sistema o proceso para lograr los datos en brutos. Especialmente en las ciencias sociales, resulta muy complejo modificar hábitos, alterar procedimientos, introducir innovaciones o ampliar la carga de las tareas: en principio la capacidad del investigador no es suficiente para ello. En una investigación acerca del aprovechamiento escolar, un ejemplo sería exigir - las pruebas podrían ser formuladas o corregidas por los profesores, según un patrón específico, para que las notas se pudiesen expresar mejor que con un simple aprobado -no aprobado. El éxito pasaría a depender de una colaboración onerosa para el sistema en estudio, en el que al menos en un primer momento no se pudiera estar seguro. La consecuencia podría ser la falla o el fracaso de un excelente proyecto, que genera desaliento y desconfianza para otras iniciativas similares.

b) Mucho cuidado con la interpretación prejuiciada.

Una vez obtenido el indicador, existe la tendencia de atribuir a éste, de manera automática, el significado imaginado al concebirse. Esta es una actitud que debe evitarse conscientemente: la interpretación de los indicadores debe examinarse de manera crítica (con imparcialidad) y discutirse con amplitud hasta alcanzar un consenso del contenido exacto en términos de información sobre el proceso o sistema dado.

c) La verdad final está siempre con el sistema o con el proceso.

Cuando se confeccionan indicadores, existe un problema fundamental que no se puede perder de vista a: lo más importante es siempre la realidad, el proceso o sistema que los indicadores describen; si un indicador refleja que el sistema anda mal, pero en verdad anda bien, hay que considerar que ello es posible y se debe dudar del primero y no del último... Una vez establecido el patrón para la obtención de un indicador, es fácil obternerlo y hasta resulta cómodo basarse en él para muchas decisiones posteriores, sin considerar que él no es la realidad y sí una expresión incompleta de una parte de ella. ]]> Conclusión: Hacer utilizables los indicadores constituye una enorme responsabilidad.

A lo largo de este trabajo se ha intentado demostrar que crear buenos indicadores no es tarea fácil, si bien se puede y se debe hacer. La gran disponibilidad de computadoras redujo drásticamente el costo de almacenamiento; y la manipulación de grandes cantidades de datos permitió establecer patrones de varios procesos para extraer informaciones prácticamente sin esfuerzo (una vez disponibles los algoritmos pertinentes). De este modo, se pueden obtener fácilmente indicadores variados, disponibles en los propios sistemas que almacenan y diseminan la información en general.

Si se pone de un lado esa fácil accesibilidad y del otro el hecho de que la elaboración de indicadores es una tarea difícil, el resultado será que los llamados indicadores automáticos tendrán la tendencia fatal de volverse extremadamente populares y muchas personas y sistemas tratarán de utilizarlos como apoyo a las tomas de decisiones. Si los indicadores son bien elaborados, se pueden tomar muchas más decisiones.

Aún hay que estar alertas frente al intento de tratar de extraer información de los indicadores en aspectos para los cuales ellos no fueron proyectados, como es el caso de la ya discutida portabilidad. Un indicador adecuado para ofrecer información sobre revistas científicas ¿se puede utilizar para analizar a investigadores o a instituciones?

La comunidad de investigadores, creadores y usuarios de los indicadores cuantitativos necesitan revisarlos, cuestionarlos y discutirlos constantemente, para divulgar con claridad y sin ambigüedades, tanto la información que ellos contienen, como la que no en relación con el proceso al que están asociados.

REFERENCIAS BIBLIOGRÁFICAS

1. Resnick R, Halliday D, Física.2.ed.Rio de Janeiro: Livros Técnicos e Cientificos, 1974;1.
2. Campos VF. TQC-controle das qualidade total (no estilo japonés). Belo Horizonte: Christiano Ottoni, 1992.
3. Instituto de Pesquisa Económica Aplicada. Critérios para a geracao de indicadores da qualidade e productividade no servico público. Brasilia: IPEA/MEFP, 1991.
4. Tironi LF, Silva LCE, Vanna SM. Critérios para a geracao de indicadores de qualidade e productividade no servico
Piotr Trzesniak
Ptrzesniak@uspif 1.if.usp.br

Abstract

The paper points out some aspects to be considered for the systermatized biulding of quantitative indicators relating to any kind of processes, and including attributes such as relevance, intensity, univocality, standardization and tracking.

 

¹ Profesor de Itajubá, MG. Escuela Federal de Ingeniería.
^* Trabajo presentado en el Seminario sobre Evaluación de la Producción Científica, realizado en Sâo Paulo por el Proyecto SciELO, del 4 al 6 de marzo de 1998.
*  Una idea aproximada de la diferencia entre los dos conceptos puede ser dada en términos de lo que una persona sentirá al ser alcanzada por un cuerpo en movimiento: la extinción del momento lineal de ese cuerpo correspondería a una fuerza aplicada en un intervalo de tiempo muy corto, y generaría una sensación de dolor; la energía cinética estaría ya asociada al traslado del tejido ocasionado por la fuerza, que resulta responsable de un morado o fractura. ]]> 1974 1992 1991