DEBATE
Definiciones, características y problemas en el empleo de indicadores en salud
Definitions, characteristics and problems in the use of health indicators
]]>
Cándido M. López Pardo,I Patricia Alonso GalbánII
IMáster en Salud Pública. Doctor en Ciencias de la Salud. Profesor Titular. Universidad de La Habana. La Habana, Cuba.
IIDoctor en Medicina. Especialista de I Grado en Bioestadística. Máster en Ciencias. Centro Nacional de Información de Ciencias Médicas. La Habana, Cuba.
]]>
RESUMENIntroducción Sobre el uso, desuso y abuso de los indicadores mucho se ha escrito, pero el asunto continúa siendo controversial.
Objetivo Ofrecer información sustancial sobre el empleo de los indicadores en el ámbito de la salud.
Métodos Se realizó una revisión de documentos de organismos internacionales, instituciones nacionales, textos, tesis doctorales y artículos de revistas. Más del 50 % de estos documentos están publicados en los últimos diez años. De la revisión realizada se extrajeron dos definiciones de indicadores, las características que deben poseer, algunos problemas inherentes a su uso y al cálculo en poblaciones pequeñas.
Resultados Se asumió la definición de indicador como instrumento de medición, en lugar de conceptualizarlo como la meta a alcanzar, forma en que se hace en los procesos de diseño y evaluación de proyectos. Se resumieron los atributos que debe poseer cualquier indicador. Se ofrecen ejemplos de los problemas que se pueden presentar en el empleo del indicador tasa de mortalidad infantil y otros, en su uso para la evaluación, en su interpretación, en su pertinencia respecto a la dimensión poblacional y en la constante utilizada.
Conclusiones Los autores se adscriben a la definición de indicador como instrumento de medición. Los atributos que se desea reúna un indicador son varios y han sido propuestos por diversos autores. Algunos son aplicables a cualquier indicador y otros se configuran a situaciones particulares, pero todos deben ser considerados en el diseño y selección de indicadores. Se hace énfasis en los problemas que se pueden presentar en la construcción y empleo de los indicadores.
Palabras clave: Indicador, ciencias de la salud, estadísticas, salud pública.
ABSTRAC
Introduction A lot of writings have been published about the use, non-use and excessive use of indicators but the topic is still controversial. ]]>
Objective To provide significant information on the use of indicators in the health care field.
Methods A literature review was made including documents from international bodies and national institutions, writings, Ph D´s theses and journal articles. More than 50% of these documents had been published in the last 10 years. Two definitions of indicators, the characteristics that they should have, some problems inherent to their use and the estimation of indicators for small populations were found.
Results The definition of indicator as a measuring instrument rather than the conceptualization of indicator as a goal, being the latter the way in which the project design and assessment processeses do it, was accepted. The attributes for any kind of indicator were summarized. Some examples of the problems that may arise in the use of the indicator infant mortality and others, in the use of indicators for evaluation, their interpretation, their adequacy regarding the population size and the used constant were provided.
Conclusions The authors supported the definition of indicator as a measuring instrument. There are several attributes for an indicator suggested by a number of authors. Some of them are applicable to any kind of indicator whereas others are more appropriate for particular settings; however all of them should be taken into consideration in the design and selection of indicators. Emphasis was made on the problems that may be present in the construction and the use of indicators.
Key words: Indicator, health sciences, statistics, public health.
]]>
¿QUÉ ES UN INDICADOR?
Entre otras formas, se ha definido un indicador como un instrumento de medición construido teóricamente para ser aplicado a un conjunto de unidades de análisis con el propósito de producir un número que cuantifica algún concepto asociado a ese colectivo.1 La anterior definición subraya que el indicador es un instrumento para medir, como puede ser un termómetro; que es una construcción teórica, que resulta en un número -o sea, todo indicador es cuantitativo- y lo que pudiera ser más importante, cuantifica un concepto. Luego, antes de medir algo, ese algo tiene que estar conceptualizado. Digamos, no se puede construir un indicador de salud familiar, sin que previamente se haya conceptualizado qué es la salud familiar.
Otra definición de indicador es la que se utiliza en el contexto del enfoque de Marco Lógico -o en general, en los procesos de diseño y evaluación de proyectos- en el que se considera como indicadores a los medios por los cuales se valora el cumplimiento de los objetivos. Es decir, se concibe como indicadores a las variables que proveen una base simple y confiable para valorar los progresos con respecto a las entradas, las actividades, los productos, los resultados y las metas.2 Luego en este ámbito se considera un indicador como una medida de lo que se debe obtener para lograr un cierto resultado esperado. En este sentido, el indicador no es un instrumento de medición, sino la meta a alcanzar; por ejemplo, si el resultado esperado es mejorar la salud reproductiva de la mujer, el indicador pudiera ser "disminuir en tres años a partir del 2006 en el 10 % la tasa de mortalidad materna respecto al valor observado en el año 2004."
De las dos definiciones mencionadas, en este trabajo nos atendremos a la primera.
¿CUÁLES ATRIBUTOS SON DESEABLES QUE REÚNA UN INDICADOR? ]]>
Diversos autores han señalado los criterios deseables que debe reunir un indicador, algunos aplicables a cualquier indicador y otros que se configuran a situaciones particulares.3-5
Una relación más o menos exhaustiva de ellos se presenta a continuación:
- Exista disponibilidad de información y con la calidad necesaria para su cálculo.
- Tenga amplia cobertura.
- Sea comprensible para quienes tienen que interpretarlo.
- Sea simple de calcular.
- Tenga capacidad discriminatoria.
- Posea validez de aspecto (tenga capacidad de medir lo que está supuesto deba medir.
- Posea validez de contenido (sea capaz de recorrer todo el espectro del contenido involucrado en el concepto que se desea medir). ]]>
- Posea alto nivel de sensibilidad (tenga la capacidad de ser sensible a los cambios en la situación que se cuantifica).- Manifieste alto grado de especificidad (posea la propiedad de modificarse solamente cuando se manifiestan cambios en la situación que se cuantifica).
- Tenga coherencia con el marco conceptual en el que se diseña el indicador.
- Contribuya a la toma de decisiones y a la ejecución de intervenciones.
- Sea fiable (tenga la capacidad de reproducir lo que se quiere).
- Sea estable (reproduzca esencialmente el mismo resultado si se aplica varias veces por el mismo o diferentes observadores, en circunstancias similares).
- Posea consistencia interna (la correlación entre los ítems que integran el indicador debe ser alta, en el caso de que esos ítems existan).
- Posea cotas que constituyan metas razonables e interpretables.
- Sea relevante para la política.
- Sea desagregable. ]]>
- Identifique desigualdades injustas.- Sea razonablemente aceptado por los usuarios.
Los siguientes criterios, más particulares, son tenidos en cuenta en la propuesta de un Sistema de Monitoreo de la Equidad en Salud en Cuba a escala municipal:6
a) Exista la información para todos los municipios del país.
b) Se asocie al quehacer del municipio.
c) Se base en información confiable.
d) Tenga capacidad discriminatoria.
e) Presente diferencias territoriales.
f) Sean modificables y en un plazo razonable. ]]>
g) Para los de recursos y servicios de salud, y política social: puedan contribuir a identificar desigualdades en algunos de los siguientes aspectos:- acceso y utilización de los servicios,
- eficiencia de la gestión sanitaria,
- calidad de la asistencia médica, y
- satisfacción de la población.
Por otro lado, en adición a los criterios deseables mostrados arriba, se han establecido criterios para la selección de indicadores que posibilitan identificar desigualdades en salud que se presentan a continuación:7-9
Para todos los indicadores
- Reflejar la dimensión socioeconómica de las desigualdades en el campo de la salud.
- Incorporar la información correspondiente a todos los grupos de población definidos por el indicador. ]]>
- Ser sensible a los cambios en la distribución y al tamaño de la población a lo largo de la escala socioeconómica.Relativos al estado de salud de la población
- El problema de salud debe ser relevante.
- El problema de salud debe tener vínculos con los determinantes.
- El problema de salud debe tener comportamiento diferencial en sentido espacial.
- El problema de salud debe modificarse con respuestas sociales adecuadas.
Asociados con los determinantes de la salud
- El determinante debe ser modificable y en un plazo razonable.
- El determinante debe ser de una magnitud significativa.
- El determinante debe tener implicaciones intersectoriales. ]]>
- Deben considerarse tanto aquellos cercanos a los problemas de salud como los distantes.En particular aquellos relacionados con los recursos y servicios de salud
El indicador debe contribuir a identificar iniquidades en:
- el acceso y utilización de los servicios de salud,
- la eficiencia de la gestión sanitaria,
- la calidad de la asistencia médica,
- la sostenibilidad del sistema de salud,
- la satisfacción de la población, y
- el acceso a la información
]]>
¿CUÁLES PROBLEMAS PUEDEN PRESENTARSE EN EL DISEÑO Y UTILIZACIÓN DE LOS INDICADORES?
En la construcción y empleo de los indicadores se pueden presentar ciertos problemas que se mencionan a continuación y posteriormente son examinados:10
En su uso para la evaluación:
- selección del valor de referencia,y
- forma de sumisión a los indicadores.
En su interpretación:
- niveles de aproximación,y
- traducción de los valores en la interpretación. ]]>
En su pertinencia respecto a la dimensión poblacional:- en la constante utilizada.
Dos cuestiones presentes en el uso de los indicadores a los efectos de la evaluación, son la selección de un valor de referencia y la determinación de la forma de evaluación.
En lo que concierne a la selección del valor de referencia dos opciones son posibles: establecer el valor de referencia a partir de las unidades de análisis que se consideran, o establecerlo respecto a un patrón externo. Por ejemplo, asuma que se tienen como unidades de análisis todos los departamentos de un país centroamericano y se desea determinar cuál es el valor al que debe aspirar la tasa de mortalidad infantil de un departamento.
Una posibilidad es definir como lo deseable un valor entre el conjunto de tasas de los departamentos, digamos, la menor, o considerar como lo deseable una cifra de un referente externo, por ejemplo, la tasa de mortalidad infantil de la región donde está ubicado el país, Centro América. Ambos criterios pueden, desafortunadamente, generar inercia o autocomplacencia. Si se considera la menor tasa de mortalidad infantil registrada entre los departamentos del país, tal tasa pudiera ser a la vez demasiado alta, y por tanto reducible, pero aquellos que la han alcanzado poco pudieran hacer por disminuirla aún más, porque ya han logrado la tasa "mínima". Similarmente, si como referencia se toma la tasa de mortalidad infantil de Centro América, aquellos departamentos con tasas inferiores a esa cifra -aunque alta- pueden considerar que se encuentran en una buena situación respecto a la mortalidad infantil. Por otra parte, determinar el valor de referencia entre las unidades de análisis presenta la ventaja que cuantifica respecto a un patrón de desarrollo dado y el valor de referencia es alcanzable en ese contexto.
Otro problema a considerar es la forma de evaluación: como nivel alcanzado o como dinámica del cambio. Digamos, en la evaluación de los países de América Latina y el Caribe respecto a la cifra de médicos por habitante, entenderemos como el mejor ¿el que tenga el valor más alto, o el que en los últimos 5 años ha incrementado más esa cifra? Si se evalúa respecto al valor alcanzado se benefician aquellos que han logrado las mejores cifras, pero no se favorecen los que se encuentran en los niveles más bajos. Por el contrario, si se evalúa la dinámica del cambio, se favorecen los que hallándose en los peores niveles tienen mayores oportunidades de mejorar sus valores, y no se benefician aquellos que ya han obtenido las mejores cifras dada la limitada posibilidad de superar las cifras registradas.
Otra cuestión vinculada a la evaluación, es la sumisión fetichista a los indicadores. Se señala que es común hallarla en el contexto de planes y programas cuando se usan para la fijación de metas numéricas. En principio, la fijación de tales metas tiene el mérito de colocar el programa en un marco medible, y se plantea que solo en ese caso podrán evaluarse oportuna y objetivamente sus resultados. Lo malo es que, por lo general, el modo en que esas metas se han fijado constituye un verdadero misterio, de forma que se está ante el fenómeno de la pseudoobjetividad.
Una estrategia que ponga énfasis en dichas metas, en lugar de en las acciones para modificar la realidad que esos números procuran reflejar, es esencialmente perniciosa. Pudiera dar lugar a sentimientos de frustración por no haber alcanzado determinado valor del indicador en circunstancias en que se hizo todo lo objetivamente posible por lograrlo y que tal resultado sea, incluso, en extremo meritorio. Puede asimismo producir el efecto opuesto: una actitud triunfalista porque se superó el número ansiado aunque no se haya agotado el margen de acción para modificar aquella realidad. El hecho de que no sea fácil modelar los procesos complejos en que se desenvuelven, entre otros, los salubristas, y consientan el vaticinio del valor de ciertos indicadores, no legitima el establecimiento voluntarista de números que suplantan dicha ignorancia.1
Un asunto concierne a la interpretación inadecuada de los indicadores. Con frecuencia se ignora, o se olvida, lo que el indicador mide o pretende medir. Habitualmente, un indicador es el reflejo de situaciones a tres diferentes niveles de aproximación:1 ]]>
- Primer nivel: mide el estado de un evento específico.- Segundo nivel: es trazador de eventos afines, y en este sentido representa a un grupo mayor de posibles indicadores del cual se considera representativo.
- Tercer nivel: es indicativo de situaciones mucho más generales que se suponen asociadas con el evento específico objeto de medición.
Tómese a título de ejemplo la tasa de mortalidad de menores de 5 años. Este indicador, específicamente, mide el riesgo de morir en los primeros 5 años de vida; ningún otro evento es objetivamente cuantificado mediante el empleo de esta tasa. A su vez, ella pudiera considerarse trazadora de un grupo de otros problemas, entre ellos, el estado nutricional de los menores de 5 años; si la tasa de mortalidad de menores de 5 años es baja, debe ser asimismo baja la taja de desnutrición en estas edades. Por otra parte, esta tasa ha sido seleccionada por la UNICEF,11 como el principal indicador que mide el nivel y los cambios del estado de bienestar de la infancia. La tasa se emplea en este último caso como indicadora de una cuestión mucho más general que es el bienestar de la infancia.
Desafortunadamente, en la interpretación de un indicador, en ocasiones, se hace más énfasis en el tercer nivel de aproximación (de lo que supuestamente, pero no necesariamente, es indicativo) que en lo que realmente mide.
Por otra parte, la condición de trazador y de indicativo de situaciones más generales puede modificarse según los intervalos de valores que tome el indicador. O sea, un indicador a determinados niveles de sus cifras (por ejemplo, a niveles altos) puede ser un excelente trazador de eventos afines e indicativos de problemas más generales, en tanto en otros intervalos de valores (más bajos, por ejemplo) puede perder estas propiedades. En este sentido, el papel de la tasa de mortalidad infantil como indicador de niveles de salud más generales ha venido siendo objeto de debate desde hace años.12
En lo que se refiere a la pertinencia del indicador en su relación con la dimensión en términos poblacionales de los espacios geográficos para los cuales se calcula, cuando la frecuencia del evento considerado es baja, y adicionalmente la población expuesta es muy pequeña, las tasas resultantes pueden presentar gran variabilidad y modificarse notablemente en un mismo territorio con la variación de unos pocos casos. En estas situaciones, debe explorarse el uso de diversos métodos tendentes a resolver este problema, entre ellos, los bayesianos.13 Como población pequeña se ha identificado aquellas de menos de 100 000 habitantes,14 sin una explicación del por qué de esta cifra.
El buen juicio hace pensar, digamos, que no parece adecuado el cálculo de la tasa de mortalidad infantil, por ejemplo, para caseríos de unas pocas decenas de habitantes, o la obtención de indicadores tales como la esperanza de vida al nacer o la tasa global de fecundidad, para barrios o municipios pequeños, los cuales son totalmente pertinentes a nivel nacional.
Notablemente vinculado con este aspecto es la relación entre la constante que se usa en la tasa y el tamaño de la población expuesta. Si, por ejemplo, en un cierto lugar ocurren 5 000 nacidos vivos y 50 defunciones de menos de un año, sería correcto decir que en dicho lugar la tasa de mortalidad infantil es de 10 por 1 000 nacidos vivos, porque en realidad, como promedio, por cada 1 000 nacidos vivos acaecieron 10 defunciones. ]]>
Por otra parte, si en otro lugar solo hay 100 nacidos vivos y 2 defunciones de menos de 1 año, si bien numéricamente es cierto que la tasa sería de 20 defunciones de menores de 1 año por cada 1 000 nacidos vivos [(2/100) x 1 000], tal afirmación no es correcta por dos razones: la primera, es que no existen los 1 000 nacidos vivos, y la segunda, es que si existieran los 1 000 nacidos vivos entre ellos no necesariamente habrían 20 defunciones. ¿Por qué? La tasa de mortalidad infantil sin tener en cuenta la constante -y nos referimos a esta tasa porque es la que se ha venido considerando, pero la idea es asimismo válida para otras muchas tasas- puede concebirse como una frecuencia relativa "d/n", donde "d"es el número de defunciones de menos de 1 año, y "n" es el número de nacidos vivos. Se sabe que a medida que "n"aumenta, el valor de la frecuencia relativa tiende a estabilizarse, lo que se conoce como regularidad estadística.15 Esto se ilustra en la figura 1.
Como se observa, cuando realmente se tenga 1 000 nacidos vivos, la frecuencia relativa pudiera ser de alrededor de 0,025, y la tasa sería de 25 por 1 000 nacidos vivos, o cualquiera otra, y no necesariamente de 20 por 1 000 nacidos vivos como resultó del cálculo numérico.
Un ejemplo de la importancia que tiene una diferencia de solo una unidad en el numerador cuando el denominador es pequeño se muestra a continuación: En la provincia Cienfuegos en el año 2005 se registraron 4 310 nacidos vivos y 3 defunciones maternas para una tasa de 69,6 por 100 000 nacidos vivos,16 para la misma fecha, algo superior a la de México; de haber tenido 1 defunción materna menos, la tasa de la provincia hubiera sido de 46,4, algo mayor que la de Turquía; y de haber ocurrido 1 defunción materna más, es decir 4 defunciones, la tasa hubiera ascendido a 92,8, algo menor que la de Libia.17 Aunque se ha comparado la tasa de mortalidad materna de la provincia Cienfuegos con la de países, hay que ser en extremo cuidadoso cuando se comparan tasas obtenidas a diferente escala territorial, ya que se necesita de una determinada masa crítica de información.
Otro ejemplo que resalta la importancia de tener en cuenta la magnitud del denominador del indicador considerado es el siguiente. En un análisis realizado por los autores acerca de la variabilidad de las tasas de mortalidad materna de las provincias de Cuba entre los años 2000 y el 2006 se halló que existe una correlación inversa muy significativa entre la variabilidad y el número de nacidos vivos como se muestra en la figura 2
]]>
Es decir, las tasas de mortalidad materna de las provincias se modifican más de un año a otro en tanto menor es el número de nacidos vivos que registran.Finalmente puede concluirse que los autores se adscriben a la definición de indicador como instrumento de medición, en lugar de conceptualizarlo como la meta a alcanzar, forma en que se hace en los procesos de diseño y evaluación de proyectos. Adicionalmente, los atributos que se desea reúna un indicador son varios y han sido propuestos por diversos autores. Algunos son aplicables a cualquier indicador y otros se configuran a situaciones particulares, pero todos deben ser considerados en el diseño y selección de indicadores. En la construcción y empleo de los indicadores se pueden presentar ciertos problemas, que se manifiestan principalmente en su uso para la evaluación, en su interpretación, en su pertinencia con respecto a la dimensión poblacional y en la constante utilizada.
REFERENCIAS BIBLIOGRÁFICAS
]]>
1. Rojas F, López C, Silva LC. Indicadores de salud y bienestar en municipios saludables. Washington, DC: OPS; 1994.
2. Kusek JZ, Rist RC. A handbokk for development practitioners; ten steps to a result-based monitoring and evaluation system. Washington, D.C.: The World Bank; 2004.
3. Braveman P. Monitoring equity in health; a policy oriented approach in low-and-middle income countries. Geneva: WHO; 1998.
4. Silva LC. Cultura estadística e investigación científica en el campo de la salud: una mirada crítica. Madrid: Díaz de Santos; 1997.
5. Swaroop S. Estadística sanitaria. La Habana: Instituto Cubano del Libro; 1969.
6. Ramírez A, López C. Propuesta de un sistema de monitoreo de la equidad en Salud en Cuba [tesis]. La Habana: Escuela Nacional de Salud Pública; 2003.
7. Monitoreo de la equidad en salud en Cuba. Proyecto. La Habana: Escuela Nacional de Salud Pública; 2001.
8. López C. Una exploración a la medición de las desigualdades en salud [Notas para el curso Medición de las Desigualdades en Salud, Maestría en Ambiente y Desarrollo]. La Habana: Centro de Estudios sobre Salud y Bienestar Humanos, Universidad de La Habana; 2004.
9. Wagstaff A, Paci P, Van Doorslaer E. On the measurement of inequalities in health. Soc Sci Med. 1991;33:545-57.
10. López C. Iniquidades en el desarrollo humano y en especial en salud en América Latina y el Caribe [tesis]. La Habana: Universidad de La Habana; 2000.
11. UNICEF. Estado mundial de la infancia 1994. Introducción a la tabla 9. Barcelona: UNICEF; s/f.
12. CMcDowell I, Newell C. Measuring health: a guide to rating scales and questionnaires. New York: Oxford University Press; 1987.
13. Silva LC, Benavides A, Vidal CL. Análisis espacial de la mortalidad en áreas geográficas pequeñas; el enfoque bayesiano. Rev Cubana Salud Pública. 2003;29:314-22.
14. Schneider MC. Métodos de medición de las desigualdades de salud. Rev Panam Salud Pública. 2002;12:398-414.
15. Yamane T. Statistics; an introductory analysis. La Habana: Instituto del Libro; 1970.
16. Ministerio de Salud Pública de Cuba. Dirección Nacional de Registros Médicos y Estadísticas de Salud. Anuario estadístico de salud 2005. Cuadros 5 y 54. La Habana: MINSAP, DNE; 2006.
17. WHO. World Health Statistics 2008 [base de datos en Internet]. [citado 2 Ju 2010]. Available in: http://www.who.int/whosis/whostat/2008/en/index.html
]]>
Recibido: 8 de junio de 2010.
Cándido M López Pardo. Facultad de Economía, Universidad de La Habana. Calle L No. 353 e/ 21 y 23, piso 13. El Vedado. La Habana 10400, Cuba.
Correo electrónico: clopez@infomed.sld.cu, patricia.alonso@infomed.sld.cu ]]>
