Evaluación de impacto aplicada a programas de salud

El 19 de marzo de 2024, como parte del Ciclo de Videoconferencias de la Escuela de Salud Pública de México (ESPM), la Dra. Jacqueline Alcalde Rabanal, docente e investigadora del Centro de Investigación en Sistemas de Salud del Instituto Nacional de Salud Pública (CISS/INSP), ofreció la conferencia titulada “Evaluación de impacto aplicada a programas de salud”. En su exposición, la Dra. Alcalde abordó el tema desde una perspectiva teórica, con el propósito de esclarecer el significado del término “impacto” en el contexto de los programas de salud, advirtiendo sobre su uso indiscriminado y heterogéneo.

Para contextualizar su ponencia, la investigadora del CISS destacó la situación actual de la salud en México, donde 33 millones de personas carecen de acceso a servicios de salud, los determinantes sociales como la pobreza han aumentado en la región y los servicios de salud se encuentran saturados debido a una oferta deficiente, baja calidad de atención y escasez de medicamentos. También señaló que el gasto catastrófico de los hogares mexicanos ha aumentado en 1.2 puntos porcentuales entre 2019 y 2020, alcanzando ahora el 3.9%, mientras que la carencia de acceso a servicios de salud ha aumentado de 16.2% en 2018 a 28.2% en 2020 (un aumento de 12 puntos porcentuales). Además, mencionó que el 38% de la población recurre a servicios de salud privados y una quinta parte lo hace en consultorios asociados a farmacias (CAF). La Dra. Alcalde también destacó que la tasa de mortalidad materna aumentó en un 38% entre 2019 y 2020, y que las afecciones cardiovasculares son la principal causa de muerte en México.

La especialista y ponente de esta videoconferencia indicó que los programas de salud se han hecho —y son— el principal instrumento para la implementación y ejecución de las políticas públicas, así como para intervenir y vulnerar los problemas de salud, disminuir la afectación a la población y mejorar así, progresivamente, las situaciones de salud poblacional. Por ello, subrayó la importancia de la inversión pública en estos programas para lograr sus objetivos y mejorar la salud de las personas. Además, destacó que para que los programas sean eficaces y cumplan con sus objetivos, es necesario que cuenten con un diseño fundamentado en evidencia, una implementación adecuada y una evaluación continua que retroalimente tanto el diseño como la implementación. Uno de los aspectos clave de esta evaluación es la evaluación de impacto.

La Dra. Alcalde definió la Evaluación de Impacto (EI) como el proceso que busca estimar los efectos de un programa sobre la salud de una población y la distribución de estos efectos dentro de la misma. Los objetivos de esta evaluación incluyen 1) identificar efectos positivos y negativos de un programa; 2) cuantificar sus efectos; 3) formular propuestas para gestionar hacia el logro de los objetivos; 4) apoyar a la toma de decisiones; 5) lograr mayor transparencia en la gestión de recursos.

La estructura conceptual de los programas enlaza los productos (qué y cómo), los resultados y el impacto. Aunque los indicadores se definen a nivel poblacional, persiste la incertidumbre sobre el tipo de impacto al que se hace referencia. El marco teórico de la Organización Mundial de la Salud (OMS) distingue entre resultados a corto, mediano y largo plazo; los dos últimos son de alcance poblacional, mientras que los primeros (a corto plazo se relacionan con el nivel del programa. A menudo, al resultado final se le atribuye el término “impacto”, lo que contribuye a la confusión, ya que, al medir resultados finales como la mortalidad o la incidencia de enfermedades, podría pensarse que se está evaluando el impacto directo del programa. Por lo tanto, es crucial analizar detenidamente la cadena causal que abarca desde los insumos (recursos) y los procesos (actividades), hasta los productos (servicios), los resultados (comportamientos) y el resultado final (condiciones de salud), ya que esta lógica teórica puede generar ambigüedad en la Evaluación de Impacto (EI).

La EI no puede llevarse a cabo en un periodo de tiempo breve, y es esencial determinar con precisión qué parte del cambio se debe al programa y no a otros factores. Para ello, es necesario estimar cómo sería el cambio si el programa no se hubiera implementado. A esta diferencia se le conoce como Impacto del programa. Se trata solamente de la diferencia entre los individuos que no estuvieron involucrados en el programa y los individuos que sí participaron, porque el efecto de otros factores benefició tanto a los individuos que estuvieron beneficiados por el programa como a los que no lo estuvieron. No se puede estimar el efecto del programa en un mismo individuo.

Además, la investigadora del CISS señaló que existen diversos modelos de diseño para la EI, lo que resalta la importancia de determinar dónde y cómo se puede llevar a cabo la evaluación, y cómo los métodos estadísticos pueden ayudar en la estimación del contrafactual. Asimismo, se recordó que a nivel internacional, el diseño de programas se rige por metodologías como el marco lógico o la teoría del cambio, que consideran resultados en tres niveles: corto plazo (productos), mediano y largo plazo. Se puede realizar una estimación del impacto en cada nivel de resultado, identificando el efecto atribuible al programa y no a otros factores externos, y reconociendo que este efecto puede variar entre individuos.

La Dra. Alcalde Rabanal señaló que para estimar el efecto del programa, es necesario basarse en efectos promedio a fin de estimar el contra-factual y hacerlo a nivel poblacional, para saber realmente qué cambio tuvo el programa en determinada comunidad, país o región.

Los métodos más utilizados son los No o cuasi-experimentales:

  1. Pre-post estimación
  2. Diferencias simples
  3. Diferencias en diferencias
  4. Regresión multivariada
  5. Emparejamiento estadístico
  6. Series de tiempo interrumpidas
  7. Variables instrumentales

Esto permite ver –dijo– lo extensa que es la Evaluación de Impacto. Se debe determinar cuál es el modelo que más se acomoda de acuerdo a la data disponible, al tipo de indicador, al tipo y diseño del programa. Regularmente ocurre que los programas no estuvieron diseñados para hacer una EI y ésta se solicita a posteriori para saber cuál fue su contribución. Si el programa no tiene la data requerida para hacer una EI, se debe pensar cual es el método más adecuado para hacer una estimación del impacto.

A manera de conclusión, la Dra. Alcalde Rabanal destacó los siguientes puntos acerca de la EI:

  1. La evaluación de impacto constituye una sólida evidencia de los resultados directamente relacionados con los programas.
  2. La EI permite estimar el rendimiento de los recursos invertidos en el programa.
  3. Obliga a los responsables de tomar decisiones a implementar el programa de acuerdo con su teoría de cambio para lograr los resultados previstos.
  4. Es una herramienta indispensable tanto para los gobiernos como para los ciudadanos.
  5. Los métodos de evaluación son diversos y requieren adaptaciones cuando el programa no ha considerado inicialmente la evaluación de impacto.
  6. Los gobiernos deberían considerar la evaluación de impacto como un aliado clave para mejorar la eficiencia en la gestión y el uso de recursos.

Para conocer algunos ejemplos de programas a los que se les realizó evaluación de impacto, así como más detalles acerca de esta videoconferencia, te invitamos a que consulta la grabación de esta sesión en nuestro canal de YouTube: https://youtu.be/ofZPvRRxDB0?feature=shared

Por: Redacción ESPM