Breakthrough to Policy Use: Reinvigorating Impact Evaluation for Global Development (Brief)

 In 2006, when a CGD working group published its report When Will We Ever Learn? Improving Lives Through Impact Evaluation, very few social programs benefitted from studies that could determine whether they actually make a difference. Since then, there has been tremendous progress in harnessing better evidence to inform public policy decision making, especially from impact evaluations of programs in low- and middle-income countries. Impact evaluation is a rigorous approach that establishes the attributable net impact of a project or program, making it uniquely well suited to inform decision making about resource allocation, program design, and scale up or drawdown. But the COVID-19 pandemic put a spotlight on an unfinished agenda, underscoring the need for high-quality, timely, and context-specific evidence. The pandemic has demonstrated the cost in lives and livelihoods when policymakers make decisions based on incomplete or outdated evidence and data. Approximately 15 million more deaths took place in 2020 and 2021 than would have occurred in the absence of COVID-19, and cumulative economic losses from the pandemic are expected to reach 13.8 trillion.

Given the potential real-world benefits, why have decision makers within governments, aid agencies, multilateral organizations, and NGOs not yet fully harnessed the value of evidence—including from impact evaluations—for better public policies? Looking ahead, how can the development community renew momentum and broaden bases of support for impact evaluation and the wider evidence agenda? 

In response to these questions and building on progress to date, CGD launched the Working Group on New Evidence Tools for Policy Impact. The working group aimed to develop a renewed agenda for investments in impact evaluation and related evidence systems to enhance their value for policy use. It brought together a diverse group of policymakers and experts to review recent progress and examine how to address remaining obstacles to the use and utility of evidence for global development, with a focus on impact evaluation.

This brief summarizes the final report of the working group. The report collates resources and insights on progress in implementing and using impact evaluations for decision making and proposes five ways to improve impact evaluation funding and practice, directed to the development community—government policymakers; other multilateral, bilateral, and philanthropic funders; researchers, and NGOs:

1. Design evaluations that start from the policy question and decision space available
2. Harness technology for timely, lower-cost evidence
3. Advance locally grounded evidence-to-policy partnerships.
4. Enact new incentives and structures to strengthen evidence use
5. Invest in evidence leaders and communities to shape the future of impact evaluation

Read the brief here.

En 2006, cuando un grupo de trabajo del CGD publicó su informe When Will We Ever Learn? Improving Lives Through Impact Evaluation (¿Cuándo aprenderemos? Mejorar vidas a través de la evaluación de impacto), muy pocos programas sociales usaban estudios para determinar si realmente marcaban una diferencia. Desde entonces, se ha avanzado enormemente a la hora de aprovechar evidencia empírica de mayor calidad para fundamentar la toma de decisiones en materia de políticas públicas; especialmente en países de ingreso bajo y medio a partir de las evaluaciones de impacto de programas. La evaluación de impacto es un método riguroso que determina el impacto neto atribuible a un proyecto o programa, lo que lo hace especialmente adecuado para guiar la toma de decisiones sobre la asignación de recursos, el diseño de programas y la ampliación o reducción de los mismos. Sin embargo, la pandemia de COVID-19 ha puesto de manifiesto una agenda inacabada, destacando la necesidad de contar con pruebas de alta calidad, que sean oportunas y específicas para cada contexto. La pandemia ha mostrado que si los formuladores de políticas toman decisiones basándose en datos y evidencia incompleta y desfasada, su actuación puede costar vidas e impactar el sustento de las familias. En 2020 y 2021, se produjeron aproximadamente 15 millones de muertes más de las que se habrían producido si no hubiera existido el COVID-19 y se espera que las pérdidas económicas acumuladas por la pandemia alcancen los 13,8 billones. 

Dados los posibles beneficios, ¿por qué los responsables de la toma de decisiones en los gobiernos, los organismos de ayuda, las organizaciones multilaterales y las ONG aún no han aprovechado plenamente el valor de la evidencia (incluyendo las evaluaciones de impacto) para mejorar las políticas públicas? De cara al futuro, ¿cómo puede la comunidad que trabaja en el desarrollo económico y social renovar el impulso e incrementar los apoyos para la evaluación de impacto y la agenda de evidencia más amplia? 

En respuesta a estas preguntas y en base al progreso realizado hasta la fecha, el CGD puso en marcha Working Group on New Evidence Tools for Policy Impact (el Grupo de Trabajo sobre Nuevas Herramientas para Elaborar Evidencia sobre el Impacto de las Políticas). Este grupo de trabajo tenía como objetivo desarrollar una agenda renovada para la próxima generación de inversiones en evaluaciones de impacto y sistemas de evidencia con el fin de mejorar su valor a la hora de aplicarlos en el diseño de políticas. Para ello reunió a un diverso grupo de formuladores de políticas y expertos para revisar los avances recientes y examinar, enfocándose en la evaluación de impacto, cómo abordar los obstáculos que aún persisten y dificultan el uso y el aprovechamiento de la evidencia para el desarrollo global.

Este informe resume el reporte final del grupo de trabajo. El informe, dirigido a la comunidad que trabaja en el desarrollo económico—los gobiernos, formuladores de políticas, financiadores multilaterales, bilaterales y filantrópicos, investigadores y ONG—, recopila recursos y perspectivas sobre el progreso en la implementación y el uso de evaluaciones de impacto para la toma de decisiones y propone cinco maneras de mejorar estos y su financiamiento. 

1. Diseñar evaluaciones que se fundamenten en preguntas concretas sobre políticas y en el espacio de decisión disponible.
2. Aprovechar la tecnología para obtener evidencia oportuna y de menor costo.
3. Fomentar las asociaciones entre la evidencia y las políticas con base local.
4. Promover nuevos incentivos y estructuras para fortalecer el uso de evidencia.
5. Invertir en líderes y comunidades del ámbito de la evidencia empírica para dar forma al futuro de la evaluación de impacto.

Lea el informe completo aquí.

En 2006, lorsqu’un groupe de travail du Center for Global Development (CGD) a publié son rapport intitulé When Will We Ever Learn ? Improving Lives Through Impact Evaluation (Quand apprendrons-nous jamais ? Améliorer la vie des individus grâce à l'évaluation d'impact), très peu de programmes sociaux bénéficiaient d’études permettant de déterminer s’ils faisaient une réelle différence. Depuis lors, d’immenses progrès ont été accomplis dans l’exploitation de meilleures données probantes pour éclairer la prise de décision en matière de politique publique, notamment grâce aux évaluations d’impact des programmes dans les pays à revenu faible et intermédiaire. L’évaluation d’impact constitue une approche rigoureuse qui permet de déterminer l’impact net attribuable d’un projet ou d’un programme. Elle est donc particulièrement bien adaptée pour éclairer la prise de décision concernant l’allocation des ressources, la conception des programmes et leur extension ou leur réduction. Toutefois, la pandémie de COVID-19 a mis en lumière un programme inachevé, soulignant la nécessité de disposer de données de haute qualité, à jour et adaptées au contexte. Elle a démontré le coût en vies humaines et en moyens de subsistance lorsque les décideurs prennent des décisions fondées sur des preuves et des données incomplètes ou obsolètes. Environ 15 millions de décès supplémentaires ont été recensés en 2020 et 2021 par rapport à ce qui se serait produit en l’absence de la COVID-19, et les pertes économiques cumulées de la pandémie devraient atteindre 13,8 trillions. 

Au vu des avantages concrets potentiels, pourquoi les décideurs au sein des gouvernements, des organismes d’aide, des organisations multilatérales et des organisations non gouvernementales (ONG) n’ont-ils pas encore pleinement exploité la valeur des données probantes - y compris celles issues des évaluations d’impact - pour améliorer les politiques publiques ? À l’avenir, comment la communauté du développement peut-elle renouveler l’élan et élargir les bases du soutien à l’évaluation d’impact et au programme relatif aux données probantes au sens large ?

En réponse à ces questions et en s’appuyant sur les progrès accomplis à ce jour, le CGD a lancé le Working Group on New Evidence Tools for Policy Impact (le groupe de travail sur les nouveaux instruments de données pour l’impact des politiques). Ce groupe de travail visait à élaborer un programme renouvelé pour la prochaine génération d’investissements dans l’évaluation d’impact et les systèmes de données connexes, afin d’accroître leur valeur aux fins de l’application des politiques. Il a réuni un groupe diversifié de décideurs et d’experts afin d’examiner les progrès récents et de déterminer comment surmonter les obstacles qui subsistent à l’utilisation et à l’utilité des données probantes pour le développement mondial, en mettant l’accent sur l’évaluation d’impact. 

Ce dossier résume le rapport final du groupe de travail. Le rapport rassemble des ressources et éclairages sur les progrès en matière de mise en œuvre et utilisation des évaluations d’impact pour la prise de décision et propose cinq manières d’améliorer le financement et la pratique des évaluations d’impact, à destination de la communauté du développement – les décideurs politiques ; autres bailleurs multilatéraux, bilatéraux et philanthropiques ; chercheurs, et ONG. 

1. Concevoir des évaluations qui partent de la question politique et de l’espace de décision disponible.
2. Exploiter la technologie pour obtenir des données probantes à jour et moins coûteuses.
3. Faire progresser les partenariats locaux permettant de passer des données à la politique.
4. Adopter de nouvelles incitations et structures pour renforcer l’utilisation des données probantes.
5. Investir dans les leaders et les communautés produisant des données probantes pour façonner l’avenir de l’évaluation d’impact.

Vous trouverez le dossier dans son entièreté ici.