Accès rapide :

La gestion de l’aide par les résultats et la construction d’indicateurs de résultats : la "méthode des essais randomisés contrôlés" (09.02.13) - Par Philippe Coquart (Epargne sans frontière)

Les textes publiés dans le cadre des contributions n'engagent que leurs auteurs

Devant les Assises du développement, Esther Duflo a proposé d’intervenir sur l’évaluation de l’APD française. Cette contribution s’interroge sur l’approche et la méthode proposées par le J-PAL et les questions qu’elle pose.

L’approche relève d’une « technologie de production et d’analyse de données quantitatives qui décident des actions de développement » (Bardet, Cussot (2012) Revue française de socio-économie, n°10) en rendant les résultats directement présents dans le discours politique.
L’Evidence Based Approach est une transposition de la médecine des preuves (A. Labrousse, 2010, Revue de la Régulation n°7). Une expérience randomisée, en faisant varier un seul facteur à la fois (le programme), nous permet d’obtenir une estimation valide de l’effet moyen d’un traitement pour une population donnée (Barnerjee, Duflo, (2009) Revue d’économie politique n° 219 5). Une méthode scientifique de cette nature permet, est-il dit, de comprendre comment les pauvres prennent leur décision, en faisant des comparaisons entre personnes qui ne sont pas les mêmes (…).

Il faut reconnaître que ces travaux cherchent à dire le réel en des termes concrets, hors du jargon bailleurs de fonds. Mais leurs modes de démonstration sont toujours en demi-teinte. Les critiques adressées aux modèles d’APD peuvent être, pour certaines, pertinentes. Les tests recourent à des méthodes de quantification assez virtuoses (mesure de l’antisélection en MF) qui peuvent impressionner.

Des solutions pratiques tentent bien d’être apportées à des problèmes qu’E. Duflo a cependant trop tendance à prétendre découvrir alors qu’ils sont déjà identifiés [Ex Analyse des facteurs de la fréquentation scolaire : réduction des coûts de scolarisation versus l’information des parents/enfants, l’amélioration de la santé des enfants (vermifuges), le recrutement de vacataires locaux dont le rapport résultat/coût est plus faible et sont donc jugés plus efficaces].

Mais cette méthode présente deux limitations majeures :

1) Pour des raisons statistiques, outre qu’elle est très coûteuse, elle
ne peut couvrir qu’une minorité d’actions de développement (Jean-David Naudet et al., Revue d’économie du développement 4/2012) : les innovations doivent être adoptées par la majorité des populations concernées et l’impact doit être direct et rapide, ce qui exclut d’en faire un système généralisé d’évaluation et de définition de politiques d’intervention.

2) Les solutions proposées sont, le plus souvent, éminemment
contestables. A titre d’exemple :

• Les expérimentations sont focalisées sur des comportements
individuels. Le collectif professionnel des enseignants, aussi dégradé soit-il, dont on mesure le rendement des individus qui le composent par rapport aux vacataires (cf. ci-dessus) est ignoré au risque d’accélérer la dissolution de ce qui reste des équipes d’enseignants. L’histoire, les normes professionnelles, les valeurs collectives, la culture de ces personnes sont ignorées. Comment tirer de cela une politique nationale, des orientations stratégiques, etc. ? Il n’y a aucune réflexion approfondie sur le collectif ou les institutions qui mettent en jeu l’Etat, la société, les rapports sociaux, etc., dans leur histoire et dans leur structure d’où une généralisation hasardeuse à d’autres contextes.

• Les modifications de comportements reposent souvent sur des
récompenses : rémunération des élèves (bourses d’études, minutes de téléphone aux bons élèves américains dont - ou des cadeaux (céréales ou plats en inox aux participants de programmes de vaccination).

Duflo (2010a) vante les bourses de la 3ème République comme modèle d’efficacité des transferts conditionnels liés aux résultats. Or, elles tenaient d’une vision politique de valeurs d’honneur et non pas d’espoir de rémunérations supplémentaires. On connaît les effets délétères des récompenses aux élèves (Vidaillet B., (2012) Evaluez-moi). Les cadeaux vaccinations ont été contestés sur le terrain (Banergee et Duflo, 2012) mais ces derniers s’en prennent à la droite et la gauche pour qui on ne doit pas acheter les gens pour qu’ils fassent ce que nous estimons être dans leur intérêt. En somme, c’est une constance dans leurs écrits, la fin justifie les moyens sans que le lien entre les deux soit investigué.

L’introduction d’une variable monétaire justifie l’un des fondamentaux du J-PAL, proche du New Public Management : déterminer quelle politique suivre en comparant les coûts et les bénéfices de programmes concurrents. Ici, la méthode d’évaluation commande les modes d’intervention choisis.

3/ Dire que les pauvres ne sont pas affamés puisqu’en Inde 0,67% seulement du revenu supplémentaire passe en nourriture et qu’ils cesseraient, sinon, de fumer ou d’organiser des fêtes de mariage dispendieuses (Barnerjee, Duflo, 2011) relève d’un manque grave de considération pour ces populations. Il est justifié, est-il dit, qu’ils s’achètent plutôt des antennes paraboliques car leur vie est monotone, sans aucune référence à la vague consumériste mondialisée qui est d’ailleurs l’une des causes du surendettement dans la MF (cf. la crise dans l’Etat d’Andhra Pradesh en Inde [n° 106 de Techniques financières et développement]). E. Duflo a d’ailleurs soutenu la SKS Microfinance Limited dont les pratiques de recouvrement sont à l’origine d’une vague de suicides en 2010 tout en reprochant aux IMF de ne pas savoir rééchelonner leurs prêts.

Reste un volet dont l’examen doit être approfondi, celui ayant trait aux « remontées théoriques » auxquelles cette méthode peut renvoyer. Son empirisme n’est pas critiquable en soi : c’est l’un des éléments de toute démarche scientifique. Mais, comme cela est clairement établi en médecine, les évaluations fournissent des preuves d’efficacité et non de causalité (sauf cas exceptionnels de monocausalité). Les mécanismes causaux sous-jacents restent à éclairer (Intervention d’A. Labrousse - séminaire de recherche CIRAD, GEMDEV, GRET, janvier 2013).

En conclusion, l’évaluation randomisée vient compléter la panoplie des outils d’évaluation qui ont tous leurs avantages et leurs défauts.
Mais elle ne peut constituer une panacée qui pourrait devenir la nouvelle boussole du développement international, d’autant plus que ses présupposés sont très problématiques.

BARNERJEE A. V., DUFLO E. (2011) « Repenser la pauvreté ». Seuil.

DUFLO E. (2010 a & b) « Le développement humain – Lutter contre la pauvreté I & II ». La République des idées.


PLAN DU SITE



MENTIONS LÉGALES & INFOS PRATIQUES

Tous droits réservés - Ministère des Affaires étrangères et du Développement international - 2014