Accès rapide :

Evaluation de l’aide : un regard critique sur les méthodes expérimentales - Par Isabelle Guérin et François Roubaud (IRD - Institut de Recherche pour le Développement)

Les textes publiés dans le cadre des contributions n'engagent que leurs auteurs

Il existe aujourd’hui un consensus grandissant sur la nécessité d’évaluer les politiques de développement à l’aide de méthodes expérimentales par assignation aléatoire (randomized controlled trials, RCT). Les RCT tendent à être considérées comme la seule méthode « rigoureuse », permettant des prises de décision politique fondées sur des « preuves scientifiques » (« evidence based policy »). Si la montée en puissance des RCT a l’incontestable mérite de légitimer les études empiriques – que nombre de réflexions sur les politiques de développement ont tendance à éclipser au profit de discours purement théoriques ou idéologiques –, leur prétention hégémonique pose néanmoins plusieurs problèmes qui méritent d’être discutés.

1. Le champ d’application des RCT, tant en termes d’objet que de
questions de recherche, est relativement restreint :

  • L’expérience de l’AFD, par exemple, montre que la mise en œuvre de ce type de méthode suppose de multiples conditions, qui ne sont respectées que dans le cas de programmes « tunnels », caractérisés par des impacts de court terme, clairement identifiés, facilement mesurables, des liens de causalité unidirectionnels (A cause B), linéaires et enfin non soumis à des risques de faible participation de la part des populations visées. Lorsque ces conditions ne sont pas respectées, la validité interne des RCT est problématique. L’ensemble de ces conditions exclut un grand nombre de politiques de développement.
  • Au-delà de l’objet, l’étroitesse des questions susceptibles d’être traitées par les RCT questionne leur validité externe, c’est-à-dire les enseignements que l’on peut en tirer au-delà de la politique étudiée.
  • Impact moyen versus hétérogénéité : Pour des raisons de puissance statistique, les RCT ont du mal à traiter la question de l’hétérogénéité (qui sont les gagnants et les perdants ? est-ce que le projet fonctionne mieux dans certains contextes que dans d’autres ?).

Qu’il s’agisse de l’amélioration des services ou de réplication à plus large échelle, cette question est pourtant essentielle.

  • La non prise en compte des effets d’entraînements potentiels limite les conclusions possibles en matière de réplication à plus large échelle.
  • Mesurer ou analyser les processus d’impact ? Les RCT permettent éventuellement de mesurer certains impacts ou de tester plusieurs modalités d’une politique de développement, mais elles ne permettent pas d’en analyser les processus sous-jacents, c’est-à-dire les mécanismes à travers lesquels une intervention donnée parvient à un certain résultat.
  • La rigidité des protocoles d’enquêtes, leur complexité technique, ainsi que les exigences académiques des équipes spécialisées dans les RCT, se prêtent mal à des négociations avec les acteurs de terrain qui permettraient de tenir compte de leurs priorités opérationnelles.
  • D’un point de vue épistémologique, les RCT s’inscrivent dans un paradigme positiviste qui prétend apporter des réponses universelles à des problèmes de développement qui sont pourtant indissociables de contextes sociaux, culturels, économiques et politiques et agro-écologiques. Dans nombre de cas, les politiques de développement ne sont pas « bonnes » ou « mauvaises » en tant que telles : l’analyse de leur pertinence mérite d’être historicisée et contextualisée.
  • Enfin les RCT tendent à se focaliser sur la dimension individuelle de la pauvreté, en occultant les mécanismes structurels d’inégalités et de domination qui sont pourtant au cœur des problèmes de développement.

2. Quelles alternatives ?

La montée en puissance des RCT tend à discréditer d’autres approches, qui méritent pourtant d’être développées et soutenues. Si les RCT restent probablement adaptées et légitimes pour certaines politiques circonscrites de manière précise, il est à la fois nécessaire et possible d’employer d’autres méthodes, capables de s’appliquer aux politiques qui ne rentrent pas dans le spectre des études randomisées et visant à appréhender la complexité des questions de développement et à tenir compte des préoccupations des opérateurs de terrain. Ces méthodes alternatives ont les caractéristiques suivantes :

  • Une approche pragmatique, définissant les questions de recherche et les outils méthodologiques nécessaires au cas par cas, en concertation avec les partenaires impliqués (opérateurs de terrain, bailleurs, etc.)
  • Un pluralisme méthodologique, basé sur la pluri ou l’interdisciplinarité et reconnaissant la diversité des modes d’administration de la preuve (inférence statistique/analyse compréhensive). Il ne s’agit pas de récuser le formalisme ou la modélisation mais d’en faire un usage spécifique. Les méthodes pluralistes ne visent pas l’énoncé des lois universelles, mais à expliciter des liens de causalités propres à un contexte précis et une période précise.
  • Les méthodes qualitatives sont mobilisées pour contextualiser les politiques de développement, élaborer des hypothèses novatrices, identifier des phénomènes nouveaux ou imprévus, et enfin analyser un phénomène dans sa globalité en étudiant la complexité des liens de causalité, les interactions multiples, dynamiques, contradictoires entre différentes entités, de manière située.
  • Les degrés d’articulation et d’intégration entre méthodes peuvent ensuite être très variés. Les outils mobilisés peuvent également être multiples. Les méthodes qualitatives recouvrent aussi bien l’ethnographie de longue durée que des méthodes participatives rapides de type focus groups. L’analyse statistique inclut des enquêtes ménages plus ou moins lourdes, mais elle peut aussi mobiliser des données existantes (voir supra). Elles n’ont ni le même coût, ni les mêmes objectifs.
  • Plutôt que de miser systématiquement sur la création de données nouvelles, ces méthodes alternatives privilégient, lorsque cela se justifie, l’usage de données existantes, qu’il s’agisse de statistiques officielles ou de données produites par les partenaires locaux en charge de la mise en œuvre des projets/politiques de développement.

En conclusion, il nous semblerait fort regrettable de promouvoir les études expérimentales comme la seule manière recevable d’évaluer les interventions en faveur du développement et a fortiori d’étudier les mécanismes du développement. A ce jour, des méthodes pluralistes et interdisciplinaires existent, qui combinent méthodes quantitatives, qualitatives et participatives. Malheureusement, elles sont rarement soutenues par les dispositifs classiques de formation, d’évaluation, de financement ou de diffusion de la recherche.


PLAN DU SITE



MENTIONS LÉGALES & INFOS PRATIQUES

Tous droits réservés - Ministère des Affaires étrangères et du Développement international - 2014