Accès rapide :

Promouvoir un usage raisonné de l’expérimentation et favoriser les méthodes pluridisciplinaires (12/02/2013) - par l’association CERISE et ses membres (CIDR, IRAM et GRET)

Les textes publiés dans le cadre des contributions n'engagent que leurs auteurs

Nous souhaitons réagir à l’intervention d’Esther Duflo, au nom de l’association CERISE et en tant que communauté de praticiens impliqués de longue date dans l’évaluation des interventions de développement. La méthode expérimentale présente l’immense intérêt de permettre de comparer la situation avec et sans projet. En cela, elle surmonte le défi méthodologique que constitue la démonstration d’une relation de cause à effet, sans reposer sur des hypothèses économétriques complexes et toujours réfutables.
S’il convient de saluer leur simplicité et la force de leur démonstration, il faut toutefois souligner les limites de ces RCT (Random Control Trials) :

1) Empreinte des études :

Rappelons tout d’abord l’ampleur des dispositifs d’enquête requis pour un RCT, qui s’avèrent parfois plus coûteux que les dispositifs qu’elles évaluent. De plus, les protocoles de recherche (tirage au sort des bénéficiaires, enquêtes répétées, homogénéisation des modes d’intervention) sont lourds et ils suscitent des jeux d’acteurs qu’il faut prendre en compte au moment d’interpréter les résultats.


2) Complexité :

Les RCT s’avèrent particulièrement efficaces pour évaluer des programmes où l’on identifie clairement un petit nombre d’inputs et d’outputs simples et précis, et où la chaîne de causalité reliant les uns aux autres est courte et fermée (c’est-à-dire où peu d’autres facteurs interviennent). Or, une part importante des actions de développement échappent à ce modèle. En microfinance notamment, elles mettent en jeu des combinaisons de mécanismes socioéconomiques et des boucles de rétroaction (effets d’émulation, d’apprentissage des bénéficiaires, d’amélioration de la qualité des programmes, etc.) .

3) Résistances à la sélection aléatoire :

C’est d’autant plus le cas lorsque l’intervention n’est pas fondée sur le don, et où l’enrôlement volontaire des bénéficiaires est nécessaire. Il est alors difficile de s’assurer que les personnes sélectionnées aléatoirement y souscriront et où ceux qui ont été exclus par tirage au sort n’y auront pas accès par d’autres voies.

4) Impact moyen vs. impacts divers :

Il faut en outre prendre garde de ne pas mesurer qu’« en moyenne » et s’attacher à reconnaître l’hétérogénéité des impacts afin de voir, parmi les bénéficiaires si certains en tirent des avantages et, a contrario, si d’autres en pâtissent. Il s’agit là d’une préoccupation majeure sur le terrain, nécessaire à l’adaptation des programmes.

5) Généralisation :

Afin de maîtriser les paramètres de l’expérimentation, les RCT sont très localisées dans le temps (les durées des tests dépassent rarement les deux années) et dans l’espace (on cible des zones spécifiques). Il devient alors difficile d’étendre les leçons d’une évaluation à l’ensemble d’un pays ou à un type d’intervention en général. De plus, des impacts constatés à court terme peuvent devenir différents, voire s’inverser à moyen ou long terme. De la même manière, des impacts constatés sur des personnes n’ayant encore jamais eu accès à un service peuvent devenir différents lorsque le programme est étendu à l’ensemble de la population.

6) Éthique :

Il est indispensable d’évaluer rigoureusement l’utilisation des fonds publics. Mais sélectionner aléatoirement qui reçoit et ne reçoit pas un programme constitue un procédé éthiquement sensible. De plus, afin de ne pas biaiser les résultats, il est souvent difficile de s’assurer du consentement éclairé de tous les participants à l’expérience et a fortiori de leur expliquer clairement les implications du processus.

Des chargés de l’évaluation à l’AFD ont d’ailleurs tiré le bilan des RCT qu’ils avaient commandités. Ils ont montré que ces méthodes permettaient d’apporter des réponses d’une plus grande crédibilité, mais à un nombre finalement restreint de questions et ne s’appliquaient qu’à une partie des projets ou politiques de développement.

Il semble donc nécessaire de considérer les RCT comme l’un des instruments d’une « boîte à outil de l’évaluation ». Celle-ci comporte aussi d’autres méthodes, qui ont fait leur preuve pour appréhender la complexité des politiques de développement et tenir compte des préoccupations des opérateurs de terrain.

Ces méthodes alternatives ont par exemple été appliquées au Pérou (Copestake et al., 2005) ou à Madagascar (Wampfler et Bouquet, 2007) et plus récemment à Madagascar encore, au Maroc, au Mexique et en Inde (voir le site www.rume-rural-microfinance.org). Leur renouvellement est aujourd’hui promu, notamment par CERISE et ses partenaires, en suivant trois axes forts :

- Une approche pragmatique, favorisant une définition des questions évaluatives et des démarches au cas par cas, en concertation avec les acteurs concernés

- Un pluralisme méthodologique, combinant inférence statistique et analyse qualitative

- Des modes innovants d’analyse exploitant des données existantes, afin de réduire les coûts, d’appuyer des statistiques nationales de qualité et de renforcer les systèmes d’information des programmes évalués.


PLAN DU SITE



MENTIONS LÉGALES & INFOS PRATIQUES

Tous droits réservés - Ministère des Affaires étrangères et du Développement international - 2014