Comment définir de bons indicateurs?

Camaleo / Formations  / Comment définir de bons indicateurs?
Comment définir de bons indicateurs

Les bailleurs, mais aussi le public, nous demandent de plus en plus de prouver l’efficacité de notre action de façon rigoureuse et objective. Au-delà des exigences de redevabilité, de bons indicateurs permettent également d’évaluer la qualité de notre action, et de la corriger si nécessaire. Dans cet article, vous trouverez quelques astuces pour bien définir et utiliser les indicateurs dans la conception de vos projets, en évitant les erreurs les plus fréquentes!

Mais d’abord… Qu’est-ce qu’un indicateur?

Un indicateur est un facteur ou une variable, mesurable de façon objective, qui est utilisé pour mesurer de façon fiable les changements obtenus ou les progrès accomplis par un projet dans l’atteinte des résultats et des objectifs.

Les indicateurs doivent répondre aux caractéristiques suivantes: 

  • Fiables : mesurables de manière constante dans le temps et de la même façon par différents observateurs (on parle aussi parfois d’IOV, Indicateurs Objectivement Vérifiables).
  • Précis : ils doivent pourvoir être mesurés de façon claire par des données quantitatives ou qualitatives.
  • Opportuns : les indicateurs doivent fournir une mesure des changements dont on peut raisonnablement  penser qu’ils sont dus au projet.
  • Ils doivent pouvoir être vérifiés à travers des sources variées, comprenant autant que possible des sources externes (données gouvernementales, des Nations Unies, autres sources aussi fiables que possibles…)

A ne pas faire : les erreurs classiques

  • Définir trop d’indicateurs: Attention à prendre en compte les ressources nécessaires pour le suivi des indicateurs. Les indicateurs doivent à la fois être suffisants, en nombre et en variété, pour donner une indication des changements intervenus, tout en prenant garde à ne pas se noyer dans le suivi !
  • Omettre l’analyse de la situation de départ (baseline): Les indicateurs définiront une valeur à atteindre, à quoi pourra-t-elle être comparée s’il n’existe pas de données fiables concernant la situation au moment du démarrage du projet ? Si celles-ci ne sont pas disponibles, il faudra planifier également cette récolte initiale de données avant le début de l’intervention. Des normes reconnues seront également utiles à titre de comparaison (par exemple celles du Projet Sphere)
  • Indicateurs trop vagues et difficiles à mesurer, tels que par exemple « l’amélioration du bien-être des communautés ». Comment allons-nous mesurer cette amélioration ? Il conviendra ici de traduire ce concept en éléments mesurables, tels que taux de mortalité, d’alphabétisation, ou d’autres éléments sur lesquels le projet va agir.
  • Indicateurs sans relation directe avec les objectifs du programme ou prenant en compte d’autres facteurs externes non abordés par le projet. Par exemple, sera-t-on vraiment capable avec notre seul projet de diminuer le taux de chômage national, ou d’améliorer le cadre légal ?
  • Données impossibles à vérifier: Il peut par exemple exister des problèmes de confidentialité, différentes selon les cultures, les données peuvent ne pas être désagrégées selon les besoins de suivi – par genre etc. Il faudra prendre en compte les non-dits et facteurs culturels, tester les questionnaires pour voir s’il peut exister des confusions, etc. Tout comme les objectifs du projet, les indicateurs devraient dans la mesure du possible être définis en collaboration avec les populations bénéficiaires du projet.
  • Inclure un aspect transversal dans le projet sans le refléter dans les indicateurs: Ainsi, si une composante « genre » est mentionnée dans les objectifs du projet, les indicateurs principaux devront être désagrégés par genre.

Comment les mesurer ?

Il ne faut pas oublier d’inclure à cet effet des ressources spécifiques : idéalement les sources devraient être croisées, et il ne faudrait pas s’appuyer uniquement sur des ressources externes, par exemple publiées par le gouvernement, avec le risque que ces données soient manipulées à des fins politiques (ils pourraient par exemple minimiser ou maximiser les problèmes pour des questions d’image ou de financements). Il faudrait donc réaliser si possible une partie des enquêtes de suivi soi-même – attention à l’investissement en temps et en ressources, et à l’utilisation de méthodes objectives, qui requiert un certain savoir-faire technique. Il est également possible de sous-traiter des enquêtes à plus grande échelle et donc plus représentatives, mais attention au coût! De la même manière, il faudra éviter de s’appuyer uniquement sur des données internes, dont l’exactitude pourrait être remise en question. Il faudra donc dans la mesure du possible varier ses sources autant que possible !

Les différents types d’indicateurs

  • D’activité, de résultat ou d’impact ? Il existe une tendance naturelle à vouloir définir des indicateurs d’activité. Ainsi, on pourra vouloir mesurer le succès d’un projet de formation professionnelle à travers le nombre de personnes ayant suivi une formation. Mais quelle information nous donne vraiment ce chiffre sur le réel effet du projet? Il faut aller plus loin, et mesurer par exemple le nombre de personnes ayant suivi cette formation accédant dans les trois mois à un emploi stable et rémunéré au moins au salaire minimum du pays (s’il existe). Ainsi, il est la plupart du temps inutile de définir des indicateurs à des niveaux inférieurs à ceux des résultats. Dans certains cas, on pourra même définir des indicateurs d’impact, c’est-à-dire sur les effets à long terme du projet après la fin de sa mise en œuvre.
  • Qualitatifs ou quantitatifs ? Même s’il est plus facile de définir des indicateurs quantitatifs, il est important de ne pas s’y limiter. Ainsi, on pourrait mesurer l’atteinte d’un objectif à l’aide d’un indicateur quantitatif de la façon suivante: « à la fin du projet, 100% des habitants de la communauté disposent d’un point d’eau portable à moins de 150m de leur foyer ». Mais un indicateur qualitatif mesurera de façon plus approfondie le résultat obtenu: “à la fin du projet, 80% des personnes de la communauté, sur un échantillon minimum de 200 personnes, considèrent que le point d’eau créé répond à leurs besoins en approvisionnement en eau potable ».

Il existe cependant des imites à l’évaluation des projets basée sur les indicateurs…

  • Ainsi, ceux-ci ont tendance à simplification les relations de cause à effet. Les réels changements sont toujours multifactoriels.
  • Les indicateurs posent aussi le problème de l’effet « marketing » à destination des bailleurs : on va toujours vouloir valoriser et maximiser les succès obtenus, en occultant parfois les aspects moins positifs, voir franchement négatifs de notre action. Cet effet ne favorisera donc pas l’analyse des erreurs, si importante pour en tirer un apprentissage et améliorer son action sur le long terme.
  • Enfin, l’accent important sur les indicateurs quantitatifs, plus faciles à mesurer, tend à simplifier des questions de société, complexes, pour lesquels on n’aura tendance à mesurer que les aspects qui « nous arrangent », sans avoir forcément une vision à plus long terme, au niveau de l’impact.

En résumé, il est important de définir de bons indicateurs, et nous espérons que cet article vous y aidera, mais aussi de ne pas s’y limiter! Et vous, qu’en pensez-vous ?

NB: Cet article a initialement été publié sur le blog de Well Grouded dans une version légèrement modifiée ici

No Comments

Post a Comment

Uso de cookies

Este sitio web utiliza cookies para que usted tenga la mejor experiencia de usuario. Si continúa navegando está dando su consentimiento para la aceptación de las mencionadas cookies y la aceptación de nuestra política de cookies, pinche el enlace para mayor información.plugin cookies

ACEPTAR
Aviso de cookies