Entretien avec Michael Quinn Patton

Image
Lisa Waldick
Évaluer les programmes de développement pour en déterminer l’efficacité et l’utilité est pratique courante. Mais qu’en est-il de l’efficacité et de l’utilité des évaluations elles-mêmes ? Michael Quinn Patton, évaluateur de renommée internationale, était récemment au CRDI pour expliquer son approche visant à assurer l’utilité des évaluations pour les décideurs. Il est à la tête d’un cabinet de consultants en développement organisationnel, Utilization-Focused Information and Training. Bien connu pour cinq ouvrages phares sur l’évaluation, dont Qualitative/Evaluation and Research Methods, il obtenait en 1984 le prix Alva et Gunnar Myrdal de l'Evaluation Research Society pour sa contribution exceptionnelle à l’application et à l’exercice de l’évaluation.

Pourquoi évaluer les programmes de développement ? Les gens sur le terrain ne savent-ils pas d’instinct comment se déroulent leurs programmes ?

Notre façon même d’absorber l’information fausse la réalité — toutes les données des sciences sociales le montrent. Notre perception est sélective — certains voient la vie en rose, alors que d’autres ne voient que le côté noir des choses. Nous ne sommes pas impartiaux, et l’information n’est pas sans contenu émotif. Il nous faut des techniques rigoureuses pour pouvoir prendre du recul par rapport aux réalités quotidiennes et voir ce qui se passe réellement. Il nous faut une approche pour nous prémunir contre notre penchant à la partialité, aux préjugés et aux idées préconçues.

Auriez-vous un exemple des effets que peut avoir une idée préconçue ?

Dans le domaine du développement, certains exemples sont notoires. Je pense, notamment, au projet où on avait produit une fève à cuisson rapide afin d’économiser le combustible — et contribuer ainsi à réduire le déboisement. La résistance avait été forte. Surtout parce que faire la cuisine représentait une des rares occasions pour les femmes de la région de se rencontrer. Elles ne voulaient donc pas d’une fève à cuisson rapide. C’est ce genre de choses que l’évaluateur verra — des choses que les gens ne voient pas parce qu’ils sont dans le bain, pour ainsi dire. Évaluer signifie pouvoir prendre du recul et voir les choses avec le regard des autres.

En quoi votre approche de l’évaluation est-elle différente ?

Une chose qui différencie chacune des approches est le principe d’évaluation sur lequel elle se fonde. Pour moi, c’est l’utilisation pratique des constatations et du processus. Autrement dit, il faut que l’évaluation soit conçue et appliquée de façon à contribuer effectivement à l’amélioration des programmes et des décisions. C’est dire que mon principe de base, c’est l’utilisation — c’est pourquoi j’ai baptisé mon approche évaluation axée sur l’utilisation.

Comment peut-on accroître l’utilité des évaluations ?

En les synchronisant bien, par exemple. C’est-à-dire qu’on doit faire coïncider les résultats avec le moment où les décisions doivent être prises. Beaucoup d’évaluations se font une fois le projet terminé. Le rapport qui est rédigé est « de la belle ouvrage », comme on dit. Mais toutes les décisions concernant l’avenir du projet ont déjà été prises au moment de l’évaluation. En théorie, il paraît logique de faire l’évaluation à la fin du projet afin d’avoir une vue d’ensemble de ce qui s’est passé. Mais dans les faits, ce n’est pas très utile. Toutes les décisions quant à l’avenir du programme sont prises avant la fin du programme.

Comment une évaluation peut-elle aider à la prise de décision ?

En sachant quelles questions les décideurs se posent à propos d’un projet. Il faut savoir par exemple si on envisage d’étendre le projet à une autre région, ou d’appliquer la formule à un nouvel écosystème ou à un autre groupe de personnes. Ou si les décideurs sont conscients que les ressources diminuent et que la vraie question est de savoir si on peut faire plus avec moins. En sachant le contexte de la décision, on peut recueillir des données qui sont pertinentes. Beaucoup d’évaluations sont conçues selon un modèle général. De sorte que lorsque les décideurs les ont en main, ils ont beau les trouver intéressantes, ils ne voient pas en quoi elles peuvent les aider à prendre leurs décisions. Elles n’apportent pas de réponses à leurs questions.

Quelle différence voyez-vous entre la recherche et l’évaluation ?

Il y a toute une variété d’évaluations et de recherches différentes. Mais au bout du compte, une évaluation doit servir à produire des données utiles pour améliorer les programmes et aider à la prise de décisions. Tandis que la recherche a pour but de produire des connaissances sur la façon dont les choses fonctionnent. La recherche étant axée sur la production de connaissances, les normes des éléments probants sont plus élevées, et les échéances de production des connaissances peuvent être plus longues. Pour l’évaluation, les échéances sont bien définies, en fonction du moment de la prise de décisions ou des suites à donner au programme. De sorte que les degrés de certitude sont souvent moins élevés que dans le cas d’une recherche, et que les échéances sont beaucoup plus courtes.

Si une évaluation comprend des degrés de certitude qui ne sont pas très élevés, n’y a-t-il pas un risque qu’on prenne de mauvaises décisions ?

Dans la réalité, l’information n’est jamais parfaite, mais des décisions sont prises quand même. Lorsqu’un programme arrive à son terme et qu’il faut prendre une décision, on la prendra même si on n’a pas toute l’information qu’il faut. Si on se dit : « Non, ne prenons pas de décision tout de suite, attendons d’avoir une information complète », on risque de rater le train. En réalité, il vaut mieux avoir certaines données à temps que de disposer de toute l’information voulue alors qu’il est trop tard pour s’en servir.

Qu’est-ce qu’une évaluation participative et quels en sont les avantages ?

Une évaluation participative implique qu’on y fait participer les gens — pas seulement pour que les constatations leur soient plus utiles du fait de leur participation, mais aussi pour les préparer à participer à d’autres évaluations et pour les initier à la pensée évaluative.

Supposons, par exemple, que vous voulez faire une évaluation en profondeur et que vous ne savez pas si vous devez la faire faire par quelqu’un de l’extérieur ou la faire à l’interne. L’évaluateur externe pourra certes vous fournir les données voulues, mais tout ce qu’il apprendra sur la façon de mener une évaluation, il l’emportera avec lui. Si vous faites l’évaluation avec des collaborateurs du pays où vous travaillez, ils auront alors l’occasion non seulement de produire des données et de découvrir d’où elles viennent, mais aussi de se familiariser avec la pensée évaluative.

Michael Quinn Patton — le CRDI et la pensée évaluative

Si le CRDI a incorporé la pensée évaluative dans sa culture, c’est qu’il est convaincu qu’il s’agit d’une approche qui peut contribuer à améliorer la conception, la planification et l’application de ses programmes.

Je vois beaucoup d’organisations qui font des choses assez semblables. Je n’en connais aucune qui, comme le CRDI, a fait de la pensée évaluative un élément central de son cadre d’évaluation intégré. C’est encourageant, et ça me plaît beaucoup. C’est une position avant-gardiste. Il sera intéressant d'examiner comment le CRDI aura placé la barre plus haut pour les organismes voués à l'apprentissage en faisant de la pensée évaluative un de ses principes directeurs. Je crois que, dans les écrits sur l’évaluation, le CRDI constituera l'un des exemples de l’impact éventuel d’une telle approche.

Qu’entendez-vous par pensée évaluative ?

La pensée évaluative suppose la volonté de se soumettre à l’épreuve des faits, de se poser la question : Comment savons-nous ce que nous croyons savoir ? D’utiliser les données pour éclairer nos décisions — sans en faire le seul outil de décision —, d’utiliser les données pour aider à la prise de décision. La pensée évaluative ne se limite pas aux projets d’évaluation, ni aux évaluations proprement dites. C’est un mode de pensée analytique qui doit tout imprégner.

Quel aspect de l’évaluation est le plus difficile à faire comprendre ?

Je crois que c’est de faire comprendre comment passer des données aux recommandations. En faisant une évaluation, on regarde ce qui a été fait — c’est le passé. Mais pour rédiger des recommandations, il faut se tourner vers l’avenir. L’évaluation peut aider à faire des prévisions, mais les décisions ne sont pas seulement fonction des données. Rédiger des recommandations solides, logiques, judicieuses et réalisables, cela demande du savoir-faire. Le bon évaluateur saura mettre le doigt sur les forces et les faiblesses d’un programme et recueillir des données solides et crédibles sur ce qui marche et ce qui ne marche pas. Mais cela ne veut pas dire qu’il saura traduire ces données en recommandations.

De fait, je préfère associer les décideurs de première ligne, ceux qui vont se servir de l’évaluation, à l’élaboration des recommandations, par un processus de facilitation et de collaboration. Je les invite à étudier les données, à examiner les options et à formuler ensuite leurs propres recommandations, dans un contexte qui intègre leurs valeurs, leur expérience et leurs ressources.

Y a-t-il des moments où il vaut mieux ne pas faire d’évaluation ?

Il peut arriver que les gens en aient simplement ras-le-bol des évaluations. Il y a aussi des moments de crise où il faut agir plutôt que de se pencher sur les problèmes. J’ai vu des projets tomber à l’eau pendant qu’on faisait des études et des évaluations, alors qu’il aurait fallu agir.

Quelle est la clef du succès d’une bonne évaluation ?

C’est d’être décidé, diligent et rigoureux et de poser et reposer les bonnes questions : « Qu’allons-nous vraiment faire de cela ? Pourquoi faisons-nous cela ? À quoi cela servira-t-il ? Comment allons-nous nous servir de cette information ? » On obtient souvent comme réponse : « L’évaluation nous servira à améliorer le programme » — mais sans pousser la question plus loin : « Qu’entendons-nous par améliorer le programme ? Quels aspects du programme voulons-nous améliorer ? » C’est ainsi que se fait la mise au point, en fonction de l’objectif visé.

Renseignements

Courriel : evaluation@idrc.ca