Abstract
L’analyse de contribution : l’âge adulte? – John Mayne
Cet article introductif propose un bref historique de l’analyse de contribution en introduction des articles qui suivent. Au cœur de l’analyse de contribution, il y a l’objectif de rendre crédibles les pétitions de causalité relatifs à la contribution d’une intervention aux résultats observés. L’article souligne le rôle clef joué par les théories du changement et discute de ce que doit contenir une théorie de changement utile. Il établit ensuite un lien entre les discussions philosophiques sur la causalité et l’analyse de contribution à travers une discussion sur les causes contributives. Ces causes, qui en elles-mêmes ne sont jamais nécessaires ni suffisantes, représentent le genre de rôle contributif que jouent souvent les interventions : là où existent un grand nombre d’autres événements susceptibles d’avoir une influence et de nombreuses conditions à l’œuvre en complément de l’intervention considérée. L’analyse de contribution est une approche visant à confirmer qu’une intervention fait partie des causes contributives.
Mots-clés : analyse de contribution, théories du changement, causalité, causes contributives, complexes causatifs
Appliquer l’analyse de contribution : leçons tirées de cinq années de pratique – Thomas Delahais et Jacques Toulemonde
L’analyse de contribution (AC) a été défendue et discutée plus qu’elle n’a été appliquée. Cet article s’appuie sur cinq évaluations appliquant l’AC dans le contexte des politiques de l’UE, dans les domaines de l’aide au développement, de l’agriculture, de l’emploi et de la gouvernance. Au cours des cinq dernières années, les auteurs ont développé leur capacité à mettre en œuvre les six étapes de l’AC et spécialement d’esquisser des récits de contribution et de formuler des pétitions de contribution. Ces efforts pratiques les ont, en retour, poussé à explorer les fondations de cette approche et à préciser et opérationaliser des concepts clefs tels que : pétition de contribution, mécanisme causal et force de l’argument empirique. À partir de cette expérience, l’article propose des critères pour apprécier la qualité de l’AC dans un contexte professionnel.
Mots-clés : analyse de contribution, évaluation fondée sur la théorie, évaluation d’impact, modèle logique, théorie du changement, pétition de causalité, mécanisme causal
Faire fonctionner l’analyse de contribution : un cadre pratique pour maîtriser les facteurs d’influence et les explications alternatives – Sebastian T. Lemire, Steffen B. Nielsen et Line Dybdal
Cet article examine les forces et faiblesses méthodologiques de l’analyse de contribution. Les auteurs font l’hypothèse que l’une des caractéristiques saillantes de l’analyse de contribution est sa capacité à rendre compte des facteurs qui influencent le résultat et des explications alternatives. Nous défendons l’idée que l’analyse de contribution, dans sa forme courante, nécessite pour cela des élaborations méthodologiques et pratiques supplémentaires. Dans cette perspective, l’article accorde une attention particulière à la manière dont la méthodologie peut identifier et déterminer l’étendue des facteurs d’influence et des explications alternatives. Les auteurs proposent un cadre correspondant – le découvreur d’explication pertinente – qui peut aider les évaluateurs à rendre compte de ces éléments et créer par ce moyen des récits de contribution plus crédibles.
Mots-clés : évaluation fondée sur la théorie, analyse de contribution, mécanisme, explication alternative, facteur influent
Applications de l’analyse de contribution à la planification des effets et l’évaluation d’impact – Erica Wimbush, Steve Montague et Tamara Mulherin
L’analyse de contribution est une approche structurée de l’évaluation d’impact fondée sur la théorie, développée au Canada dans le contexte du management fondé sur les résultats bien qu’il existe peu d’exemples de mise en œuvre concrète depuis l’article original de Mayne (2001). Nous soutenons que l’analyse de contribution ajoute de la valeur aux autres approches fondées sur la théorie en fournissant une approche plus rigoureuse et structurée à la planification de l’approche participative, l’analyse et le reporting des données. Elle peut être appliquée dans le contexte de la planification stratégique participative et le monitoring de la performance, aussi bien que de l’évaluation d’impact. Les exemples proviennent du Canada et de l’Ecosse dans le contexte, respectivement, du management fondé sur les résultats (RBM) et de compte-rendu fondé sur les effets (OBA). En tant que processus participatif, l’analyse de contribution renforce simultanément la compréhension conceptuelle et pratique de la planification et du management par les effets ainsi que les théories de la mise en œuvre et du changement, aidant ainsi à construire une capacité collaborative dans et à travers les organisations partenariales. Pour les managers publics, le processus d’analyse de contribution possède un fort attrait et une valeur pratique lorsqu’ils doivent démontrer la contribution d’organisations singulières pour traiter des problèmes sociaux complexes tout en travaillant en partenariat avec d’autres agences publiques soumises à de multiples exigences de compte-rendu.
Mots-clés : analyse de contribution, planification des effets, management axé sur les resultants, évaluation d’impact
Donner du sens aux impacts : un cadre méthodologique pour évaluer l’impact des récompenses – Jos Vaessen et Estelle Raimondo
Dans les années récentes, les débats sur l’évaluation de l’impact de la coopération pour le développement se sont multipliés. On a constaté un accroissement marqué des exercices d’évaluation de l’impact statistique, notamment des expérimentations aléatoirement contrôlées et, dans le même temps, de nombreuses évaluations d’impact ont utilisé d’autres méthodes. La diversité des approches méthodologiques peut s’expliquer par des différences épistémologiques, fonctions de l’objet et du contexte de l’évaluation. Schématiquement, deux approches coexistent : les évaluations d’impact qui reposent sur un plan d’expérience et/ou les analyse multivariées avec contrôle statistique ; et par ailleurs les évaluations d’impact reposant sur une argumentation systématisée guidée par une théorie du changement. L’analyse de contribution est un exemple de cadre heuristique adapté à la seconde catégorie de méthodes et cet article relate la mise en œuvre de cette approche dans une évaluation des prix décernés par l’UNESCO. Il discute la logique d’intervention qui sous-tend les prix décernés par l’UNESCO et le cadre correspondant d’évaluation empirique tenant compte du contexte institutionnel et les contraintes. Pour finir, nous discutons de la manière dont l’évaluation peut fournir la base d’une véritable évaluation d’impact des prix utilisant l’analyse de contribution.
Mots-clés : évaluation d’impact, prix, analyse de contribution
Articuler l’évaluation fondée sur la théorie et l’analyse de contribution : trois problèmes et quelques solutions – Frans L. Leeuw
L’analyse de contribution et l’évaluation fondée sur la théorie sont deux approches liées. L’article discute l’apport de plusieurs développements récents pour approfondir leurs liens. Pour cela, il montre comment trois situations problématiques bien connues (et presque classiques) pour l’évaluation d’impact peuvent être abordées à travers l’application de points de vue et d’outils issus de l’approche par la théorie.
Mots-clés : analyse de contribution, évaluation d’impact, évaluation fondée sur la théorie, science de la mise en œuvre, récit contrefactuel, mécanismes
Une approche de l’analyse de contribution centrée sur l’utilisation – Michael Quinn Patton
L’évaluation centrée sur l’utilisation implique d’identifier et de travailler avec les utilisateurs / destinataires directs pour concevoir et interpréter une évaluation. Ceci inclut le processus de travailler avec ces utilisateurs pour juger dans quelle mesure les données empiriques les plus déterminantes soutiennent une conclusion signifiante et utile sur le degré auquel une intervention affecte les résultats et impacts observés. Ceci constitue l’essence de l’analyse de contribution. Deux exemples détaillés illustrent ce processus.
Mots-clés : analyse de contribution, évaluation centrée sur l’utilisation
Vers une fondement empirique des évaluations fondées sur la théorie : quelques question aux promoteurs de l’approche fondée sur la théorie – Sanjeev Sridharan et April Nakaima
Cet article discute les nouveaux développements des approches fondées sur la théorie qui tiennent compte des apports de l’analyse de contribution. À partir de l’exemple illustratif d’un programme de danse/ activité physique pour la promotion de la santé, plusieurs défis sont identifiés dans la mise en œuvre de ces approches. Ces défis sont reformulés comme des questions auxquelles une réponse doit être apportée pour accomplir de nouveaux progrès dans la combinaison des deux approches. Ces questions incluent les suivantes : qu’est-ce qu’une théorie du programme « assez bonne » ? Comment arrive-t-on aux impacts attendus du programme ? Comment la théorie du programme incorpore-t-elle les mécanismes d’action hétérogènes dont peuvent avoir besoin les bénéficiaires ? Que veut dire la causalité pour des interventions complexes ? Quelles sont les structures qui peuvent faciliter l’apprentissage à partir des évaluations ? Comment l’application de l’approche guidée par la théorie aide-t-elle à générer une ‘écologie de la preuve’ ? La discussion de ces questions conduit à une feuille de route pour tester et améliorer l’analyse de contribution.
Mots-clés : évaluation guidée par la théorie, analyse de contribution, évaluation réaliste, complexité, chronologie des impacts