Abstract
La recherche a-t-elle contribué à la gestion durable des forêts ? Faire une argumentation causale rigoureuse dans un contexte professionnel – Thomas Delahais et Jacques Toulemonde
Cet article examine une évaluation commanditée par le CIFOR, un centre de recherche international travaillant sur les forêts tropicales. Dans le bassin du Congo, il s’en est fallu de dix à vingt ans pour que les travaux de recherche déploient leur influence sur la durabilité de la gestion forestière, à travers un réseau complexe d’interactions entre les compagnies forestières, les gouvernements nationaux, les organisations internationales, les agences de développement, les ONG et les bureaux d’étude. En utilisant une approche par analyse de contribution, l’évaluation a permis d’identifier plusieurs chaînes causales qui ont cheminé à travers le système et qui ont abouti à des contributions, toujours indirectes et marginales mais quelquefois nécessaires. Cet article explique comment les assertions de contribution ont été inférées, quelle a été la logique sous-jacente de l’argumentation causale, comment certaines contributions ont pu être qualifiées de nécessaires et jusqu’à quel point l’évaluation a avancé sur la voie de la généralisation. La discussion porte sur la combinaison entre l’analyse de contribution, la reconstitution de processus (process tracing) et l’évaluation réaliste.
Comment évaluer la gouvernance des problèmes transfrontaliers ? Évaluer une stratégie nationale de contre-terrorisme – Mirko Noordegraaf, Scott Douglas, Aline Bos et Wouter Klem
Les problèmes pernicieux constituent un défi majeur pour l’évaluation, dans la mesure où ils traversent les frontières, les domaines de politique, les organisations et les disciplines scientifiques. Ils contraignent les évaluateurs à étudier de vastes réseaux pour tracer des chaînes causales étendues. Toutefois, au-delà de cette catégorie de problèmes pernicieux « réguliers » qui traversent les frontières, il existe une classe de problèmes encore plus complexes qui transcendent les frontières. Des problèmes tels que le terrorisme, la crise financière mondiale et le changement climatique transcendent les distinctions entre causes et effet, problèmes locaux et globaux, faits et perceptions . Ces questions constituent une classe de problèmes transfrontaliers pernicieux qui ne concernent pas des défis locaux et une insécurité locale, mais des événements et une ambiguïté globalement connectés. Nous nous appuyons sur la littérature relative à la malignité, l’ambiguïté, et les enjeux transfrontalier, afin de formuler une approche évaluative transfrontalière permettant d’évaluer la gouvernance de ces problèmes extrêmement complexes. L’utilité de cette perspective est démontrée par notre évaluation de la stratégie néerlandaise de contre-terrorisme 2011-2015. Nous détaillons : (a) le cadre d’évaluation qui a permis un ciblage dans un domaine transfrontalier diffus; (b) les principes d’évaluation qui nous ont guidés en tant qu’évaluateurs; et (c) les conditions de l’évaluation qui nous ont permis d’impliquer et de mobiliser les acteurs évalués. Ces composantes peuvent ensemble conforter la pertinence et la compétence de l’évaluation dans un monde complexe.
Explorer l’impact de la recherche dans l’évaluation de la recherche sur le leadership, la gouvernance et le management – Elizabeth M. Morrow, Helen Goreham et Fiona Ross
La recherche est de plus en plus placée sous les projecteurs pour démontrer son impact et sa qualité “de classe mondiale”. Les mesures d’impact ont été introduites dans le cadre d’excellence de la recherche (REF) au Royaume-Uni en 2014, et ont été adoptées dans d’autres pays. Toutefois, l’impact est un concept qui est à la fois appliqué de manière imprécise et souvent contesté. Il a besoin d’être dépaqueté pour comprendre comment l’évaluer de manière effective. Cet article utilise les constats faits à partir d’un sous-échantillon de 1309 études de cas basés sur une recherche dans les domaines du leadership, de la gouvernance et du management, soumis au REF. L’étude a été conduite avec une méthode mixte utilisant les systèmes complexes adaptatifs comme une lentille pour explorer les perspectives d’impact pouvant être la conséquence de la recherche, comme un processus et un concept émergent. Nous décrivons quelques-unes des riches configurations des pratiques d’impact, les mécanismes d’échange, les connexions avec le contexte, et les types de mesures utilisés pour démontrer l’impact. L’article aide à illustrer la complexité de l’impact et ses implications pour l’évaluation.
Chercher le “succès” dans la politique de sécurité routière des Pays-Bas – Peter van der Knaap
Traditionnellement, les universitaires et les praticiens cherchent la plus-value de l’évaluation dans la mise en évidence des erreurs et les défauts. Ceci a pour conséquence que l’évaluation risque d’être associée à l’échec et que, donc, il vaut mieux l’éviter. À cet égard, il semble que les évaluateurs peuvent être leurs propres pires ennemis: quelle part des interrogations et déceptions récurrentes affectant notre métier – la perception d’un manque de pertinence et, donc, de prise en compte et d’utilisation – peut être imputée à notre intérêt spontané pour les problèmes et les échecs ? Que pourrait-on gagner par une approche positive, dans laquelle l’évaluateur cherche activement à améliorer les programmes en se focalisant sur les succès ? Comment cela pourrait-il contribuer à un apprentissage effectif ? Quels bénéfices et défis en résulteraient ? En prenant pour exemple le programme “Sécurité routière durable” des Pays-Bas, cet article examine les réponses potentielles à ces questions. En partant d’une définition de l’évaluation positive et de la théorie de l’apprentissage, je décris les opportunités de l’évaluation positive pour rendre plus efficaces les processus d’apprentissage orientés vers la politique. À partir de ces exemples, la conclusion positive – mais prudente – est que, pour contribuer à un apprentissage effectif tout en cherchant à optimiser les programmes, un évaluateur ferait bien de chercher d’abord à identifier les succès.
Mettre à jour les configurations contexte-mécanisme-résultats: l’expérience d’une évaluation réaliste de l’impact de la chirurgie robotisée sur les équipes en théâtre d’opération – Natasha Alvarado, Stephanie Honey, Joanne Greenhalgh, Alan Pearman, Dawn Dowding, Alexandra Cope, Andrew Long, David Jayne, Arron Gill, Alwyn Kotze et Rebecca Randell
Cet article rend compte de notre expérience de mise à jour, de catalogage et de priorisation des configurations Contexte-Mécanisme-Résultat (cCMR) conjecturées au début d’une évaluation réaliste, afin de fournir un nouvel aperçu de la manière dont les cCMR peuvent être générées et théorisées. Notre construction des cCMR cherchait à savoir comment, pourquoi et dans quelles circonstances l’équipe était impactée par la chirurgie robotisée, plutôt que comment et pourquoi cette technologie améliorait les résultats chirurgicaux comme attendu. Nous avons trouvé que, en plus de fournir des ressources, la chirurgie robotisée éloignait les ressources de l’équipe de terrain, en reconfigurant le théâtre d’opération et en redistribuant le poids des tâches chirurgicales, modifiant profondément le contexte dans lequel le travail de terrain était accompli. Nous avons construit des cCMR qui expliquent comment les mécanismes de l’équipe de terrain ont été à la fois contraints par le changement de contexte et activés dans le nouveau contexte par l’utilisation de stratégies informelles. Nous concluons par une réflexion sur notre application de l’évaluation réaliste pour comprendre les impacts potentiels de la chirurgie robotisées sur le travail de terrain.
Un approche systémique de l’évaluation de politique – Louise Caffrey et Eileen Munro
Il existe un intérêt croissant pour évaluer la mise en œuvre des politiques d’une manière qui capture la complexité du processus. Cet article fournit un exemple d’utilisation d’une méthodologie systémique pour explorer comment la politique de protection de l’enfance dans les centres d’accueil a fonctionné en pratique. Plutôt que de se contenter à poser la question évaluative traditionnelle “est-ce que ça marche ?” l’étude cherche à comprendre comment la politique a fonctionné et comment elle à été interprétée quand elle interagissait avec d’autres systèmes, en produisant des conflits, des variations locales et des effets émergents. Elle montre comment les concepts systémiques ”émergence”, “rationalité locale”, “systèmes socio-techniques” et “boucle d’apprentissage” peuvent apporter un nouveau savoir et une nouvelle compréhension dans un problème complexe d’évaluation de politique.
Voir c’est croire: une cadre de référence graphique pour l’évaluation multi-critères – Tânia F.G.G. Cova, Susana Jarmelo, Sandra C.C. Nunes, Sebastião J. Formosinho, J. Sérgio Seixas de Melo et Alberto Pais
Ce travail propose une méthode pour l’évaluation des processus d’évaluation, applicable aux systèmes dans lesquels coexistent des critères de performance à la fois mesurables et liés à la politique. Il cherche à fournir une procédure de modélisation, basée seulement sur des critères mesurables, visant à permettre un examen visuel des résultats, qui introduit deux types d’indicateurs à différentes phases du processus. On suggère la définition de zones fondées sur la performance: deux d’entre elles correspondent clairement à une performance élevée/ faible, dans lesquelles le résultat global de l’évaluation est établi essentiellement sur la base d’indicateurs mesurables, i.e. sur la base de critères objectifs, et une zone intermédiaire sujette à une approche moins déterministe. La méthode d’évaluation est appliquée en trois étapes successives: (I) construire la représentation et identifier les zones de performance, (ii) introduire des critères additionnels pour obtenir une première esquisse du résultat, et, enfin, (iii) évaluer la position relative, corriger si nécessaire, et finaliser. Les modèles de performance sont présentés et examinés pour un ensemble d’institution de recherche et développement, afin d’illustrer des exemples d’application de la méthodologie proposée.