Abstract
Utiliser le traçage du processus pour évaluation des événements uniques: le cas de EXPO Milano 2015 – Simone Busetti et Bruno Dente
Dans les sciences sociales, il existe un intérêt émergent pour le traçage du processus (PT) comme méthode pour améliorer la rigueur et la transparence dans les inférences à l’intérieur du processus. Récemment, la méthode a été proposée comme une possible amélioration des approches de l’évaluation fondées sur la théorie, mais les application de cette méthode restent rares. Dans une tentatives pour combler ce manque, le traçage du processus a été utilisé pour évaluer l’exposition universelle de Milan en 2015 (EXPO2015). Les Méga-événements de cette sorte sont de parfaits candidats pour tester la méthode; bien que leurs effets aient été largement discutés dans la littérature, les affirmations relatives à la contribution causale des méga-événements ne sont pas simples, et un certain nombre d’ambiguités compliquent l’évaluation de leurs conséquences. Deux études approfondies de projets iés à EXPO2015 - l’autoroute extérieure de l’Est et le Refettorio Ambrosiano – démontrent les avantages et la faisabilité du PT et de l’application d’une logique bayésienne à la recherche et à l’évaluation des preuves. En particulier, les résultats des études de cas montrent que l’examen bayésien peut révéler une faiblesse inattendue dans des inférences apparemment évidentes, et augmenter la fiabilité en établissant des attributions causales moins directes.
Gouverner l’évaluation des politiques publiques : fondations d’une nouvelle typologie – Jonas Schoenefeld et Andrew Jordan
Alors que l’évaluation des politiques publiques est en plein essor, cet article analyse un sujet longtemps délaissé - la gouvernance de l’évaluation - en croisant travaux académiques sur l’évaluation et sur la gouvernance. L’article développe une nouvelle typologie organisant les façons dont on peut comprendre, mais aussi potentiellement gouverner, les activités d’évaluation ex-post. Il teste ensuite sa validité en l’appliquant à l’évaluation des politiques climatiques - un secteur particulièrement actif, où la demande et le nombre d’exercices d’évaluation ne fait que grandir, notamment en Europe. L’analyse révèle que cette typologie permet à la fois de penser l’évaluation différemment et de mettre à jour d’importants manques dans notre connaissance empirique des différents modes de gouvernances de l’évaluation des politiques publiques. L’article identifie le besoin d’un nouvel agenda de recherche qui développe simultanément une compréhension plus approfondie de ces pratiques d’évaluations et des options pour les gouverner.
Évaluer les interventions complexes: une approche basée sur la théorie et informée de manière réaliste – Boru Douthwaite, John Mayne, Cynthia McDougall et Rodrigo Paz-Ybarnegaray
Il est de plus en plus reconnu que les programmes qui cherchent à changer la vie des gens interviennent dans des systèmes complexes, ce qui induit es exigences particulières pour le suivi et l’évaluation des programmes (M&E). Développer des systèmes de M&E tenant compte de la complexité au sein des organisations est difficile car cela défie l’orthodoxie traditionnelle. Peu de choses ont été écrites sur l’expérience pratique de cette manière de faire. Cet article décrit le développement d’une évaluation tenant compte de la complexité dans le programme de recherche CGIAR sur les systèmes d’agriculture aquatique. Nous décrivons le modèle et les méthodes utilisées qui incluent l’estimation des tendances, les données de panel, les revues après action, la construction et le test des théories du changement, la mise en évidence des impacts et la synthèse réaliste. Nous identifions et nous décrivons un ensemble de principes de conception pour développer des M&E tenant compte de la complexité. Au final, nous discutons des leçons et des recommandations importantes pour d’autres programmes confrontés à des défis semblables. Celles-ci incluent le développement de modèles d’évaluation qui satisfont à la fois des exigences d’apprentissage et de redevabilité, l’intégration de l’évaluation comme élément d’une approche globale de l’obtention des impacts, et l’assurance que l’évaluation construit de manière cumulative une théorie utile de la façon dont différents types de programmes déclenchent un changement dans différents contextes.
L’évaluation: pratique discursive ou action communicationnelle ? – Robert Picciotto
La confiance du public dans l’analyse experte a toujours été faible. Les affirmations véhémentes non contraintes par la vérification des faits dominent la politique publique. Dans ce contexte opérationnel, l’évaluation est-elle obsolète ? Afin d’aider à réfuter cette proposition, cet article examine la relation entre l’information, le savoir et la politique à travers deux grilles politiques contrastées. D’abord, le modèle de pratique discursive de Michel Foucault: plutôt que de chercher la vérité, le pouvoir cherche à capturer l’évaluation, à formater le savoir et à pratiquer l’opportunisme linguistique pour accroître son autorité, diriger, sanctionner et punir. La conception de l’action communicationnelle de Jurgen Habermas est l’antidote à cet état de fait: elle défie la structure du pouvoir, célèbre la délibération démocratique, promeut l’indépendance de l’évaluation et fait ressortir les enjeux éthiques et l’intérêt public.
Utiliser les méthodes d’exploration de données online pour informer les évaluations formatives : une analyse des commentaires concernant la douleur chronique postés sous les vidéos de YouTube – Aude Bicquelet
En dépit du nombre grandissant des recherches dédiées à l’analyse des informations postées sur les réseaux sociaux, très peu d’études se sont concentrées sur la manière dont les données dites ‘naturelles’ pourraient informer les évaluations formatives en matière de recherche sur la santé. Cet article soutient que les techniques exploratoires d’analyse des données textuelles telles que les classifications hiérarchiques descendantes, l’analyse des regroupements et l’analyse des correspondances pourraient être utilisées (soit seules, soit accompagnées d’autres méthodes) dans l’évaluation des besoins concernant les problématiques relative à la Santé. Dans ce but, cet article présente une application de l’analyse des données aux commentaires concernant la Douleur Chronique postés sous les Vidéos de YouTube. Il en ressort que les forums online tels que YouTube sont riches en information difficile à obtenir par les techniques de recherche traditionnelles dans lesquelles les attentes sociales et la crainte du jugement peuvent influencer ce que les gens veulent dire. L’article soutient que les aperçus obtenus par la recherche sur les médias sociaux peut fournir une information substantielle importante pour les praticiens de santé.
Croiser les perspectives du capital social et de l’efficacité perçue pour expliquer la sous-performance dans le pilotage communautaire – Sara Dewachter et Nathalie Holvoet
Alors que le pilotage communautaire (CBM) devient de plus en plus commun, la connaissance empirique de son fonctionnement reste inconsistante. Basé sur un réseau villageois ougandais et des données d’enquête, cet article étudie la CBM dans la perspective du capital social et de l’efficacité perçue. Dans la perspective du capital social, le CBM semble prometteur dans la mesure où il existe un stock important de capital social et un réseau efficient de partage de l’information qui mobilise l’information pour un petit nombre d’individus clefs. Les profils dominants d’efficacité sont aussi un élément favorable dans la mesure où existent de nombreux “suiveurs” (avec une croyance forte dans les capacités collectives) et quelques “leaders” pour l’action collective (avec une croyance forte dans les capacités individuelles et collectives). Et cependant, peu d’activités CBM sont entreprises. Notre article montre que seul le croisement de ces deux grilles théoriques permet d’expliquer la sous-performance en CBM, quand les acteurs qui jouent un rôle central dans le réseau de partage de l’information n’ont pas un profil de leadership efficace et que les leaders ne sont pas au centre du réseau d’information du village.