Abstract
Incrémentalisme radical – David Halpern et Danielle Mason
Ce texte plaide pour une stratégie d’’incrémentalisme radical’, une approche utile de l’aide à décision qui fait un usage approprié de l’évaluation. Il soutient que des petits changements incrémentaux, accompagnés d’évaluation ciblées à petite échelle, sont une approche sous-utilisée pour améliorer une politique de manière efficiente.
Mots clés : évaluation efficiente, petits changements, implémentation, fidélité
L’évaluation démocratique pour le 21° siècle – Robert Picciotto
La discipline évaluative a été mise depuis longtemps au service des valeurs démocratiques. Mais la pratique contemporaine de l’évaluation est menacée par des intérêts constitués, la démocratie occidentale est mise sous tension et l’internationalisation a introduit l’évaluation dans des États illibéraux et patrimoniaux. Que peut-on faire dans les contextes où la démocratie est absente et/ou l’évaluation est captée par des intérêts puissants, que ce soit au plan global, à l’intérieur des pays ou au sein des organisations ? Est-ce que les approches existantes de l’évaluation démocratique sont toujours pertinentes ? N’est-il pas temps d’essayer autre chose ? Cet article passe en revue les données et recommande l’adoption d’un modèle d’évaluation progressif conçu pour complémenter, mettre à jour et renouveler les démarches existantes d’évaluation à visée de démocratie et de justice sociale.
Mots clés : démarches d’évaluation, intérêts constitués, évaluation indépendante, autonomie professionnelle
Que faire si “ce qui marche” ne marche pas ? – Erika R. Lehmann
Cette contribution discute les risques et les bénéfices liés au fait de promouvoir la décision fondée sur des preuves empiriques. Il est se concentre particulièrement sur les risques d’une approche centrée sur les résultats; les risques particuliers de la préférence donnée aux protocoles expérimentaux; et sur les bénéfices d’une approche centrée sur les preuves empiriques.
Mots clés : critique, approches expérimentales, échantillon aléatoire, compte-rendu axé sur les résultats, rigueur, protocole fondé sur la recherche d’éléments de preuve, politique fondée sur des données empiriques
Interpreter le contexte: évaluer en généralisant à partir d’un cas unique – Helen Simons
Cet article présente un argument sur la manière de généraliser à partir d’une évaluation d’une programme ou d’une politique sociale fondée sur l’étude de cas unique, en se centrant sur deux éléments essentiels de l’étude de cas – le contexte et les particularités. En adoptant une perspective interprétativiste et en se fondant sur des manières humanistes et artistiques d’interpréter, il examine deux manières différentes de généraliser à partir d’un cas, qui prennent en compte une connexion avec le contexte où elles se sont présentées et comment nous généralisons à partir d’une confrontation directe avec une réalité particulière. Cet argument n’est pas nouveau. Il prend son origine dans les siècles passés et, pour ce qui est de l’évaluation contemporaine, dans les années 1970. Toutefois, dans un climat politique qui privilégie les démarches d’évaluation fondées sur les grands échantillons et les protocoles expérimentaux, il est temps de réaffirmer la valeur des généralisations à partir d’un cas unique. L’ancrage dans l’expérience réelle du programme et le maintien de cette connexion avec la particularité d’un cas et d’un contexte facilitent l’utilisation du savoir évaluatif.
Mots clés : étude de cas, étude d’évaluation, généralisation, qualitatif, contexte, particularisation, narratif, artistique, singulier, agence
Rémunération aux résultats au Royaume-Uni: état des lieux et directions futures pour l’évaluation – Fraser Battye
Au Royaume-Uni, la rémunération aux résultats (Pbr) est un élément central de la réforme du service public. Cette intention politique est mise en pratique à travers des programmes de conceptions et d’échelles diverses, dans de nombreux domaines de politique. Il existe peu d’évaluations complètes de ces programmes – bien que des résultats commencent à émerger – et les données empiriques font défaut. Ceci, joint à la force des impressions et aux confusions conceptuelles qui entourent ce sujet, a eu pour conséquence que le débat a souvent été activé et centré sur le point de savoir si « le Pbr marche ». Dans ce contexte, cet article examine le rôle de l’évaluation pour aborder le Pbr. Il soutient que l’évaluation doit être centrée sur l’explication (regarder à l’intérieur des programmes ; rationaliser et tester leurs théories) et l’amélioration (utiliser les constats pour améliorer les programmes, utiliser les théories pour mettre les programmes en perspective), afin de passer d’un débat en termes de « pour ou contre » à une discussion portant sur « quand, comment, pour qui et dans quelles circonstances ? ». L’article plaide pour une approche réaliste de cette entreprise, en partant d’un cadre illustratif des mécanismes et des effets supposés du PbR à des fins d’exploration et de développement.
Mots clés : évaluation, rémunération aux résultats, réforme du service public
La chasse au McGuffin : Vers une réforme continue de l’évaluation de programme – Saville Kushner
Cet article est centré sur le besoin actuel d’une réforme de l’évaluation et de ses usages – qui conduirait à mettre davantage l’accent sur le localisme, la généralisation à partir de petits échantillons, et l’observation directe des interactions liées au programme. Aucune de ces propositions n’est nouvelle, mais il est nécessaire de réinventer périodiquement les principes méthodologiques. Au fur et à mesure que l’évaluation a été internalisée par le système administratif, elle a été amenée à pratiquer la généralisation au-delà des différents contextes et à travers eux, cherchant à produire des affirmations au sujet d’un programme, un domaine ou une population, et assumant le fait que les résultats du programme constituent une mesure de sa qualité. Ceci sert les besoins d’information des managers et de la communauté des concepteurs des politiques – moins ceux des praticiens dont les généralisations sont souvent limitées à un contexte. Mais souligner cela revient à mettre en opposition deux formes de connaissance, une connaissance pour le contrôle et une connaissance pour l’action. L’évaluation est trop souvent enrôlée au service de la première. Un schéma rhétorique est utilisé pour distinguer la qualité du programme en tant que mesure du résultat, et la qualité du programme en tant qu’analyse rigoureuse des expériences et valeurs portées par le programme. C’est le ‘McGuffin’ d’Alfred Hitchcock – la visée d’une intrigue dénuée de pertinence mais qui donne sens à la chasse.
Mots clés : évaluation, réforme, localisme, méthodologie
Étude d’évaluabilité : réflexions sur une revue de littérature – Rick Davies et Lina Payne
En 2012, le ministère du développement international du Royaume-Uni a financé une revue de littérature sur les études d’évaluabilité, qui fut conduite par Rick Davies. Bien que cette revue ait été centrée sur le conseil pratique, les études d’évaluabilité ont un caractère problématique. Les études d’évaluabilité impliquent une couche supplémentaire de coût et de procédure. La diversité des approches de l’évaluation est un défi pour porter un jugement catégorique au sujet de l’évaluabilité. La portée d’un jugement d’évaluabilité peut-être surestimée. Les questions d’évaluabilité posées aux projets individuels ne s’appliquent pas aussi facilement à de larges portefeuilles de projets. Le but de cet article est d’accorder plus d’attention aux aspects problématiques des études d’évaluabilité. Il n’est pas de remettre en cause les principales conclusions du document de travail, qui encourageait sans ambiguïté un usage élargi des études d’évaluabilité.
Mots clés : évaluabilité, évaluation, conseil, revue de littérature
Ouvrir l’accès aux données administratives pour évaluer les services publics: le cas du Justice Data Lab – Fergus Lyon, Tracey Gyateng, David Pritchard, Prabhat Vaze, Ian Vickers et Nicola Webb
Les fichiers administratifs étant de plus en plus disponibles pour de nouveaux usages non administratifs, le besoin se fait sentir d’améliorer l’accès à ces ressources pour les associations et organisations communautaires, les entreprises sociales et les entreprises privées, à des fins d’analyse statistique et d’évaluation. Le Justice Data Lab crée par le ministère de la justice du Royaume-Uni constitue un exemple innovant de la manière dont les données administratives peuvent être reliées à d’autres données détenues par des organisations qui gèrent des services publics. L’établissement d’une unité au sein d’un dispositif sécurisé prenant en charge l’évaluation et l’expertise statistique a permis aux prestataires de programmes de prévention de la récidive d’obtenir des données comparatives sur les impacts de leurs interventions. Cet article analyse le développement du Justice Data Lab, les défis méthodologiques rencontrés et les expériences des utilisateurs de l’organisation. L’article en tire des implications pour le développement futur de centres de données et l’utilisation de données administratives pour l’évaluation des services publics.
Mots clés : évaluation, données administratives, services publics, crimes, délinquance, secteur associatif et communautaire
Évaluer les éléments de preuve – une évolution vers une évaluation plus réaliste: une étude de cas de l’Assistance sélective régionale en Écosse – Keith Hayton
Cet article examine la manière dont la pratique de l’évaluation peut s’améliorer afin que l’aide fournie aux décideurs consiste en une image plus exacte de la réalité évaluée. L’article examine plusieurs évaluations de la même intervention, l’Assistance sélective régionale gérée par Scottish Enterprise, l’une des deux agences publiques de développement économique en Écosse. Les hypothèses qui sous-tendent les évaluations ont changé au cours du temps. Les premières supposaient qu’il était possible d’évaluer une intervention isolément, en ignorant la configuration formée par le contexte, les mécanismes – dont l’évaluation réaliste fait ressortir l’effet sur les impacts. Les évaluations plus tardives reconnaissent implicitement ces facteurs. Toutefois, les évaluations ont produit des résultats différents, de sorte que les décideurs ont été confrontés à des vues différentes plutôt qu’à une triangulation débouchant sur un consensus. La conclusion est que les évaluateurs et les décideurs doivent accepter explicitement l’agenda de l’évaluation réaliste et prendre conscience du fait que la causalité est une question bien plus compliquée que ce qui est souvent admis. Cette prise de conscience pourrait être facilitée par une plus grande transparence des méthodes d’évaluation et l’utilisation de différentes approches pour évaluer la même intervention, de telle sorte que n’importe quel constat serait triangulé.
Mots clés : évaluation réaliste, politique régionale, triangulation, améliorier les pratiques