Abstract
Le programme d’évaluation des écoles portugaises: une approche sociologique de la participation des acteurs sociaux – Luísa Veloso, Pedro Abrantes et Daniela Craveiro
Cet article analyse, en tant que construction sociale, l’actuel programme portugais d’évaluation des écoles mis en œuvre depuis 2006 dans toutes les écoles publiques. L’article se concentre sur un sujet particulier en cours d’évaluation externe (la participation des acteurs sociaux dans la vie scolaire), ainsi que sur la perception qu’ont les directeurs des écoles du processus d’évaluation. Notre recherche est basée sur une analyse du contenu des rapports des évaluations scolaires menées dans trois régions différentes (Lisbonne et la Vallée du Tage, Alentejo et Algarve) et sur une série d’entretiens semi-directifs avec les directeurs et les présidents des Conseils d’École de 20 écoles. Bien qu’il soit important d’examiner le programme d’évaluation à la lumière des tendances politiques internationales (par exemple le ‘New Public Management’), il semble également pertinent de comprendre l’impact d’une telle politique sur les écoles. Notre article vise à mettre en évidence les apports de cette approche pour une réflexion plus large sur les processus d’évaluation.
Mots clés : Évaluation externe, écoles, acteurs sociaux, participation
Utiliser l’analyse qualitative comparative pour comprendre les problèmes complexes d’action publique – Tim Blackman, Jonathan Wistow et Dave Byrne
Cet article montre comment utiliser l’analyse qualitative comparative (QCA) pour comprendre ce qui marche dans le traitement des problèmes complexes d’action publique. Il se fonde pour cela sur l’exemple de la lutte contre les taux élevés de grossesses chez des adolescentes dans les zones défavorisées. QCA est une méthode prometteuse pour produire des preuves dans des situations où les interventions interagissent avec les contextes, ce qui permet de discerner les enchaînements causaux à partir d’une analyse de la manière dont des ensembles de conditions se combinent avec des effets particuliers – en regardant par exemple si les inégalités dans les taux de conception se réduisent ou non comparées à la moyenne anglaise. Un large échantillon d’analyses de données secondaires, documentées en collaboration avec des praticiens, a été exploré pour identifier les conditions qui montrent une relation avec les résultats. Appliquer le processus QCA de réduction logique a rendu possible l’identification d’ensembles de cas. Deux ensembles avec réduction des inégalités et trois sans réduction sont présentés, montrant qu’il existe plusieurs voies pour atteindre ou non un résultat et que les conditions se combinent souvent pour causer un effet. Bien que basé sur la comparaison systématique entre les cas, cet article démontre l’importance du jugement et de l’interprétation dans le QCA.
Mots clés : analyse qualitative comparative, complexité, inégalités en matière de santé, gossesses chez les adolescentes, questions sans issue
Élaborer la configuration contexte-mécanisme-effet dans l’évaluation réaliste : une perspective critique-réaliste – Denise E. de Souza
Cet article veut contribuer à la discussion méthodologique initiée par Pawson et Manzano-Santaella (2012). Il propose une élaboration possible du ‘trio des composants explicatifs’ (Pawson and Tilley, 1997: 77) utilisé en tant que stratégie dans l’évaluation réaliste – la configuration contexte-mécanisme-effet (CMOc). Cette approche détourne temporairement l’attention des programmes sociaux pour se concentrer sur les contextes d’action préexistants et les mécanismes liés qui peuvent y être opérants. Elle s’appuie sur le schéma conceptuel et théorique fourni par le modèle transformationnel de l’action sociale (TMSA) de Roy Bhaskar et élaboré ultérieurement par Margaret Archer dans le cadre de la théorie social-réaliste : l’approche morphogénétique.
Mots clés : évaluation réaliste, réalisme critique, configurations contexte-mécanisme-effet, théorie social-réaliste
La logique de l’efficacité du développement : est-il temps pour la communauté évaluative élargie d’y faire attention ? – Robert Picciotto
Cet article traite de la dimension évaluative de l’efficacité du développement. Il défend l’idée que, au prix de quelques raffinements, le critère d’efficacité forgé dans le champ du développement international pourrait être utile dans d’autres domaines de la pratique évaluative. De manière plus spécifique, les critères et outils largement utilisés dans le champ de l’évaluation du développement reflètent des leçons de l’expérience durement gagnées. Ils ont démontré leur valeur dans divers environnements opérationnels. Ils se sont montrés résilients face aux changements dans les doctrines politiques. Ils sont applicables à des évaluations de projet, de programme et de politique. Enfin, ayant supplanté les mesures centrées sur les inputs et les résultats (plutôt que sur les effets et impacts), ils sont en phase avec les positions qui mettent l’accent sur les résultats et les preuves, qui ont actuellement la faveur des décideurs tant dans les pays riches que dans les pays pauvres.
Mots clés : développement, efficacité, efficience, impact, pertinence, soutenabilité
Vers une évaluation tenant compte du genre Pratiques et défis dans l’évaluation du développement international – Julia Espinosa
L’égalité des genres a été introduite dans l’évaluation du développement international voici deux décennies. Au fil des années, différentes expériences ont été conduites pour incorporer les enjeux du genre aux différentes phases du processus évaluatif. Cet article passe en revue les pratiques des agences de développement international basées sur les études de méta-évaluation et les travaux les plus pertinents publiés par les organisations internationales. L’article explore également ce que signifie mener une évaluation tenant compte du genre en se fondant sur des contributions féministes et différentes options méthodologiques. Enfin, l’article décrit le défi clef de l’incorporation de la perspective du genre dans l’ensemble du processus évaluatif.
Mots clés : évaluation du développement international, évaluation tenant compte du genre, processus évaluatif, agences de développement international
Les défis de la contamination dans les évaluation des interventions dans le domaine de l’enfance – Orla Doyle et Claire Hickey
La contamination se produit dans les programmes sociaux lorsqu’un groupe de contrôle bénéficie activement ou passivement d’une partie ou de la totalité des interventions à l’intention du groupe de traitement. Alors que la contamination est considérée comme une menace potentielle pour la validité interne d’une évaluation, il existe peu de preuves de l’ampleur et de la prévalence de la contamination dans les programmes sociaux, ni du degré auquel elle peut biaiser les estimations de l’efficacité du programme. Le but de cet article est de documenter les défis de la contamination pour un certain nombre d’interventions dans le domaine de l’enfance en cours d’évaluation en Irlande par une méthode expérimentale ou quasi-expérimentale. L’article documente les expériences visant à traiter la contamination aux niveaux de l’encadrement professionnel, des parents et de l’enfant, et de la diffusion. Il décrit les méthodes utilisées pour minimiser la contamination et les procédures utilisées pour la mesurer. Enfin, les conséquences de la contamination pour la mise en œuvre du programme et pour le protocole de recherche sont discutées.
Mots clés : Contamination, protocole expérimental, protocole quasi-expérimental, intervention dans le domaine de l’enfance
Un nouveau regard sur la logique d’intervention des Fonds structurels – Veronica Gaffey
Dans les années 1990, la commission européenne initia le programme MEANS pour guider l’évaluation des programmes socio-économiques, et premièrement ceux financés par les Fonds structurels. Cette initiative a développé une logique d’intervention qui est restée en place jusqu’à ce jour.
La direction générale pour la politique régionale et urbaine a récemment jeté un regard neuf sur ce cadre logique. Nous l’avons examiné sur la base d’expériences accumulées au cours de trois périodes de programmation : du point de vue d’une évaluation rétrospective approfondie de la période de programmation 2000-2006 :: du point de vue du compte-rendu sur la performance courante des programmes en cours : et du point de vue de la conception d’une politique pour 2014-2020 avec une orientation plus forte vers le résultat. La conclusion de ce travail est que notre logique d’intervention n’a jamais été entièrement claire. Nous ne pouvons pas, en pratique, distinguer entre un effet direct à court terme (résultat) et un effet indirect de plus long terme (impact). Nous n’avons jamais réellement mesuré des impacts définis de cette manière.
Avec l’accent mis de manière croissante sur les impacts dans la littérature internationale et les développements concernant l’évaluation de l’impact – défini comme le “changement qui peut être attribué de manière crédible à une intervention”, nous réalisons que nous avons besoin de clarifier notre logique d’intervention. Cet article résume les expériences de la Direction générale pour la politique régionale et urbaine et ses propositions pour une ré-articulation de la logique de nos interventions et de la terminologie que nous utilisons à cet effet.
Mots clés : résultats, effets, impacts, indicateurs, logique d’intervention