L’analyse de contribution pour évaluer l’impact de la démarche ÉIS sur les processus décisionnels municipaux : un choix méthodologique intéressant ?

Évaluer l’effet d’une ÉIS

Par la nature complexe d’un système urbain, divers facteurs sociaux, économiques, politiques et physiques interagissent et affectent les multiples facettes du développement, dont la santé de la population (6–8). La prise de décisions des acteurs municipaux est également soumise à l’influence de facteurs personnels et interpersonnels, tels que les valeurs, les connaissances, les priorités et les ambitions de chacun (1,6).

De ce fait, l’appréciation des effets d’une démarche d’ÉIS sur le processus décisionnel des acteurs municipaux pose un défi de taille :

À ce jour, trois cadres d’analyse ont été proposés pour guider l’évaluation d’impact des ÉIS.

Si ces cadres d’analyse mentionnent l’importance de considérer le contexte au sein duquel une ÉIS est réalisée, aucun d’entre eux ne suggère comment développer une compréhension claire des facteurs qui influencent les résultats d’une ÉIS. Cet article vient combler cette lacune en explorant une approche méthodologique qui non seulement favorise l’identification de facteurs contextuels, mais permet d’en déduire le degré d’influence pour chaque ÉIS étudiée.

L’analyse de contribution

Lorsqu’on cherche à évaluer les effets d’une intervention dont la portée est largement marquée par son contexte, ce qui s’avère au sein d’une municipalité, certains auteurs recommandent l’utilisation de l’analyse de contribution (AC) (7,8,12–15). Cette approche évaluative basée sur la théorie propose un cheminement itératif structuré qui vise à construire un argumentaire logique et plausible permettant d’établir de façon systématique des liens de causalité entre une intervention et un enchaînement prévu de résultats (7,8,14–17). L’AC tient compte de la multitude d’influences possibles en permettant de repérer et de documenter les facteurs contributoires à l’efficacité de l’intervention (12,15,16). En d’autres mots, l’AC aide à comprendre comment une intervention fonctionne, pourquoi elle fonctionne et dans quels contextes (8).

L’AC se fonde sur quatre étapes fondamentales :

Évaluer les démarches d’ÉIS à l’échelle municipale en Montérégie, Canada

La Direction de santé publique (DSP) de la Montérégie collabore depuis 2011 avec des municipalités intéressées, sur une base volontaire, à entreprendre une démarche d’ÉIS. Le modèle implanté en Montérégie s’appuie sur une stratégie de soutien à la prise de décision et est conduit en mode collaboratif avec les décideurs locaux (modèle logique de l’ÉIS, Figure 1). Un projet de recherche évaluative, financé par les Instituts de recherche en santé du Canada (IRSC) et le Fonds de recherche en santé - Québec (FRSQ) (No. demande : 318769; PHE-201404), a été amorcé en février 2015 à la DSP de la Montérégie, afin d’explorer les effets que 12 démarches d’ÉIS ont eus sur le processus décisionnel des acteurs municipaux pour favoriser une meilleure prise en compte de la santé dans les projets et les politiques développés. Une description détaillée de la démarche d’ÉIS appliquée en Montérégie et du projet de recherche est présentée par Nour et al. (18).

OPEN IN VIEWER

Figure 1.

Logique d’intervention du modèle d’implantation des ÉIS en Montérégie (QC, Canada). Au haut de la figure : modèle logique. Au bas de la figure : exemples de mécanismes d’influence de l’ÉIS sur le processus décisionnel des acteurs municipaux.

Faisabilité de l’AC

Nos observations indiquent que l’AC, telle qu’appliquée dans le cadre de ce projet de recherche, offre un cadre structuré qui nous amène à explorer l’ensemble du contexte au sein duquel se réalisent les ÉIS (Figure 1). Cette grande qualité de l’AC répond aux recommandations en ce sens retrouvées dans la littérature (9,11).

La principale force de l’AC est liée à l’importance qu’elle porte à l’identification d’EA et des mécanismes d’action qui sous-tendent l’effet des facteurs d’influence (15–17). Trop souvent, lors de l’application d’approches évaluatives basées sur la théorie, une attention minimale est accordée à l’identification d’explications alternatives (17,20), ce qui induit le développement d’une théorie du programme simpliste et mène à l’élaboration de constats partiels sur l’histoire de contribution (17). L’identification d’EA est d’ailleurs considérée par plusieurs auteurs comme une condition sine qua non pour développer une compréhension exhaustive du contexte dans lequel une intervention est implantée et démontrer hors de tout doute que cette dernière est l’une des principales causes des résultats observés (7,17). Cette étape représente donc la clé pour formuler des hypothèses rigoureuses sur le rôle de l’ÉIS pour influencer le processus décisionnel des acteurs municipaux.

En ce qui a trait à la participation des acteurs locaux, au moins un représentant municipal (conseiller municipal ou professionnel) impliqué dans la démarche d’ÉIS a pu être rencontré dans chaque ville, permettant d’obtenir l’information nécessaire au développement de l’histoire de contribution. Les intervenants de santé publique ont été très participatifs et leur appui a été particulièrement favorable, voire nécessaire, à la conduite des autres activités de collecte de données auprès des municipalités.

Modifications apportées à la collecte de données

Certaines limites ont été observées par rapport au recrutement de participants. Dans deux des municipalités à l’étude (2 et 3), les maires en poste n’ont pas accepté de prendre part à la première ronde d’entrevues prévue à l’étape 2 de l’AC. Il a également été impossible de réaliser la deuxième ronde d’entrevues (étape 5) dans les municipalités 1 et 2, alors qu’il était souhaitable d’approfondir certaines données clés. Des horaires surchargés, la multiplicité des projets menés par les différents acteurs et le remplacement (suite à des élections) de l’équipe municipale initiatrice de l’ÉIS ont été identifiés comme principales limites à la participation. Pour y faire face, des entrevues individuelles téléphoniques ont été organisées lorsque possible (étapes 2 et 3) et la recherche de preuves additionnelles s’est principalement appuyée sur l’étude de documents supplémentaires et l’échange de courriels avec les participants (étape 5). Ces adaptations ont permis de minimiser l’investissement en temps requis de la part des participants, tout en conservant les opportunités prévues pour approfondir adéquatement l’histoire de contribution.

Un changement a également été apporté à l’ordre d’application des étapes de l’AC : les étapes 2 et 3 n’ont pas été menées de façon séquentielle tel que prescrit, mais plutôt par un « va-et-vient » constant entre la collecte et l’analyse des données. Les données collectées dans le cadre de la deuxième étape servaient donc à atteindre le but de l’étape trois, et vice versa. De ce fait, la vérification de l’atteinte des résultats prévus permettait de nourrir l’identification de nouvelles EA, lesquelles entraînaient à leur tour des retours confirmatoires sur les indicateurs identifiés. Cette modification a permis de réduire au maximum les demandes répétitives d’information effectuées auprès de chacun des participants.

Modifications apportées au processus d’analyse de données

De sérieuses limites méthodologiques ont été observées concernant l’évaluation du degré d’influence des EA identifiées. Ce constat rejoint les conclusions d’autres auteurs (16,17,21). Pour y remédier, deux stratégies méthodologiques ont été incorporées à l’approche de l’AC pour faciliter et systématiser le processus d’analyse de l’information.

Premièrement, l’AC offre peu de repères pour guider l’analyse des discours des participants. Nous avons donc suivi les recommandations de l’approche argumentaire (21), en portant une attention particulière aux marqueurs linguistiques témoignant d’un changement ou d’une relation de causalité (22,23) :

La théorie liée à l’identification des mécanismes d’action qui sous-tendent la chaîne prévue de résultats a été clarifiée dans la littérature (24,25) (voir Figure 1 pour un exemple simple de mécanismes d’action identifiés dans le cadre de ce projet).

Deuxièmement, le Cadre d’évaluation du degré d’influence (CÉDI) (traduction des auteurs du Relevant Explanation Finder initialement proposé par Lemire et al. (16)), a été appliqué pour guider et systématiser l’évaluation de chaque EA sur la chaîne de résultats. Le tableau 3 décrit les six composantes du CÉDI tel qu’appliqué dans l’évaluation des ÉIS en Montérégie et présente deux exemples de facteurs d’influence analysés.

OPEN IN VIEWER

Tableau 3.

Cadre d’évaluation du degré d’influence (CÉDI) des explications alternatives (EA) (17, 18)

Identification + description des facteurs qui constituent l’EA	Description de l’EA			Degrés d’influence					Conclusion
	2. Type d’influence(15,17,25)	Niveau d’influence	Éléments de preuve	Certitude	Robustesse a	Prévalence a	Portée a	Fondements théoriques
Énoncé de l’EA identifiée	Explication principale OURival : Direct : l’EA influence de façon négative l’impact des ÉIS;Combiné à l’intervention : influence d’une intervention similaire coexistant avec la principale;-D’implantation : qui peut modifier les résultats; ouThéorique : une autre théorie pouvant exprimer les résultats observés;	Individuel : lié au potentiel et aux capacités des acteurs clés (intérêts, attitude, etc.);Interpersonnel : relations essentielles pour appuyer le programme(communication, gestion, etc.);Institutionnel : (culture, leadership, etc.),(Infra)structurel (appui(s) de politique(s), disponibilité budgétaire, etc.);	Éléments permettant de prouver ou de réfuter l’existence de l’EA analysée. Ces éléments peuvent provenir des sources suivantes :TémoignagesObservationsDocuments municipauxThéorie (littérature grise ou scientifique)	Degré selon lequel le résultat observé correspond à la prédiction du mécanisme :Faible : différence majeureMoyen : certaines différencesFort : faible ou aucune différence	L’EA analysée contribue de manière significative à l’enchaînement de résultats.Indicateur : proportion des sources d’information qui montrent que l’EA a influencé le résultat selon ce qui a été prédit en 2e colonneFaible : < ¼Moyen : ¼ – ¾Fort : > ¾	Répétition de l’EA au sein des sources de données comme étant facteur ou mécanisme contributoire à l’atteinte des résultats.Indicateur :proportion des sources de données où cette EA est mentionnéeFaible : < ¼Moyen : ¼ – ¾Fort : > ¾	Éventail de résultats influencés par l’EA :Proportion des résultats affectés par l’EA :Faible : n’affecte que les résultats à court termeMoyen : affecte les résultats à court et moyen termeFort : affecte tous les résultats (court, moyen et long terme)	Un fondement théorique crédible et rigoureux sous-tend l’analyse de l’influence de l’EA :Faible : Non testé dans les études localesMoyen : Des études de cas existentFort : Des études expérimentales ont permis d’en prouver l’influence	La conclusion finale par rapport à l’influence effective d’une EA sur la prise de décision
Acteurs-clés absents de la démarche d’ÉIS	Rival direct	- Personnel -  Interpersonnel	Recensé dans :• Témoignages• Observations•  Théorie	Faible (le résultat à court terme n’est pas atteint pour ces acteurs)	Fort	Fort	Fort	Fort	Pourrait expliquer l’échec de l’ÉIS
Manque de suivi par le CSSS	D’implantation	-  Institutionnelle	Recensé dans les témoignages	Moyen	Moyen	Fort	Moyen	Faible	Son effet négatif peut être atténué par la motivation des acteurs municipaux

a

La catégorisation en quartiles est inspirée de la suggestion de Lemire et al. (2012) et Biggs et al. (2014) (voir Table 2, p. 222).

CSSS : Centre de santé et de services soiaux; EA : explications alternatives; ÉIS: l’évaluation d’impact sur la santé

Pour chaque ÉIS évaluée, la liste des EA a été épurée au maximum en utilisant les critères de sélection suivants :

La structure rigoureuse du CÉDI permet d’effectuer une évaluation transparente du degré d’influence à accorder aux EA (15) : si l’influence d’une explication donnée est faible, l’EA est écartée. La simplicité de l’échelle de mesure utilisée permet d’articuler le processus déductif et de consolider les conclusions tirées quant à la force de l’influence à attribuer à chaque EA. Ceci a donc pour effet de rehausser le degré de fiabilité des postulats et de l’histoire de contribution développés.

Toutefois, on peut noter une simplicité excessive au niveau de la catégorisation (faible, modérée ou forte) des composantes de mesure du degré d’influence (colonne 5). Il serait intéressant, voire nécessaire, d’approfondir les recherches pour préciser la pondération et, ainsi, minimiser les risques d’interprétation subjective du degré d’influence à accorder aux EA analysées. En ce sens, le QuIC (Quality and Impact of Component) Evidence Assesssment (26) propose une stratégie de mesure d’impact en sept étapes qui mérite certainement une attention plus approfondie.

Efficacité de l’AC

L’utilisation de l’approche de l’AC a pour objectif d’établir des associations entre l’intervention per se, soit la démarche d’ÉIS, et l’augmentation de l’importance accordée à la santé dans le processus décisionnel des acteurs municipaux. L’analyse de cas nous pousse à conclure que, grâce à l’AC, nous avons pu postuler une théorie du changement, identifier les hypothèses et les risques favorisant ou menaçant l’enchaînement des résultats prévus par ce postulat, identifier les EA qui sous-tendent les mécanismes d’action et les mettre à l’épreuve pour en déduire la force d’influence sur le processus décisionnel des acteurs municipaux.

Nous estimons que d’autres méthodes de collecte et d’analyse de données n’auraient pas permis de dresser un portrait aussi exhaustif du contexte au sein duquel les démarches d’ÉIS ont été réalisées. Les études randomisées, bien qu’elles puissent amener à établir des relations causales, ne peuvent être réalisées en présence d’impératifs non contrôlables, tels qu’un changement de mairie ou une nouvelle loi imposée. Les études qualitatives plus traditionnelles, quant à elles, mettent souvent de l’avant une triangulation simple des données qui permet certes de valider certains résultats, mais contribue peu au développement d’une histoire de contribution.

Les cadres d’analyse généralement utilisés pour évaluer les effets des ÉIS (9-11) n’offrent pas de repères pour déterminer le degré d’influence de chaque facteur contextuel. La combinaison de l’AC et du CÉDI, telle que présentée dans le présent article et ailleurs (15), permet de combler cette lacune.

Selon nos observations, l’efficacité de l’AC repose en grande partie sur la crédibilité des constats issus de l’analyse des données, laquelle s’appuie sur deux grandes forces méthodologiques de l’approche. La première est liée à la rigueur de la collecte et de l’analyse de données, principalement grâce à l’utilisation de trois différentes stratégies de triangulation (27,28):

La deuxième grande force de l’AC est liée à sa structure globale, c’est-à-dire, à ses six étapes. Cette structure est basée sur une constante rétroaction entre la théorie postulée et les données collectées, ce qui crée un enchaînement par lequel la « théorie modifie l’analyse tout comme l’analyse modifie la théorie » (30). Une telle séquence favorise l’enrichissement du postulat de l’histoire de contribution en procurant maintes occasions de réfléchir sur les mécanismes d’actions identifiés et, au besoin, d’en établir de nouveaux.

Les limites affectant l’efficacité de l’AC

Certaines limites affectent toutefois l’efficacité de l’AC. Tout d’abord, cette approche méthodologique repose sur une solide maîtrise des concepts de la théorie de l’intervention et des mécanismes d’action (17,30,31). Sans une bonne définition initiale de ces processus, souvent abstraits, il devient difficile de procéder à l’identification des EA. L’AC requiert donc de solides bases théoriques et il est important d’investir le temps nécessaire pour réaliser adéquatement les étapes 1 et 2. Une certaine lourdeur peut donc se faire sentir à ce niveau.

Par ailleurs, il est évident que le processus de validation proposé par l’AC est exigeant, particulièrement pour les acteurs municipaux. Ces derniers se trouvent au cœur de la collecte de données et sont sollicités à répétition pour l’acquisition de documents (étapes 1 à 3), la conduite d’entrevues (étape 2) et la recherche de preuves additionnelles (étape 5). Les trois cas étudiés dans le cadre de cet article touchent des villes de tailles petite et moyenne. Dans ce contexte, on observe un important manque de ressources, un roulement de personnel, des problèmes au niveau de la numérisation de l’information, voire même certaines difficultés à communiquer par courriel. Ces contraintes ont tendance à complexifier et à rallonger la période de collecte de données.