Justifier et préciser l'interprétation des données statistiques

Classer les données

Le classement, le codage ou la catégorisation des données quantitatives est un problème classique. Pour le présenter brièvement, j'emploierai le point de comparaison qu'offre le tirage d'urne. Le plus souvent, ce tirage sert de modèle de dispositif aléatoire ; mais, pour jouer son rôle efficacement, il prend appui sur des évidences, d'ordre linguistique, qui peuvent devenir problématiques lorsque le domaine d'application ne concerne plus les boules et leur couleur. Je me servirai donc ici de ces évidences comme d'un modèle de catégorisation ou de fonctionnement linguistique.

Dans des conditions normales, la couleur d'une boule est considérée comme une information factuelle reconnaissable par chacun de nous. D'un point de vue linguistique, il existe un standard pour l'utilisation du terme. Dans ce contexte, on dit souvent que la catégorie de couleur réfère à une propriété de l'objet ; on dit aussi que les mots employés signifient la chose physique qu'ils désignent.

J'appelle « l'idéal de la détection » la conception méthodologique selon laquelle l'identification de la propriété intéressante est garantie au moyen d'une définition qui offre des critères fixés et qui est associée à des procédures d'application standards. C'est une conception qui repose sur une image des relations unissant un terme descriptif à sa référence forgée sur le modèle du fonctionnement (quelque peu idéalisé, voir Wilson, 2008) des termes décrivant des attributs physiques. Elle suppose ou exige une rigidité de la définition du terme comme de son application.

J'appelle « l'idéal positif » des statisticiens d’État la conception, prolongeant la précédente, selon laquelle le standard de comptage doit (et peut) être défini par les responsables politico-administratifs. Critiquer le dénombrement administratif peut alors consister à montrer que l'identification des individus et de leurs propriétés est plus ou moins éloignée de celle supposée par cet idéal et que l'assemblage des cas sous un même label est hétérogène. Une version sceptique et radicale juge même utopique cette standardisation du comptage et s'attache à décrire l'inévitable multiplicité des standards à l’œuvre dans ce genre d'entreprise.

En 1950, aux États-Unis, l'économiste Morgenstern est un des premiers à développer cette double critique (Morgenstern, 1963). Dans les années 1960, des sociologues américains sont à l'origine des critiques les plus radicales (Kitsuse et Cicourel, 1963 ; Douglas, 1967 ; Cicourel, 1995 ; Garfinkel, 2007). D'autres enquêtes ont suivi (notamment McCleary, 1977 ; Altheide et Johnson, 1980 ; Atkinson, 1982). En France, des enquêtes de ce type se développent à la fin des années 1970 (pour un exemple récent, voir Lafabrègue, 2005).

Les écarts à l'idéal positif sont connus des praticiens qui tentent, depuis longtemps, de surmonter ce genre de difficultés (voir Brian et Jaisson, 2007 : 85-95 ; Baudelot et Establet, 1993, note p. 47 ; Volle, 1980). Aujourd'hui, certains d'entre eux défendent une version professionnelle de l'idéal de la détection : les modes de catégorisation peuvent rester obscurs, puisque l'expertise des professionnels garantit l'homogénéité des faits qu'ils assemblent sous le même label. L'étude des médecins du travail par Dodier fournit un exemple de classement statistique défendu ainsi (Dodier, 1993 : 243-338).

Lorsque la méthode du questionnaire est employée pour obtenir des informations individuelles dites « de statut », un problème similaire est mis en évidence. Dans le cas le plus favorable, les répondants s'attribuent une propriété en suivant un même standard de correction correspondant à celui officiel et résultant d'une « stabilisation » ou d'une « normalisation » de l'usage de la catégorie (Desrosières et Thévenot, 1992 ; Desrosières, 1993 : 16-19 ; Dupâquier, 1995 : 15-61). Dans le cas le pire, chaque répondant peut s’attribuer la caractéristique selon ses propres critères d’identité et ses propres consignes d’application : Cicourel (1974) illustre des aspects soulevés dans Cicourel (1964) ; en France, voir Peneff (1984), Merllié (1982, 1983) et Briand (1984).

En France, la conséquence la plus notable (ou massive) de l'attention au problème classificatoire est l'apparition d'études portant sur les classifications elles-mêmes (voir Merllié, 1993 ; Gollac, 1997 ; Chenu, 1997 ; Desrosières, 2003a). Cette thématisation est le signe d'une reconnaissance, relativement consensuelle, de l'existence de difficultés classificatoires importantes ou intéressantes. Pour les statisticiens d'Etat ou ceux chargés de passer un questionnaire, décider si la catégorie est correctement appliquée est (au moins en principe) un problème central. Si la boule tirée est bleue, elle est codée comme étant bleue et la proposition : « cette boule est bleue » est vraie. L'interprétation ou l'attribution des propriétés sémantiques est un second problème, découlant normalement de la résolution du premier, mais qui a reçu beaucoup moins d'attention.

Standardiser la signification des données subjectives

Une bonne transition entre le problème classificatoire et celui ayant trait à l'interprétation des données statistiques est la catégorisation des données d'opinion. Le mode de recueil de la subjectivité, fondé sur le sondage par questionnaires, s'est progressivement reposé sur une conception méthodologique que j'appelle « l'idéal du stimulus standard », dont l'américain Hyman a été le principal défenseur dans les années 1950 (Hyman, 1975). Le chercheur mise sur la standardisation des rôles, des procédures et des questions pour s'approcher d'une situation dans laquelle les répondants réagiraient aux mêmes stimulations de leur subjectivité.

Les critiques peuvent montrer que la standardisation est loin d'être effective, notamment parce que les travailleurs développent leurs propres normes (Roth, 1965) ou s'écartent, pour le bien de l'enquête, de celles exigées (Peneff, 1988), ou bien parce que les répondants adoptent divers styles comportementaux (Phillips, 1973 : 17-67). La qualité des données ainsi obtenues (ou du travail des enquêteurs-codeurs) peut être évaluée au moyen de techniques statistiques. Mais, même lorsque la fidélité semble suffisamment bonne, la validité des données demeure problématique : recueille-t-on ce qu'on veut recueillir ? Selon quel standard pourrait-on l'évaluer ?

Ce genre de critique était orienté au départ contre l'étude des attitudes à partir de sondages par questionnaires et de techniques d'analyse des données. Mais il menace les études de tout autre sorte d'entité mentale : par exemple, aujourd'hui, le « différenciateur sémantique » (Méry, 2008) s'expose à des critiques semblables.

Deux analogies sont à la base de ce que Hyman nommait la « standardisation de la signification » et les deux sont difficiles à justifier. La première consiste à envisager les questions de signification selon le modèle de la relation (de référence) entre un nom et une chose; c'est-à-dire, selon les évidences linguistiques associées à l'idéal de la détection. La seconde analogie consiste à considérer que s'auto-attribuer un état mental serait une activité gouvernée par des standards de correction (comme l'est l'attribution d'un nom de couleur lors d'un tirage de boule). Dans les années 1940-50, psychologues et sociologues ne définissaient pas le problème en ces termes. Quelques philosophes, en premier lieu Wittgenstein, critiquaient les bases de ces analogies (Wittgenstein, 2004, § 1-3, pp. 27-29 et § 246-48, pp. 137 ; voir aussi Travis, 2003 : 196-202).

On pourrait appeler le « mesurage privé » l’activité consistant à nous attribuer nous-mêmes une caractéristique selon des standards indéterminés. Si la passation d’un questionnaire s’est déroulée de manière standard, si le répondant a manifesté les comportements typiques de celui qui a compris la question et si une réponse est récoltée, alors dire : « Untel a répondu cela », c’est exprimer un fait (vrai). Mais le répondant a-t-il compris la question et l'enquêteur a-t-il compris la réponse ? Comment évaluer cette compréhension ? Dans le cas d’une mesure privée, vérifier la réponse n’a pas de sens : il n'existe pas de moyen de constater l'information par une autre source. Hyman, conscient du problème, le formulait en disant que la mesure est liée à l'instrument de manière indissociable (et faisait l'analogie avec la physique quantique). Wittgenstein aurait dit que cette réponse ne décrit pas la subjectivité : elle exprime un état d’âme (Rosat, 2006).

Par ailleurs, si, en réponse à une question, l'individu a le choix entre des symboles apparemment ordonnés (par exemple, « très satisfait – satisfait – pas satisfait – pas du tout satisfait »), l’analyste est enclin à dire qu’il n'a pas seulement recueilli telle information, mais qu’il a mesuré pour chaque individu une intensité (de satisfaction). La controverse dite « des niveaux de mesure » avait un caractère sémantique clairement affiché par ceux qui l'avait soulevée. Mais elle a peu mobilisé les sociologues (voir toutefois Cicourel, 1964 : 7-38 ; Duncan, 1984 : 119-156 ; et, pour une synthèse, Hand, 1996).

Confondre les propriétés du symbolisme avec les propriétés des objets symbolisés est une source constante de difficultés. La catégorisation des données subjectives pose de sérieux problèmes, notamment parce que se trouvent mêlés le problème classificatoire et les questions d'interprétation.

Interpréter les données récoltées

Une fois que l'analyste pense avoir réglé le problème classificatoire, que les données soient « de statut » ou « subjectives », il cherche à interpréter le fait qu’un individu possède (ou non) la caractéristique ; c’est-à-dire, évoque d’autres propriétés sémantiques de celle-ci (outre le fait qu'elle est vraie pour l'individu). Il dit par exemple : « posséder cette caractéristique c’est être ainsi » ou « c'est être enclin à agir de cette façon », « le fait de répondre cela signifie que l’individu a telles autres caractéristiques », « par sa réponse, il veut dire que… », etc. Utiliser une information comme un indicateur (symptôme, signe, etc.) relève d’attributions ou de raisonnements de cette sorte. L’attribution de propriétés sémantiques est une affaire délicate, les postulats interprétatifs sont en général non explicités et l'attribution est souvent injustifiée.

Par exemple, que dire d'une intention d'agir recueillie par questionnaires ? L'estimation des intentions de vote est un modèle accompli, mais il existe une épreuve de vérité socialement organisée (le vote) et, de ce point de vue, c'est un cas spécial. L'interprète peut-il raisonnablement déduire, à partir de déclarations d'intention, l'existence, passée ou à venir, du comportement en question ? Ce genre d'interprétation (ou de prévision) a été très clairement critiqué au moment où les sondages d'opinion se développaient. Dès les années 1930, l'étude de LaPiere est exemplaire et montre que la déduction est injustifiée, au moins dans un cas examiné en détail, et qu'elle entraîne des erreurs importantes (LaPiere, 1934).

Certains statisticiens, lorsqu'on leur demande un avis critique, peuvent défendre un argument semblable : par exemple, en 1953, l’expertise du Rapport Kinsey sur les pratiques sexuelles (Cochran et al., 1953). Ces statisticiens jugent imprudente la déduction qui permet à Kinsey et ses collaborateurs de parler des pratiques sexuelles alors qu'ils n'ont recueilli que des restitutions verbales de pratiques.

Pour Blumer, Garfinkel et Cicourel, la décontextualisation des informations conduit à une interprétation ou à une attribution de propriétés sémantiques injustifiée (Blumer, 1956 ; Garfinkel, 2007 : 297-323 ; Cicourel, 1974). Ils montrent qu'il existe souvent une divergence entre le point de vue du répondant et ceux de l'enquêteur, du codeur ou de l'analyste. Ces auteurs emploient un argument critique qu'on pourrait appeler « l'argument de l'attribution naturelle » : seule une attribution raisonnable compte tenu des circonstances de la production de l'information peut conduire à une description ou une explication pertinente (fidèle aux points de vue des acteurs). Pour les informations d'origine administrative, connaître l'attribution naturelle revient à étudier l'organisation qui produit ces informations ou les divers usages que les individus en font. Pour les sondages par questionnaires, retrouver cette attribution naturelle revient à reconstituer une sorte d'arrière-plan en cherchant des informations annexes ; cette recherche dépend des objectifs de l'enquêteur et son résultat reste parfois irrémédiablement attaché au contexte de l'entretien.

Garfinkel et Cicourel défendent ce que j'appelle une conception « contextualiste » de la signification, bien différente de l'idéal positif ou de celui du stimulus standard et qui me semble avoir été quelque peu édulcorée par de nombreux commentateurs français.

Rendre inoffensif le contextualisme et clarifier l'expression des résultats

Rares ont été les praticiens à prendre en compte les questions sémantiques de type contextualiste. Des méthodologues (par exemple, Hindess, 1973 ; ou Pawson, 1989) ont pensé que, en raison de la pertinence de ce genre d'argument, il fallait développer des théories qui ne reposeraient pas sur le point de vue et le langage ordinaires des enquêtés. A ma connaissance, ce programme ambitieux (déjà esquissé dans Cicourel, 1964), qui privilégiait l'axiomatisation des théories, n'a pas eu d'application. Je présenterai trois types de solution ou de réponse effective aux problèmes soulevés ici, en montrant qu'ils engendrent à leur tour des difficultés relatives à la signification de l'interprétation sociologique elle-même.

En France, des études se sont explicitement inscrites dans le programme qu'avaient élaboré Kitsuse et Cicourel, mais ont adopté une approche de type socio-historique et institutionnel. Briand, Chapoulie et Peretz, à propos des études fondées sur l'analyse des taux de scolarisation, distinguaient les statistiques comme « pratiques » et celles comme « données » (Briand et al., 1979). Une solution constructive, quoique rare, a consisté à changer la destination des analyses : les données administratives sont interprétées comme des informations utiles pour comprendre les comportements (des agents) de l'institution lorsqu'elle interagit avec son public.

Il me semble que, au moins depuis leur article de 1979, Briand et al. ont porté un intérêt constant à ce genre de solution (par exemple, Chapoulie, 1987 : 9-55 et 341-49 ; Briand et Chapoulie, 1992 ; Chapoulie, 2010). En matière de statistique criminelle, les travaux d’Aubusson de Cavarlay, par exemple, partagent avec les précédents une attention aux variations socio-historiques du processus de traitement institutionnel (par exemple, d’Aubusson de Cavarlay, 1996 et 2007).

L'analyse du traitement institutionnel peut devenir un préalable à l'emploi des statistiques comme « données » (voir, par exemple, l'analyse de la « démocratisation » dans Chapoulie, 2010 : 513-32). Mais, en général, l'objet central étudié est un « processus institutionnel » (une offre et non une demande) : par exemple, la scolarisation définie comme « produit de l'interaction entre une institution (l'école) et une population (scolarisable) » (Briand et Chapoulie, 1992 : 449). Les taux de scolarisation ne servent pas ici d'indicateurs du comportement des familles, ce qui rend à la fois complexe la formulation des résultats et particulièrement imprudent tout raisonnement portant sur les familles indépendamment de l'offre scolaire.

Une manière plus littéraire de formuler la distinction précédente revient à relever l'ambiguïté de type indice-signe des données institutionnelles. Par exemple, selon le point de vue adopté, la donnée du diplôme peut signifier tantôt l'aptitude (intéressante) de son possesseur, tantôt le résultat d'une évaluation (intéressante). Autrement dit, l'information initiale est définie soit comme un indice (objectif), soit comme un signe. Comme signe, le diplôme acquiert une signification en rapport avec un ensemble d'actions intelligibles dont la description est à la charge du sociologue.

Un cas exemplaire d'approche sociologique (non historique) exploitant cette polysémie est l'étude de l'inégalité des chances par Bourdieu et Passeron, surtout dans Les héritiers (Bourdieu et Passeron, 1964) ; voir aussi Bourdieu et al. (1965), première partie. L'originalité de leur perspective peut être formulée ainsi : la réussite scolaire varie selon les dispositions culturelles du groupe d'appartenance parce qu'elle est le résultat d'un jugement sanctionnant ces dispositions ; ou encore parce que « le jugement scolaire est un jugement social ». Mais ce que recouvrent désormais les expressions « réussite scolaire » et « jugement social », c'est-à-dire la variable à expliquer et le processus explicatif, est difficile à déterminer précisément.

L'étude des évaluateurs et de leur « pédagogie implicite » conduit à mettre en évidence certaines aptitudes prises en compte dans le mode d'évaluation des étudiants. Réussir un examen signifie alors : manifester certaines aptitudes socialement acquises, scolairement sanctionnées mais non explicitement enseignées. Cette dernière proposition est étayée par des données quantifiées, des observations et des entretiens. Mais, à aucun moment, les auteurs n'ont l'objectif, ou ne se donnent les moyens, de décrire des aptitudes acquises à l'école ; ou encore de distinguer les étudiants travaillant « sérieusement » des autres ou bien les bons pédagogues des mauvais ou encore les modes d'évaluation qui dépendent d'un « jugement social » de ceux qui n'en dépendent pas ou peu. Une approche a inévitablement des points aveugles. Un lecteur pourrait noter, dans le discours global des auteurs, certains flottements et reprocher à Bourdieu et Passeron d'avoir négligé de préciser l'inévitable redéfinition sociologique de ce que signifie, dans leur interprétation, la variable à expliquer ou l'évaluation scolaire.

Plus abstraitement, lorsque la catégorisation de la variable à expliquer est jugée non triviale, le processus de catégorisation a une fonction explicative, certes partielle puisque le sens même de la variable dépend du processus mis en évidence. L'intégration de ce processus à l'explication globale et la description de celui-ci rendent plus complexe la compréhension des conclusions sociologiques. Une attention portée à la manière dont l'ambiguïté indice-signe est résolue conduit à un éclaircissement utile de l'interprétation sociologique ; ce qui réduit en retour la portée des conclusions, mais précise leur objet.

Pour les données d'opinion ou de pratique récoltées par questionnaires, si l'objectif est de rester à peu près fidèle à l'interprétation des répondants (ce qui peut être objet de controverses), alors il faudrait distinguer deux sortes de problème. D'un côté, l'analyste devrait rendre inoffensives la multiplicité et l'imprévisibilité potentielles des « attentes d'arrière-plan » associées à chaque réponse et faire l'hypothèse que, à l'occasion de la passation, certaines logiques communes d'interprétation ont probablement été employées. C'est une version modérée et pluraliste de ce que j'ai appelé plus haut le « holisme de la signification ». De l'autre, et pour étayer cette hypothèse, il serait préférable d'identifier différentes définitions socialement constituées et effectivement mobilisées par les répondants. Bien qu'il n'expose pas le problème en ces termes, Bourdieu a adopté, dans L’amour de l'art (Bourdieu et Darbel, 1969), une démarche qui rend plausible l'idée selon laquelle les « non réponses » ou le contenu des réponses expriment des logiques sous-jacentes, propres à certains groupes et différentes d'un groupe à l'autre.

On peut formuler ainsi la « loi statistique » mise en évidence : le taux de fréquentation des musées varie selon le niveau d'instruction des individus. Compte tenu du fait que le niveau d'instruction combine ses effets avec ceux du niveau d'instruction des parents et ceux de la profession des parents, une sorte de loi sociologique, étayée par les régularités précédentes, peut être formulée de cette façon : la fréquentation des musées varie selon le niveau culturel des individus, le niveau culturel recouvrant leur niveau d'instruction et leur classe sociale d'appartenance.

Bourdieu illustre alors l'hypothèse selon laquelle le niveau culturel engendre des attitudes ou des représentations collectives. Pour les plus démunis, un sentiment d'indignité (Bourdieu et Darbel, 1969 : 89), d'incompétence et de « désarroi respectueux » (Bourdieu et Darbel, 1969 : 85) s'exprime en référence à « ceux qui savent » ou à ce qu'ils définissent comme une norme de légitimité culturelle. Les plus cultivés, quant à eux, sont enclins à mettre en avant leur jugement personnel ou un rapport intime aux œuvres ; c'est-à-dire, à promouvoir « l'idéologie du don et de l'oeil neuf » (Bourdieu et Darbel, 1969 : 93). Ces attitudes différenciées s'expriment lors de la passation. Elles agissent comme des biais déclaratifs ou des styles comportementaux. Selon le niveau culturel du répondant, une même question ou des réponses formellement identiques peuvent donc avoir été comprises de manières différentes et plausibles. L'interprétation qu'en fait Bourdieu est presque systématiquement orientée par ces attitudes générales différenciées (Bourdieu et Darbel, 1969 : 26-27 et 84-87).

L'approche offre à la fois une explication du phénomène (la fréquentation des musées) et une orientation univoque des informations présentées. Même s'il privilégie d'autres approches, un sociologue pourrait reconnaître que ces résultats sociologiques sont particulièrement élaborés et qu'ils décrivent des faits (vrais ou vérifiables), tout en reconnaissant que ces résultats restent néanmoins difficiles à formuler précisément, étant relatifs à des objectifs, une démarche et des postulats particuliers.

Par exemple, Bourdieu fait l'hypothèse qu'une aptitude artistique, acquise par familiarisation, ressemble à la capacité typiquement scolaire (et littéraire) de nommer et classer les auteurs, les œuvres, les écoles et les époques ; et qu'elle est nécessaire à la compréhension des œuvres (et donc au développement du goût pour l'art). Alors que, dans ses travaux sur les étudiants, il appréhendait la donnée du diplôme comme un signe (d'un mode d'évaluation inégalitaire) plutôt que comme un indice (d'aptitude scolaire), il construit ici une mesure d’aptitude ; c'est-à-dire, un indice objectif de compétence artistique : diverses méthodes (statistiques, entretiens ou observations) font office de tests d'aptitude (Bourdieu et Darbel, 1969 : 70, 83 et 91). Son argumentation a besoin de mobiliser un indice objectif (de portée nationale), ce qui restreint le sens qu'il convient d'attribuer à l'expression « compétences artistiques », mais permet en retour de mieux comprendre le contenu des conclusions de l'enquête (comme le souhait de Bourdieu de voir l'art enseigné à l'école).

Un sociologue pourrait, en revanche, chercher à rendre compte de l'existence de divers modes d'évaluation indigènes, comme l'a fait Halle en étudiant la décoration intérieure d'un ensemble de familles américaines de différentes classes sociales (Halle, 1993). Si on compare les considérations des habitants aisés avec celles suggérées par L'amour de l'art, on voit la part négligeable que semblent y jouer les compétences savantes artistiques : il me semble qu'il n'y a, dans cette comparaison, ni contradiction, ni réfutation, mais plutôt un éclaircissement.

La stratégie interprétative de Bourdieu repose sur une conception taxinomiste des connaissances : comprendre, c'est savoir identifier, distinguer et classer. Quelques années plus tard, dans La distinction, il adopte une approche structurale et définit les répondants comme des taxinomistes. L'analyse factorielle lui sert à justifier le nouveau sens qu'il attribue désormais aux réponses. Les individus sont des « classeurs classés par leurs classements » et les préférences déclarées dans les questionnaires sont définies comme l'expression, quasi spontanée ou irréfléchie, de leurs compétences de classeurs. Le succès qu'a connu cette approche n'est pas sans lien avec le développement de l'étude des classifications. Elle vise des objectifs plus proches de ceux de l'analyse de discours, de type formel et statistique, que des préoccupations contextualistes.

Conclusion

Il me semble que l'intérêt pour le problème classificatoire a finalement conduit beaucoup d'analystes à sous-estimer trois points : la variabilité des interprétations (ou des usages) de ces classements par les individus ; les difficultés que pose la recherche de leurs interprétations effectives (ou des conditions dans lesquelles cette variabilité peut être tenue pour limitée) ; enfin, les conséquences, pour la compréhension des résultats, des postulats interprétatifs du sociologue.

Les études socio-historiques du traitement institutionnel, l'analyse du processus de catégorisation d'une variable définie comme signe plutôt qu'indice ou encore la détermination, sociologiquement justifiée, de certaines logiques de réponse aux questionnaires sont peut-être ce que la sociologie française a proposé de plus convaincant au regard des difficultés que soulève une conception contextualiste.

J'ai présenté cette conception comme une bonne synthèse, d'ordre sémantique, des critiques portées à l'encontre de l'interprétation des données quantifiées. Mais il est aisé de voir qu'elle menace toutes sortes d'approches sociologiques dont les données dépendent du langage ordinaire et dont un des objectifs consiste à saisir et restituer le discours des enquêtés.

Cette conception peut aussi conduire à reconnaître un autre genre de problème rarement étudié. Rendre inoffensif le contextualisme suppose en effet de justifier des stratégies interprétatives qui aboutissent, le plus souvent, à une interprétation finale, globale et univoque de données polysémiques. Ces stratégies restreignent inévitablement le sens des données comme celui des conclusions, mais restent souvent à l'arrière-plan de l'exposé des résultats quantifiés. Cet arrière-plan est difficile à préciser, pas seulement parce qu'il est désagréable de réduire la portée de ses conclusions, mais aussi parce que les termes (ordinaires ou techniques) qu'emploient les sociologues pour présenter leurs résultats traduisent souvent mal ce genre de restriction. Autrement dit, les critiques contextualistes pourraient constituer une incitation à clarifier le discours sociologique lui-même.