Direction générale de l’éducation des adultes
Ministère de l’Éducation du Québec
sociologue, écrivain, journaliste et poète québécois.

L’État interventionniste:
l’évaluation qualitative.
L’analyse de contenu au seuil d’une nouvelle pratique.

Sainte-Foy, Qué., Université du Québec, Vice-présidence aux communications, mars 1984, 10 pp. Communication. Études no 19.

Résumé

Introduction [1]

I.  LA DIFFICULTÉ À RESOUDRE [2]

II.  L’AVANTAGE DE L’APPLIQUER [4]

Références [8]

Résumé

L'analyse de contenu, technique d'analyse de la communication, peut aussi s'employer en gestion lorsqu'il faut évaluer des programmes fondés pour l'essentiel sur des données qualitatives (opinions, attitudes, croyances, valeurs, idéologies, etc.). Il s'agit en ce cas de surmonter la difficulté de méthode qui rend l'analyse à codeur unique inapte à constituer un savoir cumulatif.

On s'est donc efforcé de développer un type de mesure, basé sur l'idée de transmission, apte à garantir que les rendements d'une grille d'analyse sont comparables en tous temps, que l'analyse soit menée par un seul codeur, par plusieurs en succession ou par une équipe. On remarque alors les emplois qui s'ouvrent à l'analyse de contenu au seuil d'une nouvelle pratique, en évaluation de programmes et des politiques sociales, notamment.

Descripteurs : ANALYSE DE CONTENU / ÉVALUATION DE PROGRAMMES PUBLICS / ANALYSE DE SYSTÈME / BIBLIOTHÉCONOMIE / INFORMATIQUE / BUREAUTIQUE / INFORMATION DE GESTION / RECHERCHE ÉVALUATIVE / DONNÉES QUALITATIVES / RELATIONS ÉTAT-CITOYEN / COMMUNICATION / THÉORIE DE L'INFORMATION /

Référence : Fournier, Richard. L'ÉTAT INTERVENTIONNISTE : L'ÉVALUATION QUALITATIVE - L'analyse de contenu au seuil d’une nouvelle pratique. Université du Québec. Communications. Etudes, No 19.

Sainte-Foy, Mars 1984. 10 pp.

Dépôt légal - 2ê trimestre 1985

Bibliothèque nationale du Québec

Bibliothèque nationale du Canada

ISBN 2-7628-0193-1

[1]

Introduction

L'analyse de contenu, technique d'analyse de la communication apte, entre autres, à détecter les changements sociaux [1], peut aussi s'employer en gestion lorsqu'il s'agit d'évaluer l'action interventionniste de l'État.

C'est du moins, l'idée que nous avançons ici, pour ce qui a trait, en particulier, à l'évaluation de programmes mous.

Nous désignons sous ce terme des programmes publics n'obéissant pas à des nécessités politiques évidentes pour tous et/ou difficiles à évaluer, étant fondés, pour l'essentiel, sur des données qualitatives (projets, opinions, attitudes, croyances, valeurs, idéologies, etc.) plutôt que sur celles habituellement associées à l'emploi de l'ordinateur en information de gestion : ressources humaines ou matérielles, mesures mécaniques ou physiques. Par exemple, le programme à la faveur duquel nous avons développé la méthode que nous présentons ici subventionne des groupes volontaires engagés dans l'éducation populaire ; mais on pourrait tout aussi bien penser à des programmes mous à propos d'un programme de formation en industrie, de prévention routière ou de développement communautaire, etc.

En contexte de société a somme nulle [2], d'autre part, de tels programmes publics acquièrent une autre caractéristique : on peut comprendre en effet que ces programmes sont aussi les premiers à faire les frais des mesures visant à retailler l'intervention de l'État. Mais cela se passe souvent sans que l'on soit mieux fixé, faute de modes d'évaluation permettant le savoir accumulé, sur leur raison d'être à ce moment qu'à celui, rétrospectivement, de leur naissance. "Dans la bureaucratie, comme l'observe A. Moles, les petites actions tendent a remplacer les grandes en les émiettant." [3]

[2]

Appliquée ainsi à des programmes de type qualitatif, la méthode de l'analyse de contenu recèle donc des conséquences tant pour la connaissance que pour la gestion. Afin de réaliser, par exemple, l'application ici expérimentée, il a fallu en effet surmonter une difficulté essentielle de la méthode. D'où le titre optimiste de cet article : L'analyse de contenu au seuil d'une nouvelle pratique.

I - LA DIFFICULTÉ À RESOUDRE

La méthode que nous avons été amené à développer est d'un emploi simple parce qu'elle résout un problème formulé simplement : comment évaluer 1'"objectivité" d'une analyse de contenu à codeur unique ?

À l'origine, c'est-à-dire dans les États-Unis de la fin des années 20, l'analyse de contenu consiste à appliquer à un matériau symbolique (film, entrevue, journal, rapport, questionnaire, texte de loi, conte, récit, formulaire, lettre, mémoire, etc.) les méthodes de l'analyse statistique sur des éléments de contenu découpés en unités de sens et rangés en classes par des codeurs, selon un système de catégories définies d'avance ou grille. [4]

On éprouvera progressivement les difficultés de la méthode, à mesure que s'en répand la pratique, aux côtés, surtout, de façons de faire subséquentes dont on pressent quelque peu la proximité : l'analyse structurelle en linguistique et l'analyse documentaire en traitement de l'information, notamment [5].

Mais une difficulté persistante porte sur l'analyse ne disposant que d'un seul codeur : lorsqu'il s'écarte de la grille, comment évaluer cet écart ou le biais au codage d'un codeur unique ? La question insiste d'autant plus que l'analyse à codeur unique, lorsque celui-ci coïncide avec le chercheur qui a construit les catégories, est, en somme, le modèle de toute analyse, compte tenu, en effet, que l'objectivité atteinte par une grille d'analyse n'est jamais, à la limite, que celle de l'institution ou du groupe qui l'applique par chercheur interposé [6].

La solution classique comporte une clé appelée coefficients de fidélité : il s'agit de contrôler le travail d'un codeur ou sa compréhension des catégories par la performance de ses pairs ou des responsables de la recherche [3] sur un matériel identique, en exprimant le résultat de ce contrôle par des rapports de proportion (les coefficients) [7]. L'opération peut prendre place au moment de choisir les codeurs, de les entraîner, de vérifier les catégories ou que se déroule l'analyse proprement dite, il reste que l'objectivité des normes du groupe s'arrête à l'idéologie du chercheur, et constitue de ce fait la limite invincible : "Aucun objet de conscience, aucun champ de conscience, comme le souligne par exemple J.-T. Desanti dans une réflexion sur l'être mathématique de la mesure (mathesis), ne peut s'apparaître à soi-même comme producteur des normes qui le constituent et le maintiennent comme objet." [8]

Sur cette base, notre idée pour mesurer le rendement d'un système de catégories fut de partir de la quantité moyenne de choix exercée par le codeur pour classifier une unité de sens, ou de la notion d'entropie d'une variable [9]. La méthode d'analyse que nous avions mise au point en 1983 faisait déjà reposer la mesure ou quantification du contenu sur des propriétés de la théorie des graphes [10] : il suffisait d'y rapporter la théorie de l'information d'où provient ici la notion d'entropie [11].

Il est apparu ainsi qu'on pouvait mesurer le biais au codage ou la "subjectivité" du codeur par la différence entre le coût du codage (ou le degré de complexité de construction d'une donnée) en bits, unité de mesure de l'information, et l'entropie, avec une situation d'"objectivité parfaite" dans le cas de l'égalité [12]. Un codage de 0,07 bits, par exemple, est ainsi prétendu plus conforme à la grille, donc d'une "objectivité" plus grande, qu'un codage de 0,17 bits.

Moins compliqué à calculer que le coefficient de fidélité habituel, ce type de mesure, basé sur l'idée de transmission, peut donc garantir que les rendements de la grille sont comparables en tous temps, que l'analyse soit conçue et menée par un seul codeur, par plusieurs se succédant sur la grille ou qu'elle soit réalisée en équipe. Une telle garantie est utile à plus d'un titre.

En premier lieu, elle permet l'analyse à codeur unique, pratique autrement peu fiable si l'on cherche à cumuler par ce moyen des données indépendantes de la conjoncture. On peut même penser, comme nous le verrons plus [4] loin, que la mesure de rendement que nous avons expérimentée s'insère alors avec profit dans le développement prévisible (bureautique, information de gestion, analyse documentaire, etc.) des organisations, tant publiques que privées, et des politiques de traitement de l'information à l'intérieur de celles-ci.

En second lieu, elle permet au scientifique praticien des sciences humaines de définir le processus d'objectivation des catégories en analyse de contenu dans les termes de la théorie générale des systèmes. Tout comme il en advient de la loi de Pareto en économie, par exemple, on voit donc se profiler ici des parentés (isomorphismes) entre l'analyse du discours et les sciences de la nature : physique, biologie [13].

Finalement, notre méthode s'applique à tout contenu symbolique, ce qui rencontre probablement la majorité des amas de données de type qualitatif qu'on aurait à organiser. Elle en tire, d'ailleurs, matière à s'y perfectionner. Reste à voir comment elle s'introduit dans l'évaluation de programmes.

II - L’AVANTAGE DE L'APPLIQUER

Pensons donc à la pratique des sciences humaines en gestion, par exemple à une étude de marché isolé, et posons la question essentielle : d'où proviennent les données qualitatives qu'on recueille ?

On est forcé de répondre que les données qualitatives, celles-là même qui se retrouvent dans un programme, s'enracinent sans cesse dans l'ensemble des habitudes de vie et des habitudes mentales des sujets ou partenaires du programme, bref, dans une culture.

Or, il faut en voir la physionomie : cette culture est rationalisée, technologique, et saisir la logique qui en ressort : le vécu est émietté, tant par l'idée bureaucratique que rappelait l'observation de Moles que par la rationalité économique plus large qui imprègne nos structures mentales. "L'économie permet l'élucidation d'une axiomatique du choix qui, fait remarquer à ce sujet le sociologue québécois Fernand Dumont, de celui-ci dégage des nécessités logiques plutôt que psychologiques ou historiques." Pas surprenant de trouver le vécu dispersé en une poussière d'actes : le choix devient "le lieu géométrique [5] des valeurs qui fait provisoirement de l'histoire (...) une sorte de texte neutre. La valeur apparaît paradoxalement comme une donnée."

D'où la prolifération, en son ordre, celui du politique, tant pour l'État que pour l'entreprise, du programme de type qualitatif : "L'opinion devient référence nécessaire dans la consommation, la participation oppose de plus en plus ses exigences à la rationalisation des conduites et des relations interpersonnelles." [14] À propos des intellectuels, l'économiste Joseph Schumpeter avait d'ailleurs une façon à lui de le dire : "À la différence de tout autre type de société, le capitalisme, en raison de la logique même de sa civilisation, a pour effet inéluctable d'éduquer et de subventionner les professionnels de l'agitation sociale." [15]

De là qu'on touche, finalement, le soin d'évaluer actions et programmes, la "poussière émiettée des actes" (Moles), à l'intérieur d'un processus de planification : "L'évaluation d'un programme, écrit par exemple l’architecte-urbaniste Jin Bak Pyun, peut alors être définie, de façon formelle, comme une recherche sur les conséquences qui ne se produiraient pas en l'absence du programme ou, encore, comme une recherche sur l'efficacité relative d'un programme par rapport aux autres possibilités. De façon substantielle, l'évaluation peut se définir comme un examen des implications distributives résultant des interactions complexes entre interventions publiques et marché privé. [16]

On aimerait évoquer là-dessus plus longuement cet exemple des programmes d'habitation au chapitre de l'intervention des gouvernements locaux. On y trouverait une justification empirique de notre méthode [17]. Comme on peut penser au processus de consultation des publics mis en place dans le cadre du Bureau d'audiences publiques sur l'environnement (BAPE) [18], voire 1'expérience-maîtresse de consultation, quasi l'archétype, du Bureau d'aménagement de l'Est du Québec [19]. Le modèle de ce genre d'exemples, en tout état de cause, comme en éducation, d'ailleurs, dans le domaine des loisirs ou dans celui du travail, renvoie en effet d'une façon ou de l'autre à l'idéologie du développement, et à ses avatars technocratiques, les notions de mutation [20] ou de modernisation [21].

Ce sont là autant d'indices : "Dans le système, résume un administrateur public, l'Administré se sent impuissant mais aussi dépendant" (P. Ripoche). Et de conclure l'auteur de ce diagnostic lapidaire : "Aucune amélioration ne [6] peut être attendue sans une ouverture active à l'administré (écoute, réclamation), à l'évolution du milieu et des techniques." [22] Bref, rien ne va plus, par delà les programmes (mous) d'amélioration des relations de l'État avec les citoyens, sans un retour des actions et programmes du gestionnaire public vers le puits des données qualitatives, la culture vécue.

À ce retour ou à cet approfondissement, sans doute, vont essayer de répondre de plus en plus les programmes dits qualitatifs et, en corollaire, la nécessité de trouver modes et techniques d'évaluation aptes à les intégrer au cycle administratif sans les laisser à la merci exclusive de la conjoncture et des expédients thématiques qu'elle inspire.

C'est de là que la méthode ici préconisée prétend, comme on l'indiquait, apporter sa contribution ; elle est mise au point, en tous cas, au moment où l'extension pressentie du traitement de l'information dans les organisations y suppose vraisemblablement la pratique sur une haute échelle de l'analyse à codeur unique, quand ce ne serait, par exemple, qu'aux postes de travail sur formulaires précodés. Car, avec la tendance aux programmes qualitatifs, n'est-ce pas, en définitive, la façon même de s'approprier la conjoncture qui est en train de changer sous nos yeux ?

Réfléchissant au contrecoup de l'informatisation des connaissances sur le statut des savoirs et de ceux qui les utilisent, au premier chef savants et décideurs, J.-F. Lyotard conclut, par exemple, à un déplacement du rêve pragmatique d'un accord entre les esprits ou de ce qu'à notre connaissance, les Américains des communautés pionnières de la Nouvelle-Angleterre nomment encore "the Meeting of the Minds". Désormais, le consensus, note ce philosophe français, "n'est qu'un état des discussions et non leur fin".

On n'a, pour nous, qu'à regarder le contexte de société que nous suggérions au tout début (la société à somme nulle) pour comprendre que c'est aussi notre conception de l'action qui écope : "Le consensus est devenu une valeur désuète, et suspecte, continue en effet notre observateur. Ce qui ne l'est pas, c'est la justice. Il faut donc parvenir à une idée et une pratique de la justice qui ne soient pas liées à celle du consensus." [23] Ce qui attribue au rôle de la conjoncture dans la décision une tout autre profondeur.

[7]

Si, en effet, jusqu'ici l'art de la politique consiste justement à donner à dire pour, en profitant de la conjoncture, donner à faire [24], le noyau solide de nos banques de données est plus que jamais de l'ordre du qualitatif, c'est-à-dire des significations et de leur analyse. Ici s'insère, instrument de connaissance autant que de gestion, l'analyse de contenu, appelée peut-être, de ce fait, à une pratique nouvelle.

Richard Fournier
Agent de recherche
Ministère de l'éducation du Québec

1^er mars 1984

[8]

RÉFÉRENCES

[9]

[10]