|
[7]
L’évaluation sociale :
savoirs, éthique, méthodes.
Actes du 59e Congrès de l’ACSALF 1991.
 Introduction
Par Judith Légaré et Andrée Demers
Le terme évaluation recouvre différentes réalités. Pour plusieurs, l’évaluation est d’abord un champ de savoirs et de méthodes scientifiques ; pour certains il réfère à la notion de contrôle administratif ou encore de technocratie ; pour d’autres à celle de démocratie ou de transparence. De façon générale, on peut dire que l’évaluation comporte toujours l’idée d’un retour de la société sur elle-même : elle pose la question de l’articulation entre les diverses dimensions de la production des connaissances, les connaissances ainsi construites et le progrès social et économique. De plus en plus, l’évaluation veut s’imposer (ou être utilisée) comme nouvelle forme de régulation du social, inscrite au cœur des rapports entre la science et la-société et entre la science et le politique.
Des grands débats qui traversent les sciences sociales contemporaines, et particulièrement la sociologie et l’anthropologie, tels la remise en question des postulats positivistes, le questionnement sur le rôle des sciences sociales, sur la place de la recherche appliquée ou sur les mérites respectifs des approches quantitative et qualitative, trouvent un écho dans la recherche et les pratiques évaluatives. L’évaluation aux États-Unis, et de plus en plus en France, fonde des courants de recherche particulièrement riches et formant un champ constitué de savoir. À cet égard, la sociologie et l’anthropologie québécoises font figure de parents pauvres, tardant à reconnaître dans l’évaluation ce champ fertile et virtuellement utile d’application des connaissances qu’elles contribuent à développer.
Pourtant, l’évaluation est une réalité de plus en plus omniprésente au Québec, bien qu’elle ne soit pas toujours identifiée comme telle. Ainsi, les grandes commissions d’enquêtes, les commissions parlementaires ou les consultations publiques sont autant de mécanismes [8] de retour sur elle-même que se donne notre société et qui, à ce titre, sont autant de formes d’évaluation. On constate donc que l’évaluation ne se développe pas en vase clos et qu’elle reflète une tendance à l’« autoquestionnement » dans notre société. Les révélateurs de l’importance grandissante de l’évaluation au Québec sont nombreux et variés : plusieurs ministères se sont dotés de leur direction de l’évaluation ; au plan de la formation universitaire, plusieurs disciplines (psychologie, travail social, administration de la santé, éducation...) intègrent des cours sur l’évaluation à leur curriculum régulier. L’idée de l’évaluation qui a graduellement envahi les pouvoirs publics tend maintenant à se retrouver dans les entreprises à travers l’approche de « qualité totale » ou à travers des programmes de Recherche et Développement (R&D).
La place des anthropologues et des sociologues
Paradoxalement, alors qu’aux États-Unis et en France les anthropologues et sociologues investissent de plus en plus le champ de l’évaluation et ont même participé à modeler ce champ (voir les travaux majeurs de M.Q. Patton, de C. Weiss, d’É. Monnier), au Québec ils demeurent absents comme groupes disciplinaires. Malgré tout, les diplômés d’anthropologie et de sociologie sont nombreux à faire de l’évaluation... mais beaucoup y sacrifient leur identité professionnelle : les évaluations relèvent encore plus d’une vision économique ou de gestion que d’une vision sociale.
Cette marginalité des disciplines anthropologique et sociologique dans le champ québécois de l’évaluation donne lieu à un phénomène encore plus inquiétant socialement : plus la portée des décisions devant découler de l’évaluation sont d’ordre macro ou sociétal, plus elles relèvent du niveau central de décisions - chasse-gardée des gestionnaires -, plus les évaluations sont de type coûts-bénéfices, au détriment de préoccupations proprement sociales ; à l’opposé, les évaluations qui questionnent le bien-fondé et la portée sociale des politiques, des programmes ou des services, se font presqu’exclusi- vement au niveau local ou régional, là où le pouvoir est absent. Et c’est surtout à ce second niveau que sont mises à profit les approches [9] anthropologique et sociologique, sur une base individuelle et sans l’appui des regroupements disciplinaires.
Dans ce champ où la docimologie, l’épidémiologie, le génie et l’économie ont fait leurs belles heures, on note actuellement une montée des sciences de la gestion. Ailleurs dans le monde, cette culture de gestion est aussi très présente, mais on constate dans la littérature évaluative, tant française qu’américaine, une évolution marquée vers des préoccupations de pertinence, de validité sociale, d’utilité sociale comme questions d’évaluation, dépassant ainsi les strictes questions d’efficacité, d’efficience et de rentabilité économique des approches de gestion.
Si on considère que l’évaluation sociale englobe tout ce qui contribue dans une société à constituer les savoirs sur elle-même - savoirs qui orientent son développement - les sociologues et les anthropologues ont certainement un rôle déterminant à y jouer, particulièrement à ce moment de leur histoire au Québec où ils cherchent un lieu où exercer une influence sur la problématisation et la construction du social. Aux États-Unis les approches et méthodes de l’anthropologie appliquée et de l’ethnologie sont de plus en plus utilisées et diffusées pour évaluer les dynamiques et les processus en jeu dans la définition et l’insertion de projets ou de programmes de changement. On ne se contente plus d’examiner des relations causales entre l’implantation d’un programme et la modification de comportements ou de situations mais on cherche à développer une compréhension des phénomènes sociaux et de leur construction. Comme le rappelle très justement Vinck (1991), il n’est pas possible défaire appel aux règles impersonnelles de la procédure expérimentale pour éviter le compte rendu sociologique de la production des faits (p.15).
Les enjeux de l’évaluation
Ce colloque de l’Association canadienne des sociologues et anthropologues de langue française intitulé « L’évaluation sociale : savoirs, éthique, méthodes » a permis d’aborder les enjeux de l’évaluation sociale à travers trois thématiques fondamentales et convergentes : les fonctions sociales de l’évaluation, les questions de [10] normativité et d’éthique et les fondements épistémologiques des choix méthodologiques en évaluation.
Les fonctions sociales de l’évaluation
L’évaluation visait historiquement à soutenir la rationnalisation des choix sociaux et budgétaires des grandes bureaucraties par le caractère systématique des données qu’elle permettait de recueillir sur le social. Quel rôle la recherche et les pratiques d’évaluation ont-elles joué et jouent-elles encore à cet égard ? Sont-elles un support et renforcent-elles le contrôle étatique sur la définition même de ce qui constitue un problème ? L’évaluateur est-il d’abord un technocrate dont le mandat est de définir « scientifiquement » et d’alimenter une vision étatique du social pour en faciliter la gestion ? Sa position force-t-elle à le considérer à la solde des institutions qu’il contribue à- légitimer ? Où son rôle se rapproche-t-il davantage de celui d’un agent de changement ? Le plus souvent commandité par l’État, il occupe une position de pouvoir par rapport aux « clientèles-cibles » des politiques et programmes, mais n’est-il pas aussi un porte-parole des besoins réels des citoyens qui devraient être à la base des décisions politiques ? Les résultats d’évaluation ne sont-ils pas des renseignements d’ordre public qui devraient permettre une plus grande transparence et ultimement devenir des instruments d’exercice de la démocratie ?
Normativité et éthique en évaluation
Le design de l’évaluation, les questions qu’elle soulève et la démarche de l’évaluateur sont porteurs de valeurs et de normes implicites ou explicites quant à ce qui est souhaitable ou désirable pour les citoyens qui constituent les sujets de l’évaluation. Mais l’évaluation n’est-elle pas plus qu’un terrain idéal de validation des théories élaborées en sciences sociales ? La responsabilité de l’évaluateur n’est-elle pas très lourde face à la définition de la norme comme fondement de la comparaison évaluative et à son imposition ? Devrait-on démocratiser la construction de cette norme ?
Fondements épistémologiques
des choix méthodologiques
Quelles connaissances les choix méthodologiques posés permettent-ils de développer ? Ces connaissances relèvent-elles de la réalité des acteurs en présence, de la vérité de l’évaluateur ou de [11] celles des intervenants ou des gestionnaires ? Les méthodologies des sciences sociales appliquées par les évaluateurs permettent-elles d’atteindre l’objectivité dont elles se réclament ? Et cette objectivité, si elle est possible, est-elle souhaitable ? Les choix méthodologiques posés par l’évaluateur reposent-ils sur leur capacité à rendre compte des réalités des participants impliqués ou ne relèvent-ils pas trop souvent du confinement à sa compétence méthodologique et à son incapacité à sortir de ses propres définitions du réel ? Quelles sont les forces et les faiblesses des méthodes selon le contexte et les questions d’évaluation ? Les statistiques suffisent-elles pour rendre compte du changement social ? Quelle place doit-on faire aux critères scientifiques de validité, de fidélité et d’objectivité et aux critères pratiques de pertinence, de crédibilité et d’utilité dans les choix méthodologiques ? La triangulation des méthodes est-elle réalisable et même souhaitable, ou n’est-elle qu'une utopie ?
L’apport du colloque
Dans son ensemble le colloque a permis de faire avancer la réflexion sur ces questions. Plusieurs conférenciers ont rappelé que, à l’instar de tout autre objet d’étude, l’objet d’évaluation est un construit. L’évaluation suppose le choix d’objets à évaluer et la formulation de questions d’évaluation. Or, ces choix d’objets et ces questions sont des faits sociaux qui traduisent les préoccupations et les intérêts de certains acteurs et peuvent servir à camoufler, voire à légitimer, des décisions posées a priori (voir le texte de Bernard). Déterminer ce qui doit être évalué et poser les questions d’évaluation n’est donc pas neutre et participe à la définition des orientations de la société (Corin). En attirant l’attention sur certaines questions, l’évaluation en occulte d’autres (Lavoie et al. ; Massé ; Lévesque). Ainsi, actuellement dans les pouvoirs publics, la rentabilité sociale disparaît au profit de la rentabilité économique.
Le choix des méthodes d’évaluation n’est pas plus neutre que celui des questions posées. Bien que les méthodes doivent découler de celles-ci, dans certains secteurs où l’évaluation est particulièrement développée, les méthodes ont préséance sur les questions. Ainsi, au niveau des pouvoirs publics centraux, l’évaluation se présente [12] comme indissociable des méthodes d'engineering social (la méthode présentée par Fournier, prise à un premier niveau, peut en être un exemple) ; dans le secteur de la santé, c’est l’épidémiologie qui domine les choix évaluatifs (Lavoie et al.). Sans glisser ici dans un sectarisme disciplinaire infertile, il faut bien constater que ces méthodes portent un éclairage partiel sur un réel morcelé et ne permettent pas de saisir les politiques, les programmes, les biens ou les services évalués comme des productions sociales, devant être « jugées » comme telles. Les textes de Béland et al. et de Massé reprennent ces questions à travers des approches différentes, Béland et al. prenant pour point de départ l’approche épidémiologique avec ses devis quasi-expérimentaux et le rôle de l’évaluateur dans la construction théorique du problème, et Massé prenant appui sur l’approche anthropologique.
De plus, la crédibilité et le rôle de l’évaluateur sont liés a ses choix méthodologiques (Chelimsky). Ceux-ci reposent sur un ensemble de présupposés épistémologiques, notamment face au réel et au réalisme à viser l’objectivité, face à la connaissance à développer par la démarche d’évaluation et à la place de la « vérité » des acteurs en présence. La position de l’évaluateur comme acteur ou comme observateur suscite aussi la réflexion (voir différents aspects de cette question dans les textes de Corin ; de Allard ; de Demers ; de Béland et al.). Les mérites et les limites des deux principaux paradigmes évaluatifs, le paradigme normatif (associé aux sciences sociales) et le paradigme empirique (associé aux sciences naturelles), sont discutés dans le texte de Mireille Levesque, en référence au secteur de l’éducation.
La diffusion des résultats d’évaluation constitue également un enjeu. Selon la perspective adoptée, selon les exigences du commanditaire, selon le choix des méthodes, selon la position épistémologique de l’évaluateur, l’évaluation peut se limiter à une fonction de gestion du social en portant un jugement final, ou prendre une fonction d’agent de changement par la rétrocession de la connaissance à ceux qui sont évalués, souvent en privilégiant un feed-back continu. Si l’évaluation se veut émancipatoire, l’évaluateur doit rester attentif à la façon dont ce rôle se joue, en évitant de se substituer [13] à certains acteurs, notamment aux intervenants ; il doit être le porte- parole de tous les acteurs et non d’une seule position. Reste que la position de l’évaluateur est souvent ambiguë, comme le rappelle Pierre-Gerlier Forest, au confluent du politique et du scientifique, avec comme résultat que son auditoire privilégié dans sa stratégie de diffusion des résultats sera souvent sa propre communauté.
L’évaluation comme processus de production de connaissances, qu’il repose avant tout sur des critères scientifiques ou politiques (Forest ; Allard), peut constituer un objet de recherche anthropologique ou sociologique, notamment en s’interrogeant sur « qui » et « comment » on définit l’objet à évaluer, le choix des critères qui orienteront la décision et la norme implicite ou explicite qui servira d’étalon (pour une étude sur les valeurs, voir Martel et al.). Les processus de négociation et de controverse à travers lesquels cette définition émerge prennent alors une importance particulière. Les textes de Beauchamp et de Limoges soulignent d’ailleurs le rôle des controverses dans la construction de l’éthique. Pour Limoges, la controverse constitue en elle-même un processus informel d’évaluation.
L’évaluation peut également devenir un champ de pratique important pour les sociologues et les anthropologues. Depuis les débuts de la remise en question de la légitimité de leur action, les pouvoirs publics tendent à institutionnaliser l’évaluation scientifique en l’insérant dans un processus de rationalisation des choix politiques et budgétaires. Dans ce rôle, anthropologues et sociologues peuvent aussi aborder l’évaluation comme un lieu d’action sociale et tenter d’infléchir la définition des objets d’évaluation et le choix des méthodes et ainsi influer sur les orientations de société qui en découlent. La quatrième génération de l’évaluation définie par Guba en 1989 se construit largement autour de la mise en évidence des processus sociaux à l’œuvre dans la construction et dans l’implantation ou la diffusion des objets à évaluer. Le texte de Denis Allard aidera le lecteur à saisir l’évolution de la place du social dans l’évaluation. Mais cette nouvelle approche de l’évaluation trouve encore peu de résonnance (ou plus justement de « raisonnance ») auprès des gestionnaires ; on pourrait d’ailleurs se demander quelle est la responsabilité des évaluateurs dans cet état de fait.
[14]
Enfin, l’évaluation soulève la question de l’utilité sociale des connaissances produites en anthropologie et en sociologie pour orienter les pratiques sociétales. Ultimement, les choix évaluatifs participant à valider certains acteurs et à en invalider d’autres (Demers ; Forest), il est important que les sociologues et anthropologues assument une juste part de la responsabilité sociale de la définition du « problème » tout autant que les gestionnaires, politologues et épidémiologues. À cet égard, le texte d’Ellen Corin met en évidence leur rôle d’élargissement des cadres d’évaluation, au-delà de l’objet à évaluer, à l’ensemble social où se situe cet objet.
L’évaluation constitue donc un enjeu à multiples facettes pour les chercheurs et praticiens québécois de la sociologie et de l’anthropologie et permet une cristallisation des débats : le rôle des sciences sociales dans la société, qui peut se définir, dans le champ de l’évaluation, comme la relation dialectique entre le support à la gestion technocratique du social et le support à la négociation entre divers groupes d’acteurs sociaux ; les problèmes éthiques que pose la recherche appliquée en situation réelle, notamment la question de la normativité qui fait actuellement l’objet d’une réflexion collective chez les évaluateurs ; les questionnements épistémologiques et théoriques qui fondent des choix méthodologiques en sciences sociales dont la pertinence n’est pas toujours démontrée ; la grande difficulté de l’interdisciplinarité à laquelle les problématiques sociales complexes d’aujourd’hui confrontent la sociologie et l’anthropologie et à laquelle se butent les chercheurs d’appartenances disciplinaires diverses dans le champ de l’évaluation ; finalement les conflits paradigmatiques qui recouvrent et englobent cette ébullition et se retrouvent au cœur des enjeux de l’évaluation sociale contemporaine.
Judith Légaré et Andrée Demers
[15]
RÉFÉRENCES BIBLIOGRAPHIQUES
GUBA, Egon G., et Yvonna S. LINCOLN (1989) Fourth Generation Evaluation, Newbury Park, Sage Publications, 296 p.
MONNIER, Eric (1987) Évaluations de l’action des pouvoirs publics - Du projet au bilan, Paris, Economica, 176 p.
PATTON, Michael Quinn (1978) Utilization-Focused Evaluation, Beverly Hills/London, Sage publications, 305 p.
PATTON, Michael Quinn (1980) Qualitative Evaluation Methods, Sage Publications, Beverly Hills.
PATTON, Michael Quinn (1982) Practical Evaluation, Beverly Hills, Sage, 320 p.
VlNCK, D. (1991). Gestion de la recherche. Nouveaux problèmes, nouveaux outils, DeBroeck, 567 p.
WEISS, Carol H. (1983a) « The Stakeholder Approach to Evaluation : Origins and Promise », New Directions for Program Evaluation, No. 17, pp. 3-14.
WEISS, Carol H. (1983b) « Toward the Future of Stakeholder Ap- proaches in Evaluation », New Directions for Program Evaluation, No.17, p. 83-96.
WEISS, Carol H. (1983c) « Policy Evaluation As Social Learning », in : Shimon E. Spiro et Ephraim Yuchtman-Yaar (eds), Evaluating the Welfare State, New York, Academix Press, pp. 361- 374.
[16]
|
