Imprimer tout le livreImprimer tout le livre

L’établissement s’évalue

Titre du livre

Site: Pilotage de l'établissement
Contenu: Pilotage de l'établissement
Livre: L’établissement s’évalue
Imprimé par: Visiteur anonyme
Date: vendredi 29 mars 2024, 04:47


     

 

5.1  Évaluer pour évoluer

Peut-on aller jusqu’à affirmer que par rapport aux autres secteurs de la fonction publique d’État, l’Éducation nationale serait celui qui parle le plus d’évaluation et qui en ferait le moins?[1]

Bouvier, 2007

[1] Cette interrogation d’Alain Bouvier à propos de l’Éducation nationale française serait-elle aussi indiquée pour d'autres système public d'éducation ? Malgré les multiples évaluations d’étape et annuelles des apprentissages des élèves, pouvons-nous affirmer que l’évaluation des actions des classes, des cycles, des écoles, des services… jusqu’aux politiques gouvernementales y soit totalement présente et effective?

Un axe de rétroaction

Si l’établissement, dans un axe proactif, projette des finalités et décide de ses actions pour le futur, dans un axe rétroactif, il évalue.  En effet, dans les sous-systèmes d’évaluation et de veille, les informations relatives aux actions menées sont recueillies et traitées en boucles rétroactives à celle-ci et aux résultats qu'elles produisent[1].


[1] Nous concevons que les sous-systèmes de communication et d’intelligence organisationnelles relient les deux axes.

511

    L’efficacité de l’action

 

Un fonctionnement en boucles

Parler de rétroaction, c’est parler de fonctionnement en boucles. Depuis les travaux fondateurs de la cybernétique de Norbert Weiner en 1947, l’étude de l’organisation se fonde, en grande partie, sur cette notion de rétroaction, et ce, tant pour les machines artificielles comme dans le cas du moteur à vapeur contrôlant ses soupapes de pression à partir d’informations traitées en boucles sur le système que pour les « machines naturelles » comme les entreprises humaines contrôlant leurs actions à partir de ce même traitement en boucles d’informations du système.

Ce fonctionnement en boucles de rétroaction est associé, de façon plus générale, à la régulation et, conséquemment, au pilotage des systèmes. Depuis déjà quelques décennies, dans les organisations humaines et, en ce qui nous concerne, les organisations d’éducation, plus particulièrement les établissements scolaires, cette question de la régulation est de plus en plus évoquée au regard de la qualité des services publics, de leur efficacité et du développement de dispositifs d’évaluation.

[…] l’évaluation est devenue un paramètre-clé de la régulation des systèmes scolaires dont les instruments se déploient aux différents niveaux des systèmes éducatifs et imprègnent progressivement le travail de ses acteurs. (Dupriez, Malet, 2013, p. 10)

512

Évaluer, c’est porter un jugement pour évoluer

Les pratiques et les dispositifs d’évaluation, sources de la qualité recherchée, sont au cœur de la régulation et du pilotage des établissements. Fondamentalement, l’évaluation est un processus par lequel est appréciée la valeur absolue et contextuelle d’une chose, d’un objet. (Zuniga, 1994)

Évaluer, c’est essentiellement porter un jugement :

    • sur la valeur d’un objet particulier;
    • à partir d’informations recueillies;
    • selon des critères de référence;
    • pour ensuite décider de mesures à prendre découlant de ce jugement.

Alors qu’est-ce qu’un jugement? L’analyse du concept permet de dire qu’il s’agit du contenu d’une pensée produite par raisonnement, qui prend la forme d’une affirmation, exprimée ou non, sur ce que vaut quelque chose au regard de critères (conscients ou non) et de normes d’acceptation associées à ces critères. Rendre un jugement, c’est statuer, fixer la valeur de quelque chose. (Gaudreau, 2001, p. 78)

513

Illustration

Porter un jugement sur une activité en classe, une journée spéciale sur les arts à l’école ou sur l’enseignement de la lecture dans une étape; à partir d’observations, d’un sondage ou de résultats à une épreuve; en fonction de critères donnés; pour décider des améliorations à apporter.

Illustration

 

Trois qualités fondamentales des pratiques d’évaluation

Trois qualités fondamentales sont associées à l’évaluation : assurer l’efficacité de l’action, être transparente pour les actrices et les acteurs et amplifier leur capacité d’action.

Si les décisions sont le fruit d’une rationalité limitée et que le pilotage de leur processus vise, en quelque sorte, à élargir leur « aire de rationalité », les pratiques d’évaluation, en réduisant les incertitudes entourant une décision, contribuent à cet élargissement et, de ce fait, soutiennent l’efficacité de l’action. À ce titre, Zuniga (1994, p. 71) nous indique que « l’évaluation est un aspect intégral de l’action » en fournissant une information aux actrices et aux acteurs sur l’efficacité des actions posées.

Une action qui n’inclut pas en elle-même les mécanismes correctifs et adaptatifs qui lui permettent de garder son sens et d’assurer son efficacité est une action mécanique, inhumaine. Une action humaine est celle dans laquelle la vitalité s’exprime dans cette double qualité d’être orientée par une idée et adaptée à une réalité toujours changeante, jamais parfaitement prévisible […]. (Zuniga, 1994, p. 67)

♣ L’évaluation soutient l’efficacité de l’action

514

Comme ces pratiques se fondent sur un traitement d’informations recueillies, elles s’inscrivent dans un processus de communication; un processus d’échange d’informations suscitant une construction de sens partagé entre émetteurs et récepteurs.

Le processus de construction permet aux membres de l’organisation de réduire collectivement l’ambiguïté perçue d’une situation et d’établir des priorités quant aux actions à entreprendre. Pour ce faire, ils entreprennent une série d’échanges, de débats et de négociations permettant de parler ouvertement des ambiguïtés et des incertitudes, de les clarifier, de partager des perceptions et des interprétations, et de créer graduellement du sens. À travers les jeux d’influence, ces interactions répétées permettent aux personnes d’en arriver à un accord sur une interprétation de la situation. Selon Weick (2001), de tels échanges permettent aux membres de l’organisation de réduire l’ambiguïté et l’incertitude de la situation et de développer un répertoire d’interprétations leur permettant de coordonner leurs efforts avec les autres et d’agir avec autonomie dans des situations similaires. (Turcotte, 2010)

Pour qu’un exercice d’appréciation de la valeur d’un objet par un jugement génère une construction collective de sens guidant non seulement les décisions à prendre, mais aussi leur mise en œuvre, il doit être transparent aux yeux des actrices et des acteurs concernés. Cette transparence est une condition de leur engagement dans la construction d’un répertoire d’interprétations permettant de coordonner leurs efforts d’amélioration de la qualité.

En l’absence de projet et de schéma directeur, l’évaluation peut devenir une arme injustifiée. Souvent les enseignants la ressentent ainsi. Elle conduit aussi bien à légitimer que (sic) délégitimer un projet, qu’à le contrôler, le valoriser ou le dénoncer. (Bouvier, 2007, p. 221)

♣  L’évaluation est menée avec transparence

515

Bouvier (2009) indique qu’avant tout l’évaluation doit faire évoluer les représentations individuelles et collectives des actrices et des acteurs concernés par les objets évalués. « Une évaluation pour évoluer » (Gaudreau, 2001) est une évaluation qui vise le développement de la capacité d’apprendre des individus, des groupes et des organisations à travers l’exercice du jugement professionnel par ses actrices et ses acteurs. Sa première fonction est d’enrichir la compréhension de l’action par les actrices et les acteurs impliqués (Zuniga, 1994). À l’heure de la gestion par résultats, Bouvier affirme aussi que pour les composantes des systèmes d’éducation, dont les établissements scolaires à proximité des élèves, « il s’agit de plus rendre compte pour mieux se rendre compte » (2009, p. 231).

♣  L’évaluation développe la capacité d’apprendre

516

Distinction entre contrôle et évaluation

Tant dans l’ensemble des services publics que dans les organisations des services d’éducation, une gestion par les résultats a été introduite. À ce titre, particulièrement pour les établissements en « bout de chaîne », il apparaît important de distinguer entre le contrôle et l’évaluation en tant que telle. Le contrôle est l’action de vérifier les résultats obtenus en fonction de résultats souhaités. Dans le contrôle, nous sommes dans un strict exercice de mesure des écarts. Il est de première importance que les établissements évitent de se laisser enfermer dans le contrôle, une stricte mesure d’écart, qui ne leur permettrait pas d’aborder les opérations de reddition de comptes à travers un exercice de jugement, exercice essentiel au développement de la capacité d’apprendre et à une évaluation porteuse d’évolution.

En soi, un résultat obtenu et la mesure de l’écart avec le résultat recherché n’ont pas de signification particulière pour éclairer les décisions à prendre. S’il y a écart, d’où provient-il? Les actions prévues ont-elles été réalisées? Ont-elles été réalisées avec efficience, à un bon moment…? Étaient-elles réalisables, applicables…? Le résultat souhaité était-il réaliste, clair…? La situation, au point de départ, était-elle suffisamment sondée, comprise…? 

Un résultat obtenu est une donnée brute. C’est l’évaluation, cet exercice d’attribution de sens à ce résultat, qui lui conférera tout son potentiel de signification mobilisatrice à l’application de mesures d’amélioration. Une recherche effective d’efficacité de l’enseignement réside dans cette capacité d’un jugement complexe qui met en relation chacune des composantes d’une action dans une situation particulière. Ce type de régulation plus complexe commande des analyses où des retours d’informations sont opérés au regard non seulement des résultats obtenus et des actions réalisées, mais aussi des objectifs choisis  et de la compréhension de la situation.

Jugement complexe à propos de l’efficacité d’action

Dans cette perspective d’une régulation que nous qualifions d’intelligente, l’évaluation et la reddition de comptes ne sont pas de strictes opérations mécaniques « sur les résultats »; elles s’accomplissent plutôt, selon une analyse systémique, de façon globale « en fonction des résultats ».

517
Dans la complexité, le but n’est pas tant de concevoir des systèmes « bien organisés » a priori, que de donner à ces systèmes la capacité d’évoluer afin de toujours mieux remplir les tâches qu’on leur a fixées. (Alcaras, Lacroix, 2003)

Le contrôle et l’évaluation sont deux composantes complémentaires du pilotage, ce processus global pour réguler les opérations afin de produire des résultats souhaités. Nous illustrons cette complémentarité ainsi :

Liens complémentaires entre contrôle et évaluation dans le pilotage

L’évaluation n’est pas qu’un contrôle : mieux, elle est une partie inséparable d’un projet collectif et d’un projet individuel; elle est un ingrédient de l’action et une forme d’apprentissage sur l’action, gage de la capacité de perfectionnement de l’intervenant dans et par l’action. (Zuniga, 1994, p. 55)

Un directeur doit être persuadé de la différence entre contrôle et évaluation pour pouvoir se dégager de niveaux de confusion dommageables. Comme le montrent Jacques Ardoino et Guy Berger dès 1987, le contrôle et l’évaluation appartiennent à des paradigmes différents. L’un et l’autre sont complémentaires sans pouvoir être confondus. (Rich, 2010, p. 107)

518

Illustration

Les résultats des élèves obtenus en français et en mathématique dans chacun des cycles et des classes sont comparés d’une étape à l’autre en ressortant les forces et les faiblesses des groupes et des individus en fonction des échelles de développement des compétences du programme.

Illustration

 

5.2  Évaluer de façon continue

Revenons à cette idée que l’évaluation est un processus de construction de sens partagé où des actrices et des acteurs accordent une valeur à un objet. Dans cette perspective, l’évaluation est un jugement de valeur appartenant à des actrices et à des acteurs : il est leur construit particulier. Nous ajoutons que ce jugement de valeur, ce construit, pour qu’il soit un vecteur d’évolution, doit non seulement porter sur les résultats de leurs propres actions, mais aussi en être partie intégrante, de leur conception à l’appréciation de leurs impacts.

Trop souvent, l’évaluation est confinée à un recueil et à un partage des commentaires à la fin d’une activité, d’une démarche, d’un programme ou même d’une année scolaire. Généralement, comme ces commentaires ne se fondent sur aucun critère, ils demeurent largement impressionnistes, traduisant le sentiment plus ou moins diffus de satisfaction ou d’insatisfaction du moment. Au-delà de cet échange de sentiments, la plus-value de ce type d’exercice d’évaluation de terminaison, souvent réalisé rapidement, est à questionner.

Quelle est votre évaluation de…?

Cochez la figure illustrant votre sentiment du moment :

Si une évaluation est complétée après l’action, il ne faut pas penser qu’elle doit démarrer seulement après l’action. Un malentendu très généralisé est de croire que l’évaluation est un retour critique sur une action déjà complétée. Cette vision faussée de l’évaluation s’avère un malentendu coûteux : pourquoi envisager l’évaluation une fois que tout est fini? Et si l’évaluation vient après l’action, elle ne fait pas vraiment partie de l’action, elle ne peut contribuer à l’améliorer […] et il est encore plus facile de la laisser à d’autres. (Zuniga, 1997, p. 56)

Une évaluation intégrée à l’action génère une rétroaction continue aux actions accomplies permettant d’y apporter des ajustements chemin faisant. De plus, la détermination des objets et des critères d’évaluation au moment même de la planification de l’action permet, d’une part, de préciser les objectifs de l’action avec plus de discernement et de réalisme et, d’autre part, d’appuyer les jugements évaluatifs sur des fondements réfléchis en fonctions des intentions initiales.

L’évaluation est un construit d’actrices et d’acteurs qui est intégré à toutes les étapes de l’action. Elle prend place avant même qu’elle débute par une traduction des objectifs de l’action en indicateurs qui pourront être observés en fonction de cibles préétablies. Un plan de collecte d’informations évaluatives est aussi pensé à cette étape préalable afin d’introduire, dès le départ, une préoccupation constante à l’endroit de cette collecte trop souvent négligée en cours d’action. Pendant l’action, ces informations collectées permettent, à travers des dispositifs de veille[1], des ajustements chemin faisant. Après l’action, l’ensemble des informations recueillies permet de produire une évaluation terminale de l’action accomplie pour orienter les décisions à venir et pour transférer les acquis dans des actions futures. Ainsi, de façon continue, avant, pendant et après l’action, les actrices et les acteurs construisent une évaluation, élaborent des jugements et accordent des significations à leurs actions et à leurs résultats.

Ces jugements évaluatifs portent sur des objets ciblés. Ces objets peuvent être multiples. Ils se rapportent aux activités tant d’enseignement que d’encadrement ou de soutien aux apprentissages : l’enseignement d’une matière donnée dans un cycle donné, l’impact d’une nouvelle méthode pédagogique pratiquée, les mesures d’encadrement selon la politique de l’école, les mesures de remédiation pour les élèves vivant des difficultés d’apprentissage, etc. Il est à noter que ces objets peuvent aussi être associés à des améliorations recherchées dans le fonctionnement de l’école se rapportant, par exemple, au secrétariat ou à des activités de communication organisationnelle. Les jugements évaluatifs sont construits en fonction de différentes périodes de temps : une journée, une semaine, un mois, une étape, une année, plusieurs années…


[1] Nous reviendrons sur cette question des dispositifs dans le module sur la veille.

521

Illustration

Dans le cadre du plan d’action de l’école, des indicateurs et des cibles sont identifiés pour l’école et pour les cycles; des collectes de données sont prévues et réalisées à partir des résultats scolaires d’étape, d’un sondage et des observations dans les rencontres d’équipes-cycles…

 

 

 

  5.3  Analyser des données pour évaluer

Des données collectées sur des résultats obtenus ou des actions menées n’ont aucune signification en soi. Ajoutons que la mesure d’un écart entre ce qui a été prévu et ce qui a été obtenu et réalisé n’indique rien d’autre que la présence ou non d’un tel écart. Cette mesure permet de porter un jugement de fait, mais pas un jugement de valeur propre à une évaluation. Accumuler des données, comme l’injonction de la gestion par résultats et les conventions établies le commandent, est une chose. Toutefois, les traiter et les interpréter, en d’autres mots, les faire parler pour en tirer des leçons en est une autre. Une évaluation se fonde certes sur un jugement de fait, mais elle est complète lorsque le jugement de fait croise le jugement de valeur attribué sur les faits.

Une attribution de signification ou de valeur à des données procède de leur analyse en les découpant, en les recoupant et en les comparant selon un certain nombre de variables. Abordons deux principaux types de variables pouvant être utilisées: des variables de caractéristiques et des variables de valeurs de comparaison.

Une donnée peut être significative en fonction de certaines caractéristiques. Un même degré de température d’une pièce peut être estimé confortable pour la pratique d’une activité physique et moins confortable pour la pratique de la lecture. La quantité de calories d’un repas peut être jugée trop élevée pour un individu sédentaire alors qu’elle pourrait être estimée trop basse pour une athlète en entraînement intensif. La signification à accorder à des données d’un établissement ne sera pas la même au regard de caractéristiques diverses se rapportant à des groupes d’élèves particuliers, à des types d’activités distincts, à des pratiques d’enseignement différentes, à des mesures particulières, etc. La note de passage obtenue par des élèves reconnus à risque sera estimée satisfaisante alors que la même note obtenue par des élèves habituellement performants sera estimée insatisfaisante. Les résultats en lecture seront estimés en fonction d’un enseignement et non d’une grille de correction. Abordons, à titre d’exemple de ce type de variable, quelques caractéristiques de premier ordre autour desquelles une analyse de données pourrait être effectuée.

531

Caractéristiques

Pour apprécier :

la différence entre les garçons et les filles

l’influence des types d’activités en classe selon le genre

la performance d’élèves à risque ciblés

l’impact des mesures prises auprès de ces élèves

la performance des élèves doubleurs

l’impact du redoublement

l’utilisation d’une approche pédagogique particulière

l’efficacité d’une nouvelle méthode d’enseignement introduite dans certaines classes à titre expérimental

l’ajout d’une activité dans l’horaire

l’impact de l’introduction d’une période de lecture quotidienne dans un cycle sur le développement des compétences et des habitudes de lecture

la participation à des activités de perfectionnement dans un domaine particulier

le transfert de ces activités de formation en classe des enseignantes et des enseignants ayant participé à ces activités

La distribution des mesures disciplinaires utilisées entre les classes et les niveaux

l’impact de l’usage des mesures sur le comportement des élèves

Pour juger de la valeur d’une donnée, il est souvent nécessaire de recourir à une donnée de comparaison. En effet, un jugement s’opère en estimant la valeur d’une donnée en référence à une donnée de comparaison. Un Québécois, selon ses habitudes alimentaires propres à sa cuisine nationale, estimera qu’un plat est trop épicé alors qu’un Asiatique, selon ses propres références, estimera qu’il ne l’est pas assez. Un taux d’échec donné en français sera estimé satisfaisant dans une école multiethnique lorsqu’il s’approchera de la moyenne nationale alors que dans une autre école il ne sera pas satisfaisant. Voici des exemples de valeurs de comparaison souvent utilisées comme variables pour apprécier certaines données des établissements.

Comparer les valeurs obtenues avec :

  • des résultats projetés (objectifs, indicateurs, cibles)
  • des résultats obtenus antérieurement (une étape à l’autre, une année à l’autre…)
  • des résultats d’une entité similaire (une classe à l’autre, une école à l’autre, un résultat régional ou national…)
  • des données statistiques (des résultats d’enquête de type PISA, des analyses statistiques…)

532

 

Illustration

Une direction adjointe s’occupant du premier cycle dans une école secondaire anime des rencontres d’évaluation où les résultats des élèves identifiés à risque et leur cheminement à travers les étapes sont interrogés en fonction des mesures de remédiation appliquées. Aussi, des décisions sont prises à partir de cette analyse à propos de ces mesures.

 

Contribution des participantes et participants

Vous êtes invités à commenter et enrichir les documents par vos commentaires, des observations sur votre pratique et votre contexte de pilotage.