L'évaluation
de la
compétence socio-professionnelle
des ouvriers de CAT

 

 L'expérimentation par le CREAI d'un référentiel d'observation dans les CAT de Bourgogne

par Patrick GUYOT, Conseiller technique du CREAI de Bourgogne

 

Lors de sa réunion du 13 Octobre 1999, la commission régionale CREAI des CAT et Ateliers protégés a décidé la mise en place d’un groupe de travail[1], chargé de l’élaboration d’une grille d’évaluation de la compétence professionnelle des ouvriers de CAT. Ce groupe de travail s’est réuni à sept reprises pour produire une grille expérimentale[2]. La commission a validé cette grille - qui est en fait plutôt un référentiel d'observation avec sa grille de report, dans sa version expérimentale - lors de sa réunion du 14 Juin 2000 au CAT UDM d’Hurigny (71). Elle a également arrêté les modalités d’expérimentation décrites dans ce document.

Cette expérimentation s'est déroulée d'Octobre à fin Décembre 2000 dans un grand nombre de CAT de la Bourgogne. Avant de présenter les modalités d’expérimentation et les résultats obtenus, il convient de rappeler le champ d’application de ce référentiel d’observation et ses objectifs.

 

 

Le champ d’application de l'outil d’évaluation

Son champ d’application concerne les CAT et non les ateliers protégés : les CAT sont en effet des établissements médico-sociaux accueillant des usagers, ce qui explique l’élaboration et la mise en œuvre d’un projet d’établissement et de projets individualisés. Ceux-ci, non obligatoires actuellement, le deviendront sûrement avec la réforme de la loi sociale de 1975.

Les ateliers protégés, quant à eux, ne sont pas des établissements médico-sociaux (ils n’entrent pas dans le champ de la loi sociale) et ils embauchent des personnes, certes reconnues administrativement « travailleurs handicapés », mais bénéficiant pleinement du statut de salariés, contrairement aux personnes handicapées en CAT. L’utilisation de ce référentiel en atelier protégé nécessiterait sans doute une concertation avec les salariés ou leurs représentants. Il n’a donc pas été conçu pour ce public, et aucun des membres du groupe de travail n’exerçait en atelier protégé.

Ajoutons que cet outil d’évaluation a vocation à s’appliquer dans les CAT accueillant des personnes présentant des déficiences intellectuelles, sensorielles ou motrices, ainsi que dans les CAT recevant des malades mentaux stabilisés.

 

 

Les objectifs de l'outil

En ce qui concerne les objectifs de cet outil, il s’agit d’évaluer la compétence professionnelle (savoirs, savoir-faire et savoir-être dans le cadre du CAT et de son activité) des ouvriers handicapés en vue d’élaborer leur projet individualisé. Le référentiel et la grille d’évaluation ne sont donc qu’un moyen (un outil) au service du projet individualisé ; ils permettent d’identifier de manière relativement objective le degré d’atteinte des différentes capacités composant la compétence professionnelle. Cette identification permettra ensuite de déterminer avec l’intéressé quelles sont les capacités à développer ou à renforcer dans l’optique d’une meilleure intégration socio-professionnelle ; quels sont les moyens et méthodes à mobiliser pour ce faire, et dans quel délai.

Cet outil n’a donc pas pour objet de permettre l’orientation des ouvriers de CAT vers d’autres structures spécialisées ou en milieu ordinaire de travail, même s’il peut y contribuer. Autrement dit, l’atteinte du plus haut degré dans chaque capacité composant la compétence socio-professionnelle en CAT n’indique pas forcément une aptitude à intégrer le milieu ordinaire ; en effet, l’évaluation repose sur des observations réalisées dans un contexte d’activités en CAT (à l’interne ou à l’externe), et n’est donc pas transposable dans un autre contexte. En revanche, l’évaluation peut permettre la formulation d’hypothèses dans le cadre du projet individualisé conduisant à des actions spécifiques (par exemple : sur la base de l’hypothèse qu’un ouvrier de CAT peut travailler en milieu ordinaire avec un statut de salarié, seule une immersion dans une entreprise ordinaire avec un statut de salarié permettra véritablement d’évaluer cette compétence supposée[3]).

Pour terminer sur les objectifs de cet outil, il y a lieu de souligner qu’il s’agit d’un référentiel « généraliste » utilisable pour l’ensemble des ouvriers handicapés de CAT, quelle que soit leur activité ; il n’exclut cependant pas l’utilisation complémentaire de grilles d’évaluation spécifique à une activité professionnelle, notamment dans la dimension technique (savoirs et savoir-faire spécifiques).

Il ne s’agit pas pour autant d’un référentiel « standard » qui voudrait s’imposer à l’ensemble des CAT de Bourgogne. Cela dit, un tel outil standard pourrait indirectement faciliter la mobilité des ouvriers handicapés entre CAT. Le débat reste ouvert au sein de la commission sur cette question. La méthodologie de construction du référentiel et de la grille pourrait par exemple être commune aux CAT, avec des dimensions, critères et items formulés différemment.

 

 

Les modalités de l'expérimentation du référentiel d’évaluation et ses résultats

Avant de préciser les modalités d'expérimentation et les résultats obtenus, il y a lieu de donner un aperçu du référentiel d'observation de cet outil expérimental. Celui-ci se compose de cinq dimensions :

 Dimension 1 : Vie sociale/Relation

Dimension 2 : Savoir-être/Attitudes

Dimension 3 : Productivité/Technicité

Dimension 4 : Apprentissage/Adaptation/Acquis

Dimension 5 : Rapport aux règles et aux contraintes

 

Chaque dimension comprend cinq critères ; par exemple, pour reprendre les dimensions 2 et 3 :

 

Dimension 2 : Savoir-être/Attitudes

Critère 1 : Confiance/Estime de soi
Critère 2 : Rapport au conflit
Critère 3 : Contrôle des émotions et des affects
Critère 4 : Motivation
Critère 5 : Réaction aux difficultés

Dimension 3 : Productivité/Technicité

Critère 1 : Habiletés et coordinations gestuelles
Critère 2 : Qualité du travail réalisé
Critère 3 : Rendement
Critère 4 : Endurance/Concentration
Critère 5 : Capacité d’initiative/Organisation

 

Enfin, chaque critère est subdivisé en items avec un énoncé précis classés par degré (de 1 à 5) ; par exemple pour le critère 5 de la dimension 2 :

Critère 5 - Réaction aux difficultés*

5 - A conscience de ses difficultés et les résout seul
4 - A conscience de ses difficultés et capable de demander de l’aide pour les résoudre
3 - Avec de l’aide, peut prendre conscience de ses difficultés
2 - N’a pas conscience de ses difficultés mais accepte de l’aide
1 - Nie ses difficultés et refuse toute aide

* Difficultés : quelle qu'en soit la nature (technique ou relationnelle) dans le cadre des activités du CAT

 

La grille elle-même peut être présentée de la manière suivante, ou sous une autre forme (radar, histogramme,…)

 

  D1   Vie sociale

         Relation

 D2   Savoir-être

        Attitude

 D3  Productivité

        Technicité

       Apprentissage

D4   Adaptation

       Connaissance

         Rapports

 D5    aux règles

         et contraintes

C1

C2

C3

C4

C5

C1

C2

C3

C4

C5

C1

C2

C3

C4

C5

C1

C2

C3

C4

C5

C1

C2

C3

C4

C5

5

5

5

5

5

5

5

5

5

5

5

5

5

5

5

5

5

5

5

5

5

5

5

5

5

4

4

4

4

4

4

4

4

4

4

4

4

4

4

4

4

4

4

4

4

4

4

4

4

4

3

3

3

3

3

3

3

3

3

3

3

3

3

3

3

3

3

3

3

3

3

3

3

3

3

2

2

2

2

2

2

2

2

2

2

2

2

2

2

2

2

2

2

2

2

2

2

2

2

2

1

1

1

1

1

1

1

1

1

1

1

1

1

1

1

1

1

1

1

1

1

1

1

1

1

 

Il suffit de faire ressortir le degré correspondant à l'évaluation pour chaque critère, en l'entourant par exemple, ce qui permet une lecture rapide du positionnement dans l'ensemble des dimensions.

 

 

Qu’a-t-on expérimenté ?

 

L’objet de l'expérimentation – qui s'est déroulée auprès des CAT de la Bourgogne d'Octobre et fin Décembre 2000 – était de mesurer la capacité de l'outil à évaluer la compétence professionnelle des ouvriers en CAT. Il s’agissait de savoir si les différentes composantes de cette compétence étaient prises en compte, si le « découpage » choisi (les dimensions) et les critères retenus paraissaient pertinents, et si les items classés par degré étaient opératoires (dans leur capacité à évaluer le degré de satisfaction des critères et dans la clarté de leur formulation).

Il ne s’agissait donc pas de mesurer la capacité du référentiel à produire des projets individualisés puisque, répétons-le, il n’est qu’un moyen au service du projet. La production des projets individualisés fait appel à une méthode spécifique et à des données plus larges et plus complexes que les seules observations collectées au moyen de la grille. Ce sont ces données qui donneront un sens à ces observations issues du référentiel.

 

 

Champ de l’expérimentation

La commission a choisi de ne pas enfermer l’expérimentation de ce référentiel dans un protocole trop rigide, notamment par la détermination d’un échantillonnage précis. Ainsi, tous les CAT pouvaient expérimenter la grille comme ils l’entendaient, en étant attentifs cependant à respecter une relative représentativité des ouvriers retenus pour l’évaluation (âge, sexe, nature et degré de handicap, type d’activité, ancienneté). Le nombre d’ouvriers évalués était également laissé à la discrétion des établissements.

Une fiche renseignant sur les modalités d’expérimentation était à remplir par chaque CAT ; elle a permis au groupe de travail chargé de l’exploitation des données, courant Février 2001, de connaître le champ et les conditions d’expérimentation.

 

 

Qui remplit la grille ?

L’évaluation reposant sur l’observation, le remplissage des grilles ne peut être réalisé que sur la base des informations collectées par les personnes en situation d’observation, le plus souvent les encadrants techniques. Cela dit, comme l’ont souhaité des membres de la commission, au moment du remplissage de la grille, d’autres personnes de l’équipe peuvent intervenir (comme tiers) ; par ailleurs, la question s’est posée de savoir s’il fallait remplir la grille avec l’ouvrier évalué. Les avis sont partagés : si l’usager doit sans conteste être associé à son projet individualisé (détermination des objectifs, moyens, délai et critères d’évaluation) ; doit-il l’être pour remplir la grille au risque d’en atténuer fortement l’objectivité déjà relative ?

L’extériorité de l’évaluation paraît essentielle, ce qui n’empêche pas (et c’est même nécessaire) que les résultats de l’évaluation fassent l’objet d’une présentation et d’une discussion avec l’intéressé ; mais nous sommes déjà là dans l’élaboration du projet individualisé.

 

 

Les résultats de l'expérimentation

Sur les 38 CAT que compte la Bourgogne (Côte d'Or, Nièvre, Saône-et-Loire, Yonne), 16 ont expérimenté le référentiel d'observation et sa grille, soit 4 CAT sur 10. Les échantillons d'ouvriers retenus par les établissements sont variés, allant de l'ensemble des ouvriers du CAT, à quelques personnes par atelier en passant par l'effectif complet d'un ou de plusieurs ateliers. En tout, l'expérimentation a porté sur 317 ouvriers de CAT sur les 2 700 environ accueillis dans l'ensemble des CAT de Bourgogne, soit près de 12 %. Concernant les types de handicap représentés dans l'expérimentation, 16 CAT accueillent essentiellement des adultes avec retard mental (léger, moyen, voire sévère), et 1 CAT reçoit des personnes souffrant de troubles de la personnalité stabilisés. L'outil d'évaluation a donc été testé en grande partie (289/317) auprès de personnes déficientes intellectuelles, avec pour quelques unes des troubles de la personnalité ajoutée,  et également auprès de 28 personnes psychotiques sans retard mental. Il n'a malheureusement pas été expérimenté auprès de personnes présentant d'autres types de déficiences (physiques, sensorielles,…)

Les expérimentateurs de ce référentiel d'observation[4] ont validé l'outil dans sa structuration (dimensions, critères, items). Le choix d'une échelle de cotation des critères par items, avec un énoncé précis classé en degré, n'a pas fait l'objet de critiques particulières. Ceci est notable dans la mesure où cette cotation par degré n'est pas habituelle en CAT, où l'on préfère en général une cotation plus simple de type acquis/non acquis, ou une estimation sur une échelle chiffrée sans énoncés. Cette préférence que nous avions notée lors d'une enquête préliminaire à l'élaboration de cette grille, tient sans doute au fait que ces systèmes de cotation sont simples à utiliser et surtout à construire.

Si le système de cotation que nous proposons permet une évaluation précise et relativement objective, il est nettement plus complexe à élaborer, notamment pour ce qui concerne l'énoncé des items composant les critères, et leur hiérarchisation. C'est là que les expérimentateurs ont proposé la grande majorité des modifications pour améliorer l'outil. Ces modifications ont porté bien souvent sur les énoncés eux-mêmes pour les rendre plus précis, ou plus clairs, et parfois sur leur hiérarchisation. La définition de certains termes employés dans le référentiel a également été réclamée (le terme "adapté" par exemple). Parfois il s'est agi de simplifier des énoncés un peu complexes comportant plusieurs critères d'observation. Ainsi 45 items sur les 125 que compte le référentiel ont été modifiés. Ce sont les dimensions "Apprentissage/Adaptation/ Acquis" et "Rapport aux règles et aux contraintes" qui ont subi le plus de modifications, suivies par la dimension 1 "Vie sociale/Relation". En revanche les intitulés des cinq dimensions elles-mêmes et des 25 critères n'ont subi que quelques rares modifications portant sur le vocabulaire ou précisant un terme[5].

On notera également des remarques, portant sur la difficulté à évaluer à partir du CAT certaines capacités : par exemple pour le critère "capacité de déplacement" ou bien encore l'aptitude à prévenir en cas d'absence (critère "Absentéisme"). Les items de ces critères ont ainsi parfois été modifiés en conséquence, ou seront accompagnés d'un commentaire d'explication (mode d'emploi).

Enfin, pour ce qui a trait à la pertinence du référentiel pour les personnes souffrant de troubles de la personnalité, les professionnels exerçant dans le CAT accueillant ce type de public pensent qu'il faudrait revoir les critères de certaines dimensions, notamment les dimensions "Vie sociale/Relation" et "Savoir être/Attitudes" pour les adapter aux problématiques auxquelles ils sont confrontés.

 

 


[1] Groupe de travail composé de : MM. BOREY (Adjoint-technique, CAT APAJH – Crissey) – BOSSU (Chef de service , CAT Papillons Blancs – Le Breuil) – COURT (Educateur spécialisé, CAT Oasis – Chauffailles) – MATRAY (Chef d’atelier, CAT UDM – Hurigny) – MUSART (Opérateur d’intégration, CAT APAJH – Sens) – POIRIER (Chef de service, CAT – Bézouotte) – VILLOT (Directeur, CAT ADAPEI – Clamecy)
Animation : Patrick GUYOT (Conseiller technique CREAI)

[2] Cette grille est fortement inspirée dans sa structuration par la méthode décrite par Jacques DANANCIER (Le Projet individualisé dans l’accompagnement éducatif – Paris, Dunod, 1999)

[3]  Par définition d’ailleurs, une compétence n’est pas déclarative mais elle se démontre en situation puisqu’elle est composée certes de savoirs, mais aussi de savoir-faire et de savoir-être.

[4] Expérimentateurs : le plus souvent il s'agit des encadrants techniques des ateliers, mais parfois d'autres professionnels ont participé au remplissage des grilles (chef de service, directeur,…)

[5] Le référentiel ainsi modifié sera présenté pour validation à la commission lors de sa réunion du Mardi 6 mars 2001 à Dijon, avant d'être diffusé dans sa version finie, avec un mode d'emploi, à l'ensemble des CAT de Bourgogne. Une présentation de cet outil sera également réalisée devant un public plus large lors de la journée d'étude du Mercredi 20 Juin 2001 à l'IRTESS de Dijon