Ajouter une étape « À valider » ne suffit pas à garder le contrôle d’un workflow IA.
Si chaque résultat remonte à une personne, l’automatisation devient une nouvelle file d’attente. Si aucune étape ne remonte, une erreur de source, une mauvaise interprétation ou une action irréversible peut traverser tout le processus.
Il faut déterminer à quel moment le jugement humain change réellement le résultat, plutôt que demander une revue générale de toutes les étapes.
Pour une PME, le bon dispositif ne consiste pas à surveiller chaque phrase générée. Il consiste à distinguer ce que l’IA peut lire, préparer, modifier ou exécuter, puis à placer un contrôle avant les transitions qui engagent l’entreprise.
Une validation n’est utile que si elle peut arrêter ou modifier l’action
La CNIL distingue trois formes de contrôle humain : intervention dans chaque cycle de décision, supervision du fonctionnement et capacité de décider quand et comment utiliser le système. Elle recommande aussi des protocoles connus, des responsables identifiés, des informations suffisantes et des outils permettant de modifier ou d’arrêter le système.[1]
Cette distinction évite de réduire la supervision à un bouton.
Une personne qui reçoit un écran opaque avec « Confiance : 92 % » et deux boutons n’exerce pas nécessairement un contrôle. Elle doit pouvoir comprendre les faits utilisés, identifier les informations manquantes, modifier la proposition, demander une nouvelle analyse, refuser l’action et savoir ce que son clic déclenchera.
Le règlement européen sur l’IA formule ces exigences pour les systèmes à haut risque : la supervision doit être proportionnée aux risques, au niveau d’autonomie et au contexte d’usage ; la personne doit notamment pouvoir interpréter la sortie, l’ignorer, la remplacer ou interrompre le système.[3]
Tous les workflows d’une PME ne relèvent pas juridiquement de cette catégorie. Ce principe de proportionnalité reste néanmoins une bonne règle de conception : plus une action est difficile à annuler ou lourde de conséquences, plus le contrôle doit intervenir avant son exécution.
Le risque vient davantage de l’effet que du texte généré
Un même modèle peut résumer une réunion, modifier une opportunité, proposer un prix ou envoyer un message. La technologie reste similaire ; les conséquences changent.
Un résumé interne inexact peut être corrigé. Une remise commerciale envoyée au client, une facture créée ou un dossier refusé demandent un autre niveau de contrôle.
Pour placer la validation, il faut évaluer six dimensions :
- Réversibilité : l’action peut-elle être annulée proprement ?
- Portée externe : reste-t-elle interne ou atteint-elle un client, un candidat, un fournisseur ou une administration ?
- Impact métier : modifie-t-elle un montant, un engagement, une priorité, un droit ou une relation ?
- Qualité des preuves : les sources sont-elles disponibles, cohérentes et suffisamment fraîches ?
- Détectabilité : une erreur serait-elle visible avant de produire un dommage ?
- Volume : une mauvaise règle toucherait-elle un dossier ou plusieurs centaines ?
Le NIST recommande précisément d’adapter les activités de gestion au niveau de risque, de définir les responsabilités et de maintenir des mécanismes de suivi, de recours, d’arrêt et de récupération sur tout le cycle de vie.[2]
Une matrice d’autonomie plus utile qu’un seuil unique
La matrice suivante constitue une règle de départ, pas une norme universelle.
| Niveau | Type d’action | Exemples | Contrôle recommandé |
|---|---|---|---|
| A — Observer | Lire, classer, rapprocher des sources | Détecter un email lié à une opportunité, repérer un champ vide | Exécution automatique avec journal |
| B — Préparer | Produire un livrable réversible | Résumé, brouillon d’email, proposition de tâche | Préparation automatique, revue selon échantillon ou exception |
| C — Modifier | Changer un état métier | Mettre à jour un montant, une échéance ou un propriétaire CRM | Validation avant écriture, sauf règle factuelle très bornée |
| D — Engager | Déclencher un effet externe ou difficilement réversible | Envoyer, publier, commander, facturer, accorder une remise | Validation explicite de la version exacte |
| E — Escalader | Traiter une contradiction ou une situation hors périmètre | Deux dates incompatibles, identité incertaine, règle absente | Blocage automatique et décision humaine |
Cette matrice évite deux erreurs symétriques : demander une validation pour chaque classification sans conséquence, ou autoriser une action externe parce que la génération paraît convaincante.
Placer les contrôles aux changements de responsabilité
Un workflow commercial peut comporter quinze étapes techniques. Il n’a pas besoin de quinze validations.
Les contrôles les plus utiles se situent généralement à quatre frontières.
1. Quand une interprétation devient un fait enregistré
Le système peut extraire une date depuis un compte rendu. Avant de l’inscrire comme échéance contractuelle, il doit distinguer citation, hypothèse et proposition.
Si la date apparaît dans une source unique et explicite, une règle bornée peut suffire. Si deux documents se contredisent, le workflow doit s’arrêter. La validation porte alors sur la contradiction, pas sur toute la fiche.
2. Quand une préparation devient une modification
Préparer trois champs CRM n’est pas encore les écrire. Cette séparation permet de comparer l’ancien état, la valeur proposée, la source et la règle appliquée.
La personne ne devrait pas recevoir une fiche entière à relire, mais uniquement les changements significatifs et les informations qui les justifient.
3. Quand une sortie interne devient une action externe
Un email peut être préparé automatiquement. Son envoi engage la relation client. La validation doit donc porter sur la version exacte, le destinataire, les pièces jointes et le contexte d’envoi.
Valider un résumé ne doit jamais autoriser implicitement l’envoi d’un message dérivé quelques minutes plus tard.
4. Quand le cas sort du périmètre prévu
Source absente, seuil dépassé, donnée sensible, outil indisponible ou instruction contradictoire : l’exception doit interrompre la branche concernée.
Le contrôle humain devient utile parce qu’une règle manque. Il ne doit pas être utilisé pour masquer une automatisation mal définie.
Le faux contrôle humain : cliquer sans pouvoir juger
La présence d’un humain peut donner une impression de sécurité sans modifier réellement la décision.
Le laboratoire LINC de la CNIL rappelle le risque de biais d’automatisation : une personne peut suivre systématiquement la recommandation, notamment lorsqu’elle n’a pas formé son propre jugement ou ne comprend pas les limites du système.[4]
Une validation significative exige au moins cinq conditions :
- le bon contexte : faits, sources, version et éléments manquants ;
- une alternative réelle : modifier, différer, refuser ou choisir une autre action ;
- le temps nécessaire : une file de cent validations urgentes produit du clic réflexe ;
- la compétence métier : le relecteur doit comprendre ce qu’il valide ;
- l’autorité : il doit pouvoir bloquer l’action sans contourner le système.
Pour les décisions sensibles, demander à la personne de formuler d’abord son appréciation ou de contrôler les faits avant d’afficher la recommandation peut réduire l’effet d’ancrage. Ce n’est pas nécessaire pour chaque tâche, mais c’est utile lorsque la suggestion risque de devenir automatiquement la décision.[4]
Exemple : le suivi d’un rendez-vous commercial
Prenons un workflow qui reçoit la transcription d’un rendez-vous, rapproche le CRM et prépare les actions suivantes.
Étapes automatiques
- rattacher l’enregistrement au bon dossier à partir d’identifiants fiables ;
- extraire les citations concernant besoin, calendrier et interlocuteurs ;
- détecter les champs manquants ;
- préparer un résumé structuré ;
- proposer les changements CRM ;
- générer une tâche et un email en brouillon.
Contrôles ciblés
Validation 1 — contradiction métier
La transcription évoque un démarrage en octobre, tandis que le devis indique novembre. Le système ne choisit pas. Il montre les deux sources et demande quelle date doit devenir la référence.
Validation 2 — modification significative
Le montant estimé passe de 15 000 à 28 000 euros. La personne voit l’ancienne valeur, la nouvelle proposition, la citation et la règle de calcul avant écriture.
Validation 3 — action externe
L’email reste en brouillon. Le commercial valide son destinataire, son texte et les pièces jointes. Seule cette version peut être envoyée.
Ce qui ne nécessite pas une revue dossier par dossier
Classer le compte rendu, associer une source déjà identifiée ou détecter un champ vide peut fonctionner automatiquement, à condition d’être journalisé et contrôlé par échantillonnage.
L’humain intervient donc trois fois, mais sur trois décisions distinctes. Il ne relit pas toutes les opérations techniques.
Concevoir la file de validation comme un produit
Une file de validation devrait prioriser les cas selon leur risque et leur ancienneté, pas selon leur simple ordre d’arrivée.
Chaque carte doit répondre rapidement à six questions :
- Quelle action est proposée ?
- Qu’est-ce qui change ?
- Sur quelles sources repose la proposition ?
- Quel élément est incertain ?
- Que déclenche la validation ?
- Que se passe-t-il en cas de refus ou d’absence de réponse ?
Les validations doivent être versionnées. Si le brouillon change après approbation, l’autorisation précédente devient caduque. Le système doit aussi empêcher qu’une validation générale soit réutilisée pour une autre action.
La CNIL recommande que les mécanismes de contrôle soient intégrés naturellement au traitement, connus des personnes et testés dans la pratique.[1] Une validation située dans un outil séparé, sans lien vers les sources, augmente le risque de décision superficielle.
Mesurer la qualité du contrôle humain
Le nombre de validations ne mesure pas la sécurité. Le taux d’acceptation non plus : 100 % d’approbations peut signaler des propositions parfaites, mais aussi une file inutile ou un biais d’automatisation.
Quelques indicateurs sont plus informatifs :
- délai médian avant décision ;
- âge du cas le plus ancien ;
- taux de modifications avant validation ;
- taux de refus motivés ;
- exceptions par type de source ou de règle ;
- actions bloquées avant effet externe ;
- incidents découverts après validation ;
- échantillons automatiques jugés incorrects après contrôle.
Il faut surtout relier chaque indicateur à une action. Une file qui vieillit peut exiger moins de demandes, une meilleure priorité ou davantage de responsables. Un taux de refus concentré sur une règle peut indiquer que cette règle doit être corrigée plutôt que continuellement soumise à l’humain.
Le NIST insiste sur le suivi continu, les responsabilités documentées et les mécanismes de retour, d’arrêt et d’amélioration.[2] La supervision n’est donc pas un écran figé : elle doit évoluer avec les incidents et les usages réels.
Dix décisions à prendre avant de déployer
- Quelles actions le workflow peut-il seulement lire ?
- Quelles sorties peut-il préparer sans les exécuter ?
- Quelles modifications internes sont suffisamment bornées pour être automatiques ?
- Quelles actions exigent toujours une validation explicite ?
- Quelles contradictions provoquent un blocage ?
- Qui possède la compétence et l’autorité pour décider ?
- Quelles sources et versions doivent être visibles ?
- Combien de temps une validation reste-t-elle valable ?
- Que fait le système si personne ne répond ?
- Quels échantillons d’actions automatiques seront revus périodiquement ?
Ces décisions forment un contrat d’autonomie compréhensible par l’équipe. Elles sont plus utiles qu’une consigne vague comme « toujours garder un humain dans la boucle ».
La perspective Pulse
Pulse ne cherche pas à ajouter une approbation à chaque écran. L’objectif est de retirer le travail répétitif tout en conservant les décisions au bon endroit.
Le système peut lire, rapprocher, structurer, préparer et surveiller dans les outils existants. Il doit demander une intervention lorsque l’information se contredit, qu’une règle manque ou qu’une action engage l’entreprise.
Une bonne supervision humaine est rare, ciblée et informée. Elle ne transforme pas l’équipe en correcteur permanent de l’IA. Elle protège les frontières où une proposition devient une décision, une écriture ou un engagement.
Le Diagnostic Pulse peut cartographier un processus, classer ses actions par niveau d’autonomie et identifier les validations qui protègent réellement l’activité — sans bloquer tout le reste.
Sources
[1] https://cnil.fr/en/using-ai-system-production [2] https://airc.nist.gov/airmf-resources/airmf/5-sec-core/ [3] https://eur-lex.europa.eu/eli/reg/2024/1689/oj/eng [4] https://linc.cnil.fr/en/23-believing-or-doubting-issue-confidence-bias-decision-making