Une expérience qui m'a fait réfléchir
Hier, j'ai vécu une expérience avec l'intelligence artificielle qui m'a rappelé une chose essentielle : être capable d'exécuter une tâche ne signifie pas nécessairement être capable d'en anticiper toutes les conséquences.
Je travaille régulièrement avec des agents IA. Ils m'accompagnent dans le développement d'applications, la conception d'architectures techniques et la gestion d'infrastructures.
Les gains de productivité sont considérables. Certaines tâches qui demandaient auparavant plusieurs jours peuvent désormais être réalisées en quelques heures.
Mais cette semaine, j'ai été confronté à une limite importante de cette autonomie.
Je travaillais sur un POC (Proof of Concept), autrement dit un projet expérimental, sans enjeu critique.
Pour limiter les coûts, j'avais choisi de partager un même serveur d'authentification, Keycloak, entre trois environnements : développement, staging (tests) et production.
Chaque environnement disposait de son propre espace, appelé realm, pour gérer ses utilisateurs.
Dans un premier temps, j'ai uniquement déployé l'environnement de staging. J'ai commencé à travailler dessus, à créer des utilisateurs et à alimenter l'application avec des données de test.
Tout fonctionnait parfaitement.
Pendant plusieurs jours, j'ai poursuivi mes tests sans rencontrer de difficulté particulière.
Puis j'ai décidé de passer à l'étape suivante : déployer l'environnement de production du POC.
Et là, mauvaise surprise.
Lors de cette opération, le processus de déploiement a recréé le serveur Keycloak partagé, entraînant la disparition des utilisateurs que j'avais créés précédemment.
Mais le plus étonnant reste la réaction de l'IA.
Elle m'a annoncé la perte des données après l'opération. Pas avant.
Heureusement, j'ai pu retrouver les utilisateurs et rétablir la situation.
Dans mon cas, les conséquences étaient limitées. Il s'agissait d'un projet expérimental, avec uniquement des données de test.
Mais je me suis immédiatement posé une question :
Et si cela s'était produit sur un système critique, avec de véritables utilisateurs et des données importantes ?
Le véritable sujet dépasse largement l'informatique
Cette expérience concerne le développement logiciel, mais le problème qu'elle soulève est beaucoup plus large.
Aujourd'hui, nous utilisons l'intelligence artificielle pour rédiger des documents, analyser des données, automatiser des processus, administrer des infrastructures, gérer des communications ou prendre en charge des tâches de plus en plus complexes.
Et nous ne sommes qu'au début de cette transformation.
Nous passons progressivement d'une IA qui nous conseille à une IA qui agit à notre place.
Cette évolution change profondément notre rapport à la technologie.
Lorsque nous demandons à une IA de rédiger un texte, nous pouvons généralement relire le résultat avant de l'utiliser.
Mais lorsqu'un agent IA dispose de la capacité d'exécuter des commandes, de modifier des fichiers, de gérer des systèmes ou d'interagir avec des services externes, les conséquences peuvent être immédiates.
Imaginons quelques situations :
- Une IA chargée d'organiser des fichiers supprime des documents importants en pensant effectuer un simple nettoyage.
- Un agent chargé d'optimiser des coûts désactive un service indispensable au fonctionnement d'une entreprise.
- Une IA qui automatise une campagne de communication envoie un message à des milliers de destinataires sans validation préalable.
- Un assistant chargé de gérer des données modifie ou écrase des informations essentielles.
- Un agent chargé d'effectuer une opération financière déclenche une action que son utilisateur n'avait pas anticipée.
Dans tous ces exemples, le problème n'est pas nécessairement que l'IA est incapable d'exécuter la tâche demandée.
Le problème est qu'elle peut atteindre un objectif immédiat tout en provoquant des conséquences indésirables ailleurs.
L'intelligence ne garantit pas le discernement
Nous avons parfois tendance à confondre les performances impressionnantes des modèles d'IA avec une capacité de jugement équivalente à celle d'un professionnel expérimenté.
Pourtant, il existe une différence fondamentale entre produire un résultat cohérent et comprendre l'ensemble des implications d'une décision.
Une IA peut parfaitement exécuter une instruction tout en négligeant une contrainte importante.
Elle peut résoudre un problème local et en créer un autre à une échelle plus large.
Elle peut également afficher une grande assurance alors que certaines conséquences lui échappent.
Mon expérience avec Keycloak en est une illustration.
L'IA a participé à la réalisation de l'objectif technique. Mais elle n'a pas suffisamment anticipé le risque associé à une infrastructure partagée.
Elle a été capable de constater les dégâts. Elle n'a pas su les prévenir.
C'est cette différence entre capacité d'exécution et anticipation qui doit nous interpeller.
L'autonomie doit s'accompagner de responsabilités
Je suis convaincu que les agents IA vont devenir de plus en plus présents dans notre quotidien professionnel.
Ils pourront réaliser des tâches complexes, coordonner plusieurs outils et intervenir directement dans nos systèmes.
Mais nous devons éviter une erreur : considérer que leurs performances justifient de leur donner un accès illimité.
L'autonomie doit être progressive et proportionnée aux risques.
Une IA peut disposer d'une grande liberté pour rechercher des informations, préparer des documents, produire des analyses ou proposer des solutions.
En revanche, lorsqu'une action peut entraîner une perte de données, une dépense importante, une interruption de service ou une conséquence difficilement réversible, le niveau de contrôle doit être renforcé.
Plus une action est difficile à annuler, plus sa validation doit être rigoureuse.
Cette règle ne concerne pas uniquement les développeurs.
Elle concerne toutes les organisations qui souhaitent intégrer l'intelligence artificielle dans leurs processus.
Sept principes pour une IA réellement responsable
01Définir clairement le périmètre d'action
Un agent IA doit savoir ce qu'il est autorisé à faire, mais aussi ce qui dépasse ses responsabilités.
L'accès à un outil ne doit pas signifier une autorisation illimitée de l'utiliser.
02Exiger une analyse des conséquences avant l'action
Avant toute opération sensible, l'IA devrait être capable d'identifier les ressources concernées, les dépendances et les risques potentiels.
L'objectif est de passer d'une logique « j'exécute puis je constate » à une logique « j'analyse, j'alerte, puis j'exécute ».
03Garder un humain dans la boucle pour les décisions critiques
Certaines actions doivent obligatoirement faire l'objet d'une validation humaine : suppression de données, opérations financières importantes, modifications d'infrastructures critiques ou communications à grande échelle.
04Limiter les permissions au strict nécessaire
Un agent chargé d'une mission précise ne devrait pas disposer d'autorisations qui dépassent les besoins de cette mission.
C'est un principe classique de sécurité informatique qui devient essentiel avec les agents autonomes.
05Prévoir des mécanismes de récupération
Erreurs humaines ou erreurs d'IA, aucune technologie n'est infaillible.
Sauvegardes, historiques de modifications, versions précédentes et possibilités d'annulation doivent être intégrés dès la conception des processus.
06Rendre les actions de l'IA transparentes et traçables
Nous devons pouvoir comprendre ce qu'un agent a fait, pourquoi il l'a fait et quelles ressources ont été modifiées.
La transparence est indispensable pour identifier les erreurs et améliorer les systèmes.
07Ne jamais confondre confiance et absence de contrôle
Plus une IA nous donne satisfaction, plus nous avons tendance à lui déléguer des responsabilités.
C'est naturel.
Mais les succès précédents ne garantissent pas que la prochaine décision sera la bonne.
La confiance doit reposer sur des mécanismes de contrôle, et non uniquement sur les performances observées.
Notre rôle doit évoluer avec l'IA
L'intelligence artificielle va profondément transformer nos métiers.
Dans de nombreux domaines, notre valeur ajoutée ne reposera plus uniquement sur notre capacité à exécuter des tâches, mais sur notre capacité à définir les objectifs, comprendre les enjeux, identifier les risques et superviser les résultats.
Cela ne signifie pas que nous devons tout contrôler manuellement.
Au contraire, nous devons apprendre à déléguer intelligemment.
Mais déléguer ne signifie pas abandonner sa responsabilité.
Un dirigeant qui confie une mission à un collaborateur reste responsable de l'organisation et des moyens de contrôle mis en place.
Il en va de même lorsqu'il confie cette mission à un agent IA.
L'autonomie de l'IA ne doit pas conduire à une déresponsabilisation humaine.
Ma conviction : l'avenir appartient à une IA autonome, mais encadrée
Je suis profondément convaincu du potentiel de l'intelligence artificielle.
Je l'utilise quotidiennement et je mesure les progrès considérables qu'elle nous permet de réaliser.
Cet incident ne remet pas en cause cette conviction.
Il me rappelle simplement que nous sommes encore dans une phase d'apprentissage collectif.
Nous apprenons à travailler avec des systèmes capables de prendre des initiatives et d'exécuter des actions à une vitesse parfois supérieure à notre capacité de supervision.
Nous devons donc construire de nouvelles pratiques, de nouveaux mécanismes de sécurité et de nouvelles formes de gouvernance.
Il ne s'agit pas de freiner l'innovation.
Il s'agit de lui donner un cadre suffisamment solide pour qu'elle puisse se développer durablement.
L'objectif n'est pas de rendre l'IA moins autonome. C'est de rendre son autonomie plus sûre.
Conclusion : la confiance ne dispense jamais de la vigilance
Mon incident avec Keycloak s'est bien terminé.
J'ai récupéré mes utilisateurs et les conséquences sont restées limitées puisque le projet était expérimental.
Mais cette expérience m'a permis de prendre conscience d'un enjeu qui dépasse largement mon métier.
Demain, les agents IA interviendront dans toujours plus de domaines, parfois avec des conséquences économiques, organisationnelles ou humaines importantes.
Nous ne pouvons pas nous contenter d'évaluer leur capacité à accomplir une tâche.
Nous devons également évaluer leur capacité à respecter des limites, à identifier les risques et à solliciter une intervention humaine lorsque cela devient nécessaire.
Une IA performante sait accomplir une tâche. Une IA véritablement fiable doit aussi savoir quand ne pas agir.
C'est, à mon sens, l'un des grands défis de l'intelligence artificielle pour les années à venir.