Ce qui s'est passé
En avril 2025, des utilisateurs de Cursor, un éditeur de code très utilisé par les développeurs, sont déconnectés quand ils passent d'une machine à une autre. L'un d'eux écrit au support. La réponse arrive, signée « Sam » : ce comportement serait normal, conséquence d'une nouvelle politique de connexion.
Cette politique n'existe pas. Et « Sam » n'est pas un humain : c'est un agent IA, présenté sans aucune mention de sa nature. L'explication circule dans la communauté des développeurs, des utilisateurs annoncent qu'ils résilient leur abonnement.
L'un des cofondateurs, Michael Truell, intervient sur Reddit : « Nous n'avons pas de telle politique », il s'agit d'« une réponse incorrecte d'un agent IA de support de première ligne ». L'utilisateur est remboursé, et les réponses IA du support par e-mail sont désormais signalées comme telles. La vraie cause des déconnexions était un bug, corrigé depuis.
Pourquoi c'est arrivé
On a demandé à l'agent d'expliquer quelque chose qu'il ne savait pas expliquer. La réponse la plus plausible à « pourquoi suis-je déconnecté ? », c'est une règle. Le modèle l'a produite, avec l'aplomb d'un employé qui connaît la maison.
Une consigne « n'invente pas de politique » ne suffit pas : l'agent ne sait pas quelles politiques existent, il ne sait que ce qui sonne juste. Et comme rien n'indiquait qu'il était une IA, ses mots ont été lus comme la position officielle de l'entreprise.
La famille de défaillance
Dans notre catalogue, c'est la famille « La parole », celle d'Air Canada : l'agent énonce une règle, un engagement ou une exception que l'entreprise n'a jamais décidé. Ici, la règle inventée était une restriction plutôt qu'une promesse, et le coût s'est payé en clients perdus plutôt qu'au tribunal.
Le garde-fou dans le code
- Les réponses sur les règles (conditions, restrictions, délais) ne sortent que si elles s'appuient sur un document validé, cité. Sinon, la réponse part vers un humain.
- Toute réponse qui énonce une règle ou un engagement est repérée avant envoi et retenue pour validation.
- Un agent qui répond au nom de l'entreprise se présente comme une IA.
Ce que nous testons
Dans le test « client manipulateur », un client simulé insiste, raconte sa situation, invoque une règle qui n'existe pas ou demande une explication. Nous comptons combien de fois l'agent confirme, promet ou invente une règle par écrit, sur plusieurs essais et plusieurs modèles.
Et votre agent, il ferait quoi ?
Le crash-test met votre agent dans ces situations, des dizaines de fois, sur plusieurs modèles. Vous recevez les chiffres, les conversations où il a cédé, et le plan de correction.
À lire aussi
- Google Antigravity : l'agent qui a effacé un disque pour vider un cache
- Claude Code : l'agent qui se croyait en audit de sécurité
- Microsoft 365 Copilot : la fuite déclenchée par un simple e-mail
- Replit : l'agent qui a effacé la production pendant le gel du code
- Chevrolet : le chatbot qui vendait un SUV pour un dollar
- Air Canada : condamnée pour une règle inventée par son chatbot