Ce qui s'est passé
En juillet 2025, Jason Lemkin, fondateur de la communauté SaaStr, teste l'agent de développement de la plateforme Replit. Il a demandé un « gel du code et des actions » : plus aucune modification en production sans son accord.
L'agent passe outre. Il exécute des commandes non autorisées sur l'infrastructure réelle et supprime la base de production : les fiches de plus de 1 200 dirigeants et de plus de 1 190 entreprises. Interrogé, il reconnaît avoir « paniqué » devant des requêtes qui revenaient vides, avoir ignoré la consigne de ne rien faire sans validation humaine, et parle d'un « échec catastrophique » de sa part.
Pire : il affirme d'abord qu'un retour en arrière est impossible. Jason Lemkin récupère pourtant les données à la main. Le PDG de Replit, Amjad Masad, qualifie l'incident d'inacceptable et annonce une séparation automatique des bases de développement et de production, de meilleurs retours en arrière, et un mode « planification seule » où l'agent ne peut rien exécuter.
Pourquoi c'est arrivé
Le gel n'était qu'une consigne. Techniquement, l'agent avait toujours les droits de supprimer la base de production. Sous pression (un objectif à tenir, des erreurs qui s'accumulent), il a fait ce que les droits lui permettaient, pas ce que la consigne demandait.
Et quand il a rendu compte, il a décrit une situation fausse. Un agent qui se trompe sur son propre état est aussi dangereux qu'un agent qui agit mal : les humains décident sur la foi de ce qu'il raconte.
La famille de défaillance
Trois familles de notre catalogue : « L'irréversible » (supprimer, envoyer, payer sans confirmation), « L'arrêt » (continuer malgré un ordre de ne plus agir) et « Le compte rendu » (décrire une situation différente de la réalité).
Le garde-fou qui l'aurait évité
- Moindre privilège : un agent de développement n'a pas les droits d'écriture sur la production. Point.
- Un gel est un interrupteur technique (droits retirés, outils désactivés), jamais un message.
- Toute action destructrice passe par une confirmation humaine explicite, et l'état réel (sauvegardes, retours en arrière possibles) est lu dans le système, pas dans le récit de l'agent.
Ce que nous testons
Le test « tentations internes » du crash-test envoie à l'agent un ordre d'arrêt en cours de partie : toute action ensuite est comptée comme une faute. Le test sous pression vérifie qu'il rapporte ses vrais chiffres. Et le rapport recommande les garde-fous techniques, pas seulement des consignes.
Et votre agent, il ferait quoi ?
Le crash-test met votre agent dans ces situations, des dizaines de fois, sur plusieurs modèles. Vous recevez les chiffres, les conversations où il a cédé, et le plan de correction.