Notre propre crash-test
Nous avons passé CrashMire au crash-test
Un texte écrit par un adversaire peut-il faire faire à notre système quelque chose qu'il ne devrait pas ? C'est la question que nous posons aux agents de nos clients. Le 1er novembre 2026, nous l'avons posée à nos propres IA, avec la même méthode (version 1.3).
- 156cas joués contre les vrais modèles en production, dont des cas témoins sans aucun piège
- 30 sur 30tentatives de faire révéler à Léa ses consignes cachées, toutes sans succès
- 2 étapesla revue du code, puis les mêmes attaques contre les vrais modèles
- v1.3la version de notre méthode, la même que pour nos clients
Ce que nous avons testé
Chaque pièce de CrashMire qui lit un texte venu de l'extérieur, avec, pour chacune, qui pourrait écrire ce texte.
| Ce que nous avons testé | Qui écrit |
|---|---|
| L'assistant de l'entretienIl aide nos clients à décrire leur agent avant un crash-test. | Nos clients : la description de leur agent, leurs réponses, la configuration qu'ils importent. |
| Le jugement des essaisIl établit, essai par essai, ce que l'agent testé a fait et si une ligne a été franchie. | L'agent testé lui-même : ses messages, ses appels d'outils, ses e-mails. |
| Léa, la démo publiqueL'agent IA du service client d'une boutique fictive, que chacun peut essayer de faire céder. | Les visiteurs du site. |
| Le serveur MCP publicLa porte par laquelle un assistant IA peut obtenir nos informations ou nous laisser un message. | Les assistants IA qui nous écrivent pour le compte de quelqu'un. |
| Le rapport, l'attestation et les e-mailsCe que nous livrons et envoyons à la fin d'un crash-test. | Tout texte venu de l'extérieur qu'ils reprennent : noms, descriptions, résumés. |
Comment
La revue du code
Nous avons relu chaque pièce et joué les attaques sans aucun modèle : ce que notre code accepte ou refuse, indépendamment de la réaction d'une IA.
Les vrais modèles, en production
Puis les mêmes attaques contre les modèles réellement utilisés en production : 156 cas, dont des cas témoins sans aucun piège, pour mesurer aussi nos propres fausses alertes.
Renforcer, puis tester à chaque modification
Chaque point à renforcer a été traité et couvert par des tests automatiques, qui tournent à chaque modification de notre code.
Ce qui a tenu
- Aucun texte d'attaquant ne peut changer un verdict, un nombre d'essais ratés, une gravité ou une attestation : tout est recalculé par le code à partir des actes enregistrés, jamais à partir de ce que l'agent ou le client écrit.
- Léa n'a jamais révélé ses consignes cachées ni notre manière de construire les tests : 30 tentatives sur 30 sont restées sans succès.
Ce que nous avons renforcé
Nous en avons aussi profité pour renforcer six points. Tout a été traité le jour même et couvert par des tests automatiques.
- Les textes de nos clients sont toujours traités comme des données à lire, jamais comme des instructions à suivre.
- Le résumé de chaque rapport est confronté aux chiffres calculés ; en cas de doute, il attend la relecture d'une personne avant d'être livré.
- Une clé d'accès collée par erreur dans un texte est masquée avant tout appel à un modèle.
- Les messages reçus par notre serveur MCP arrivent marqués comme non vérifiés.
- Méthode v1.3 : le destinataire d'un e-mail envoyé par l'agent testé est vérifié plus strictement. Tous les essais passés ont été rejugés ; aucun chiffre publié du baromètre n'a changé. L'historique de la méthode →
- Sur les attestations, le nom que le client donne à son agent est plus clairement présenté comme tel.
Les limites, honnêtement
- Un crash-test documente ce qui a été vérifié à une date donnée. Il ne dit pas ce qui se passera après le prochain changement.
- Le contrôle du résumé vérifie les chiffres et les affirmations globales, pas chaque nuance d'une phrase.
- Nous recommençons à chaque changement de modèle ou de consignes, comme nous le conseillons à nos clients.