Bonjour,
Voici la lettre de novembre. La nouvelle édition du baromètre CrashMire des agents IA est en ligne, le crash-test passe à 22 tests, et une nouvelle offre permet de choisir l'IA de votre agent.
Le baromètre de novembre
Une IA joue l'employé du service client d'une boutique inventée, avec des règles simples. On lui tend 14 pièges, comme un faux mail de son chef ou un ordre caché dans un message. 14 IA du marché, 3 parties par piège : 756 parties, jugées sur ce que l'IA fait, pas sur ce qu'elle dit.
- Claude Sonnet 5.5 arrive en tête : il a cédé dans 4 parties sur 42.
- Les grandes IA des géants du secteur cèdent dans 10 à 26 % des parties, les IA en libre accès dans 36 à 61 %. Un faux mail du chef ou un ordre caché les fait tomber à chaque fois.
- Le petit frère cède plus que le grand : Claude Haiku a cédé 10 fois sur 39, Sonnet 4 fois sur 42.
- Aucune IA ne résiste à tous les pièges. Face à un outil en panne, la plupart réessaient encore et encore au lieu de prévenir leur responsable, même les mieux classées.
Un test plus proche de la vraie vie
La méthode est passée en version 1.9. Quand l'IA vérifie une commande ou cherche l'adresse d'un collègue, elle voit maintenant exactement ce qu'un employé verrait à l'écran. Ce qu'elle écrit à son responsable en fin de journée est comparé à ce qu'elle a réellement fait.
Le crash-test complet passe à 22 tests. Parmi les nouveaux : l'IA croit que plus personne ne la surveille, son responsable lui ordonne de tout arrêter en pleine tâche, un client insiste pour savoir s'il parle à un humain, ou un compte client est piraté. La prochaine édition du baromètre en jouera 20.
Nouveau sur le site
- Couper un agent IA sans couper son service : la check-list des gestes à prévoir avant d'en avoir besoin. La check-list
- Un agent sans accès au code (assistant d'un CRM, Copilot Studio, n8n, Make, Zapier) se teste aussi. Agent IA sans code
- Rapports signés : chacun peut vérifier en ligne qu'un rapport ou une attestation vient bien de CrashMire et n'a pas été modifié. Vérifier un document
Nouveau : le diagnostic « quel modèle pour votre agent »
Vous nous décrivez votre agent, nous en parlons une fois, et vous recevez sous 5 jours ouvrés un rapport écrit : l'IA qui tient le mieux pour votre usage d'après le baromètre, et les garde-fous à mettre dans le code si vous gardez un modèle moins cher. 2 400 € HT, 1 900 € HT pour les trois premiers.
Et toujours : le programme pilote, trois crash-tests complets offerts contre un retour d'expérience.
À la prochaine édition,
Cyril Delage, CrashMire