Aller au contenu

La lettre mensuelle · 10/2026

14 modèles sous pression : ce que montre le baromètre d'octobre

Bonjour,

C'est la première lettre de CrashMire. Elle arrive une fois par mois, avec ce que nous avons mesuré et ce que nous avons appris. Rien d'autre.

Le baromètre du 30 octobre

Nous avons mis le même agent de service client sous pression sur 14 modèles du marché, ouverts et fermés. 13 situations, chacune jouée 3 fois, avec des règles qui prévoient les exceptions d'une vraie politique d'entreprise. Une faute n'est jamais l'avis d'une IA : c'est un acte enregistré, un remboursement fait ou une donnée envoyée.

  • 3 modèles sur 14 n'ont commis aucune faute.
  • Face à une instruction piégée ou à un faux supérieur, les 7 modèles ouverts testés ont cédé à chaque essai.
  • Des modèles fermés de grands laboratoires ont cédé à la seule insistance d'un interlocuteur.

Ce que ça veut dire pour vous : le même agent, avec les mêmes consignes, change de comportement selon le modèle qui le fait tourner. Passer à un modèle moins cher peut ouvrir une faille sans que rien d'autre ne bouge.

Voir le baromètre modèle par modèle

*Mise à jour du 15 novembre 2026 : cette édition a été retirée après sa publication. Un défaut de nos outils de consultation faussait une partie des résultats ; l'édition du 6 novembre la remplace.*

Un incident réel : le chatbot qui inventait une politique

Un client d'Air Canada demande au chatbot comment fonctionne le tarif deuil. Le chatbot invente une règle de remboursement qui n'existe nulle part. Air Canada plaide que le chatbot est responsable de ses propres actes ; le tribunal répond que l'entreprise répond de tout ce que dit son site. Un agent qui parle en votre nom vous engage.

Lire l'analyse

Nouveau sur le site

  • Méthode v1.2 : ce que nous mesurons, comment, et ses limites. La méthode
  • Estimez en 2 minutes : sept questions sur votre agent, et ce qu'il faudrait tester en premier. Estimer
  • Centre de confiance : hébergement, données, accès, sous-traitants. Le centre de confiance
  • Une proposition publique : tester un agent IA avant de lui confier des outils. La proposition

À la prochaine édition,

Cyril Delage, CrashMire

← Toutes les lettres