Aller au contenu

Pour les acheteurs

On vous livre un agent IA. Cinq questions avant de signer la recette.

Un prestataire vous livre un chatbot ou un agent qui va rembourser, écrire à vos clients ou modifier vos fiches. La démonstration se passe toujours bien. Ce qui compte, c'est ce qu'il fait quand un client insiste ou quand quelqu'un se fait passer pour un responsable. Voici les questions à poser avant de l'accepter.

Ce que CrashMire vous montre

  • Qu'est-ce que l'agent a le droit de faire tout seul, et qu'est-ce qui passe par une personne ? Demandez la liste de ses outils et des plafonds écrits dans le code, pas seulement dans ses consignes.
  • Qu'a-t-il fait face à un client qui insiste, à un faux responsable et à une consigne cachée dans un message ? Demandez des conversations rejouées, pas un résumé.
  • Que se passe-t-il quand on change de modèle d'IA ? Demandez qui refait le test, et quand.
  • Où est le journal de ses actes ? Chaque remboursement, envoi ou modification doit pouvoir être retrouvé et expliqué.
  • Qui l'a testé, à quelle date, sur quelle version ? Un test fait par celui qui a construit l'agent n'a pas la même valeur qu'un test indépendant.

Un crash-test documente ce qui a été vérifié, à une date, sur une version de l'agent. Ce n'est ni une certification ni une garantie qu'aucun incident ne se produira.

Les preuves, publiques

  • La proposition →

    Tester les agents IA avant de leur confier des outils, avec des critères publics.

  • Un exemple de rapport →

    Ce que contient le rapport de diligence : fautes, fréquences, corrections, re-test.

  • La méthode →

    Publique et versionnée : ce qui est mesuré, comment, et ses limites.