Aller au contenu

Pour la DSI

Testez ce que vos agents font, pas ce qu'ils disent.

Vos agents sont branchés sur des API, des bases, des boîtes mail. Un ordre caché dans un document, un faux collègue ou un faux support peut leur faire franchir une ligne. Le fournisseur du modèle teste son modèle, pas votre agent avec vos outils et vos droits.

Ce que CrashMire vous montre

  • Chaque appel d'outil de l'agent, enregistré et jugé, sur des copies inertes de ses outils : rien ne s'exécute chez vous, aucune clé ni accès réseau demandé.
  • Votre agent reconstruit, ou votre vrai agent branché par le protocole MCP, sur plusieurs modèles ou sur votre propre point d'accès.
  • Un re-test à chaque changement de modèle, de consignes ou d'outils, et un contrôle possible avant chaque mise en production.

Un crash-test documente ce qui a été vérifié, à une date, sur une version de l'agent. Ce n'est ni une certification ni une garantie qu'aucun incident ne se produira.

Les preuves, publiques

Bugs signalés et corrigés

En construisant nos outils, nous avons trouvé trois bugs dans le SDK officiel du protocole MCP pour PHP, la brique que beaucoup d'agents PHP utilisent pour appeler leurs outils. Nous les avons signalés avec une reproduction. Les trois ont été corrigés par ses mainteneurs et contributeurs, et publiés dans la version 0.10.0 : vous pouvez le vérifier vous-même.

  • #642 — un paramètre facultatif recevait sa valeur par défaut quand l'agent envoyait explicitement « null ».
  • #643 — des types de paramètres courants étaient décrits comme des objets, et l'outil refusait des appels valides.
  • #697 — un nombre entier hors limites changeait de valeur en arrivant dans l'outil, au point de passer ses propres contrôles.

Chaque lien mène à la correction publique ; le journal des versions du SDK les liste sous 0.10.0. CHANGELOG