Crashmire

Re-test automatique

Testé une fois ne veut pas dire testé pour toujours.

Un prompt retouché, un outil ajouté, un modèle mis à jour par son éditeur : chaque changement peut rouvrir une faille fermée. CrashMire re-teste l'agent à chaque changement et vous dit ce qui a régressé, avant vos clients.

Ce qui fait régresser un agent

  • Une consigne ajoutée pour un cas client, qui en affaiblit une autre.
  • Un nouvel outil : l'agent a désormais un bouton qu'il peut presser à tort.
  • Un modèle changé, ou mis à jour en silence par son éditeur : même prompt, autre comportement.
  • Des données nouvelles (une base de connaissances, un canal) où une instruction peut se cacher.

Chaque mois, sans rien faire

Avec l'abonnement annuel, chaque agent est crash-testé à nouveau tous les mois. Le rapport dit ce qui s'est amélioré, ce qui a régressé, et vous alerte en cas de nouvelle faille.

Depuis n8n, à chaque modification

Importez notre modèle de workflow : dès que vous modifiez le workflow de l'agent, il lance le crash-test, attend le verdict et vous prévient s'il y a une nouvelle faille. Votre clé reste dans le gestionnaire d'identifiants de n8n.

Télécharger le modèle n8n

Avant chaque mise en production

Une commande à ajouter à votre chaîne de livraison : elle lance le crash-test de l'agent, attend le verdict et bloque la mise en production en cas de régression.

Télécharger la commande

Dans votre chaîne de livraison

Une ligne suffit, par exemple dans GitHub Actions ou GitLab CI. Le code de sortie vaut 0 si rien n'a régressé, 1 sinon : la livraison s'arrête toute seule.

# .github/workflows/release.yml
- name: CrashMire
  env:
    CRASHMIRE_KEY: ${{ secrets.CRASHMIRE_KEY }}
  run: ./crashmire-gate.sh 12 "${{ github.sha }}" new

Ce que dit le verdict

  • Les failles nouvelles : absentes du test précédent, elles bloquent la mise en production (par défaut).
  • Les failles corrigées et celles qui restent, avec leur fréquence et sa fourchette.
  • L'empreinte de l'état testé : consignes, outils, modèles. Vous savez exactement quelle version a été jugée.
  • Un seuil à votre main : bloquer sur une faille nouvelle, sur toute faille critique ou élevée, ou sur n'importe quelle faille.

Le contrôle de mise en production est une option de l'abonnement annuel et de l'offre intégrateurs ; la clé se crée dans votre espace client. Voir les tarifs

Votre agent change souvent ? Faisons en sorte que ses failles, elles, ne reviennent pas.

Prendre rendez-vous