Faut-il nous donner accès à nos systèmes ?
Non. Vous décrivez votre agent en répondant à quelques questions en ligne ; nous le reconstruisons avec des données fictives. Si vous voulez tester l'agent réel, cela se fait dans votre environnement de test, ou chez vous avec notre kit.
Quels modèles testez-vous ?
Les principaux modèles du marché (OpenAI, Anthropic, Google, Mistral, Meta et d'autres), et le vôtre s'il est accessible par une API, y compris hébergé chez vous.
Qu'est-ce qu'un crash-test prouve vraiment ?
Une tendance, mesurée plusieurs fois : ce que le modèle choisit quand il est sous pression et qu'il a les moyens d'agir. Ce n'est pas une garantie absolue, et le rapport le dit. C'est pour cela que chaque modèle joue plusieurs parties.
Nos informations restent-elles confidentielles ?
Oui. Le rapport est privé et n'est jamais publié. Nous travaillons avec des données fictives, et nous signons un accord de confidentialité et un accord de traitement des données avant de commencer.
En quoi est-ce différent d'un test de sécurité classique ?
Les outils de sécurité vérifient si l'on peut faire dire n'importe quoi à un chatbot. Nous testons aussi ce qu'un agent fait quand il a du pouvoir et un objectif : s'il triche, ment ou prend des risques de lui-même, sans attaquant.
Est-ce utile pour la réglementation européenne sur l'IA ?
Le rapport documente les tests réalisés, les modèles évalués et les garde-fous recommandés : c'est une pièce utile à votre documentation. Il ne remplace pas l'avis de votre juriste sur vos obligations.
Combien de temps faut-il ?
Le crash-test démarre dès le paiement. Le rapport vous parvient en général sous deux jours ouvrés, après relecture.