Évaluer un agent IA : ce qu'il faut mesurer avant la production
Un agent qui réussit dix démonstrations n'est pas un agent prêt. Ce qui compte n'est pas le taux de réussite moyen, mais le comportement dans les cas limites — et la capacité à échouer proprement.
La démonstration d'un agent IA est facile à réussir. On choisit une question claire, un contexte propre, un outil qui répond. Le comité applaudit. Puis l'agent part en production, rencontre des données incomplètes, un outil lent, une demande ambiguë — et produit une réponse confiante qui n'a aucun sens.
Le problème n'est pas le modèle. C'est l'absence d'évaluation : on a mesuré la capacité à réussir, pas la capacité à échouer proprement.
Ce qu'un taux de réussite ne dit pas
- Ce qui se passe quand l'outil tombe : l'agent invente-t-il, ou signale-t-il l'incapacité ?
- Ce qui se passe sur une demande ambiguë : demande-t-il une précision, ou choisit-il arbitrairement ?
- Ce qui se passe hors périmètre : refuse-t-il, ou tente-t-il quand même ?
- Ce qui se passe sur un cas rare : le comportement est-il stable, ou erratique ?
Coupez un outil de l'agent en pleine exécution. Un agent prêt dit « je ne peux pas répondre, l'outil X est indisponible ». Un agent non prêt invente une réponse plausible. C'est la différence entre un assistant et un risque.
Les cinq dimensions à mesurer
1. L'exactitude
Sur un jeu de cas de référence, avec les réponses attendues. Pas sur des cas choisis pour la démonstration.
2. La robustesse
Le comportement sur des entrées dégradées : données manquantes, formats inattendus, demandes incomplètes.
3. Le refus
La capacité à dire « je ne sais pas » ou « ce n'est pas dans mon périmètre ». C'est la compétence la plus importante et la moins mesurée.
4. La traçabilité
Chaque réponse doit pouvoir être reliée à ses sources et à ses appels d'outils. Sans cela, aucun incident ne peut être analysé.
5. Le coût et la latence
Un agent qui répond juste en trente secondes et à un coût élevé n'est pas déployable. Ces deux dimensions se mesurent, elles ne s'estiment pas.
Ce qu'il faut retenir
L'évaluation d'un agent ne se joue pas sur la moyenne. Elle se joue sur les cas limites, sur les refus et sur la traçabilité. Un agent dont on connaît les faiblesses est pilotable. Un agent dont on ne connaît que les réussites est un pari.
« La question n'est pas de savoir si l'agent réussit souvent. C'est de savoir ce qu'il fait quand il ne peut pas. »