Évaluer un agent vocal IA : méthode et mesures

Évaluer un agent vocal, c'est vérifier qu'il comprend les appelants, qu'il répond juste, qu'il passe la main quand il doit, et qu'il ne fait pas perdre de temps. Un agent qui marche dans une démonstration peut échouer au premier appel réel, à cause d'un accent, d'un bruit de fond ou d'une demande que personne n'avait prévue. Cette page propose une méthode en quatre étapes. Les pages officielles lues le 15/11/2026 décrivent des outils de test, mais aucune ne publie de seuil de réussite : les seuils se fixent avec votre métier.

Étape 1 : un jeu d'appels de test

Constituez une liste de scénarios écrits à partir de vos vrais appels, ou des questions que l'on vous pose le plus souvent. Pour chaque scénario, notez :

la phrase d'ouverture de l'appelant, et ses variantes ;
la réponse attendue, ou au moins ce qu'elle doit contenir ;
l'issue attendue : réponse donnée, information transmise, transfert vers un humain (voir le transfert) ;
les pièges : un chiffre épelé, une adresse, un nom difficile, une interruption en milieu de phrase.

Pour commencer, nous proposons un premier jeu de 30 à 50 scénarios. C'est une règle de méthode, pas un chiffre publié par un éditeur.

Étape 2 : ce que l'on mesure

Les documentations LiveKit distinguent des tests unitaires, qui vérifient un tour de parole, et des simulations, qui vérifient une conversation sur plusieurs tours avec un utilisateur simulé. Elles évaluent cinq axes : le comportement attendu (intention et ton), l'usage des outils, la gestion des erreurs, l'ancrage factuel, et la résistance aux détournements. Les tests unitaires peuvent vérifier les messages, les appels d'outils et les transferts, en pytest ou en Vitest, en local ou en intégration continue.

À partir de là, nous proposons quatre mesures par appel test :

Compréhension : l'agent a-t-il saisi la demande ? Mesurez le taux de demandes comprises sur le jeu de test, et relevez les mots qui ont posé problème.
Durée : combien de temps dure l'appel, et combien de temps l'agent met-il à répondre ? Reportez-vous à la latence d'un agent vocal pour découper le délai.
Abandon : l'appelant raccroche-t-il avant la fin de sa demande ? Un abandon est souvent le signe d'une boucle ou d'un silence trop long.
Transfert : l'agent passe-t-il la main quand il le doit, et seulement dans ce cas ?

La documentation LiveKit mentionne aussi des métriques d'observabilité, dans un onglet « Agent insights », pour analyser les sessions réelles. Les noms exacts de ces métriques ne figurent pas dans la page lue : vérifiez-les dans votre version du framework.

Étape 3 : la relecture humaine

Une partie des résultats ne se mesure pas automatiquement : le ton, la politesse, la justesse d'une réponse médicale ou juridique, la clarté de la voix. Prévoyez une relecture humaine sur un échantillon d'appels, avec une grille à trois notes (juste, incomplet, faux) et une colonne « à corriger ». La personne qui relit doit connaître le métier : un technicien ne voit pas une réponse fausse dans un devis, un comptable oui.

Pour l'évaluation des modèles de langage en général, voir le réseau evaluation.cercle-ia.tech.

Étape 4 : rejouer après chaque changement

Chaque changement de modèle, de voix, de réglage de tour ou de consigne doit repasser le jeu de test complet. Un réglage qui améliore la latence peut dégrader la compréhension, et l'inverse est vrai. Gardez les résultats de chaque série, avec la date et la version. Un résultat sans date ne sert pas à décider.

Ce qu'il faut éviter

Tester seulement avec sa propre voix, dans un bureau calme. Testez avec des téléphones réels, des bruits de rue, des accents variés.
Fixer un seuil de réussite sans l'avoir mesuré sur un premier jeu. Mesurez d'abord, puis décidez.
Mesurer uniquement la moyenne. Les pires appels comptent plus que la moyenne pour l'appelant.
Confondre les tests texte et les tests audio. La documentation LiveKit précise que les tests en mode texte sont peu coûteux et déterministes, et que les tests audio se réservent aux questions de prise de parole.

Renvois

Pour l'évaluation des modèles de langage en général, la grille de relecture et les métriques, voir le réseau evaluation.cercle-ia.tech. Pour la détection des tours et des interruptions, qui se teste aussi, voir la détection de fin de parole. Pour l'architecture à tester, voir l'architecture d'un agent vocal.