L’aire sous la courbe ROC (AUC) reste la métrique par défaut pour évaluer un modèle de classification binaire. Les régulateurs, la FDA comme l’Union européenne, exigent désormais des tableaux de performance détaillés qui dépassent largement ce score unique. Comprendre quand l’AUC suffit, et quand elle masque des faiblesses critiques du modèle, devient un enjeu technique concret pour toute équipe qui déploie un système en production.
Limites structurelles de l’AUC sur données déséquilibrées
L’AUC mesure la capacité du modèle à classer un positif au-dessus d’un négatif tiré au hasard. Sur un jeu de données où la classe minoritaire représente moins d’un pour cent des observations, un modèle qui prédit presque toujours la classe majoritaire peut afficher un AUC supérieur à 0,90.
Ce score élevé ne traduit pas une performance réelle sur la classe rare. La courbe ROC intègre le taux de vrais positifs et le taux de faux positifs, mais ce dernier reste faible mécaniquement quand les négatifs dominent massivement le jeu de données.
La courbe precision-recall (PR) se concentre sur la classe positive, celle qui intéresse réellement dans un contexte de détection de fraude, de diagnostic médical ou d’alerte environnementale. L’aire sous cette courbe (PR AUC) chute brutalement quand le modèle génère beaucoup de faux positifs, ce que l’AUC ROC peut masquer.
Tableau comparatif : AUC ROC, PR AUC et métriques de dérive
Les métriques ne mesurent pas la même chose. Leur pertinence dépend du déséquilibre des données, du coût des erreurs et de la phase du cycle de vie du modèle.
| Métrique | Ce qu’elle mesure | Cas d’usage principal | Limite connue |
|---|---|---|---|
| AUC ROC | Discrimination globale entre classes | Données équilibrées, comparaison rapide de modèles | Surévalue la performance sur données déséquilibrées |
| PR AUC | Précision et rappel sur la classe positive | Détection d’anomalies, classe rare | Sensible à la prévalence, difficile à comparer entre jeux de données |
| VPP (PPV) par sous-population | Proportion de vrais positifs parmi les prédictions positives, par groupe | Dispositifs médicaux, modèles réglementés | Nécessite un volume suffisant par sous-groupe |
| Population Stability Index (PSI) | Dérive entre distribution d’entraînement et distribution en production | Surveillance post-déploiement | Ne mesure pas directement la performance prédictive |
| Divergence de Kullback-Leibler (KL) | Écart entre deux distributions de probabilité | Détection de data drift continu | Asymétrique, sensible aux queues de distribution |
La lecture croisée de ces métriques donne une image bien plus fiable qu’un AUC isolé. Un PSI élevé signale que le modèle opère hors de son domaine de validité, même si l’AUC calculée sur le jeu de test initial reste stable.
Exigences réglementaires FDA et EU AI Act : métriques par sous-population
La draft guidance FDA publiée le 6 janvier 2025 (dossier FDA-2024-D-4488) impose aux fabricants de dispositifs médicaux intégrant de l’IA de fournir des tableaux de sensibilité, spécificité et VPP avec intervalles de confiance, par sous-population. Un AUC global ne suffit plus à démontrer la sécurité d’un système.
Ce même document introduit l’usage systématique du PSI et de la divergence KL pour surveiller la dérive des distributions d’entrée et de sortie du modèle en conditions réelles. Le focus réglementaire se déplace vers la robustesse temporelle du modèle après déploiement.
Côté européen, l’EU AI Act impose à partir du 2 août 2025, pour les fournisseurs de modèles d’IA à usage général, une documentation technique conforme aux annexes XI et XII. Ces documents doivent inclure les métriques de performance pertinentes, les limitations connues et les conditions d’usage. L’analyse de ces exigences montre une convergence vers des model cards structurées intégrant plusieurs métriques complémentaires.
Ce que cela change pour les équipes techniques
Les équipes qui déployaient un modèle en se contentant d’un AUC sur un jeu de test statique doivent désormais documenter la performance par segment démographique, par site clinique ou par cohorte temporelle. Le coût de cette granularité est réel, mais l’absence de documentation expose à un refus réglementaire.
- Découper le jeu de validation en sous-populations pertinentes (âge, site, période) et calculer sensibilité, spécificité et VPP pour chacune
- Mettre en place un pipeline de surveillance post-déploiement qui calcule le PSI et la divergence KL à intervalles réguliers sur les données de production
- Produire une model card mise à jour à chaque réentraînement, avec les métriques exigées par l’EU AI Act et la draft FDA
Surveillance post-déploiement : PSI et divergence KL en pratique
L’AUC mesure la performance à un instant donné, sur un jeu figé. En production, les distributions changent. Un modèle de gestion des risques climatiques entraîné sur des données historiques peut voir ses entrées dériver rapidement face à l’augmentation des événements extrêmes.
Le PSI compare la distribution d’une variable entre la période d’entraînement et la période courante. Un seuil couramment utilisé distingue trois zones : stabilité, dérive modérée et dérive significative. Le PSI détecte un problème avant que la performance prédictive ne se dégrade visiblement, ce qui laisse le temps de réentraîner ou d’ajuster le modèle.
La divergence KL complète le PSI en capturant les écarts dans les queues de distribution, là où se concentrent souvent les cas critiques. En revanche, son asymétrie impose de calculer KL(P||Q) et KL(Q||P) pour obtenir une vision complète, ou d’utiliser la divergence de Jensen-Shannon qui la symétrise.
Quand l’AUC reste pertinente
Sur un jeu de données raisonnablement équilibré, dans un contexte de comparaison de modèles candidats avant déploiement, l’AUC ROC reste un indicateur fiable et facile à interpréter. Elle perd son utilité principale quand le modèle passe en production sur des données non stationnaires, ou quand la classe d’intérêt est rare.
Le choix entre AUC ROC, PR AUC et métriques de dérive n’est pas un débat théorique. Les cadres réglementaires FDA et européen formalisent désormais cette exigence de pluralité. Un modèle évalué sur une seule métrique est un modèle incomplètement documenté, et en 2026, cette lacune a des conséquences concrètes sur l’accès au marché.
