Qu’est-ce que la validation des modèles dans une banque?
Par Nick Jang, fondateur de MINERVA Studio ·
La réponse courte
La validation des modèles est un examen indépendant qui détermine si un modèle est solide et adapté à l’usage qu’on en fait. Un validateur, distinct des personnes qui ont construit le modèle, examine sa conception et ses hypothèses, les données qui le soutiennent, sa mise en œuvre et sa performance, puis consigne ses constats et une recommandation pour la personne qui approuve son utilisation. L’E-23 du BSIF parle d’examen des modèles et en ajuste la profondeur à la cote de risque du modèle.
Ce que la validation est, et ce qu’elle n’est pas
Les développeurs testent leurs propres modèles, et c’est normal. La validation, c’est autre chose : une deuxième paire d’yeux qui n’a rien à gagner dans la réponse. L’objectif est la remise en question efficace. La méthode convient-elle au problème? Les données la soutiennent-elles? Le code en production fait-il ce que la documentation prétend? Le modèle fonctionne-t-il encore sur des données qu’il n’a jamais vues? Un bon validateur pose la question gênante que le développeur espérait éviter.
L’exercice se termine par un rapport écrit, avec des constats classés par gravité et une recommandation. Selon l’E-23, l’examen peut confirmer ou contester la cote de risque du modèle, et la décision d’utiliser le modèle revient à un approbateur, pas au validateur.
Ce qu’examine un validateur
| Volet | La question | Preuves habituelles |
|---|---|---|
| Solidité conceptuelle | La méthode convient-elle au problème, et les hypothèses sont-elles raisonnables? | Littérature, solutions de rechange envisagées, tests des hypothèses, jugement d’expert documenté. |
| Données | Les données sont-elles exactes, pertinentes, représentatives et traçables? | Contrôles de qualité, traçabilité, traitement des valeurs manquantes, contrôles des données de substitution et synthétiques, vérification des biais. |
| Mise en œuvre | Le code en production correspond-il au modèle documenté? | Revue du code, reproduction des résultats, gestion des changements. |
| Performance | Le modèle prédit-il ou classe-t-il bien, dans et hors échantillon? | Pouvoir discriminant, calibrage, stabilité et contrôles a posteriori par rapport à des seuils. |
| Usage et limites | Est-il utilisé comme prévu, et ses limites sont-elles connues? | Usages approuvés, limites, ajustements et exceptions au dossier. |
| Plan de surveillance | Un problème sera-t-il détecté après la mise en production? | Indicateurs, seuils, fréquence et remontée. |
Parmi les techniques courantes : les contrôles a posteriori (*backtesting*), le pouvoir discriminant (AUC, coefficient de Gini, Kolmogorov–Smirnov), le calibrage, la stabilité de la population (l’indice PSI, où une valeur au-dessus de 0,25 signale habituellement un changement important), l’étalonnage avec un modèle concurrent, les tests de sensibilité et de stress, et, pour l’IA générative, des jeux d’évaluation qui mesurent l’exactitude et les hallucinations.
À quelle fréquence?
La fréquence suit la cote de risque. Bien des institutions examinent leurs modèles les plus risqués chaque année, les modèles moyens aux deux ans et les modèles à faible risque aux trois ans, avec un examen complet après tout changement important. L’E-23 ne fixe pas de cycle; elle demande que la portée, l’ampleur et l’intensité de l’examen correspondent au risque du modèle, avec une surveillance entre les examens. Voir la cotation du risque de modèle.
L’indépendance, et pourquoi c’est l’essentiel
L’E-23 dit clairement que l’examen doit être indépendant du développement. Il peut être fait à l’interne ou par un tiers objectif, mais le développeur d’un modèle ne peut pas le valider, et dans la plupart des banques il ne peut pas non plus l’approuver. L’indépendance s’écrit facilement dans une politique et se perd facilement en pratique, quand une petite équipe porte deux chapeaux ou qu’une échéance approche. La séparation doit être visible au dossier : qui a construit, qui a examiné, qui a approuvé.
MINERVA consigne les résultats de validation, issus de tests exécutés dans l’environnement de l’institution, avec l’approbation qu’ils appuient, et refuse une approbation par le développeur du modèle ou une approbation sans les preuves que sa cote exige.
Questions connexes
Quelle est la différence entre validation et surveillance des modèles?
La validation est un examen périodique, indépendant et approfondi. La surveillance est le suivi continu de la performance et des intrants par rapport à des seuils entre les examens, habituellement par le responsable du modèle.
Un fournisseur peut-il valider son propre modèle?
Ses propres tests sont des preuves utiles, mais ce n’est pas un examen indépendant pour l’institution. L’E-23 s’attend à ce que les modèles des fournisseurs soient examinés par l’institution ou un tiers objectif, dans la mesure où le fournisseur le permet.
Comment l’E-23 appelle-t-elle la validation?
L’examen des modèles : un processus indépendant qui évalue la solidité conceptuelle et la performance d’un modèle, à une intensité fixée par sa cote de risque.
Qu’est-ce que la remise en question efficace?
Un examen critique par des personnes indépendantes, compétentes et ayant l’autorité nécessaire pour que le responsable du modèle donne suite à leurs constats.
Sources
Les nouvelles réponses sont publiées sur la page LinkedIn de MINERVA. Suivez-nous, ou envoyez la question à laquelle vous aimeriez une réponse à minerva@minerva.studio.
Une explication en langage clair, pas un avis juridique. Le texte du régulateur fait foi; lisez-le, et obtenez un avis sur la façon dont il s’applique à votre institution.