Qu’est-ce que la cotation du risque de modèle?
Par Nick Jang, fondateur de MINERVA Studio ·
La réponse courte
La cotation du risque de modèle consiste à classer les modèles en quelques paliers, souvent élevé, moyen et faible, selon le tort que chacun pourrait causer s’il se trompait ou était mal utilisé. Le palier fixe ensuite l’attention qu’on lui porte : la profondeur de la validation, la fréquence des examens, qui doit l’approuver et l’intensité de la surveillance. L’E-23 du BSIF appelle cela la cote de risque du modèle (principe 2.2) et s’attend à ce qu’elle repose sur des facteurs quantitatifs, comme la taille du portefeuille visé, et qualitatifs, comme la complexité, l’autonomie, la fiabilité des données et l’effet sur les clients.
Pourquoi coter
Une banque peut compter des centaines de modèles. Leur faire subir à tous le traitement complet, une validation indépendante chaque année et une approbation en comité, submergerait l’équipe de validation. Leur appliquer à tous un traitement léger laisserait les modèles de capital et de crédit sous-examinés. La cote sert à mettre l’examen là où est le risque, et à rendre ces choix défendables devant un examinateur.
Les facteurs que nomme l’E-23
L’E-23 demande une cote fondée sur le risque inhérent, avant les contrôles, qui reflète à la fois la vulnérabilité du modèle et l’importance de son effet.
| Type | Facteurs |
|---|---|
| Quantitatifs | L’importance, la taille et la croissance du portefeuille visé; l’effet opérationnel, de sécurité ou financier possible. |
| Qualitatifs | L’usage ou l’objectif d’affaires; la complexité ou le degré d’autonomie; la fiabilité des données d’entrée; l’effet sur les clients; le risque réglementaire. |
L’autonomie est le facteur à surveiller avec l’IA. Un modèle dont une personne examine le résultat avant toute action n’a pas le même risque qu’un modèle qui agit seul, même si les mathématiques sont identiques.
Un exemple chiffré
L’E-23 ne prescrit aucune formule; chaque institution bâtit la sienne. Voici une forme simple, à titre d’illustration : chaque facteur reçoit une note de 1 (faible) à 3 (élevé), on additionne, et le total donne un palier. Pour une grille de pointage de cartes de crédit, par exemple : portefeuille important (3), effet direct sur les clients (3), arbres de décision explicables avec effort (2), décisions automatiques dans des limites (2), données internes et de bureau de crédit fiables (1), crédit sous surveillance réglementaire (3). Total : 14 sur 18, palier élevé.
Bien des institutions ajoutent des planchers : un modèle utilisé pour le capital réglementaire, ou qui décide automatiquement pour des clients, ne peut pas descendre sous un palier donné. Pour l’essayer sur vos propres modèles, utilisez le calculateur de palier de risque (en anglais), gratuit et sans inscription.
Ce que la cote doit changer
Selon l’E-23 (principe 2.3), la cote doit déterminer la fréquence, l’intensité et la portée de l’examen; les exigences de documentation; le niveau d’autorité requis pour approuver; la fréquence et l’intensité de la surveillance; et la fréquence à laquelle la cote elle-même est revue. Si deux paliers entraînent exactement le même travail, il n’y a pas vraiment deux paliers.
- Coter la méthode plutôt que l’usage. La même régression logistique est à faible risque dans un test de marketing et à risque élevé en octroi de crédit.
- Sous-coter les modèles de fournisseurs parce que quelqu’un d’autre les a construits. Le risque tient à l’usage que vous en faites.
- Ne jamais revoir la cote. Un modèle qui est passé d’un produit à trois n’a plus la même cote qu’au lancement.
- Laisser le responsable coter son propre modèle sans contestation. La deuxième ligne doit vérifier, puisqu’un palier plus bas veut dire moins de travail pour le responsable.
MINERVA consigne les facteurs de cotation de chaque modèle et en tire ses dates d’examen et de surveillance; un changement de cote est proposé et décidé par une deuxième personne, pas modifié sur place.
Questions connexes
Combien de paliers de risque faut-il?
La plupart des institutions en utilisent trois ou quatre. L’important est que chaque palier entraîne un travail différent.
La cote porte-t-elle sur le risque inhérent ou résiduel?
L’E-23 demande une cote fondée sur le risque inhérent, avant les contrôles. Le risque résiduel oriente ensuite les limites d’usage et la surveillance.
À quelle fréquence revoir la cote d’un modèle?
Lorsqu’un événement déclencheur survient, et selon un cycle que la cote elle-même fixe; les modèles les plus risqués sont habituellement revus au moins une fois par année.
Sources
Les nouvelles réponses sont publiées sur la page LinkedIn de MINERVA. Suivez-nous, ou envoyez la question à laquelle vous aimeriez une réponse à minerva@minerva.studio.
Une explication en langage clair, pas un avis juridique. Le texte du régulateur fait foi; lisez-le, et obtenez un avis sur la façon dont il s’applique à votre institution.