La plupart de nos mandats prennent l’une de cinq formes. Chacune a une étendue définie et se termine par un rapport écrit. La profondeur du travail suit la cote de risque que votre propre cadre attribue au modèle.

Diagnostic de préparation E-23 et AMF

Pour les institutions dont le cadre de gestion du risque de modélisation n’est pas encore complet. Nous comparons vos pratiques actuelles aux attentes de la ligne directrice E-23 du BSIF et de la ligne directrice de l’AMF sur l’utilisation de l’intelligence artificielle :

  • recensement des modèles et inventaire;
  • méthode de cotation du risque de modélisation;
  • exigences par étape du cycle de vie : conception, validation, approbation, déploiement, suivi, retrait;
  • rôles, responsabilités et indépendance de la fonction de validation;
  • documentation et rapports à la haute direction.

Vous recevez une liste d’écarts priorisée et un plan de mise à niveau adapté à votre taille et à votre profil de risque.

Validation complète d’un modèle à risque élevé

Pour les modèles que votre cadre classe à risque élevé, par exemple ceux qui servent aux décisions de crédit, de détection de fraude ou de tarification. La revue est menée par une personne qui n’a pas participé à la conception du modèle. Elle porte sur les éléments suivants :

  • Rigueur conceptuelle : justification de la méthode pour le problème, les données et l’usage prévu; documentation des hypothèses et des limites.
  • Données : qualité, représentativité, traçabilité, traitement des valeurs manquantes et aberrantes, risque de fuite d’information entre l’entraînement et l’évaluation.
  • Performance : reproduction des résultats du développeur, tests hors échantillon et hors période, comparaison avec un modèle de référence simple.
  • Stabilité : sensibilité aux variations des données, des hyperparamètres et de la population.
  • Équité : écarts de résultats entre groupes, variables substituts, cohérence avec les exigences de traitement équitable.
  • Explicabilité : niveau d’explication requis par l’usage et capacité du modèle à le fournir.
  • Mise en œuvre et suivi : concordance entre le modèle validé et le modèle en production, pertinence des indicateurs et des seuils de suivi.

Vous recevez un rapport de validation avec des constats classés par gravité et une opinion globale sur l’aptitude du modèle à l’usage prévu, les annexes techniques, un registre des constats, puis une note de fermeture après la vérification des correctifs.

Revue ciblée d’un modèle à risque plus faible

Pour les modèles cotés à risque faible ou moyen, pour lesquels une validation complète serait disproportionnée. La revue porte sur la rigueur conceptuelle, les données et la performance. Elle s’appuie davantage sur les tests du développeur que ne le fait une validation complète, et le rapport le signale lorsque ces tests manquent ou ne convainquent pas.

Vous recevez un rapport court, avec des constats classés par gravité et une opinion limitée aux éléments examinés. Si la revue donne des raisons de remettre en question la cote de risque du modèle, le rapport le mentionne.

Évaluation préalable à l’achat d’un modèle

Pour les institutions qui s’apprêtent à acheter un modèle ou un système d’IA. La ligne directrice E-23 demande aux institutions financières d’inclure dans leur gestion du risque de modélisation les modèles qu’elles achètent comme ceux qu’elles développent. Il est plus facile d’obtenir de la documentation et des clauses contractuelles d’un fournisseur avant la signature qu’après.

  • Documentation : ce que le fournisseur peut remettre sur la méthodologie, les données d’entraînement, les limites connues, sa propre validation et la façon dont il communique les changements au modèle.
  • Tests sur vos données : lorsqu’un essai ou un environnement de test est offert, performance sur votre population et par segment, comparée à un modèle de référence simple ou au modèle remplacé.
  • Contrat : les clauses dont dépendra une validation ultérieure, comme l’accès à la documentation, les avis de changement au modèle et l’information sur la performance. La ligne directrice B-10 du BSIF énonce les attentes à l’égard des ententes avec les tiers.

Vous recevez un rapport d’évaluation, la liste des lacunes de documentation à soulever auprès du fournisseur et les points contractuels à soumettre à vos équipes des affaires juridiques et de l’approvisionnement.

Revue d’un système d’IA générative avant le lancement

Pour les assistants conversationnels, la recherche documentaire et le traitement de documents fondés sur de grands modèles de langage, avant leur mise en service.

  • Exactitude et hallucinations : jeux d’évaluation construits à partir de vos cas d’usage, avec des réponses de référence.
  • Biais : différences de traitement selon la langue, le profil ou la formulation de la demande.
  • Robustesse et sécurité : injection de requêtes, fuite de données, contournement des consignes, comportement hors du champ prévu.
  • Provenance des données : sources consultées par le système, contrôle des accès, conservation.
  • Supervision humaine : points de contrôle, possibilité de recours à une personne, divulgation aux clients.

Vous recevez les résultats de l’évaluation, des constats classés par gravité et les conditions que nous recommandons avant le lancement.

Modèles que nous examinons

Détection de fraude, cotation du risque de crédit, prévision, recommandation et personnalisation, systèmes d’IA générative. La page À propos présente les types de modèles sur lesquels nous avons travaillé. Si le vôtre est d’un autre type, écrivez-nous et nous vous dirons si nous pouvons l’examiner correctement.

Autres services

Revalidation

Un modèle change après sa validation : nouvelles données, réentraînement, dérive de la performance, nouveaux usages. Nous effectuons des revues périodiques selon la fréquence prévue par votre cadre, et des revues ciblées après un changement important.

Dossier de documentation pour fournisseurs de modèles

Pour les fournisseurs qui vendent des modèles aux institutions financières et reçoivent des demandes de documentation de chacun de leurs clients. Nous préparons avec le fournisseur une documentation structurée du modèle et une revue indépendante qu’il peut remettre à ses clients. Chaque institution reste responsable de sa propre évaluation et peut partir du dossier pour la faire.

Ce que nous ne faisons pas

Nous ne construisons pas les modèles que nous validons et nous n’attestons pas la conformité réglementaire. Notre rapport est une opinion indépendante. La décision d’approuver un modèle et la responsabilité de la conformité reviennent à l’institution.

Comment se déroule un mandat · Nous joindre