Solutions AMM inc. est un cabinet de validation indépendante de modèles d’IA et d’apprentissage automatique pour les institutions financières. Le cabinet est dirigé par Aaron Mascaro.

Parcours

Aaron Mascaro est titulaire d’un doctorat en physique expérimentale de la matière condensée de l’Université McGill (2019). Ses travaux de recherche portaient sur la microscopie à sonde locale : l’étalonnage des instruments, l’élimination des sources de bruit dans les mesures et la mesure du transport ionique dans les matériaux de batteries. Une bonne part de ce travail consistait à vérifier jusqu’où on peut se fier à une mesure, et la validation pose la même question à un modèle.

Il compte près de huit ans d’expérience en conception et en déploiement de modèles en industrie. Dans un fonds spéculatif de négociation pour compte propre, il a mis en œuvre des algorithmes de tarification pour le pupitre de volatilité. Pour l’un des plus grands sites Web au monde, il a travaillé aux algorithmes de recherche, qui servaient des centaines de millions de résultats par jour. Chez Shopify, il a travaillé aux modèles de cotation du risque de crédit utilisés pour les prêts consentis aux marchands. Il est inventeur désigné dans quatre demandes de brevet liées à l’IA et à l’apprentissage automatique.

Types de modèles

Chaque type de modèle a ses façons d’échouer. On retrouve les mêmes défaillances dans les modèles des institutions financières, et il faut savoir où les chercher pour valider un modèle.

Détection de fraude
Événements rares, adversaires qui s’adaptent au modèle, seuils qui arbitrent entre pertes et friction pour la clientèle, étiquettes connues avec retard.
Cotation du risque de crédit
Résultats connus des mois après la décision, remboursement observé seulement pour les prêts accordés, population et conjoncture qui changent entre l’entraînement et l’utilisation.
Algorithmes de tarification et de négociation
Calage sur des cotations de marché rares ou périmées, données non stationnaires, surajustement des tests rétroactifs, biais d’anticipation.
Systèmes de recherche et de recommandation
Boucles de rétroaction où le modèle influence les données sur lesquelles il sera réentraîné, biais de position dans les données de clics, indicateurs hors ligne qui prédisent mal les résultats réels.
Vision par ordinateur distribuée à grande échelle
Écart entre les données d’entraînement et celles de production, contraintes de latence et de volume, contrôle de la qualité des étiquettes.
Systèmes de prévision
Évaluation hors période, changements de régime, quantification de l’incertitude.
Analyse de tests A/B et science des données
Inférence causale, puissance statistique, comparaisons multiples, effets statistiquement significatifs mais trop faibles pour compter.

Pourquoi une validation indépendante

Un modèle d’apprentissage automatique peut afficher d’excellents résultats et échouer pour des raisons que son équipe de développement est mal placée pour voir : une fuite d’information entre les données d’entraînement et de test, une population qui change, une variable qui sert de substitut à une caractéristique protégée. Les personnes qui ont construit le modèle ont fait des choix qui leur semblaient raisonnables. La validation met ces choix à l’épreuve avec la même profondeur technique.

La ligne directrice E-23 du BSIF demande que la validation des modèles soit indépendante de leur développement et permet d’en confier la réalisation à des tiers objectifs. Pour une institution qui n’a pas d’équipe de validation dédiée, ou dont l’équipe manque de temps ou d’expérience en apprentissage automatique, un tiers indépendant est souvent la façon la plus directe d’y arriver.

Montréal, en français et en anglais

Le cabinet est établi à Montréal et offre ses services en français et en anglais, au Québec et ailleurs au Canada. Les rapports sont rédigés dans la langue de votre choix. Les mandats se déroulent principalement à distance; des rencontres sur place sont possibles sur demande.

Publications