À propos
Solutions AMM inc. est un cabinet de validation indépendante de modèles d’IA et d’apprentissage automatique pour les institutions financières. Le cabinet est dirigé par Aaron Mascaro.
Parcours
Aaron Mascaro est titulaire d’un doctorat en physique expérimentale de la matière condensée de l’Université McGill (2019). Ses travaux de recherche portaient sur la microscopie à sonde locale : l’étalonnage des instruments, l’élimination des sources de bruit dans les mesures et la mesure du transport ionique dans les matériaux de batteries. Une bonne part de ce travail consistait à vérifier jusqu’où on peut se fier à une mesure, et la validation pose la même question à un modèle.
Il compte près de huit ans d’expérience en conception et en déploiement de modèles en industrie. Dans un fonds spéculatif de négociation pour compte propre, il a mis en œuvre des algorithmes de tarification pour le pupitre de volatilité. Pour l’un des plus grands sites Web au monde, il a travaillé aux algorithmes de recherche, qui servaient des centaines de millions de résultats par jour. Chez Shopify, il a travaillé aux modèles de cotation du risque de crédit utilisés pour les prêts consentis aux marchands. Il est inventeur désigné dans quatre demandes de brevet liées à l’IA et à l’apprentissage automatique.
Types de modèles
Chaque type de modèle a ses façons d’échouer. On retrouve les mêmes défaillances dans les modèles des institutions financières, et il faut savoir où les chercher pour valider un modèle.
- Détection de fraude
- Événements rares, adversaires qui s’adaptent au modèle, seuils qui arbitrent entre pertes et friction pour la clientèle, étiquettes connues avec retard.
- Cotation du risque de crédit
- Résultats connus des mois après la décision, remboursement observé seulement pour les prêts accordés, population et conjoncture qui changent entre l’entraînement et l’utilisation.
- Algorithmes de tarification et de négociation
- Calage sur des cotations de marché rares ou périmées, données non stationnaires, surajustement des tests rétroactifs, biais d’anticipation.
- Systèmes de recherche et de recommandation
- Boucles de rétroaction où le modèle influence les données sur lesquelles il sera réentraîné, biais de position dans les données de clics, indicateurs hors ligne qui prédisent mal les résultats réels.
- Vision par ordinateur distribuée à grande échelle
- Écart entre les données d’entraînement et celles de production, contraintes de latence et de volume, contrôle de la qualité des étiquettes.
- Systèmes de prévision
- Évaluation hors période, changements de régime, quantification de l’incertitude.
- Analyse de tests A/B et science des données
- Inférence causale, puissance statistique, comparaisons multiples, effets statistiquement significatifs mais trop faibles pour compter.
Pourquoi une validation indépendante
Un modèle d’apprentissage automatique peut afficher d’excellents résultats et échouer pour des raisons que son équipe de développement est mal placée pour voir : une fuite d’information entre les données d’entraînement et de test, une population qui change, une variable qui sert de substitut à une caractéristique protégée. Les personnes qui ont construit le modèle ont fait des choix qui leur semblaient raisonnables. La validation met ces choix à l’épreuve avec la même profondeur technique.
La ligne directrice E-23 du BSIF demande que la validation des modèles soit indépendante de leur développement et permet d’en confier la réalisation à des tiers objectifs. Pour une institution qui n’a pas d’équipe de validation dédiée, ou dont l’équipe manque de temps ou d’expérience en apprentissage automatique, un tiers indépendant est souvent la façon la plus directe d’y arriver.
Montréal, en français et en anglais
Le cabinet est établi à Montréal et offre ses services en français et en anglais, au Québec et ailleurs au Canada. Les rapports sont rédigés dans la langue de votre choix. Les mandats se déroulent principalement à distance; des rencontres sur place sont possibles sur demande.
Publications
- Ergodic and Nonergodic Dynamics of Oxygen Vacancy Migration at the Nanoscale in Inorganic Perovskites. Nano Letters, 2020.
- Amplitude Dependence of Resonance Frequency and its Consequences for Scanning Probe Microscopy. Sensors, 2019.
- Review of time-resolved non-contact electrostatic force microscopy techniques with applications to ionic transport measurements. Beilstein Journal of Nanotechnology, 2019.
- Calibration of the oscillation amplitude of electrically excited scanning probe microscopy sensors. Review of Scientific Instruments, 2019.
- Eliminating the effect of acoustic noise on cantilever spring constant calibration. Applied Physics Letters, 2018.
- Measuring Spatially Resolved Collective Ionic Transport on Lithium Battery Cathodes Using Atomic Force Microscopy. Nano Letters, 2017.