La mauvaise façon d'aborder les données d'entraînement d'un modèle de crédit, c'est de
les considérer comme un reflet neutre de la réalité. Les données de crédit historiques
sont le résultat de décisions prises par des humains, dans des institutions, sur des
périodes de temps pendant lesquelles la discrimination dans l'accès au financement était
légale, courante et parfois officiellement encouragée. Un modèle entraîné sur ces
données n'apprend pas 'la réalité du risque de crédit'. Il apprend 'quels types de
personnes ont obtenu du crédit dans le passé et l'ont remboursé'. Ces deux choses ne
sont pas identiques, et la confusion entre les deux est la source principale de biais
dans les modèles de crédit modernes.
Les origines des biais dans les données
d'entraînement sont multiples et se superposent. Il y a d'abord le
biais historique : les décisions passées reflètent des pratiques discriminatoires
qui ont réduit l'accès au crédit pour certains groupes, créant une sous-représentation
de ces groupes dans les données de remboursement réussi. Un modèle entraîné sur ces
données apprend que ces groupes sont des mauvais risques, perpétuant ainsi la
discrimination initiale sous une forme algorithmique apparemment neutre.
Il y
a ensuite le biais de sélection : les données d'entraînement ne contiennent que
des observations sur les demandeurs qui ont effectivement reçu du crédit. On ne sait
rien du comportement de remboursement des demandeurs qui ont été rejetés. Ce biais de
sélection systématique, connu sous le nom de problème du feedback loop, rend impossible
l'évaluation directe des performances du modèle pour les groupes historiquement exclus.
Les méthodes de détection des biais dans les données d'entraînement sont distinctes des
méthodes d'audit du modèle final. Elles s'appliquent avant que le modèle soit entraîné,
ou en parallèle à son évaluation, et permettent d'identifier à la source les problèmes
qui se retrouveront inévitablement dans le modèle si aucune correction n'est
apportée.
L'analyse de représentation est la première étape : on
calcule la proportion de chaque groupe protégé dans le jeu d'entraînement et on la
compare à sa proportion dans la population cible. Une sous-représentation significative
d'un groupe signifie que le modèle aura moins d'exemples pour apprendre les profils de
ce groupe, produisant généralement des prédictions moins précises et potentiellement
moins équitables pour ses membres.
L'analyse des étiquettes examine si
les variables cibles utilisées pour l'entraînement — typiquement le remboursement du
crédit — sont elles-mêmes biaisées. Si les données historiques reflètent des taux de
défaut artificiellement élevés pour un groupe parce que ce groupe a historiquement reçu
des prêts à des conditions moins favorables, le modèle apprend à associer ce groupe à un
risque élevé, même si ce risque était partiellement induit par les conditions du prêt
lui-même.
La correction des biais dans les données d'entraînement est techniquement possible mais
soulève des questions méthodologiques complexes. Les approches principales incluent le
ré-échantillonnage, qui modifie la distribution des groupes dans les données
d'entraînement, et le ré-étiquetage, qui ajuste les étiquettes pour corriger les
biais historiques estimés. Ces deux approches introduisent des hypothèses sur ce que
seraient les 'vraies' étiquettes en l'absence de discrimination, hypothèses qui ne
peuvent pas être vérifiées empiriquement.
Une approche alternative consiste à
intégrer des contraintes d'équité directement dans l'algorithme d'entraînement,
en ajoutant des termes de régularisation qui pénalisent les modèles présentant des
disparités excessives entre groupes. Cette approche a l'avantage de ne pas modifier les
données elles-mêmes, mais elle requiert de définir formellement l'équité comme un
objectif d'optimisation, ce qui ramène au problème du choix entre des métriques d'équité
incompatibles.
La conclusion pratique pour un auditeur : la qualité des
données d'entraînement détermine le plafond de l'équité atteignable par un modèle.
Aucune technique d'audit post-entraînement ne peut compenser des données
fondamentalement biaisées. L'audit des données doit précéder l'audit du modèle, et ses
conclusions doivent informer les décisions sur la faisabilité des objectifs d'équité
poursuivis.
