Un rapport rigoureux commence par définir précisément les métriques d'équité qu'il utilise et justifie ce choix. Si le rapport cite 'l'équité' sans préciser quelle définition mathématique il adopte, c'est un signal d'alerte immédiat. La parité démographique, l'égalité des taux d'erreur et la calibration sont des concepts distincts avec des implications pratiques différentes. Un rapport qui les confond ou les utilise de manière interchangeable révèle une compréhension insuffisante du domaine. Cherchez des formules mathématiques ou des définitions textuelles précises pour chaque métrique utilisée dans l'analyse.

Un rapport d'audit doit préciser quels groupes protégés ont été analysés, comment ils ont été définis et quelles données ont permis de les identifier dans le jeu de données. Si le rapport analyse uniquement le genre binaire dans un contexte où l'origine ethnique est le risque de discrimination principal, la portée de l'audit est incomplète. Les groupes non analysés doivent être mentionnés avec une justification de leur exclusion. Un rapport qui n'identifie pas explicitement les groupes hors de sa portée suggère que l'auditeur n'a pas réfléchi systématiquement à la définition du périmètre de son analyse.

Tout rapport d'audit sérieux doit mentionner les incompatibilités mathématiques entre les métriques d'équité utilisées. Si le rapport présente plusieurs métriques simultanément satisfaites sans reconnaître les tensions entre elles, il est soit incomplet soit trompeur. La littérature académique établit des résultats d'impossibilité clairs : on ne peut pas satisfaire simultanément la parité démographique et l'égalité des taux d'erreur dès que les taux de défaut diffèrent entre groupes. Un rapport qui prétend le contraire mérite une lecture très critique de ses définitions et de ses calculs.

Les meilleurs rapports d'audit consacrent une section explicite à leurs propres limites : données auxquelles l'auditeur n'a pas eu accès, groupes qu'il n'a pas pu analyser faute d'information, hypothèses méthodologiques qui pourraient être contestées. L'absence d'une telle section de limitations est elle-même informative. Elle peut signifier que l'auditeur n'a pas réfléchi systématiquement aux frontières de sa propre analyse, ou qu'il a choisi de ne pas les mentionner pour des raisons commerciales. Dans les deux cas, le lecteur doit compenser en formulant lui-même les questions sur la portée de l'audit.

Dans un rapport rigoureux, chaque recommandation est tracée jusqu'au constat qui la justifie. Des recommandations génériques comme 'améliorer la diversité des données' sans référence à un biais spécifiquement identifié sont le signe d'un rapport de surface. Inversement, des recommandations très précises comme 'supprimer la variable X car elle contribue à 73% du disparate impact mesuré sur le groupe Y' démontrent que l'analyse a effectivement produit des résultats concrets et actionables. Cette liaison constat-recommandation est un des indicateurs les plus fiables de la qualité d'un audit.