Quelle version de votre modèle est en production, et qui l'a approuvée ?
Votre équipe chargée des données sait quelle version est la bonne. Ce qu’un audit cherche à déterminer, c’est autre chose : qui a décidé de la mettre en production, avec quels contrôles, et quels fichiers précis étaient en service le jour de l’incident.
Ce que MLflow sait déjà, et ce qu'il ignore
MLflow est la norme de facto pour l'enregistrement des modèles. Il permet de savoir quelle exécution a généré chaque version, avec quelles données elle a été entraînée et quels indicateurs de performance elle a obtenus. Pour l'équipe chargée des données, cela suffit.
En matière de gouvernance, il manque trois éléments. Des contrôles étayés par des preuves. Une validation préalable à la mise en production, car aujourd’hui, toute personne disposant d’un droit d’écriture peut modifier l’alias de production sans laisser de trace. Et la preuve que les fichiers actuels sont bien ceux qui se trouvaient en production le jour de l’audit.
Six contrôles, des résultats reproductibles
La solution « Verifiable AI MLOps Governance » lit le MLflow de l'entreprise, sans jamais y écrire quoi que ce soit, et évalue chaque version à l'aide de six contrôles, sans recourir à aucun modèle de langage :
Schéma d'entrée.
Que le modèle précise quelles données il s'attend à recevoir.
Sérialisation.
Ne l'enregistrez pas dans des formats susceptibles d'exécuter du code lors de leur chargement.
Conditions requises.
Bibliothèques liées à une version et ne présentant aucun avis de sécurité connu.
Traçabilité des données.
Avec quels ensembles de données chaque version a-t-elle été entraînée ?
Description et licence.
Qu'est-ce que ce modèle et sous quelle licence est-il utilisé ?
Promotion.
Veuillez vous assurer que tout ce qui est en production ait été approuvé.
Dans le MLflow de démonstration, un modèle correctement géré obtient un score de 6 sur 6. Un autre, en production sans validation, obtient un score de 0 sur 6 et déclenche une alerte. La différence ne repose pas sur une opinion, mais sur une règle. Avec les mêmes données d'entrée, les mêmes règles et les mêmes sources d'évaluation, le résultat est reproductible.
Avant la production, une personne donne son accord
L'approbation du déploiement est signée par une personne responsable, accompagnée de son attestation. Si une version parvient en production sans cette attestation, une alerte est déclenchée dans le module de supervision ; lors de la prochaine exécution des contrôles, l'approbation est vérifiée et le statut de l'alerte est mis à jour. Il s'agit de la supervision humaine prévue à l'article 14, appliquée là où le risque prend naissance.
Le modèle « V-Seal » : en quoi consistait exactement cette version ?
L'apposition d'un cachet sur une version enregistre l'empreinte de chaque fichier du modèle, de ses ensembles de données et de ses résultats, avec une preuve cryptographique. Si une métrique ou un fichier est modifié, un nouveau cachet est nécessaire.
L'entreprise ne publie qu'un manifeste chiffré contenant des empreintes et des décomptes. Ni le modèle, ni les données, ni la valeur d'un indicateur ne sortent de son infrastructure. Tout le monde peut vérifier le sceau sur la page publique, sans avoir besoin d'un compte.
Pourquoi est-ce important aujourd'hui ?
Ce que le règlement européen sur l’IA exige d’un système à haut risque (données, documentation, enregistrement, surveillance et exactitude : articles 10, 11, 12, 14 et 15) trouve son origine dans le cycle de vie du modèle. C’est là que les preuves existent ou n’existent pas.
En toute honnêteté : la synchronisation est lancée manuellement ; par conséquent, un changement d'alias n'est détecté qu'à la prochaine exécution, et non instantanément. Et avec MLflow sur Databricks, le calcul des empreintes n'a pas encore été testé ; cette tâche est prise en charge par le script du pipeline.
Chaque version est testée. Chaque déploiement est validé et peut faire l'objet d'une démonstration.
Un modèle, ses différentes versions et la preuve de chacune d'entre elles.
Enregistré sur le portail V-PROOF connecté à une démonstration MLflow.
Voir la démo