Modelle, die Rechenschaft ablegen.
Vom Experiment zur Produktion – mit Belegen.
Ihr Datenteam trainiert Modelle und speichert diese in MLflow. MLflow weiß, welches Modell am besten abgeschnitten hat, mit welchen Daten es trainiert wurde und welche Metriken es erzielt hat. Was jedoch fehlt, sind die für ein Audit erforderlichen Elemente: nachweisbare Kontrollen, eine Freigabe vor der Überführung in die Produktion und der Nachweis, welche Dateien zu einem bestimmten Zeitpunkt genau in der Produktion waren. V-PROOF liest Ihr MLflow aus, ohne jemals darin zu schreiben, und fügt diese drei Elemente hinzu.
Ein Modell, seine Varianten und der Test jedes einzelnen Modells.
Aufzeichnung über das V-PROOF- Portal, das mit einem MLflow-Demo-System verbunden ist: zwei Modelle, von denen eines die sechs bewerteten Prüfkriterien erfüllt und das andere nicht.
Verbinden Sie MLflow im Lesemodus und registrieren Sie das Modell in Ihrem Projekt.
Jede Version verfügt über ihre eigene Ausführung, ihre Trainingsdaten, ihre Kennzahlen und ihre Dateien.
Sechs deterministische Kontrollen und die Freigabe für den Übergang in die Produktion.
Modell „ V-Seal “, Eintrag im KI-Register und öffentliche Überprüfung ohne Konto.
MLflow weiß, welche Version die endgültige ist.
V-PROOF fügt das hinzu, was der Prüfer verlangt.
Es findet weder eine Duplizierung noch eine Migration statt. Das Datenteam arbeitet weiterhin in MLflow; die Governance überwacht, kontrolliert und versiegelt über V-PROOF.
Experimente, Versionen und Aliase
Welche Version ist die beste, durch welche Ausführung wurde sie erzeugt, mit welchen Datensätzen wurde sie trainiert und evaluiert und welche Metriken wurden erzielt?
Kontrollen mit Belegen
Sechs bewertete Richtlinien hinsichtlich der von MLflow gespeicherten Daten; jedes Ergebnis dient als Nachweis und als Selbstbewertung der Kontrolle am Eingang des Modells selbst.
Ein Produktionsalias, den jeder ändern kann
Wer Schreibrechte hat, kann eine Version als „Champion“ kennzeichnen, ohne dass festgehalten wird, wer diese Entscheidung getroffen hat und warum.
Eine Freigabe vor Produktionsbeginn
Eine zuständige Person genehmigt die Bereitstellung durch ihre Bestätigung. Befindet sich eine Version ohne Genehmigung in der Produktion, wird in der Überwachung eine Warnmeldung ausgelöst. Bei der nächsten Durchführung der Kontrollen wird die Genehmigung überprüft und der Status der Warnmeldung aktualisiert.
Dateien, die sich im Laufe der Zeit ändern
Die Artefakte einer Version werden im MLflow-Speicher aufbewahrt; es gibt keinen Nachweis dafür, dass die heutigen Artefakte dieselben sind, die am Tag des Audits in der Produktion waren.
Das Modell V-Seal
Der kryptografische Fingerabdruck jeder Datei, jedes Datensatzes und der Ergebnisse der Version, kryptografisch versiegelt und für jeden ohne Konto überprüfbar.
Die Entwicklung einer Version
MLflow des Unternehmens
Tracking-URL, einfache Authentifizierung oder Token. Nur Lesezugriff.
KI-Registrierung
Das Modell wird unter der Referenznummer MLF-… erfasst, mit Angabe des Lieferanten MLflow, des Verantwortlichen und des Projekts.
Versionen
Ausführung, Trainingsdaten und -auswertung, Endergebnisse und Dateien.
Sechs Kontrollen
Schema, Serialisierung, Anforderungen, Herkunft, Dokumentation und Vermarktung.
Genehmigung
Die Bereitstellung wurde von einer verantwortlichen Person genehmigt und bestätigt.
Modell V-Seal
Datei-Fingerabdrücke, Daten und Ergebnisse, versiegelt mit einem kryptografischen Nachweis.
Öffentliche Überprüfung
Jeder kann den Stempel anhand der Referenznummer überprüfen, ohne sich anzumelden und ohne Einblick in interne Daten zu erhalten.
Jede Version wurde gleich bewertet.
Gleiche Eingaben, Regeln und Quellen: gleiches Ergebnis.
Es kommt kein Sprachmodell zum Einsatz: Jede Kontrolle ist eine Regel, die in MLflow gespeichert wird. Das Ergebnis wird in „Governance“ als Nachweis und als Selbstbewertung der Kontrolle im Eintrag des Modells selbst festgehalten.
Eingangsdiagramm
Das Modell soll angeben, welche Daten es erwartet.
Niemand gibt eine Erklärung ab: Niemand kann überprüfen, was ihm zugetragen wird.
Serialisierung
Das Format, in dem die Vorlage gespeichert wurde.
pickle, cloudpickle oder joblib: Formate, die beim Laden Code ausführen können.
Voraussetzungen
Bibliotheken, die an eine bestimmte Version gebunden sind und für die laut der öffentlichen OSV-Datenbank keine Sicherheitswarnungen bekannt sind.
Die Liste fehlt oder eine Buchhandlung hat Hinweise. Nur ohne Festlegung: unvollständig.
Datenherkunft
Die Ausführung soll protokollieren, mit welchen Datensätzen das Modell trainiert wurde.
Es sind keine verzeichnet.
Beschreibung und Lizenz
Die Beschreibung und die Lizenz des Modells.
Es fehlt alles. Mit nur einer der beiden ist es unvollständig.
Sonderangebot
Eine Produktionsversion muss über eine V-PROOF-Freigabe verfügen.
Es befindet sich ohne Genehmigung in Produktion. Außerhalb der Produktion trifft dies nicht zu.
Zwei MLflow-Demomodelle · Bewertung anhand einer Kontrolle
Die sechs Richtlinien werden nach der ersten Ausführung unter „Richtlinien und Kontrollen“ angezeigt und werden fortan vom Administrator verwaltet: Eine Änderung der verbotenen Formate oder der Produktionsaliase wirkt sich auf die nächste Bewertung aus.
Vor der Produktion sagt jemand „Ja“.
Mit MLflow kann jeder, der über die entsprechende Berechtigung verfügt, den Produktionsalias verschieben. V-PROOF protokolliert, ob eine verantwortliche Person dies genehmigt hat. Durch das Anfordern einer Genehmigung wird eine ausstehende Bereitstellungsgenehmigung erstellt; die genehmigende Person entscheidet darüber unter „Bewertungen und Genehmigungen“ und versieht die Entscheidung mit ihrer Bestätigung. Bei der nächsten Ausführung der Kontrollen wird die Genehmigung überprüft und der Status der Warnmeldung aktualisiert.
Das Modell- V-Seal : Dateien, Daten und Ergebnisse.
Das Versiegeln dokumentiert, um welche Version es sich genau handelte. Wenn sich nichts geändert hat, wird ein erneutes Versiegeln abgelehnt; eine neue Metrik, eine neue Datei oder ein neuer Datensatz führen zu einem neuen Siegel. Jedes Siegel wird als PNG- und PDF-Datei zusammen mit dem Manifest und dem Inventar heruntergeladen und kann von jedem auf der öffentlichen Seite überprüft werden.
Was kommt ins Unternehmen und was verlässt es?
Versiegelte Modellversion, ohne interne Daten.Hochrisikopapiere werden auf Modellebene ausgewiesen.
Was die europäische KI-Verordnung für ein System mit hohem Risiko vorschreibt, ergibt sich aus dem Lebenszyklus des Modells. Hier zeigt sich, ob Belege vorliegen oder nicht.
| Verpflichtung | Was fordert er? | Was bietet V-PROOF? |
|---|---|---|
| Europäische KI-Verordnung · Art.10: Daten und Daten-Governance | Identifizierte und verwaltete Trainings-, Validierungs- und Testdatensätze. | Datenherkunftskontrolle; Datensätze jeder Version werden auf dem Bildschirm „Daten“ angezeigt und im Model V-Seal versiegelt. |
| Europäische KI-Verordnung · Art. 11Technische Dokumentation | Beschreibung des Systems, seiner Entwicklung und seiner Leistung. | Dokumentationskontrolle; Versionen mit Ausführungsdaten, Parametern und Metriken; Manifest und Bestandsliste zum Herunterladen. |
| Europäische KI-Verordnung · Art. 12:Protokollierung der Aktivitäten | Rückverfolgbarkeit der Funktionsweise über den gesamten Lebenszyklus hinweg. | Jede Synchronisierung, Kontrolle, Genehmigung und jeder Stempel wird im Prüfprotokoll festgehalten; eine gelöschte Version in MLflow bleibt als markiert erhalten. |
| Europäische KI-Verordnung · Art. 14:Menschliche Aufsicht | Personen, die Entscheidungen treffen und Maßnahmen ergreifen können. | Genehmigung der Bereitstellung durch eine verantwortliche Person vor Produktionsbeginn, mit Bestätigung und Warnmeldung bei Fehlen. |
| Europäische KI-Verordnung · Art.15 Genauigkeit und Robustheit | Angegebene und eingehaltene Leistungsstufen. | Die endgültigen Kennzahlen jeder Version sind versiegelt; eine Änderung der Kennzahlen erfordert ein neues Siegel. |
| ISO/IEC42001 – Lebenszyklus eines KI-Systems | Dokumentierte Kontrollmaßnahmen bei Entwicklung, Einführung und Betrieb. | Sechs MLOps-Richtlinien als Kontrollmaßnahmen mit automatischer Selbstbewertung und Nachweisen im KI-Protokoll. |
Was es kann und was nicht.
Wir möchten, dass Sie das vor der ersten Vorführung wissen.
- V-PROOF schreibt niemals in MLflow und speichert auch keine Modelldateien: Die Versionen behalten die Metadaten von MLflow bei, und die Zeitstempel enthalten Fingerabdrücke, Größen und Pfade.
- Die Synchronisierung und die Kontrollen werden manuell gestartet. Eine Änderung eines Alias in MLflow wird erst bei der nächsten Synchronisierung oder Ausführung der Kontrollen erkannt, nicht sofort.
- Der Fingerabdruck, den MLflow einem Datensatz zuweist, ist ein eigener Fingerabdruck und kein Fingerabdruck der Originaldatei.
- Bei MLflow in Databricks funktioniert die Verbindung per Token; das Einlesen und Berechnen des Fingerabdrucks der Dateien wurde noch nicht getestet. In der Zwischenzeit übernimmt das Hilfsskript die Signierung.
- Eine Datei, deren Fingerabdruck noch von niemandem berechnet wurde, wird allein anhand ihres Namens und ihrer Größe gekennzeichnet, und dies geht aus der Kennzeichnung hervor.
Welche Versionvon „
“ ist im Einsatzund wer hat sie genehmigt?
Technische Demonstration auf Ihrem eigenen MLflow unter Berücksichtigung der Richtlinien Ihrer Organisation.