Models que rendeixen comptes.
De l'experiment a la producció, amb evidència.
El seu equip de dades entrena models i els guarda a MLflow . MLflow sap quina és la versió campiona, amb quines dades es va entrenar i quines mètriques va obtenir. El que no en té és el que demana una auditoria: controls amb evidència, una aprovació abans de passar a producció i la prova de quins fitxers exactes estaven en producció en una data. V-PROOF llegeix el seu MLflow, sense escriure-hi mai, i afegeix aquestes tres coses.
Un model, les versions i la prova de cadascuna.
Gravat sobre el Portal V-PROOF connectat a un MLflow de demostració: dos models, un de ben governat i un altre que falla els sis controls avaluats.
Connectar MLflow en mode lectura i registrar el model al vostre projecte.
Cada versió amb l'execució, les dades d'entrenament, les mètriques i els fitxers.
Sis controls deterministes i laprovació de promoció a producció.
Model V-Seal, entrada al registre d'IA i verificació pública sense compte.
MLflow sap quina és la versió campiona.
V-PROOF afegeix allò que demana l'auditor.
Res no es duplica ni es migra. L'equip de dades continua treballant a MLflow; governança veu, controla i segella des de V-PROOF .
Experiments, versions i àlies
Quina versió és la campiona, quina execució la va produir, amb quins conjunts de dades es va entrenar i avaluar i quines mètriques va obtenir.
Controls amb evidència
Sis polítiques avaluades sobre el que guarda MLflow; cada veredicte queda com a evidència i com a autoavaluació del control a l'entrada del propi model.
Un àlies de producció que qualsevol mou
Qui té permís d'escriptura pot assenyalar una versió com a champion , sense que quedi constància de qui ho va decidir ni per què.
Una aprovació abans de producció
Una persona responsable aprova el desplegament amb la seva atestació. Si una versió està en producció sense aprovació, s'obre una alerta a Supervisió. L'execució de controls següent comprova l'aprovació i actualitza l'estat de l'alerta.
Fitxers que canvien amb el temps
Els artefactes d'una versió viuen a l'emmagatzematge de MLflow; res no demostra que els d'avui són els que estaven en producció el dia de l'auditoria.
El Model V-Seal
La petjada criptogràfica de cada fitxer, dels conjunts de dades i dels resultats de la versió, segellada amb prova criptogràfica i verificable per qualsevol, sense compte.
El recorregut d'una versió
MLflow de l'empresa
URL de seguiment, autenticació bàsica o token. Només lectura.
Registre d'IA
El model entra amb referència MLF-…, proveïdor MLflow, responsable i projecte.
Versions
Execució, dades d'entrenament i avaluació, mètriques finals i fitxers.
Sis controls
Esquema, serialització, requisits, llinatge, documentació i promoció.
Aprovació
Desplegament aprovat per una persona responsable, amb atestació.
Model V-Seal
Petjades de fitxers, dades i resultats, segellades amb prova criptogràfica.
Verificació pública
Qualsevol comprova el segell amb la referència, sense compte i sense veure dades internes.
Cada versió, avaluada igual.
Mateixes entrades, regles i fonts: mateix resultat.
No hi intervé cap model de llenguatge: cada control és una regla sobre el que guarda MLflow. El resultat s'escriu a Governança com a evidència i com a autoavaluació del control, a l'entrada del model mateix.
Esquema d'entrada
Que el model declari quines dades espera rebre.
No en declara cap: ningú no pot validar el que li arriba.
Serialització
El format en què es va guardar el model.
pickle, cloudpickle o joblib: formats que poden executar codi en carregar-se.
Requisits
Llibreries fixades a una versió i sense avisos de seguretat coneguts, consultant la base pública OSV.
Manca la llista o una llibreria té avisos. Només sense fixar: parcial.
Llinatge de dades
Que l'execució registri amb quins conjunts de dades es va entrenar.
No en registra cap.
Descripció i llicència
La descripció i la llicència del model.
Manca tot. Amb una sola de les dues, parcial.
Promoció
Que una versió en producció tingui una aprovació de V-PROOF .
Està en producció sense aprovació. Fora de producció, no aplica.
Dos models del MLflow de demostració · veredicte per control
Les sis polítiques apareixen a Polítiques i controls després de la primera execució i des de llavors les governa l'administrador: canviar els formats prohibits o els àlies de producció canvia la següent avaluació.
Abans de producció, una persona diu que sí.
MLflow deixa que qualsevol amb permís mogui l'àlies de producció. V-PROOF deixa constància de si una persona responsable ho va aprovar. Demanar aprovació crea una aprovació de desplegament pendent; la persona aprovadora la decideix en Avaluacions i aprovacions, amb la seva atestació. L'execució de controls següent comprova l'aprovació i actualitza l'estat de l'alerta.
El V-Seal del model: fitxers, dades i resultats.
Segellar registra la prova de què era exactament aquesta versió. Si res no ha canviat, segellar una altra vegada es rebutja; una mètrica, un fitxer o un conjunt de dades noves donen un segell nou. Cada segell es descarrega en PNG i PDF amb el seu manifest i el seu inventari, i qualsevol ho verifica a la pàgina pública.
Què entra al segell i què surt de l'empresa
Versió de model segellada, sense dades internes.Les obligacions de risc alt es demostren a nivell de model.
El que el Reglament Europeu d'IA demana per a un sistema d'alt risc neix al cicle de vida del model. Aquí és on existeix o no existeix l'evidència.
| Obligació | Què demana | Què aporta V-PROOF |
|---|---|---|
| Reglament Europeu d'IA · Art. 10 Dades i governança de dades | Conjunts dentrenament, validació i prova identificats i gestionats. | Control de llinatge de dades; conjunts de dades de cada versió portats a la pantalla Dades i segellats al Model V-Seal. |
| Reglament Europeu d'IA · Art. 11 Documentació tècnica | Descripció del sistema, del seu desenvolupament i del rendiment. | Control de documentació; versions amb execució, paràmetres i mètriques; manifest i inventari descarregables. |
| Reglament Europeu d'IA · Art. 12 Registre d'activitat | Traçabilitat del funcionament al llarg del cicle de vida. | Cada sincronització, control, aprovació i segell queda al registre d'auditoria; una versió esborrada a MLflow es conserva marcada. |
| Reglament Europeu d'IA · Art. 14 Supervisió humana | Persones que poden decidir i aturar. | Aprovació de desplegament per una persona responsable abans de producció, amb atestació i alerta si falta. |
| Reglament Europeu d'IA · Art. 15 Exactitud i robustesa | Nivells de rendiment declarats i mantinguts. | Mètriques finals de cada versió segellades; un canvi de mètrica exigeix un segell nou. |
| ISO/IEC 42001 Cicle de vida del sistema d'IA | Controls documentats en desenvolupament, desplegament i operació. | Sis polítiques MLOps com a controls amb autoavaluació automàtica i evidència al registre d'IA. |
Què fa i què no fa.
Preferim que ho sàpiga abans de la primera demostració.
- V-PROOF mai no escriu a MLflow ni guarda els fitxers del model: les versions conserven les metadades de MLflow i els segells guarden empremtes, mides i rutes.
- La sincronització i els controls es llancen a mà. Un canvi d'àlies a MLflow es detecta a la següent sincronització o execució de controls, no a l'instant.
- La petjada que MLflow assigna a un conjunt de dades és la seva pròpia, no una petjada del fitxer original.
- Amb MLflow a Databricks la connexió per token funciona; llegir i calcular la petjada dels fitxers no està provat. Mentrestant, l'script auxiliar cobreix el segellat.
- Un fitxer la petjada del qual no ha calculat ningú se segella només per nom i grandària, i el segell ho diu.
Quina versió està en producció
i qui ho va aprovar?
Demostració tècnica sobre el seu propi MLflow, amb les polítiques de la vostra organització.