Ricerca e revisione avversariale per il lavoro con l’IA
Che cosa stiamo leggendo nel Cyber Resilience Act — e che cosa stiamo scoprendo su come viene valutato il lavoro generato dalle macchine. Datato, con fonti, e corretto per iscritto quando ci sbagliamo.
Modelli di altri fornitori hanno contribuito a scrivere, selezionare e giudicare i dati di addestramento di Kolibri-1. Il riepilogo europeo elenca sette nomi; il rapporto tecnico spiega i diversi ruoli. Queste divulgazioni mostrano come un modello costruito per un dispiegamento sovrano e specializzato possa attingere a modelli di altri fornitori durante l'addestramento. Non stabiliscono quali comportamenti, se ve ne sono, siano stati ereditati.
Tra dodici configurazioni di agenti, quella che più spesso ha prodotto codice funzionante vi è riuscita nel 57 % dei compiti; solo nell'11,8 % dei compiti il suo codice funzionava e insieme superava il test di sicurezza. Informare l'agente del rischio ha aiutato un poco. Lo studio poteva verificare ciascun difetto perché era già stato trovato e corretto, e la correzione era accompagnata da un test di sicurezza. Il nuovo codice del vostro agente non ha ancora un test del genere.
Il regolamento non menziona mai i wallet crypto. Si applica ai prodotti con elementi digitali. Da dicembre 2027 richiede anche prove e riesami efficaci e periodici della sicurezza del prodotto. Nella nostra lettura, quell'obbligo incide sul fatto che un produttore trovi un difetto prima che lo trovi un attaccante. Questa nota spiega l'ambito di applicazione, i termini di segnalazione e il ruolo di una revisione indipendente.
Trovare è diventato economico; il resto del ciclo di vita no. Un percorso fase per fase (identificare, giudicare, decidere, correggere, segnalare, conservare) con ciò che il Cyber Resilience Act europeo richiede in ciascuna, e il punto in cui si colloca una revisione adversariale indipendente: nelle fasi successive alla prima.
Il Jev di TypeSafe AI è un modello di tipo nuovo: non scrive mai testo, restituisce soltanto decisioni tipizzate con probabilità. Il suo banco di prova lo valuta contro la media di altri due modelli di IA. Abbiamo aperto i casi che TypeSafe pubblica e abbiamo contato. In 8 dei 19 casi in cui entrambi i valutatori hanno risposto, i valutatori divergevano tra loro. Ciascuno dei quattro casi che TypeSafe pubblica sotto l'etichetta «tutti e tre mancano il riferimento» è un caso in cui il riferimento era esso stesso contestato. Una nota in linguaggio piano su cosa questo significhi per il modo in cui giudichiamo l'IA.
L'espressione copre ormai quattro pratiche, dal prompt critico ai revisori umani con mentalità d'attacco. Ciascuna fornisce l'inquadramento dell'attaccante; nessuna fornisce da sola un fascicolo firmato da revisori indipendenti dall'autore del vostro codice, graduato secondo la prova raggiunta da ciascun rilievo. Cosa consegniamo, cosa un secondo modello non può produrre, e cosa vi diciamo prima dell'acquisto.
Tre studi indipendenti, tre metodi diversi — uno studio mirato sulle vulnerabilità, un confronto controllato umano-modello e un anno di osservazione di repository reali — convergono sullo stesso rilievo: il codice generato dall'IA porta un costo di qualità misurabile che sopravvive al guadagno di produttività con cui è arrivato.
L'IA può ormai generare migliaia di rilievi di vulnerabilità in un pomeriggio. Un rilievo è un testimone, non un verdetto — e l'unico campo che nessuno può verificare è quello che tutti gonfiano. Ecco come leggere la piena senza annegarci.
L'IA ha fatto crollare il costo della scoperta di vulnerabilità. Nell'ecosistema open source di Bitcoin quella collisione è arrivata questo mese — e Bruxelles ha messo un orologio su ciò che accadrà dopo.
Una proposta di modifica sposterebbe più avanti le norme del CRA sulla gestione delle vulnerabilità. L'articolo 14 non si muove — il che lascia i fabbricanti a documentare un obbligo il cui metro è ancora in fase di stesura.