Che cosa stiamo leggendo nel Cyber Resilience Act — e che cosa stiamo scoprendo su come viene valutato il lavoro generato dalle macchine. Datato, con fonti, e corretto per iscritto quando ci sbagliamo.
Trovare è diventato economico; il resto del ciclo di vita no. Un percorso fase per fase (identificare, giudicare, decidere, correggere, segnalare, conservare) con ciò che il Cyber Resilience Act europeo richiede in ciascuna, e il punto in cui si colloca una revisione adversariale indipendente: nelle fasi successive alla prima.
Il Jev di TypeSafe AI è un modello di tipo nuovo: non scrive mai testo, restituisce soltanto decisioni tipizzate con probabilità. Il suo banco di prova lo valuta contro la media di altri due modelli di IA. Abbiamo aperto i casi che TypeSafe pubblica e abbiamo contato. In 8 dei 19 casi in cui entrambi i valutatori hanno risposto, i valutatori divergevano tra loro. Ciascuno dei quattro casi che TypeSafe pubblica sotto l'etichetta «tutti e tre mancano il riferimento» è un caso in cui il riferimento era esso stesso contestato. Una nota in linguaggio piano su cosa questo significhi per il modo in cui giudichiamo l'IA.
L'espressione copre ormai quattro pratiche, dal prompt critico alla casa di persone con mentalità d'attacco. Ciascuna fornisce l'inquadramento dell'attaccante; nessuna fornisce da sola un fascicolo firmato da revisori indipendenti dall'autore del vostro codice, graduato secondo la prova raggiunta da ciascun rilievo. Cosa consegniamo, cosa un secondo modello non può produrre, e cosa vi diciamo prima dell'acquisto.
Tre studi indipendenti, tre metodi diversi — uno studio mirato sulle vulnerabilità, un confronto controllato umano-modello e un anno di osservazione di repository reali — convergono sullo stesso rilievo: il codice generato dall'IA porta un costo di qualità misurabile che sopravvive al guadagno di produttività con cui è arrivato.
L'IA può ormai generare migliaia di rilievi di vulnerabilità in un pomeriggio. Un rilievo è un testimone, non un verdetto — e l'unico campo che nessuno può verificare è quello che tutti gonfiano. Ecco come leggere la piena senza annegarci.
L'IA ha fatto crollare il costo della scoperta di vulnerabilità. Nell'ecosistema open source di Bitcoin quella collisione è arrivata questo mese — e Bruxelles ha messo un orologio su ciò che accadrà dopo.
Una proposta di modifica sposterebbe più avanti le norme del CRA sulla gestione delle vulnerabilità. L'articolo 14 non si muove — il che lascia i fabbricanti a documentare un obbligo il cui metro è ancora in fase di stesura.