Co czytamy w Cyber Resilience Act — i co odkrywamy o tym, jak ocenia się pracę generowaną przez maszyny. Datowane, ze źródłami, i korygowane na piśmie, gdy się mylimy.
Jev od TypeSafe AI to model nowego rodzaju: nigdy nie pisze tekstu, zwraca wyłącznie typowane decyzje z prawdopodobieństwami. Jego benchmark ocenia go wobec średniej z dwóch innych modeli AI. Otworzyliśmy przypadki, które TypeSafe publikuje, i policzyliśmy. W 8 z 19 przypadków, w których obaj oceniający odpowiedzieli, oceniający różnili się między sobą. Każdy z czterech przypadków, które TypeSafe publikuje pod etykietą „wszystkie trzy chybiają odniesienia”, to przypadek, w którym samo odniesienie było sporne. Notatka pisana prostym językiem o tym, co to znaczy dla sposobu, w jaki oceniamy AI.
Znajdowanie staniało; reszta cyklu życia nie. Przejście etap po etapie (identyfikacja, rozstrzyganie, decyzja, naprawa, zgłoszenie, przechowywanie) wraz z tym, czego unijny Cyber Resilience Act wymaga na każdym z nich, oraz miejsce, w którym sytuuje się niezależny przegląd adwersaryjny: w etapach po pierwszym.
Wyrażenie obejmuje dziś cztery praktyki, od krytycznego promptu po dom ludzi myślących jak napastnik. Każda daje ramę napastnika; żadna nie daje sama z siebie podpisanej dokumentacji od recenzentów niezależnych od autora waszego kodu, stopniowanej według dowodu osiągniętego przez każde ustalenie. Co dostarczamy, czego drugi model nie wytworzy i co mówimy wam przed zakupem.
Trzy niezależne badania, trzy różne metody — celowane badanie podatności, kontrolowane porównanie człowiek–model i rok obserwacji prawdziwych repozytoriów — zbiegają się w tym samym ustaleniu: kod generowany przez AI niesie mierzalny koszt jakościowy, który przeżywa zysk produktywności, z którym przyszedł.
AI potrafi dziś wygenerować tysiące ustaleń o podatnościach w jedno popołudnie. Ustalenie jest świadkiem, nie wyrokiem — a jedyne pole, którego nikt nie może sprawdzić, to właśnie to, które wszyscy zawyżają. Oto jak czytać powódź, nie tonąc w niej.
AI zawaliła koszt znajdowania podatności. W open source'owym ekosystemie Bitcoina ta kolizja nadeszła w tym miesiącu — a Bruksela nastawiła zegar na to, co będzie dalej.
Projekt zmiany przesunąłby normy CRA dotyczące postępowania z podatnościami. Artykuł 14 się nie rusza — co zostawia producentów z obowiązkiem dokumentowania powinności, której miara wciąż jest w trakcie pisania.