unabhängiges adversarielles Code-Review
Was wir im Cyber Resilience Act lesen — und was wir dabei finden, wie maschinengenerierte Arbeit bewertet wird. Datiert, belegt und schriftlich korrigiert, wenn wir uns irren.
Modelle anderer Anbieter haben geholfen, die Trainingsdaten von Kolibri-1 zu schreiben, auszuwählen und zu beurteilen. Die EU-Zusammenfassung nennt sieben Namen; der technische Bericht erklärt die verschiedenen Rollen. Die Angaben zeigen, wie ein für souveränen und spezialisierten Einsatz gebautes Modell beim Training auf Modelle anderer Anbieter zurückgreifen kann. Welche Verhaltensweisen dabei übernommen wurden, falls überhaupt, belegen sie nicht.
Die Konfiguration, die unter zwölf Agenten-Konfigurationen am häufigsten funktionierenden Code erzeugte, tat dies in 57 % der Aufgaben; nur in 11,8 % funktionierte ihr Code und bestand zugleich den Sicherheitstest. Den Agenten auf das Risiko hinzuweisen, half ein wenig. Die Studie konnte auf jede Schwachstelle testen, weil sie bereits gefunden und behoben worden war und der Fix einen Sicherheitstest mitbrachte. Der neue Code Ihres Agenten hat noch keinen solchen Test.
Die Verordnung erwähnt Krypto-Wallets nirgends. Sie gilt für Produkte mit digitalen Elementen. Ab Dezember 2027 verlangt sie außerdem, die Sicherheit des Produkts regelmäßig und wirksam zu testen und zu überprüfen. Nach unserer Lesart berührt diese Pflicht die Frage, ob ein Hersteller eine Schwachstelle vor einem Angreifer findet. Diese Notiz erläutert den Anwendungsbereich, die Meldefristen und die Rolle eines unabhängigen Reviews.
Das Finden ist billig geworden, der Rest des Lebenszyklus nicht. Ein Gang durch die Stufen (erkennen, beurteilen, entscheiden, beheben, melden, aufbewahren) mit dem, was der EU Cyber Resilience Act auf jeder Stufe verlangt, und mit dem Ort, an dem eine unabhängige adversariale Prüfung sitzt: in den Stufen nach der ersten.
TypeSafe AIs Jev ist ein neuartiges Modell: Es schreibt nie Text, sondern gibt nur typisierte Entscheidungen mit Wahrscheinlichkeiten zurück. Sein Benchmark bewertet es gegen den Durchschnitt zweier anderer KI-Modelle. Wir haben die von TypeSafe veröffentlichten Fälle geöffnet und nachgezählt. In 8 der 19 Fälle, in denen beide Bewerter geantwortet haben, waren die Bewerter untereinander uneins. Jeder der vier Fälle, die TypeSafe unter „alle drei verfehlen die Referenz“ führt, ist einer, in dem die Referenz selbst strittig war. Eine Notiz in einfacher Sprache darüber, was das dafür bedeutet, wie wir KI beurteilen.
Zwei vorab registrierte, blind bewertete Vergleiche unseres vollen Prüfapparats gegen einen einzelnen billigen Durchgang, mit veröffentlichten professionellen Audits als Antwortschlüssel. Der Apparat verlor ein Ziel glatt; beim anderen löste er seine eigene Präzisionsschwelle nur aus, indem er die Befunde löschte, die der Auditor als real eingestuft hatte (0–1 von 4, je nach Bewerter). Was wir geändert haben, was wir neu gemessen haben, und die Lücken, die ein späteres Audit in der Messung selbst gefunden hat.
Der Begriff deckt inzwischen vier Praktiken ab, vom Kritiker-Prompt bis zu menschlichen Prüfern mit Angreiferblick. Jede liefert die Angreiferperspektive; keine liefert für sich allein eine unterzeichnete Akte von Prüfern, die vom Autor Ihres Codes unabhängig sind und deren Befunde nach der erreichten Evidenz eingestuft werden. Was wir liefern, was ein zweites Modell nicht kann, und was wir Ihnen vor dem Kauf sagen.
Drei unabhängige Studien, drei verschiedene Methoden — eine gezielte Schwachstellenstudie, ein kontrollierter Mensch-Modell-Vergleich und eine einjährige Untersuchung realer Repositories — kommen zum selben Befund: KI-generierter Code trägt messbare Qualitätskosten, die den Produktivitätsgewinn überdauern, mit dem sie kamen.
KI kann heute an einem Nachmittag Tausende Schwachstellenbefunde erzeugen. Ein Befund ist ein Zeuge, kein Urteil — und das eine Feld, das niemand prüfen kann, ist das, das alle aufblähen. So liest man die Flut, ohne in ihr zu ertrinken.
KI hat die Kosten des Schwachstellenfindens kollabieren lassen. In Bitcoins Open-Source-Ökosystem kam diese Kollision diesen Monat an — und Brüssel hat eine Uhr darauf gestellt, was als Nächstes geschieht.
Ein Änderungsentwurf würde die Normen zur Schwachstellenbehandlung im CRA nach hinten schieben. Artikel 14 bleibt unberührt — Hersteller dokumentieren damit eine Pflicht, deren Maßstab noch geschrieben wird.