revue de code adversariale indépendante
Ce que nous lisons dans le Cyber Resilience Act — et ce que nous découvrons sur la manière dont le travail généré par des machines est évalué. Daté, sourcé, et corrigé par écrit quand nous nous trompons.
Des modèles d'autres fournisseurs ont contribué à écrire, sélectionner et juger les données d'entraînement de Kolibri-1. Le résumé européen liste sept noms ; le rapport technique explique les différents rôles. Ces divulgations montrent comment un modèle construit pour un déploiement souverain et spécialisé peut s'appuyer sur des modèles d'autres fournisseurs pendant l'entraînement. Elles n'établissent pas quels comportements, s'il y en a, ont été hérités.
Des douze configurations d'agents, celle qui a le plus souvent produit du code fonctionnel l'a fait dans 57 % des tâches ; dans 11,8 % seulement, son code à la fois fonctionnait et réussissait le test de sécurité. Informer l'agent du risque a un peu aidé. L'étude pouvait tester chaque faille parce qu'elle avait déjà été trouvée et corrigée, et que le correctif était accompagné d'un test de sécurité. Le nouveau code de votre agent n'a pas encore de tel test.
Le règlement ne mentionne jamais les portefeuilles crypto. Il s'applique aux produits comportant des éléments numériques. À partir de décembre 2027, il exige aussi de soumettre régulièrement le produit à des tests et examens de sécurité efficaces. Selon notre lecture, cette obligation a une incidence sur la question de savoir si un fabricant trouve une faille avant un attaquant. Cette note explique le champ d'application, les délais de notification et le rôle d'une revue indépendante.
Trouver est devenu bon marché ; le reste du cycle de vie, non. Un parcours étape par étape (recenser, apprécier, décider, corriger, notifier, conserver) avec ce que le Cyber Resilience Act européen exige à chacune, et l'endroit où se situe une revue adversariale indépendante : dans les étapes qui suivent la première.
Deux comparaisons préenregistrées et notées en aveugle entre notre dispositif de relecture complet et une seule passe économique, avec des audits professionnels publics comme corrigé. Le dispositif a perdu une cible nettement ; sur l'autre, il n'a déclenché son propre seuil de précision qu'en supprimant les constats que l'auditeur avait jugés réels (0–1 sur 4, selon le notateur). Ce que nous avons changé, ce que nous avons remesuré, et les trous qu'un audit ultérieur a trouvés dans la mesure elle-même.
Le Jev de TypeSafe AI est un modèle d'un genre nouveau : il n'écrit jamais de texte, il ne renvoie que des décisions typées assorties de probabilités. Son banc d'essai le note contre la moyenne de deux autres modèles d'IA. Nous avons ouvert les cas que TypeSafe publie et nous avons compté. Dans 8 des 19 cas où les deux correcteurs ont répondu, les correcteurs divergeaient entre eux. Chacun des quatre cas que TypeSafe publie sous l'étiquette « les trois manquent la référence » est un cas où la référence était elle-même contestée. Une note en langage clair sur ce que cela signifie pour la façon dont nous jugeons l'IA.
L'expression couvre désormais quatre pratiques, de l'invite critique aux relecteurs humains à l'esprit d'attaquant. Chacune fournit le cadrage de l'attaquant ; aucune ne fournit à elle seule un dossier signé par des relecteurs indépendants de l'auteur de votre code, gradué selon la preuve atteinte par chaque constat. Ce que nous livrons, ce qu'un second modèle ne peut pas produire, et ce que nous vous disons avant l'achat.
Trois études indépendantes, trois méthodes différentes — une étude ciblée de vulnérabilités, une comparaison contrôlée humain-modèle et un an d'observation de dépôts réels — convergent vers le même constat : le code généré par IA porte un coût de qualité mesurable qui survit au gain de productivité avec lequel il est arrivé.
L'IA peut désormais générer des milliers de constats de vulnérabilité en un après-midi. Un constat est un témoin, pas un verdict — et le seul champ que personne ne peut vérifier est celui que tout le monde gonfle. Voici comment lire le flot sans s'y noyer.
L'IA a fait s'effondrer le coût de la découverte de vulnérabilités. Dans l'écosystème open source de Bitcoin, cette collision est arrivée ce mois-ci — et Bruxelles a mis un chronomètre sur la suite.
Un projet d'amendement repousserait les normes de gestion des vulnérabilités du CRA. L'article 14, lui, ne bouge pas — les fabricants documentent donc une obligation dont l'étalon est encore en cours de rédaction.