# TypeSafe Jev, per Konsens bewertet: wenn der Zeuge aufhört zu schreiben

> TypeSafe AIs Jev ist ein neuartiges Modell: Es schreibt nie Text, sondern gibt nur typisierte Entscheidungen mit Wahrscheinlichkeiten zurück. Sein Benchmark bewertet es gegen den Durchschnitt zweier anderer KI-Modelle. Wir haben die von TypeSafe veröffentlichten Fälle geöffnet und nachgezählt. In 8 der 19 Fälle, in denen beide Bewerter geantwortet haben, waren die Bewerter untereinander uneins. Jeder der vier Fälle, die TypeSafe unter „alle drei verfehlen die Referenz“ führt, ist einer, in dem die Referenz selbst strittig war. Eine Notiz in einfacher Sprache darüber, was das dafür bedeutet, wie wir KI beurteilen.

Source: https://counterproof.io/de/notes/typesafe-jev-benchmark-konsens-labels/ · Published 16 September 2026 · CounterProof ist eine Praxis der Clavestra Capital Limited (Malta, C 113987).


> **Wie diese Notiz geprüft wurde.** Vor der Veröffentlichung wurde sie widerlegungsorientiert von
> acht externen Prüfinstanzen aus vier Modellfamilien angegriffen (Moonshot Kimi, xAI Grok, DeepSeek,
> Alibaba Qwen), die jede Zählung aus den Dateien des Anbieters neu berechnet haben. Was sie
> gebrochen haben und wie es behoben wurde, steht in §5. Die technische Begleitschrift, mit Methode,
> vollständigen Zählungen und Grenzen, ist
> [Field Note 1](https://research.counterproof.io/note/field-note-1-typesafe-jev-consensus-as-oracle.html).
> Die Instanzprotokolle und das gehashte Datenarchiv liegen in unserem Berichtsspeicher und sind auf
> Anfrage verfügbar.

**In einer Minute.** Ein Unternehmen namens TypeSafe AI hat Jev veröffentlicht, ein KI-Modell, das
nie einen Satz schreibt. Stellen Sie ihm eine Frage mit einer festen Antwortmenge, und es gibt eine
Antwort zurück, dazu eine Wahrscheinlichkeit für jede Option. Für ein Modell dieser Leistungsklasse
ist das neu, und es verschärft eine Frage, die Klassifikatoren uns nie aufgezwungen haben: Wie prüft
man einen Zeugen, der sich nicht erklären kann? TypeSafes Antwort lautet, Jev gegen die
Durchschnittsmeinung zweier anderer KI-Modelle zu bewerten. Wir haben die zwanzig Fälle geöffnet, die
TypeSafe zur Veranschaulichung seines Benchmarks veröffentlicht, und festgestellt, dass in acht der
neunzehn Fälle, in denen beide Bewerter geantwortet haben, diese beiden Modelle untereinander uneins
darüber waren, welches die richtige Antwort ist. Diese Notiz erklärt, warum das weit über ein
Unternehmen hinaus zählt.

## 1. Ein Modell, das nicht spricht

Drei Jahre lang gab uns ein KI-Spitzenmodell Wörter, wenn es uns eine Antwort gab. Wir konnten sie
lesen, mit ihnen streiten und das Modell dabei ertappen, wie es sich widersprach. Kleinere
Klassifikatoren haben immer schon nackte Labels zurückgegeben; neu ist ein Modell auf
Spitzenniveau, das nichts anderes zurückgibt. TypeSafe AI, ein Unternehmen aus San Francisco ohne
Bezug zur Programmiersprache TypeScript, hat ein Modell ausgeliefert, das nichts davon tut. Es heißt
Jev, und TypeSafe nennt es das erste einer neuen Kategorie, „System One models", nach dem schnellen,
intuitiven Denken in Daniel Kahnemans *Schnelles Denken, langsames Denken*.

So arbeitet Jev. Sie geben ihm Material, etwa das Support-Ticket eines Kunden. Sie geben ihm eine
Menge typisierter Fragen: *Verlangt dieser Kunde eine Rückerstattung?* (ja oder nein, mit einer
Wahrscheinlichkeit). *Welches Team soll das bearbeiten?* (eines aus einer Liste). *Wie verärgert ist
der Kunde, von 0 bis 4?* (ein Wert). Jev gibt die Antworten zurück, jede mit einer
Wahrscheinlichkeitsverteilung, im Bruchteil einer Sekunde. Keine Prosa, keine Erklärung, kein Code.
Ihre Software handelt direkt auf den Antworten.

Für die Automatisierung von Routineentscheidungen ist das attraktiv, und wir sind nicht hier, um das
Gegenteil zu behaupten. Den Freitext wegzulassen beseitigt eine ganze Klasse von Fehlern, und eine
Wahrscheinlichkeit, auf die man einen Schwellenwert setzen kann, nützt einem Programm mehr als ein
Absatz. Uns interessiert eine Nebenwirkung. **Ein Modell, das nur aus Ihrer Liste wählt, kann Ihnen
nie sagen, dass die Liste etwas auslässt.** Ein menschlicher Prüfer, oder ein Modell, das schreibt,
kann sagen: „Sie haben die falsche Frage gestellt." Jev kann das nicht. Es kann andeuten, dass keine
der Optionen gut passt, weil seine Wahrscheinlichkeiten dann gestreut statt konzentriert sind, und
TypeSafes eigene Dokumentation sagt das auch. Aber es kann nie die Option benennen, die Sie vergessen
haben. Was immer Sie aus der Fragemenge herausgelassen haben, bleibt draußen, für jeden Zeugen, der
sie beantwortet.

Wir kommen aus einem ungewöhnlichen Blickwinkel. Unser
[Arbeitspapier](https://research.counterproof.io/agentic-stemmatics.html) behandelt KI-Ausgaben so,
wie Wissenschaftler alte Handschriften behandeln: als Zeugnis von Zeugen, die Quellen teilen,
einander abschreiben und aus denselben Gründen dieselben Fehler machen können. In diesem Rahmen ist
Jev ein Zeuge, der aufgehört hat zu schreiben.

## 2. Wer bewertet den Bewerter?

Jedes KI-Modell bekommt einen Benchmark-Wert. Die Frage, die man zu jedem Wert stellen sollte, ist:
**verglichen womit?** Bei einer Mathematikaufgabe ist die Antwort leicht: mit der richtigen Zahl. Bei
„sollte dieser Sicherheitsalarm eskaliert werden?" gibt es keinen Antwortschlüssel. Irgendjemand muss
entscheiden, was die richtige Antwort war.

TypeSafe veröffentlicht seinen Benchmark unter `evals.typesafe.ai`. Der Methodenabschnitt erklärt die
Entscheidung:

> "Instead of debating the correctness of the harness and labels, we assume that the code is
> correct, and measure against the current smartest large models. For this eval, the reference
> labels are generated via an average of the responses of GPT-6 Astra and Claude Fable 5.1, both at
> high thinking, answering every question in the harness. All other models are evaluated using the
> provider's default reasoning settings."

Unsere Übersetzung: Statt über die Korrektheit des Harness und der Labels zu streiten, nehmen wir an,
der Code sei korrekt, und messen gegen die derzeit intelligentesten großen Modelle; für diese
Auswertung werden die Referenz-Labels als Durchschnitt der Antworten von GPT-6 Astra und Claude Fable
5.1 erzeugt, beide auf hoher Denkstufe.

Im Klartext: Die „richtige Antwort" auf jede Frage ist das, was zwei führende KI-Modelle, OpenAIs
GPT-6 Astra und Anthropics Claude Fable 5.1, im Durchschnitt gesagt haben. Jevs Genauigkeit ist, wie
oft es mit diesem Durchschnitt übereinstimmt. Die aller anderen auch.

TypeSafe benennt das offensichtliche Problem offen. Der Ankündigungsbeitrag sagt, dies
„biases answers towards OpenAI and Anthropic's models. We likely underestimate the relative
performance of our model and DeepSeek's models" (verzerre die Antworten zugunsten der Modelle von
OpenAI und Anthropic und unterschätze wahrscheinlich die relative Leistung des eigenen Modells und
der Modelle von DeepSeek). Das ist ein ehrlicher Vorbehalt. Aber es gibt ein tieferliegendes Problem,
das dort nicht benannt wird.

**Wenn zwei KI-Modelle beide falsch liegen, liegen sie meist auf dieselbe Weise falsch.** Eine Studie
von 2025 über mehr als 350 Modelle fand, dass zwei Modelle, wenn sie beide eine Frage verfehlen, weit
häufiger *dieselbe* falsche Antwort geben, als der Zufall erwarten ließe. Der Effekt ist bei leistungsfähigeren Modellen stärker; Paare aus verschiedenen Unternehmen waren
eingeschlossen, die Studie berichtet aber keine auf solche Paare beschränkte Analyse ([Kim, Garg, Peng und Garg, ICML 2025](https://arxiv.org/abs/2506.07962)). Zwei Bewerter zu
mitteln dämpft die Fehler, die sie einzeln machen; auf der Ebene einer endgültigen Entscheidung
schlägt es sich schlicht auf die Seite eines der beiden, wie wir unten zeigen. Gegen die Fehler, die
sie gemeinsam machen, richtet es nichts aus, und an der Spitze des Feldes sind gerade die
gemeinsamen Fehler die großen.

Ein Durchschnitt zweier Spitzenmodelle ist also kein neutraler Schiedsrichter. Er ist deren geteilte
Meinung, zur Grundwahrheit befördert. Ein Modell, das ihren gemeinsamen Fehler kopiert, wird als
richtig gewertet. Ein Modell, das es richtig hat, wenn beide falsch liegen, wird als Fehlschlag
gewertet. Wir haben das die Konsensfalle genannt, als wir
[im August über Benchmarks geschrieben haben](https://counterproof.io/notes/the-illusion-of-the-score/). TypeSafes Benchmark
ist das klarste offengelegte Beispiel, das wir gesehen haben. Eine Ehrlichkeitsnotiz in eigener
Sache: Die Studie hat das an zwei öffentlichen Bestenlisten und einer Einstellungsaufgabe gemessen.
Dass dasselbe innerhalb eines Workflow-Benchmarks ohne unabhängige Wahrheit geschieht, ist unsere
Schlussfolgerung, nicht der Befund der Studie.

## 3. Wir haben die Fälle geöffnet. Das haben wir gefunden.

Das Benchmark-Dashboard bewertet neun Modelle über vier Workflows: Sicherheitsalarme, Überwachung von
Support-Agenten, Rechnungsverarbeitung und Kundenservice, insgesamt 711 Fälle. Jev landet im
Mittelfeld: 67,8 % Übereinstimmung mit der Referenz im Durchschnitt, gegenüber 74,1 % beim besten
Modell. Es liegt unter den führenden Modellen von OpenAI und Anthropic, einen Zehntelpunkt hinter
GPT-5.6 Terra, gleichauf mit Claude Sonnet 5 und über beiden DeepSeek-Modellen. Wenn Sie hergekommen
sind mit der Frage, ob Jev „halluziniert", ist TypeSafes Ankündigungsbeitrag auch dazu offen: Die 0 %,
die dort eingezeichnet werden, sind in den Worten des Beitrags „not empirical. Schema matching is
guaranteed, thus we can confidently add 0% into the plots" (nicht empirisch; die Schema-Übereinstimmung
ist garantiert). Jev kann keine fehlerhaft geformte Antwort zurückgeben. Das ist etwas anderes, als
eine richtige zurückzugeben.

Der Teil, der uns angeht, ist kleiner und aufschlussreicher. TypeSafe veröffentlicht außerdem zwanzig
durchgearbeitete Fälle, fünf je Workflow, ausgewählt zur Veranschaulichung von fünf Situationen:
jedes der drei verglichenen Modelle weicht reihum von den beiden anderen ab, alle drei verfehlen die
Referenz, und alle drei stimmen überein. Für neunzehn dieser Fälle veröffentlicht TypeSafe, was jedes
der beiden bewertenden Modelle gesagt hat, Frage für Frage, und nicht nur deren Durchschnitt; in einem
der neunzehn fehlen die meisten Folgeantworten des zweiten Bewerters in der Datei, und in zwei der
vier Workflows wird der Durchschnitt selbst gar nicht veröffentlicht. Das ist mehr Transparenz, als
die meisten Benchmarks bieten, und sie hat uns das Zählen ermöglicht.

**Die beiden Bewerter waren bei der endgültigen Entscheidung in 8 der 19 Fälle untereinander uneins.**
Wir haben die vollständige Liste der Maßnahmen verglichen, zu denen jeder Bewerter gelangt ist; in
einigen Fällen war die Liste des einen die des anderen plus zusätzliche Schritte, und auch das zählen
wir als Uneinigkeit. Frage für Frage gaben sie 31 Mal unterschiedliche Antworten, von 356 Fragen, die
beide Bewerter beantwortet haben, und alle stehen in den archivierten Dateien; in sechs weiteren
Fällen gab einer von beiden gar keine Antwort. Diese zwanzig Fälle wurden von TypeSafe von Hand
ausgewählt, um Uneinigkeit unter den *bewerteten* Modellen zu zeigen; dies ist also keine Messung
dafür, wie oft die Bewerter über alle 711 Fälle hinweg uneins sind. Es ist das, was TypeSafe
veröffentlicht hat, von der anderen Seite gelesen.

**Jeder einzelne Fall, den TypeSafe mit „alle drei verfehlen die Referenz" kennzeichnet, ist ein Fall,
in dem auch die beiden Bewerter untereinander uneins waren.** Nehmen Sie das Sicherheitsbeispiel. Ein
Bewerter sagte `ISOLATE HOST`. Der andere sagte `REVOKE SESSIONS`. Der Durchschnitt ergab
`ISOLATE HOST`. Alle drei bewerteten Modelle sagten `QUARANTINE FILE`. Drei Modelle wurden also gegen
eine Antwort als falsch gewertet, die eines der beiden Modelle, die den Antwortschlüssel schreiben,
ebenfalls nicht gegeben hat. Um genau zu sagen, was das zeigt: Die drei Modelle wären unter dem
Urteil jedes der beiden Bewerter als falsch gewertet worden, dies ist also ein strittiger
Antwortschlüssel und keine bestrafte richtige Antwort. Niemand kann sagen, welcher Bewerter recht
hatte: Diese Workflows haben keinen unabhängigen Antwortschlüssel, was ja gerade der Punkt ist. Zwei
der vier Fälle, die mit „alle drei stimmen überein" gekennzeichnet sind, schneiden in die andere
Richtung. In einem teilten sich die beiden Bewerter zwischen `ISOLATE HOST` und `ESCALATE TIER2`, der
Durchschnitt wählte `ESCALATE TIER2`, und alle drei bewerteten Modelle sagten dasselbe, sodass es als
richtig zählte, einem Bewerter gegen den anderen zuzustimmen. Überall, wo TypeSafe den Durchschnitt
veröffentlicht, entspricht er der Antwort des einen oder des anderen Bewerters, nie einer dritten.
Das ist kein Zufall: Die gemittelten Wahrscheinlichkeiten laufen durch dieselben Entscheidungsregeln
wie die Antworten jedes Modells, der Durchschnitt muss also auf irgendeiner Maßnahme landen, und in
jedem veröffentlichten Fall landet er auf der Seite eines der Bewerter.

**Einer der Bewerter war teilweise ein Ersatz.** Im Sicherheits-Workflow lautet die Datei, die den
zweiten Bewerter beschreibt, wörtlich: "Claude Fable 5.1 high, one question per request; Claude Opus
5 high on the 88 documents Fable refused or failed". Für die Dokumente also, die Fable nicht
beantworten wollte oder konnte, sprang ein anderes Anthropic-Modell ein, Claude Opus 5. Die Datei
zählt 240 Fälle in diesem Workflow, sagt aber nicht, wie Dokumente auf Fälle abgebildet werden, und
deshalb machen wir aus den 88 keinen Prozentsatz. Es folgt daraus eines: Ein Bewerter für einen
Workflow ist eine Mischung, deren Rezept über eine Dokumentenzahl hinaus nicht offengelegt ist. Die
Datei hält den Ersatz fest; die Bestenliste erwähnt ihn nicht. Und weil die Datei nicht sagt, bei
welchen Dokumenten Fable ausgefallen ist, können wir nicht feststellen, ob jenes `REVOKE SESSIONS`
oben von Fable oder von Opus 5 kam.

**Jevs eigene Antworten sind ebenfalls veröffentlicht, und sie neigen sich zu keiner Seite.** Bei den
31 Fragen, in denen die beiden Bewerter uneins waren, stellte sich Jev 14 Mal auf Astras Seite, 14
Mal auf die des zweiten Bewerters und 3 Mal auf keine von beiden. Für einen Wert von 0 bis 4 ist
TypeSafes eigene Konvention der wahrscheinlichkeitsgewichtete Durchschnitt statt der einzelnen
wahrscheinlichsten Stufe; so gewertet kippt eine Antwort, und es wird 13 zu 15. So oder so gibt es
in dieser winzigen, kuratierten Stichprobe kein Anzeichen dafür, dass Jev zu einem der beiden
Modelle neigt, deren Durchschnitt es bewertet. Aber Vorsicht damit, was das zeigt. Eine gleichmäßige
Aufteilung ist das, wonach „kein Favorit" aussieht. Sie ist aber auch, wie einer unserer externen
Prüfer anmerkte, das, wonach ein Modell aussähe, das darauf trainiert wurde, dem *Durchschnitt* der
beiden zu folgen. Diese Zählung kann die beiden Geschichten nicht auseinanderhalten. Behalten Sie den
Gedanken für den nächsten Abschnitt.

Nichts davon macht Jev besser oder schlechter, als das Dashboard sagt. Es zeigt, dass die Definition
von „richtig" in diesem Benchmark innerhalb seiner eigenen Daten strittig ist, auf eine Weise, die
TypeSafe sichtbar gemacht hat und die die Schlagzahl nicht zeigt.

## 4. Wo hat Jev das Urteilen gelernt?

Unser Forschungsprogramm stellt jedem Modell eine Frage: Woher stammen seine Gewohnheiten? Wurde es
auf der Ausgabe eines anderen Modells trainiert? Teilt es eine Basis mit einem Wettbewerber? Für
Modelle, die schreiben, steckt ein überraschend starker Hinweis im Schreiben selbst: Verteilungen
von Wortwahlen sind unterscheidend genug, um fünf große KI-Systeme mit 97 % Genauigkeit
auseinanderzuhalten ([Sun et al., ICML 2025](https://arxiv.org/abs/2502.12150)). Es ist das
maschinelle Gegenstück dazu, einen Schreiber an seiner Hand zu erkennen.

Jev schreibt nichts, also fällt dieser Hinweis weg. Es bleiben zwei schwierigere Methoden: absichtlich
eingebrachte Marker, und [ein Modell mit einer früheren Fassung seiner
selbst zu vergleichen](https://arxiv.org/abs/2607.09692), um zu sehen, von welchem Lehrer es gelernt
hat. Keine davon steht einem Außenstehenden zur Verfügung. TypeSafes eigene Einführung sagt, seine
Modelle gingen von gewöhnlichen vortrainierten Sprachmodellen aus und fügten eine neue
Trainingsstufe hinzu, „Reinforcement learning for calibrated decisions". TypeSafe äußert sich zur
Herkunft seiner Trainingsdaten, in einer FAQ-Antwort des Ankündigungsbeitrags, die keine
Textdarstellung der Seite zeigt und die einer unserer Prüfer in der Skript-Nutzlast der Seite fand:
"We make all the data ourselves" (wir erstellen alle Daten selbst). Das schließt ein Training auf
Kundendaten aus. Es benennt kein Basismodell, benennt keinen Lehrer und sagt nicht, ob selbst
erstellte Daten die Antworten anderer Modelle tragen können. Dieselbe FAQ sagt, Jev sei "neither
small nor an LLM" (weder klein noch ein LLM), was sich schwer mit der Beschreibung eines dritten Wegs
verträgt, vortrainierte Sprachmodelle anzupassen, wie sie die Einführung gibt; TypeSafe bringt die
beiden nicht zusammen, und wir können es nicht. Nach unseren eigenen Regeln ist Jevs Abstammung damit
ein Forschungsprogramm und kein Ergebnis, und ein dünneres als bei Modellen, die schreiben.

Bleibt eine Hypothese, die wir sorgfältig formulieren wollen. Wäre Jev darauf trainiert worden,
derselben Art von Zwei-Modell-Durchschnitt zu entsprechen, den sein Benchmark verwendet, dann würde
ein Prüfpanel, das Jev als „vierte unabhängige Meinung" hinzunimmt, tatsächlich einen Nachkommen
zweier Meinungen hinzunehmen, die es bereits hatte, und jedes Verfahren, das es als unabhängig
zählte, wäre getäuscht, ohne es zu wissen. Zwei Dinge sprechen dazu, keines davon entscheidend. Jev
liegt im Mittelfeld des Dashboards, wo man von einem Modell, das auf das Kopieren der Bewerter
trainiert wäre, mehr Übereinstimmung mit ihnen erwarten könnte; Fähigkeit und Übereinstimmung sind
dort aber miteinander verwoben, also ist das schwache Evidenz. Und bei den 31 strittigen Fragen
teilte sich Jev vierzehn zu vierzehn zwischen den beiden Bewertern (dreizehn zu fünfzehn unter
TypeSafes eigener Wertung eines Antworttyps). Das ist vereinbar damit, keinen Favoriten zu haben, und
ebenso vereinbar damit, dem Durchschnitt des Paares zu folgen, es entscheidet also nichts. Wir halten
die Hypothese für *möglich* und sagen, was sie entscheiden würde: dass TypeSafe offenlegt, woher
seine Trainingsantworten stammen, oder ein Vergleich, der Jevs Nähe zum Durchschnitt der beiden
Bewerter gegen andere leistungsfähige Modelle stellt, die nicht auf ihnen trainiert wurden, gemessen
über alle 711 Fälle statt über die 20, die wir sehen können. Nähe allein würde es nicht entscheiden:
Jedes leistungsfähige Modell landet tendenziell zwischen zwei leistungsfähigen Bewertern.

## 5. Unsere eigene Hand im Spiel

Diese Notiz wurde mit Claude Fable 5.1 entworfen, einem der beiden Modelle, deren Durchschnitt
TypeSafe als Wahrheit behandelt. Eine frühere Analyse, die wir herangezogen haben, stammte von einem
OpenAI-Modell, der anderen Hälfte dieses Durchschnitts. Beide Verfasser sind also Parteien dessen,
was sie beurteilt haben. Deshalb haben wir die zugrunde liegende Beurteilung, bevor diese Notiz
geschrieben wurde, von einem Prüfer eines dritten Unternehmens angreifen lassen, Moonshots Kimi. Er
hat drei unserer Zitate berichtigt und neunzehn unserer Schlussfolgerungen gebrochen, darunter die
Behauptung eines ersten Entwurfs, Jev stimme „am wenigsten" mit dem Konsens überein. Das tut es
nicht; es liegt im Mittelfeld. Eine zweite Kimi-Instanz hat dann jede Zählung von oben aus den
Rohdateien neu berechnet und sie bestätigt, und hat ihrerseits den ersten Entwurf dieser Notiz
gebrochen: Er hatte TypeSafes „88 Dokumente" in einen Anteil von 240 Fällen umgerechnet, zwei
Einheiten, die die Dateien nicht gleichsetzen, und geschrieben, ein Bewerter habe „sich selbst
bewertet", was die Daten nicht hergeben. Beides ist verschwunden. Eine dritte Instanz, von xAIs Grok,
hat die Zählungen ein drittes Mal neu berechnet und gezeigt, dass unser Sicherheitsbeispiel weniger
belegte, als wir angedeutet hatten, dass die Nachbarschaft der Ersatz-Tatsache zu Opus 5s Platzierung
zu einer Schlussfolgerung einlud, die wir zurückgewiesen hatten, und dass eine unserer Zählungen von
einer Wertungsentscheidung abhängt. Eine vierte, von DeepSeek, hat sie erneut nachgerechnet und uns
dabei ertappt, wie wir eine gleichmäßige Aufteilung als Evidenz gegen eine Hypothese behandelten, von
der sie sich nicht unterscheiden lässt. Eine fünfte, eine weitere Kimi-Instanz, hat eine FAQ-Antwort
über Trainingsdaten gefunden, die vier Seitenleser, unserer eingeschlossen, als nicht vorhanden
gemeldet hatten. Eine sechste, Alibabas Qwen, vom Autor und nicht von uns ausgeführt, hat jede
Zählung bestätigt und war die vierte, die sagte, der Ersatz-Absatz insinuiere noch immer; er liest
sich nun als schlichte Offenlegung. Alles ist oben berichtigt. Eine Notiz über korrelierte Bewerter,
geschrieben von einem korrelierten Bewerter, ist genau so viel wert wie ihre externe Prüfung.

Am 17. September haben zwei weitere Prüfer, eine OpenAI-Codex-Instanz und eine Moonshot-Kimi-Instanz,
unseren Plan geprüft, Jev direkt zu testen, und gezeigt, dass der in §4 vorgeschlagene Test die Frage
für sich allein nicht entscheiden könnte. Der Satz in §4 sagt nun, was er dafür bräuchte.

## Was wir nicht sagen

Wir sagen nicht, typisierte Entscheidungen seien eine schlechte Idee; für Weiterleitung und Triage
sind sie wahrscheinlich eine gute. Wir sagen nicht, TypeSafes Benchmark sei unehrlich; er legt mehr
offen als die meisten, und alles oben ist aus dem gezählt, was er offenlegt. Wir sagen nicht, Jev sei
auf den Antworten seiner Bewerter trainiert worden; der eine Test, den wir durchführen konnten, kann
es nicht sagen. Wir sagen drei Dinge. Ein Benchmark, dessen Wahrheit der Durchschnitt zweier Zeugen
ist, erbt alles, was diese Zeugen gemeinsam falsch machen. TypeSafes eigene veröffentlichte Fälle
zeigen die beiden Zeugen in acht von neunzehn uneins über die Antwort. Und eine Klasse von Modellen,
die nicht schreiben kann, hat uns die Evidenz genommen, mit der wir sonst fragen würden, woher ihr
Urteil kommt.

## Warum uns das angeht

CounterProof prüft KI-geschriebenen Code so, wie ein Angreifer es täte. Unsere Arbeitsregel lautet,
dass ein Befund durch das Ausführen des Codes entschieden wird, nie durch eine Abstimmung unter
Modellen. Die neue Klasse von Entscheidungsmodellen wird gegen Modellkonsens bewertet und trainiert
werden, weil Konsens billig ist und echte Ergebnis-Labels teuer sind. Unsere ganze Methode ist die
teure Alternative: eingefrorene Fälle, Reproduktionen, die Sie ausführen können, und Labels, die
daher kommen, was der Code tatsächlich getan hat, statt daher, worauf sich zwei Modelle geeinigt
haben. Wenn Modelle mit typisierten Entscheidungen zu der Schicht werden, durch die KI-Agenten
handeln, dann wird die Frage, wessen Urteil diese Schicht trägt, zur Herkunftsfrage des Jahrzehnts.
Die einzige ehrliche Antwort wird aus der Prüfung gegen Ergebnisse kommen. Das ist die Arbeit.

**Die technische Akte.** Methode, Schema, die vollständige Zähltabelle, was das Exemplar erlaubt und
was nicht, und die Grenzen:
[Field Note 1, Consensus as oracle: TypeSafe's Jev benchmark as a type specimen](https://research.counterproof.io/note/field-note-1-typesafe-jev-consensus-as-oracle.html),
auf unserer Forschungsseite.

---

*Offenlegung, aus der wir nichts ableiten.* Claude Opus 5, der Ersatz für einen Teil des
Antwortschlüssels im Sicherheits-Workflow, ist zugleich eines der neun bewerteten Modelle. Die Datei
sagt nicht, welche Dokumente ersetzt wurden, und eine Ersatzantwort muss den Durchschnitt gegen Astra
erst gewinnen, bevor sie zum Schlüssel wird. Wir ziehen daraus keine Schlussfolgerung über den Wert
irgendeines Modells, und vier externe Prüfer haben uns gesagt, dass die Platzierung dieser Tatsache
innerhalb der Argumentation oben dennoch zu einer einlud; deshalb steht sie hier.

*Quellen.* TypeSafe-Ankündigungsbeitrag, Dokumentation (introduction,
introduction/machine-learning-primer, confidence, System One concepts, HTTP API, primitives/choice)
und `evals.typesafe.ai`, gelesen am 16. September 2026; die fünf Seiten und vier Falldateien
(`*-cases.js`), die diese Seite ausliefert, archiviert mit SHA-256-Hashes in unserem
Berichtsspeicher. Kim, Garg, Peng und Garg, *Correlated Errors in Large Language Models*, ICML 2025,
arXiv:2506.07962. Sun, Yin, Xu, Kolter und Liu, *Idiosyncrasies in Large Language Models*, ICML 2025,
arXiv:2502.12150. Rawat et al., *Reference-Based Distillation Detection in LLMs*, arXiv:2607.09692.
Soons, *Agentic Stemmatics*, v1.29, doi:10.5281/zenodo.22790100. Die Zählungen in §3 beziehen sich
allein auf die zwanzig veröffentlichten Fälle; endgültige Entscheidungen wurden als ungeordnete
Mengen von Maßnahmen verglichen; ein Fall trägt die Antwort nur eines Bewerters und ist von den acht
von neunzehn ausgenommen.

*Korrigiert am 23. September 2026:* Zwei Aussagen über Kim et al. gingen über die Studie hinaus. Sie
vergleicht Modelle zu einem Zeitpunkt und berichtet keine auf Paare aus verschiedenen Unternehmen
beschränkte Analyse. Der Satz oben sagt jetzt nur das.