Messstandard
Wie ich messe — und warum ich den Maßstab veröffentliche
Eine Zahl ohne ihren Aufbau ist keine Aussage. Was daneben stehen muss, damit sie etwas bedeutet, habe ich aufgeschrieben.
Ein Produktname, ein Benchmark, drei Protokolle: 90,2 — 71,2 — 48,0 Prozent. Jede der drei Zahlen ist für den Aufbau, unter dem sie gemessen wurde, korrekt berichtet; zwei der drei Quellen dokumentieren diesen Aufbau sogar. Vergleichbar sind sie trotzdem nicht: Die datierten liegen siebzehn Monate auseinander, die Lesemodelle stammen aus verschiedenen Generationen, und keine Quelle nennt die gemessene Systemversion. Das ist kein Anbieterproblem. Es ist ein Problem fehlender Berichtskonventionen.
Die Medizin hat dieses Problem vor Jahrzehnten gelöst: nicht durch Methodenvorschriften, sondern durch Berichtsstandards, die festlegen, was eine Veröffentlichung enthalten muss. MBRC übernimmt diese Form — neutral gegenüber Architektur und Benchmark, streng nur bei der Offenlegung. Zehn Regeln, vier Urteile, ein maschinenlesbares Ergebnisformular. Jede Regel steht dort, weil ein dokumentierter Fehlschlag sie nötig gemacht hat.
MBRC — Memory Benchmark Reporting Checklist Fassung
1.0 Stand
offen für Kommentare Nutzung
CC BY 4.0
Am eigenen Ergebnis vorgeführt
Ein Standard, den der Verfasser selbst nicht einhält, ist wertlos. Deshalb steht die eigene Messung vollständig da — mit dem Teil, an dem sich NEXUS nicht beweisen kann.
Ein öffentlich verfügbarer Prüfkatalog stellt 150 Fragen zu langen Gesprächsverläufen. In jedem Verlauf steht die Antwort an ein bis zwei Stellen, versteckt zwischen rund fünfzig Sitzungen. Gemessen wird zweierlei: Findet das Gedächtnis diese Stelle? Und kommt am Ende die richtige Antwort heraus?
| Gemessen | Wert | Lesart |
|---|---|---|
| Richtige Stelle gefunden unter zehn gelieferten Treffern; in 77,3 % auf Rang 1 |
96,0 % | Das Finden ist so gut wie gelöst |
| Antwort daraus richtig | 44,7 % | Verloren wird nach dem Finden |
| Dieselbe Aufgabe, gewöhnliche Dokumentensuche der mitgemessene Vergleichsarm |
46,7 % | Unterschied nicht belegbar |
| Antwort richtig, wenn die Stelle geschenkt wird ohne jede Suche — die Obergrenze des Aufbaus |
64,7 % | Mehr gibt der Katalog nicht her |
Was daraus zu lesen ist: Wo beide Bauweisen die Stelle ohnehin finden, kann sich ein Gedächtnis nicht beweisen. Der Unterschied liegt dort, wo eine Dokumentensuche gar nicht erst antritt — bei Zeitständen, bei Ablösung, bei begründetem Vergessen. Das steht hier bewusst, weil ein Blatt, auf dem alle Zahlen günstig aussehen, nichts wert ist.
Was diese Zahlen belastbar macht
| Ein Vergleichsarm läuft mit | Die gewöhnliche Dokumentensuche wird nicht geschätzt, sondern auf demselben Katalog gemessen |
|---|---|
| Eine Obergrenze läuft mit | Der Lauf mit vorgelegter Stelle zeigt, wie viel überhaupt zu holen ist — ohne ihn sähen 44,7 % nach einem Speicherproblem aus |
| Jede Differenz trägt ihren Streubereich | 150 Fragen bestimmen eine Quote nur auf rund 16 Prozentpunkte genau; die Differenz zum Vergleichsarm schließt die Null ein — deshalb „nicht belegbar“ statt „gleich gut“ |
| Der Bewerter wurde selbst geprüft | Vor dem Einsatz: 122 von 123 absichtlich falsch gebauten Antworten zurückgewiesen, 97,0 % Übereinstimmung mit menschlichem Gegenurteil (κ 0,937) |
| Feste Zufallsstartwerte, offene Rohdaten |
Der Lauf ist mit eigenen Daten auf einer eigenen Instanz wiederholbar |
| Überholte eigene Zahlen bleiben stehen |
Zwölf frühere Werte sind als überholt gekennzeichnet, jeder mit dem Grund |
Drei Einwände, vorweg beantwortet
„Das kann ein gut gebautes RAG auch.“
Für das Wiederfinden einer Textstelle: ja, und das steht oben gemessen. Nicht für Zeitstände, nicht für Ablösung, nicht für begründetes Vergessen.
„Nur eine Integration bekannter Bausteine.“
Die Bausteine sind bekannt. Nicht üblich ist der Lebenszyklus darüber: Reifebedingung, Ablösung, Verfall, Rechenschaft.
„Und im Alltag, nicht im Prüfkatalog?“
Der Katalog misst einen Ausschnitt. Wie sich ein Bestand über Monate verhält, zeigt erst der Probebetrieb — und genau dort läuft das System derzeit, mit eigener Instanz je Nutzer.
Antwortzeiten am Rande: Beschaffung 0,4 s je Abfrage gegen 4,8 s im Vergleichsarm, fertiger Kontextblock 112 ms bei Vorsuche. Ausgelegt ist das System auf Gedächtnisqualität, nicht auf Geschwindigkeit — die Zeitmarken sind ein Nebenergebnis, kein Ziel.