Evaluation harness

Ein Evaluation Harness ist eine Testumgebung, mit der man die Qualität eines KI-Systems wiederholbar misst. Es prüft das System mit einer festen Sammlung von Aufgaben und bekannten richtigen Antworten.

So funktioniert es

Zuerst wird ein Testset aufgebaut, etwa aus realen, anonymisierten Fällen mit geprüftem Ergebnis. Das KI-System bearbeitet jeden Fall, und das Harness vergleicht die Antwort mit dem erwarteten Ergebnis. Daraus entstehen Kennzahlen wie Trefferquote, Anteil falscher Einschätzungen und Zeit pro Fall. Das Harness läuft bei jeder Änderung erneut, etwa bei einem neuen Modell, einem neuen Prompt oder einer neuen Datenquelle.

Ein Beispiel aus der Praxis: Ein SOC will auf eine neue Modellversion wechseln. Das Harness lässt beide Versionen 500 frühere Cases bewerten. Die neue Version ist schneller, stuft aber mehr echte Angriffe als harmlos ein. Das Team bleibt vorerst bei der alten Version und passt die Anweisungen an.

Worauf Sie achten sollten

• Das Testset muss zu Ihren echten Aufgaben passen. Allgemeine Benchmarks sagen wenig über den Einsatz im SOC.
• Gewichten Sie Fehler nach Folgen. Ein verpasster Angriff wiegt schwerer als ein Fehlalarm.
• Erweitern Sie das Testset laufend mit neuen, schwierigen Fällen.
• Achten Sie darauf, dass Testfälle keine vertraulichen Daten enthalten.

Warum es wichtig ist

KI-Systeme ändern ihr Verhalten oft unerwartet, wenn sich das Modell oder die Anweisungen ändern. Ohne Messung fällt eine Verschlechterung erst im Betrieb auf. Ein Harness macht solche Änderungen vor dem Einsatz sichtbar.

Typische Fehler

Häufig besteht das Testset nur aus einfachen Fällen. Das System wirkt dann besser, als es im Alltag ist. Ein zweiter Fehler ist ein Testset, das nie aktualisiert wird, obwohl sich Angriffe weiterentwickeln.

So setzen wir es um

Unsere Agentic AI arbeitet im SOC innerhalb Ihres Mandats. Folgenreiche Eingriffe bleiben an die Freigabe unserer Analysten gebunden.