Was ist Agent Conformance Checking?

Agent Conformance Checking prüft, ob ein autonom handelnder KI-Agent innerhalb der für ihn erlaubten Prozess-, Rollen- und Regelgrenzen geblieben ist. Dazu wird das tatsächliche Verhalten des Agenten gegen ein Soll-Modell abgeglichen – analog zum klassischen Conformance Checking, aber mit dem Agenten als handelndem Akteur. Abweichungen wie nicht erlaubte Werkzeugaufrufe, übersprungene Freigaben oder Handlungen außerhalb des Mandats werden dadurch sichtbar.

Warum ist das wichtig?

Mit steigender Autonomie verschiebt sich die Verantwortungsfrage: Nicht mehr nur Menschen, sondern auch Agenten müssen nachweisen können, dass sie regelkonform gehandelt haben. Regulatorische Anforderungen wie der EU AI Act verlangen Nachvollziehbarkeit und Protokollierung – Agent Conformance Checking liefert dafür die prüfbare Grundlage.

Wie sieht das konkret aus?

Ein Agent darf Bestellungen bis 2.500 € freigeben, darüber nur vorbereiten. Der Abgleich zeigt drei Fälle, in denen er eine Bestellung über 3.100 € freigegeben hat, weil ein Feld leer war und er den Betrag als 0 gelesen hat. Der Verstoß liegt mit Zeitpunkt, Fall und Auslöser dokumentiert vor.

Nicht zu verwechseln mit

Nicht mit Guardrails zu verwechseln: die verhindern eine Handlung im Moment der Ausführung. Conformance Checking prüft im Nachhinein, was tatsächlich geschehen ist — beides ergänzt einander, ersetzt sich aber nicht.