Was passiert, wenn der Agent einen Fehler macht?

Die kurze Antwort: Er macht Fehler. Jedes System macht Fehler, Menschen eingeschlossen. Wer Ihnen etwas anderes verspricht, hat entweder zu wenig Erfahrung oder verkauft zu aggressiv.

Die Frage, die tatsächlich zählt, ist eine andere: Welche Art von Fehler ist überhaupt möglich, wie schnell fällt er auf, und was kostet er? Danach richtet sich, ob ein Agent für eine Aufgabe geeignet ist.

Die drei Fehlerarten, und warum nur eine gefährlich ist

Der Agent weiß etwas nicht. Harmlos, solange er es sagt. Deshalb ist die wichtigste Regel in unseren Systemen: Ohne Beleg keine Antwort. Findet er nichts, gibt er ab, statt etwas Plausibles zu formulieren. Das ist der Unterschied zwischen einem Fachsystem und einem allgemeinen Sprachmodell, das man einfach fragt.

Der Agent macht etwas falsch, und es fällt auf. Ärgerlich, aber beherrschbar. Ein falsch zugeordneter Posteingang, ein Angebot mit der falschen Preisliste: Das korrigiert der Mensch, der ohnehin prüft, und die Ursache lässt sich abstellen.

Der Agent macht etwas falsch, und es fällt nicht auf. Das ist der einzige Fall, der wirklich gefährlich ist. Genau deshalb ist unsere Architektur darauf ausgelegt, diesen Fall unwahrscheinlich zu machen, und nicht darauf, die Fehlerquote insgesamt kleinzureden.

Was wir dagegen tun

Er schlägt vor, ein Mensch entscheidet. Jeder Agent startet im Beobachtungsbetrieb. Mehr Spielraum bekommt er erst, wenn die Qualität über Wochen stabil ist, und auch dann bleiben die Grenzen schriftlich festgelegt. Bei allem, was nach außen geht oder rechtlich bindet, bleibt es dauerhaft bei der menschlichen Freigabe.

Jede Aussage ist belegt. Zu jeder Antwort gehört die Quelle. Damit muss niemand dem Agenten glauben, sondern kann nachschlagen. Ein Fehler ist so in Sekunden nachvollziehbar statt in Stunden.

Die Qualität wird gemessen, nicht behauptet. Jeder Agent läuft wöchentlich gegen einen Fragenkatalog, den Sie selbst zusammenstellen. Wenn die Trefferquote sinkt, sehen Sie das im Monatsbericht, bevor es jemandem im Tagesgeschäft auffällt. Details dazu stehen unter Betrieb und Wartung.

Wir testen auch das Ablehnen. In sogenannten Negativtests prüfen wir, ob der Agent Anfragen, die er nicht beantworten darf, zuverlässig zurückweist. Ein System, das immer antwortet, ist kein gutes System.

Alles ist protokolliert. Jede Aktion ist nachvollziehbar: was der Agent getan hat, auf welcher Grundlage und wann. Ohne dieses Protokoll wäre der Betrieb in regulierten Branchen ohnehin nicht zulässig.

Wer haftet

Die Verantwortung bleibt bei Ihrem Unternehmen, so wie bei jedem anderen Werkzeug und bei jedem Mitarbeiter auch. Ein Agent ist keine juristische Person und kann keine Verantwortung tragen.

Genau deshalb bauen wir die Freigabe an jeder Stelle ein, an der ein Fehler nach außen wirken würde. Ein Angebot, eine Rechnung, eine verbindliche Auskunft: Da steht immer ein Mensch dazwischen. Nicht aus Vorsicht, sondern weil die Verantwortung ohnehin dort liegt und die Prüfung deshalb auch dort stattfinden muss.

Für den Betrieb selbst gelten unsere vertraglichen Zusagen zu Verfügbarkeit, Reaktionszeiten und Nachbesserung. Was das im Einzelnen bedeutet, klären wir vor dem Start schriftlich, nicht danach.

Der ehrliche Schlusssatz

Ein Agent ist dann geeignet, wenn ein Fehler auffällt, bevor er teuer wird. Wo das nicht sichergestellt werden kann, raten wir ab, und wir haben das auch schon getan. Auf jeder Aufgaben-Seite steht deshalb ausdrücklich, wo die Grenze liegt.