Betrieb und Wartung für KI-Systeme

Betrieb und Wartung von KI-Systemen, die sich messen lassen.

Ein KI-System, das nach dem Start niemand pflegt, fällt selten aus. Es wird nur unbemerkt ungenauer. Genau dort entscheidet sich, ob es nach zwölf Monaten noch etwas taugt oder nur noch alte Antworten wiederholt. Deshalb ist der Betrieb bei uns kein Anhang an das Projekt, sondern die eigentliche Leistung.

Erreichbar ist nicht dasselbe wie richtig.

Ein Server, der antwortet, sagt noch nichts darüber, ob die Antworten stimmen. Ein Modellwechsel, eine neue Datenquelle, ein Export, der seit drei Wochen stillsteht: Nichts davon taucht in einer klassischen Server-Überwachung auf. Das System meldet sich nicht kaputt, es wird nur langsam ungenauer.

Unser Betriebsbegriff ist deshalb nicht Verfügbarkeit, sondern gemessene Antwortqualität. Wir prüfen wöchentlich anhand eines Fragenkatalogs aus Ihren echten Fällen, wie oft die richtige Antwort gefunden wird und wie weit oben sie steht. Der Verlauf dieser Zahlen steht in Ihrem Monatsreport.

Ein KI-System ist kein Projekt, das endet, sondern ein Betrieb, der besser wird. Wo wir Qualität behaupten, liefern wir die Zahl dazu.

Nach dem Go-Live beginnt der Takt.

Vier Kadenzen, die ab dem ersten Betriebstag laufen. Das ist der konkrete Gegenwert der monatlichen Pauschale.

  1. täglich

    Das System meldet sich selbst

    • Jede Verarbeitungsstrecke meldet im festen Takt, dass sie arbeitet.
    • Jede Datenquelle hat einen Frische-Alarm: Steht eine Quelle still, schlägt sie an, bevor daraus eine veraltete Antwort wird.
    • Sicherheits-Aktualisierungen für alle Bausteine des Systems, nicht nur für den Teil, den Sie von außen sehen.
  2. wöchentlich

    Gemessen und zurückgespielt

    • Qualitäts-Messlauf anhand Ihres eigenen Fragenkatalogs. Trefferquote und Platzierung der richtigen Antwort werden protokolliert.
    • Rückspieltest des Backups: Wir prüfen nicht, ob gesichert wurde, sondern ob sich die Sicherung zurückspielen lässt.
  3. monatlich

    Zahlen auf den Tisch

    • Monatsreport mit Qualitätsverlauf, Volumen, Veränderungen und den nächsten Schritten.
    • Gemeinsamer Review mit Ihrem Fachbereich, monatlich oder quartalsweise nach Vereinbarung.
  4. laufend

    Weiterentwicklung im Betrieb

    • Neue Datenquellen werden im laufenden Betrieb angebunden.
    • Modellwechsel nach Vergleichsmessung, nie davor.
    • Die Automatisierungsstufe je Fallart wird nachgezogen, wenn die Zahlen es tragen.

Qualität ist bei uns ein Messwert.

Wöchentlich prüfen wir anhand eines festen Fragenkatalogs, wie oft die richtige Antwort gefunden wird und wie weit oben sie steht. Der Katalog besteht aus Ihren echten Fällen, 20 bis 30 je Fallart. Liegt ein auswertbares Archiv vor, ziehen wir ihn automatisch daraus, und Ihr Team validiert nur noch.

AntwortqualitätW1W2W3W4W5W6W7W8SchwelleAbweichung erkannt
Der Regelkreis läuft wöchentlich: messen, mit dem Vorlauf vergleichen, bei einer Abweichung anpassen, die Änderung erneut messen und erst dann scharfschalten. Die Kurve zeigt den Verlauf, nicht erfundene Zielwerte.

Sechs Bereiche, die mitlaufen.

Der vollständige Leistungsumfang des Betriebsvertrags. Was heute produktiv läuft und was Ausbaustufe ist, kennzeichnen wir.

Betrieb und Verfügbarkeit

Was das für Sie heißt: Störungen sollen bei uns auflaufen, nicht bei Ihren Mitarbeitern oder Ihren Kunden. Und die Wiederherstellung ist geprobt, nicht gehofft.

  • Selbstüberwachung im festen Takt

    Jede Verarbeitungsstrecke (der Weg, den ein Dokument von der Quelle bis zur Antwort nimmt) meldet regelmäßig, dass sie arbeitet. Zusätzlich wacht ein Frische-Alarm über jede einzelne Datenquelle: Eine Quelle, die stillsteht, meldet sich selbst, statt still veraltete Antworten zu liefern.

  • Backups, deren Rückspielung wir testen

    Wir prüfen nicht, ob ein Backup geschrieben wurde, sondern ob es sich zurückspielen lässt: automatisiert, wöchentlich, mit protokolliertem Ergebnis. Das Ergebnis des letzten Rückspieltests steht in Ihrem Monatsreport. Gesichert wird nach dem 3-2-1-Prinzip (drei Kopien, zwei getrennte Speicherorte, eine Kopie außer Haus) mit räumlich getrennter Zweitkopie in einem zweiten deutschen Rechenzentrum.

  • Updates und Sicherheits-Aktualisierungen für alle Bausteine

    Datenbank, Suche, Verarbeitungsstrecke, Agenten. Ein KI-System besteht aus vielen Bauteilen, und jedes einzelne bleibt gepflegt, nicht nur der Teil, den Sie von außen sehen.

  • Vertragliche Alarmwege und Reaktionszeiten

    Wer im Ernstfall wie erreicht wird und in welcher Zeit wir reagieren, steht als Service-Level-Vereinbarung (SLA) im Vertrag, gestaffelt nach Schwere des Falls. Wir sagen Reaktionszeiten zu, keine Wiederherstellungszeiten: Wann eine Störung behoben ist, hängt von der Ursache ab, und jede andere Zusage wäre im Ernstfall nichts wert.

Qualitätssicherung und Testverfahren

Was das für Sie heißt: Sie müssen nicht glauben, dass die Antworten gut sind. Sie sehen eine Zahl, und Sie sehen, ob sie steigt.

  • Wöchentlicher Qualitäts-Messlauf

    Wie oft die richtige Antwort überhaupt gefunden wird und wie weit oben sie steht, messen wir automatisch anhand eines festen Fragenkatalogs, Woche für Woche. Damit wird Qualität zu einem Verlauf, den Sie beobachten können, statt zu einer Ansichtssache.

  • Ihr eigener Fragenkatalog

    Der Katalog entsteht aus Ihren echten Fällen, 20 bis 30 je Fallart. Liegt ein auswertbares Archiv vor, ziehen wir ihn automatisch daraus, und Ihr Team validiert nur noch, statt Testfragen zu erfinden. Liegt keines vor, bauen wir ihn gemeinsam auf. Ändern sich Ihre Prozesse, ziehen wir den Katalog nach.

  • Vergleichsmessung vor jeder Scharfschaltung

    Ein neues Modell, eine geänderte Trefferbewertung, eine zusätzliche Quelle: Diese Änderungen werden gegen den bisherigen Stand gemessen, bevor sie live gehen, nicht danach. Ausgenommen sind Sicherheits-Aktualisierungen, die sofort laufen müssen und deren Wirkung wir im nächsten Messlauf nachziehen.

  • Negativtests für den Zugriffsschutz

    Wir prüfen automatisiert, ob eine Rolle an Daten kommt, die sie nicht sehen darf. Bei diesen Tests darf keine einzige Zeile zurückkommen. Kommt doch etwas zurück, gilt die Änderung als nicht freigegeben und geht nicht in Betrieb. Und ein Schutz wird nie mit demselben Signal geprüft, mit dem er selbst arbeitet. Das ersetzt keinen unabhängigen Penetrationstest, es deckt das Berechtigungsmodell ab.

  • Antwort-Kontrolle im laufenden Betrieb

    Wir messen die Korrekturquote: wie oft ein Mensch den Entwurf eines Agenten ändert und was genau er ändert. Diese Differenz fließt als Lernsignal zurück in das System.

  • Gemeinsamer Qualitäts-Review

    Monatlich oder quartalsweise mit Ihrem Fachbereich: Zahl, Trend, nächste Verbesserungen. Ein fester Termin, in dem Sie widersprechen können, statt einer Statusmail, die niemand liest.

Datenschutz im laufenden Betrieb

Was das für Sie heißt: Wenn Betriebsrat, Wirtschaftsprüfer oder Aufsichtsbehörde fragen, liegt der Ordner fertig da. Und der Schutz ist nicht nur zugesagt, wir greifen ihn regelmäßig selbst an, um zu sehen, ob er hält.

Den Rahmen dahinter, also Rollen, Rechte und DSGVO-Grundlagen, beschreiben wir auf der Seite AI-Agenten sicher betreiben. Hier geht es um die Handgriffe, die im laufenden Betrieb wiederkehren.

  • Zugriffsrechte sitzen in der Datenbank

    Rollen und Rechte greifen in der Datenbank selbst, nicht erst in der Oberfläche. Wer einen Datensatz nicht sehen darf, bekommt ihn gar nicht erst geliefert. Genau das prüfen die Negativtests aus Bereich 02.

  • Maskierung schon bei der Verarbeitung

    Zahlungsdaten werden regelbasiert ersetzt, bevor ein Text in die durchsuchbare Wissensbasis aufgenommen wird und bevor er an ein Modell geht. Namen und Anschriften erkennt zusätzlich eine Software auf unserer eigenen Hardware. Wir kombinieren beides, weil kein Erkennungsverfahren vollständig ist. Deshalb bleibt die Zugriffstrennung in der Datenbank die tragende Schutzlinie, nicht die Maskierung.

  • Datensparsamkeit von Anfang an

    Ihr Wissensbestand liegt auf Ihrem Server oder in Ihrer eigenen Instanz. Rechenintensive Schritte wie Trefferbewertung, Transkription und die Erkennung personenbezogener Daten laufen auf unseren eigenen Servern in Deutschland. An externe Sprachmodelle gehen nur einzelne Textpassagen, unter Verträgen, die Speicherung und Training ausschließen. Welche Daten wo verarbeitet werden, steht in der Anlage zum Auftragsverarbeitungsvertrag, damit Ihr Datenschutzbeauftragter es nachvollziehen kann.

  • Vertrags- und Nachweispaket

    Auftragsverarbeitungsvertrag (AVV), Anlage zu den technischen und organisatorischen Maßnahmen (TOM), Liste der Unterauftragsverarbeiter, Löschkonzept sowie Zuarbeit zu Datenschutz-Folgenabschätzung und Betriebsvereinbarung. Also die Unterlagen, nach denen Betriebsrat, Wirtschaftsprüfer und Aufsichtsbehörde erfahrungsgemäß zuerst fragen. Wo im Einzelfall mehr verlangt wird, liefern wir die technische Zuarbeit.

Hinweis: Dieser Abschnitt beschreibt technische und organisatorische Leistungen, er ersetzt keine Rechtsberatung. Die Bewertung Ihres konkreten Einsatzfalls gehört zu Ihrem Datenschutzbeauftragten.

Eigene Rechenleistung in Deutschland

Was das für Sie heißt: Rechenarbeit, die üblicherweise als Cloud-Dienst eingekauft wird, läuft bei uns auf eigener Hardware in Deutschland (auf sogenannten GPU-Servern). Das macht Antworten präziser und hält besonders sensible Inhalte wie Aufnahmen und Fotos im eigenen Rechenzentrum. Für die Antworten der großen Sprachmodelle nutzen wir je nach Aufgabe zusätzlich externe Anbieter, und wir legen offen, welche.

  • Zweite Prüfung der Trefferliste (Reranking)

    Eine zweite, gründliche Sichtung jeder Trefferliste, bevor der Agent antwortet. In unseren eigenen Messläufen ist das der Eingriff mit dem größten Effekt auf die Trefferqualität.

  • Transkription auf eigenen Servern, inklusive Sprecher-Trennung

    Meetings und Telefonate werden zu durchsuchbarem Wissen, mit Zuordnung der Sprecher. Die Aufnahme wird auf unseren eigenen Servern verarbeitet und nicht an einen Cloud-Dienst weitergegeben. Welche Gespräche überhaupt aufgezeichnet werden, legen Sie fest; die Einwilligungstexte und die Zuarbeit zur Betriebsvereinbarung liefern wir mit.

  • Bild-Verständnis

    Ein Kunde fotografiert einen beschädigten Artikel und schickt das Bild an Ihren Service. Das System erkennt, was zu sehen ist, ordnet das Foto dem richtigen Serviceanliegen zu und legt es dem Bearbeiter mit einem Antwortvorschlag vor. Der Bearbeiter entscheidet, statt das Bild zuerst herauszusuchen, einzusortieren und den Inhalt abzutippen. Die Auswertung läuft auf unseren eigenen Servern.

  • Erkennung von Namen und personenbezogenen Daten auf eigener Hardware

    Die Erkennung läuft als Rechenleistung bei uns, nicht bei einem externen Dienst. Damit wird Datenschutz zu einem Verarbeitungsschritt, den wir prüfen können, statt zu einer Zusage.

  • Sprachausgabe

    Text wird zu natürlicher Sprache. Das ist die technische Grundlage für Agenten, die sprechen oder telefonieren.

  • Schnelle Neu-Indexierung

    Bei Wissensbeständen in der Größenordnung, mit der wir üblicherweise arbeiten, liegt eine vollständige Neuberechnung im Stundenbereich statt im Tagesbereich. Genau deshalb ist ein Modellwechsel bei uns überhaupt zumutbar.

  • Semantische Dubletten-Erkennung

    Inhaltsgleiche Dokumente werden erkannt, auch wenn sie unterschiedlich formuliert sind. Das hält die Wissensbasis sauber und die Antworten eindeutig.

  • Lokales Sprachmodell mit rund 70 Milliarden ParameternAusbaustufe

    In Vorbereitung: ein lokales Open-Source-Sprachmodell der 70-Milliarden-Klasse auf unserer eigenen Hardware, für Routine-Aufgaben mit Inhalten, die grundsätzlich nicht nach außen gehen sollen. Welches Modell wir dafür einsetzen, sagen wir Ihnen, sobald es freigegeben ist.

Trefferbewertung (Reranking)LiveTranskription mit Sprecher-TrennungLiveBild-VerständnisLiveErkennung personenbezogener DatenLiveSprachausgabeLiveSchnelle Neu-IndexierungLiveSemantische Dubletten-ErkennungLiveLokales Sprachmodell (rund 70 Mrd. Parameter)Ausbaustufe

Weiterentwicklung

Was das für Sie heißt: Ihr System bleibt nicht auf dem Modellstand des Bautags stehen. Es wechselt auf das Modell, das in der Messung vorn liegt, und Sie bestimmen, wie viel es allein entscheiden darf.

  • Modell-Unabhängigkeit

    Wir wählen das Modell pro Aufgabe und wechseln, wenn ein neues anhand Ihres Fragenkatalogs messbar besser abschneidet. Der Wechsel ist bei uns ein eingespieltes Verfahren, kein neues Projekt mit eigenem Budget. Die Wissensbasis bleibt dabei bestehen, das Modell davor ist austauschbar (mehr dazu auf der Seite zum Unternehmens-Gehirn).

  • Neue Quellen und Funktionen laufend

    Zusätzliche Datenquellen binden wir im laufenden Betrieb an. Funktionen, die wir für alle Kunden entwickeln, sind in der monatlichen Pauschale enthalten. Was eigens für Ihren Fall gebaut wird, ist ein eigenes Projekt, und das sagen wir vorher, nicht in der Rechnung.

  • Der Automatisierungs-Regler

    Vom Entwurf mit Freigabe bis zur eigenständigen Erledigung, einstellbar je Fallart und gestützt auf Messwerte. Die Stufe legen Sie fest, wir setzen sie um und dokumentieren die Änderung. Wir empfehlen nur, wann die Zahlen eine Bewegung tragen.

Sichtbarkeit und Berichte

Was das für Sie heißt: Sie sehen, was die Agenten getan haben, und einmal im Monat schwarz auf weiß, was es gebracht hat.

  • Aktivitäts-Protokoll

    Was die Agenten getan haben, ist protokolliert und für Sie einsehbar, ohne dass Sie es anfragen müssen, im Rahmen der im Löschkonzept vereinbarten Aufbewahrungsfrist. Nach unserer Erfahrung ist unsichtbare Arbeit die häufigste Ursache für Unzufriedenheit, deshalb machen wir sie sichtbar.

  • Monatsreport

    Trefferquote, Korrekturquote, Ergebnis des letzten Rückspieltests, Volumen, Veränderungen und die nächsten Schritte, jeweils mit Vormonatsvergleich. Formuliert in einer Sprache, die Sie unverändert in die Geschäftsführungsrunde mitnehmen können.

  • Kostenklarheit

    Der Verbrauch externer Sprachmodelle läuft über Ihren eigenen Vertrag beim Modellanbieter. Sie sehen ihn direkt an der Quelle, wir schlagen nichts auf. Die Dienste auf unseren eigenen Servern sind in der monatlichen Pauschale enthalten, ihren Verbrauch weisen wir je Kunde aus. Wie sich der Preis insgesamt zusammensetzt, steht auf unserer Seite zu den Kosten von AI-Agenten.

Was ein Wartungsvertrag üblicherweise regelt, und was bei uns dazukommt.

Nach unserer Erfahrung aus Projekten in NRW. Stellen Sie diese fünf Fragen jedem Anbieter, auch uns.

  • Üblicher Wartungsvertrag: Regelt Verfügbarkeit: Das System gilt als in Ordnung, wenn es erreichbar ist.
    Bei Techleads: Regelt zusätzlich Antwortqualität: wöchentlicher Messlauf anhand Ihres eigenen Fragenkatalogs, Verlauf im Monatsreport.
  • Üblicher Wartungsvertrag: Qualität wird beschrieben und im Gespräch eingeschätzt.
    Bei Techleads: Qualität wird als Kennzahl erhoben und im festen Review mit Ihrem Fachbereich besprochen.
  • Üblicher Wartungsvertrag: Sichert zu, dass ein Backup geschrieben wird, und protokolliert den Schreibvorgang.
    Bei Techleads: Das Backup wird wöchentlich automatisiert zurückgespielt, das Ergebnis steht in Ihrem Monatsreport.
  • Üblicher Wartungsvertrag: Regelt Datenschutz in Vertrag und Dokumenten.
    Bei Techleads: Vertrag und Dokumente bleiben, zusätzlich ist Datenschutz ein Verarbeitungsschritt (Maskierung, Zugriffstrennung) und wird durch Negativtests geprüft.
  • Üblicher Wartungsvertrag: Ein Modellwechsel ist ein eigenes Projekt mit eigenem Budget.
    Bei Techleads: Ein Modellwechsel ist ein geübtes Verfahren im laufenden Betrieb, gemessen vor der Scharfschaltung.

Woher wir das wissen.

Grundlage ist unser eigenes, produktiv betriebenes Unternehmens-Gehirn. Jede Messung, die auf dieser Seite beschrieben ist, führen wir zuerst an unserem eigenen System durch. Was hier steht, sind Leistungsaussagen, keine Kundenzahlen: Wir bauen dieses Modell in Ihrem Haus im vertraglich vereinbarten Umfang auf.

Im Erstgespräch zeigen wir Ihnen den letzten Messlauf und den letzten Rückspieltest an unserem eigenen System. Warum wir bewusst keine fremden Erfolgsquoten zitieren, steht auf unserer Seite Hype oder Realität.

Warum das niemand nebenbei betreibt.

Der Bau ist selten das Problem. Der Unterschied liegt im Danach.

Betrieb ist ein Beruf, keine Nebenaufgabe

Sechs Bereiche im Wochentakt landen intern regelmäßig bei der Person, die schon einen Job hat. Danach verschwinden sie leise aus dem Kalender, und niemand merkt es, weil ein vernachlässigtes KI-System nicht ausfällt, sondern nur ungenauer wird.

Wir betreiben es selbst

Die Routinen auf dieser Seite haben wir gebaut, weil wir sie für unser eigenes Unternehmens-Gehirn brauchen, und betreiben sie seitdem täglich. Sie kosten einmal Aufbau und danach vergleichsweise wenig. Ihre IT kann dasselbe aufbauen, sie muss es dann aber dauerhaft neben dem Tagesgeschäft leisten.

Eigene Rechenleistung in Deutschland

Trefferbewertung, Transkription mit Sprecher-Trennung, Erkennung personenbezogener Daten und Bild-Verständnis laufen auf unseren eigenen Servern. Dafür kauft kaum ein mittelständisches Unternehmen eigene GPU-Hardware, und über einen Cloud-Dienst verlässt genau dieser Teil das Haus.

Und trotzdem kein Lock-in

Der für Sie entwickelte Quellcode liegt in Ihrem eigenen Code-Speicher (Repository), mit dauerhaftem Nutzungsrecht auch nach Vertragsende. Bausteine aus unserem Baukasten weisen wir im Angebot aus und lizenzieren sie so, dass Sie das System weiterbetreiben können. Die Dokumentation ist Lieferbestandteil.

Ob Sie kaufen oder bauen lassen sollten, ordnen wir auf einer eigenen Seite ein.

Bewusst nicht im Angebot: Bild-Generierung.

Bild-Generierung gehört nicht zu unserem Leistungsangebot. Nicht, weil die Technik fehlt, sondern weil wir bei erzeugten Bildern keine Qualitätsaussage treffen könnten, die unserem eigenen Maßstab genügt. Was wir nicht messen können, verkaufen wir nicht.

In den Prozessen, für die wir Agenten bauen, geht es ohnehin fast immer um die andere Richtung: Jemand schickt ein Foto, und es muss verstanden und richtig zugeordnet werden. Genau dafür stehen wir gerade. Was auf unseren eigenen Servern heute produktiv läuft und was Ausbaustufe ist, ist im Bereich 04 gekennzeichnet.

Häufige Fragen zum Betrieb.

Der Betrieb beginnt in vier Takten. Täglich meldet sich jede Verarbeitungsstrecke selbst, und jede Datenquelle hat einen Frische-Alarm. Wöchentlich läuft ein Qualitäts-Messlauf anhand Ihres eigenen Fragenkatalogs sowie ein Rückspieltest des Backups. Monatlich erhalten Sie einen Report und, je nach Vereinbarung, einen gemeinsamen Review mit Ihrem Fachbereich. Laufend binden wir neue Datenquellen an und ziehen Modelle und Automatisierungsstufe nach.

Zeigen Sie uns Ihre Fälle.

In einem kurzen Erstgespräch schauen wir uns an, aus welchen Ihrer echten Fälle sich ein belastbarer Fragenkatalog bauen lässt. Das ist der Startpunkt jeder Messung. Auf Wunsch zeigen wir Ihnen dabei den letzten Messlauf und den letzten Rückspieltest an unserem eigenen System.