Luca Morelli
Software Engineer und Analyst
Teamleiter

Geschäftsdaten mit KI abfragen: wenn die Antwort exakt sein muss.

Ich entwickle eine Anwendung, die Fragen zu Geschäftsdaten in natürlicher Sprache ermöglicht, ausgehend von importierten Lieferdokumenten. Sie verbindet Datensuche, Sprachmodelle und herkömmlichen Code (im Fachjargon: ein RAG-System): Das Modell hilft, die Anfragen zu interpretieren, während Zählungen und Summen von der Datenbank berechnet werden. Leitende Anforderung ist die Präzision: Wenn Sie nach den meistverkauften Produkten eines Zeitraums fragen, muss das Ergebnis mit den Zahlen des Verwaltungssystems übereinstimmen. Das Projekt befindet sich derzeit in der Entwicklungs- und Testphase.

Die Zahl muss übereinstimmenMit der Zahl im Verwaltungssystem, nicht nur ungefähr.
In der Entwicklungs- und TestphaseEine wachsende Fähigkeit, keine etablierte Spezialisierung: Die Technologien ändern sich schnell.
RAGPythonPostgreSQLQdrantOffene Modelle

Aus welcher Perspektive ich schreibe

Seit etwa 2020 beschäftige ich mich mit maschinellem Lernen, später mit Deep Learning, generativer KI und Sprachmodellen, durch Kurse, Dokumentation und praktische Versuche: Das ist die Grundlage meiner Arbeit. Die direkte Erfahrung in realen Projekten ist deutlich jünger, und mit großen Plattformen für generative KI im Produktivbetrieb ist sie noch begrenzt.

Diese Beobachtungen verbinden das Studium mit fast dreißig Jahren praktischer Softwareentwicklung. Mein Schwerpunkt ist die Tragfähigkeit: Ein System muss genügend Nutzen bieten, um Entwicklung, Prüfung und laufenden Betrieb zu rechtfertigen.

Was das für den Auftraggeber bedeutet

Eine erste Version, die plausibel antwortet, ist schnell gebaut. Ein System, das die richtige Zahl liefert, ist eine andere Aufgabe: Das Sprachmodell allein garantiert keine Genauigkeit und braucht herkömmlichen Code an seiner Seite, der rechnet und prüft. Der Aufwand wächst weit schneller als die Präzision, die Sie gewinnen.

Die Fragen werden vorab gesammelt

Die Entwicklung orientiert sich an realistischen Fragen, die ich gemeinsam mit Ihnen sammle. Für dieses Szenario wäre das Versprechen „Fragen Sie einfach alles“ nicht seriös.

Jeder Schritt wird geprüft

Jede Phase hat von Anfang an ihre eigene Prüfung: Sie wissen immer, an welcher Stelle ein Ergebnis aufhört, korrekt zu sein. Andernfalls zeigt sich der Fehler erst am Ende, ohne dass klar ist, wo er entsteht.

Lieber keine Antwort als eine erfundene

Ist die Frage unklar, bittet das System um Klärung; besteht eine Prüfung nicht, scheitert die Anfrage, anstatt eine zweifelhafte Antwort zu liefern.

Wie es funktioniert, kurz gefasst

Das Sprachmodell kommt an höchstens drei Stellen zum Einsatz; alles, was Zahl ist, bleibt Code.

  1. Der Code erkennt in der Frage Namen, Codes und Mengen, die tatsächlich in den Daten existieren.
  2. Die häufigsten Fragen folgen festen Pfaden, ohne ein Modell aufzurufen.
  3. Bei den übrigen schlägt das Modell vor, wie gesucht werden soll; der Code prüft den Vorschlag, bevor er ihn ausführt.
  4. Zählungen und Summen berechnet die Datenbank; das Modell schreibt nur den Text der Suchantworten und zitiert dabei Daten, die das System geprüft hat.

Was nie dem Modell überlassen wird

  • Die Einschränkungen, die die fragende Person angibt, etwa ein Zeitraum oder ein Kunde, haben Vorrang vor jedem Vorschlag des Modells.
  • Das Modell fragt die Datenbank nie direkt ab: Es macht einen Vorschlag in einem kontrollierten Format, und der Code entscheidet.
  • Zählungen, Summen und Analysen werden von der Datenbank berechnet und vom Code präsentiert: Sie durchlaufen niemals das Modell, das die Antwort schreibt.
  • Die Ähnlichkeitssuche findet nur Kandidaten; die Datenbank bestätigt diejenigen, die zu den verwendeten Daten gehören.
  • Die Antwort darf nur Daten zitieren, die das System bereitgestellt hat, und jedes Zitat wird erneut geprüft.

Wo ich Fehler gemacht habe und was ich daraus gelernt habe

Vier Fehler aus diesem Projekt, das sich noch in der Entwicklungs- und Testphase befindet. Die Beispiele sind konstruiert, um den Fehler zu veranschaulichen; es sind keine echten Fragen oder Daten.

1. Die Frage, falsch gelesen und unbemerkt

Der Fehler. Kunde Rossi fragt im Chat auf der Website des Unternehmens: „Wie viel haben Sie mir 2025 geliefert?“ Das Programm stellt die Anfrage zusammen und schickt sie an die Engine. Verliert das Modell den Namen des Kunden, antwortet das System mit der Gesamtsumme des Unternehmens: Rossi sieht Daten, die nicht seine sind. Die Zahl stimmt und keine Prüfung schlägt an: Es ist kein Fehler, sondern ein plausibles Ergebnis. Dieses Szenario ist möglich und keine aktuelle Nutzung des Projekts, aber das Risiko hängt weder von der Art der Daten noch von der fragenden Person ab.

Es gilt auch innerhalb des Unternehmens: Mitarbeitende fragen nach „dem Budget meiner Abteilung“ und erhalten das aller Abteilungen, oder sie sehen die Ergebnisse einzelner Handelsvertreter. Es geschieht auch auf andere Weise: Das Modell ignoriert einen Zeitraum oder ein Produkt, oder das Programm wendet einen Standardwert an, obwohl die Anfrage einen Wert nannte. Schon ein einziges Wort genügt: „Aufträge im Juni 2025“ und „Aufträge bis Juni 2025“ bezeichnen einen Monat und einen Zeitraum. Das Modell liest das meistens richtig, manchmal nicht, und ein seltener Fehler fällt in einer Vorführung nicht auf.

Woran man es merkt. Wer was sehen darf, setzt der Code durch, ausgehend von der fragenden Person; es hängt nicht davon ab, wie das Modell die Frage liest: Eine Anweisung an das Modell lässt sich umgehen. Danach lasse ich das Modell nicht nur angeben, was es verstanden hat, sondern auch, welche Wörter der Frage es verwendet hat und wo. Der Code liest die Frage erneut: Stand vor „Juni 2025“ ein „bis“, hat das Modell es weggelassen, und der Code korrigiert die Interpretation. Die Worte der fragenden Person haben Vorrang vor dem, was das Modell vorschlägt.

Es gibt auch den umgekehrten Fehler: Das Modell lehnt die Frage ab, weil es sie für nicht eindeutig genug hält. Es gibt keine Daten preis, aber die fragende Person bleibt ohne Antwort, und ich zähle es als Fehler.

Was Sie die Entwickler fragen sollten. Was hindert einen Nutzer daran, Daten zu sehen, die nicht seine sind: die Art, wie das Modell die Frage liest, oder eine Prüfung, die davon unabhängig ist? Was tut das System, wenn ein Teil der Frage durch die Interpretation nicht erklärt wird?

Sicherheit: auf welche Daten das System zugreifen kann

2. Präzision wird gemessen, nicht gefühlt

Der Fehler. Das System anhand einiger von Hand ausprobierter Fragen zu beurteilen. Es funktioniert bei den Fragen, an die man sich erinnert, und liegt bei denen falsch, die niemand ausprobiert hat.

Woran man es merkt. Eine Reihe von Referenzfragen, jeweils mit einer von einer Person geschriebenen und freigegebenen erwarteten Antwort: von einigen Dutzend bis etwa 150, je nachdem, ob eine einzelne Änderung geprüft oder das gesamte Verfahren qualifiziert wird. Bei jedem Lauf zähle ich die falschen Interpretationen (Zeitraum, Kunde oder Produkt ignoriert, Standardwert statt des genannten), die Ablehnungen wegen Mehrdeutigkeit und die Unterschiede zwischen zwei Durchläufen derselben Frage: Auch bei gleichem Prompt kann dieselbe Frage unterschiedliche Antworten liefern. Die Feinabstimmung mache ich an einem Teil der Fragen, die Prüfung an einem anderen, und die Worte einer Testfrage schreibe ich nie in den Code.

Was Sie die Entwickler fragen sollten. Wer hat die erwarteten Antworten geschrieben und wer hat sie freigegeben? Wie viele sind es, und was geschieht mit den Fragen, die das System nicht beantwortet? Die erwarteten Antworten müssen von Personen im Unternehmen geschrieben und freigegeben werden: Das ist Zeit, die einzuplanen ist.

3. Ein Modell nach dem anderen

Der Fehler. Mehrere Modelle gleichzeitig auszuprobieren. Neben Qwen3.8-27B habe ich Gemma 4 in den Versionen 26B und 31B getestet: Sie lieferten mehr falsche Interpretationen, von der oben beschriebenen Art. Wahrscheinlich bräuchte jedes Modell einen eigens abgestimmten Prompt. Bei drei Modellen konnte ich den Fehler des Modells nicht vom Fehler des Codes unterscheiden.

Woran man es merkt. Ich bin bei einem Modell geblieben, bis eine Baseline funktionierte und messbar war. Die anderen zu testen, um die Unterschiede zu sehen, ist der nächste Schritt und noch nicht erfolgt. Ein Modellwechsel ist kein Austausch, sondern eine neue Testarbeit.

Was Sie die Entwickler fragen sollten. Mit wie vielen Modellen wurde das System getestet? Was ändert sich, und was bleibt gleich, wenn das Modell wechselt?

Sich nicht an einen Anbieter binden

Modellwechsel: nur mit Tests

4. Eine Regel pro Problem, nicht ein Flicken pro Fall

Der Fehler. Eine Überprüfung findet ein Problem, und ich behebe es. Die nächste findet ein weiteres, anderes, aber im selben Bereich des Ablaufs: oft ein anderer Aspekt desselben Problems, manchmal eine Folge der vorherigen Korrektur. Jede Korrektur für sich ist richtig; wer aber Punkt für Punkt vorgeht, beendet die Serie nicht, weil die Regel, von der der ganze Bereich abhängt, unangetastet bleibt. Konstruiertes Beispiel: Ich füge der Suche den Kundenfilter hinzu; die nächste Überprüfung stellt fest, dass die Suche auf einen Standardwert zurückfällt, wenn sich der Filter nicht anwenden lässt; die übernächste findet dieselbe Schwachstelle im Export.

Woran man es merkt. Wenn zwei Überprüfungen verschiedene Probleme im selben Bereich finden, behebe ich den dritten Punkt nicht mehr einzeln. Für jedes Problem führe ich eine einzige Regel ein, die im Zweifel sperrt: Kann das System nicht belegen, dass eine Antwort erlaubt ist, gibt es sie nicht. Die Regel prüfe ich mit einem Test, der über viele Fälle erzeugt wird, nicht mit wenigen von Hand geschriebenen Beispielen. Ein neuer Fall kommt zu den erzeugten Fällen hinzu und wird keine eigene Korrektur.

Was Sie die Entwickler fragen sollten. Was ändert sich, wenn eine Überprüfung ein weiteres Problem im selben Bereich findet: eine weitere Korrektur oder eine Regel? Deckt der Test die möglichen Fälle ab oder nur die bereits gesehenen? Antwortet das System im Zweifel oder bleibt es stehen?

Was der Betrieb kostet

Die Methode ist auch wichtig, weil das Ergebnis stark vom verwendeten Modell abhängt, und keine der Optionen ist kostenlos.

Online-Dienste

In den Tests des beschriebenen Projekts bieten Online-Dienste bessere Leistung als die lokale Konfiguration; folgende Aspekte bleiben zu berücksichtigen:

  • die Kosten hängen vom Verbrauch des Dienstes ab und können bei hoher Last schnell steigen;
  • der Datenschutz hängt davon ab, welche Daten das Modell erreichen. Verträge mit Verarbeitung in Europa und ohne Speicherung der Daten sind möglich. In diesem Projekt trennt deterministischer Code die sensiblen Informationen zuvor ab; das Modell erhält sie nicht.

Offenes Modell auf einem eigenen Server

Ein offenes Modell auf einem GPU-Server vermeidet die Gebühr eines Anbieters pro Aufruf und hält die Daten im Haus. Es kann sich lohnen bei hohen, gleichmäßigen Volumina oder erforderlich sein, wenn Daten nicht an externe Dienste gesendet werden können. Dabei sind jedoch Kosten und Grenzen zu berücksichtigen:

  • Hardware hat Anschaffungs- und Betriebskosten, die für die gewählte Konfiguration zu prüfen sind;
  • in der von mir getesteten Konfiguration (quantisiertes Qwen3.8-27B auf 32 GB) lassen sich zwei bis drei Anfragen gleichzeitig bearbeiten;
  • eine Anfrage dauert 10 Sekunden oder mehr, und die Ausführung muss optimiert werden;
  • bei den von mir getesteten kleineren Modellen sind Genauigkeit und die Verarbeitung von Italienisch Grenzen, die anhand der konkreten Aufgabe zu prüfen sind.

Aus meiner direkten Erfahrung erfordert all dies eine sehr präzise Analyse und Entwicklung mit sorgfältiger Berücksichtigung der Kundenbedürfnisse: das Gegenteil von dem, was man oft online liest.

Und Systeme, die das Modell viele Male aufrufen?

Unter den oben beschriebenen Einschränkungen der lokalen Konfiguration halte ich Abläufe, die das Modell für jede Anfrage viele Male aufrufen, für aufwendig zu betreiben. Ich sehe eher Möglichkeiten bei wenigen Anfragen mit hohem Nutzen oder bei schnelleren Diensten, deren Kosten zur geleisteten Arbeit passen. Jeder Aufruf verbraucht Token, und wie viele für eine korrekte Antwort nötig sind, lässt sich nur durch Messen feststellen (die Kosten des gesamten Dienstes). Diese Einschätzung betrifft die getestete Konfiguration und muss bei anderen Modellen, anderer Hardware oder veränderten Anforderungen überprüft werden: Günstigere Modelle und klarer begrenzte Abläufe können die Wirtschaftlichkeit verändern.

Die drei Wege im Vergleich: Kosten und Kontinuität

Wie Sie die Machbarkeit eines KI-Projekts bewerten

Das Modell auswählen und langfristig betreiben

Der vollständige Ablauf – für alle, die es technisch genau wissen möchten

Das Sprachmodell kommt an höchstens drei Stellen zum Einsatz. Zählungen, Summen, Filter und Quellenangaben werden durch deterministischen Code verarbeitet.

Codedeterministischer SchrittModellAufruf eines Sprachmodells

Vorbereitung noch keine Ausführung

  1. 01FrageCode

    Die natürlichsprachliche Frage mit allen ausdrücklich genannten Filtern.

  2. 02WerterkennungCode

    Sucht in der Frage nach Werten, die tatsächlich in den Daten existieren, wie Namen und Codes, und nach Mengenangaben.

  3. 03SchnellpfadeCode

    Die häufigsten Fragen werden durch deterministische Regeln erkannt, ohne ein Modell aufzurufen.

  4. 04AbdeckungskontrolleCode

    Wird die gesamte Frage erklärt? Wenn ein Teil davon unberücksichtigt bleibt, wird der Schnellpfad verworfen, anstatt eine teilweise Antwort zu geben.

  5. 05KlassifizierungModell

    Nur wenn kein Schnellpfad ausreicht: Das Modell entscheidet, ob die Frage eine Analyse oder eine Suche verlangt.

  6. Abhängig von der Klassifizierung, einer von zwei Pfaden:

    06aKompilierungCode

    Für Analysen wandelt ein deterministischer Compiler die Frage in einen Plan um.

    06bPlanungModell

    Bei Suchanfragen schlägt das Modell ein bis drei Schritte als typisiertes JSON vor. Der Code prüft Schema und Filter sowie Begriffe, die in der Frage nicht vorkommen.

  7. 07WertauflösungCode

    Jeder Wert im Plan wird gegen die tatsächlichen Daten überprüft. Wenn er unbekannt oder mehrdeutig ist, wird eine Klärung angefordert.

  8. 08Vorbereiteter PlanCode

    Wenn sich die Daten in der Zwischenzeit geändert haben, wird die Vorbereitung wiederholt: ein veralteter Plan wird niemals ausgeführt.

Ausführung

  1. Abhängig von der Art des Plans, einer von zwei Pfaden:

    09aAnalysen und AggregationenCode

    Zählungen, Summen und Analysen werden von der Datenbank berechnet; Texte und Zitate werden durch Code generiert. Kein Modell beteiligt.

    09bSucheCode

    Exakte Suche in der Datenbank oder semantische Suche im Vektorindex; anschließend werden die Treffer mit den aktiven Daten abgeglichen. Höchstens 40 Belege.

  2. 10AntwortentwurfModell

    Nur für Suchen: Das Modell schreibt die Antwort und zitiert die Identifikatoren der Beweise, die es erhalten hat.

  3. 11ZitationskontrolleCode

    Der Server überprüft jeden Identifikator und baut die Zitate neu auf. Eine unbekannte Referenz führt zum Scheitern der Anfrage.

  4. 12AntwortCode

    Text, Status, ausgeführter Plan und Zitate, mit Hinweisen auf die angewendeten Grenzen.

Die anderen Ausgänge

  • Klärung oder nicht unterstützte Frage. Wenn der Plan nicht mit Sicherheit erstellt werden kann: eine deterministische Nachricht, niemals eine erfundene Antwort.
  • Fehler. Falls die Validierung fehlschlägt, falls das Modell Beweise zitiert, die nicht existieren, oder falls sich die Daten ständig ändern: Die Anfrage scheitert, anstatt eine zweifelhafte Antwort zu liefern.

Unterstützende Quellen

Diese Quellen stützen die allgemeinen technischen Kriterien. Messungen auf meiner Hardware beschreiben genau diese Konfiguration und lassen sich nicht ohne Weiteres übertragen.

Inhalt zuletzt aktualisiert am

KI in Ihren Anwendungen in Betracht ziehen?

Ausführlicher Lebenslauf und Referenzen auf Anfrage verfügbar.