Die Fragen werden vorab gesammelt
Die Entwicklung orientiert sich an realistischen Fragen, die ich gemeinsam mit Ihnen sammle. Für dieses Szenario wäre das Versprechen „Fragen Sie einfach alles“ nicht seriös.
Ich entwickle eine Anwendung, die Fragen zu Geschäftsdaten in natürlicher Sprache ermöglicht, ausgehend von importierten Lieferdokumenten. Sie verbindet Datensuche, Sprachmodelle und herkömmlichen Code (im Fachjargon: ein RAG-System): Das Modell hilft, die Anfragen zu interpretieren, während Zählungen und Summen von der Datenbank berechnet werden. Leitende Anforderung ist die Präzision: Wenn Sie nach den meistverkauften Produkten eines Zeitraums fragen, muss das Ergebnis mit den Zahlen des Verwaltungssystems übereinstimmen. Das Projekt befindet sich derzeit in der Entwicklungs- und Testphase.
Seit etwa 2020 beschäftige ich mich mit maschinellem Lernen, später mit Deep Learning, generativer KI und Sprachmodellen, durch Kurse, Dokumentation und praktische Versuche: Das ist die Grundlage meiner Arbeit. Die direkte Erfahrung in realen Projekten ist deutlich jünger, und mit großen Plattformen für generative KI im Produktivbetrieb ist sie noch begrenzt.
Diese Beobachtungen verbinden das Studium mit fast dreißig Jahren praktischer Softwareentwicklung. Mein Schwerpunkt ist die Tragfähigkeit: Ein System muss genügend Nutzen bieten, um Entwicklung, Prüfung und laufenden Betrieb zu rechtfertigen.
Eine erste Version, die plausibel antwortet, ist schnell gebaut. Ein System, das die richtige Zahl liefert, ist eine andere Aufgabe: Das Sprachmodell allein garantiert keine Genauigkeit und braucht herkömmlichen Code an seiner Seite, der rechnet und prüft. Der Aufwand wächst weit schneller als die Präzision, die Sie gewinnen.
Die Entwicklung orientiert sich an realistischen Fragen, die ich gemeinsam mit Ihnen sammle. Für dieses Szenario wäre das Versprechen „Fragen Sie einfach alles“ nicht seriös.
Jede Phase hat von Anfang an ihre eigene Prüfung: Sie wissen immer, an welcher Stelle ein Ergebnis aufhört, korrekt zu sein. Andernfalls zeigt sich der Fehler erst am Ende, ohne dass klar ist, wo er entsteht.
Ist die Frage unklar, bittet das System um Klärung; besteht eine Prüfung nicht, scheitert die Anfrage, anstatt eine zweifelhafte Antwort zu liefern.
Das Sprachmodell kommt an höchstens drei Stellen zum Einsatz; alles, was Zahl ist, bleibt Code.
Vier Fehler aus diesem Projekt, das sich noch in der Entwicklungs- und Testphase befindet. Die Beispiele sind konstruiert, um den Fehler zu veranschaulichen; es sind keine echten Fragen oder Daten.
Der Fehler. Kunde Rossi fragt im Chat auf der Website des Unternehmens: „Wie viel haben Sie mir 2025 geliefert?“ Das Programm stellt die Anfrage zusammen und schickt sie an die Engine. Verliert das Modell den Namen des Kunden, antwortet das System mit der Gesamtsumme des Unternehmens: Rossi sieht Daten, die nicht seine sind. Die Zahl stimmt und keine Prüfung schlägt an: Es ist kein Fehler, sondern ein plausibles Ergebnis. Dieses Szenario ist möglich und keine aktuelle Nutzung des Projekts, aber das Risiko hängt weder von der Art der Daten noch von der fragenden Person ab.
Es gilt auch innerhalb des Unternehmens: Mitarbeitende fragen nach „dem Budget meiner Abteilung“ und erhalten das aller Abteilungen, oder sie sehen die Ergebnisse einzelner Handelsvertreter. Es geschieht auch auf andere Weise: Das Modell ignoriert einen Zeitraum oder ein Produkt, oder das Programm wendet einen Standardwert an, obwohl die Anfrage einen Wert nannte. Schon ein einziges Wort genügt: „Aufträge im Juni 2025“ und „Aufträge bis Juni 2025“ bezeichnen einen Monat und einen Zeitraum. Das Modell liest das meistens richtig, manchmal nicht, und ein seltener Fehler fällt in einer Vorführung nicht auf.
Woran man es merkt. Wer was sehen darf, setzt der Code durch, ausgehend von der fragenden Person; es hängt nicht davon ab, wie das Modell die Frage liest: Eine Anweisung an das Modell lässt sich umgehen. Danach lasse ich das Modell nicht nur angeben, was es verstanden hat, sondern auch, welche Wörter der Frage es verwendet hat und wo. Der Code liest die Frage erneut: Stand vor „Juni 2025“ ein „bis“, hat das Modell es weggelassen, und der Code korrigiert die Interpretation. Die Worte der fragenden Person haben Vorrang vor dem, was das Modell vorschlägt.
Es gibt auch den umgekehrten Fehler: Das Modell lehnt die Frage ab, weil es sie für nicht eindeutig genug hält. Es gibt keine Daten preis, aber die fragende Person bleibt ohne Antwort, und ich zähle es als Fehler.
Was Sie die Entwickler fragen sollten. Was hindert einen Nutzer daran, Daten zu sehen, die nicht seine sind: die Art, wie das Modell die Frage liest, oder eine Prüfung, die davon unabhängig ist? Was tut das System, wenn ein Teil der Frage durch die Interpretation nicht erklärt wird?
Sicherheit: auf welche Daten das System zugreifen kann
Der Fehler. Das System anhand einiger von Hand ausprobierter Fragen zu beurteilen. Es funktioniert bei den Fragen, an die man sich erinnert, und liegt bei denen falsch, die niemand ausprobiert hat.
Woran man es merkt. Eine Reihe von Referenzfragen, jeweils mit einer von einer Person geschriebenen und freigegebenen erwarteten Antwort: von einigen Dutzend bis etwa 150, je nachdem, ob eine einzelne Änderung geprüft oder das gesamte Verfahren qualifiziert wird. Bei jedem Lauf zähle ich die falschen Interpretationen (Zeitraum, Kunde oder Produkt ignoriert, Standardwert statt des genannten), die Ablehnungen wegen Mehrdeutigkeit und die Unterschiede zwischen zwei Durchläufen derselben Frage: Auch bei gleichem Prompt kann dieselbe Frage unterschiedliche Antworten liefern. Die Feinabstimmung mache ich an einem Teil der Fragen, die Prüfung an einem anderen, und die Worte einer Testfrage schreibe ich nie in den Code.
Was Sie die Entwickler fragen sollten. Wer hat die erwarteten Antworten geschrieben und wer hat sie freigegeben? Wie viele sind es, und was geschieht mit den Fragen, die das System nicht beantwortet? Die erwarteten Antworten müssen von Personen im Unternehmen geschrieben und freigegeben werden: Das ist Zeit, die einzuplanen ist.
Der Fehler. Mehrere Modelle gleichzeitig auszuprobieren. Neben Qwen3.8-27B habe ich Gemma 4 in den Versionen 26B und 31B getestet: Sie lieferten mehr falsche Interpretationen, von der oben beschriebenen Art. Wahrscheinlich bräuchte jedes Modell einen eigens abgestimmten Prompt. Bei drei Modellen konnte ich den Fehler des Modells nicht vom Fehler des Codes unterscheiden.
Woran man es merkt. Ich bin bei einem Modell geblieben, bis eine Baseline funktionierte und messbar war. Die anderen zu testen, um die Unterschiede zu sehen, ist der nächste Schritt und noch nicht erfolgt. Ein Modellwechsel ist kein Austausch, sondern eine neue Testarbeit.
Was Sie die Entwickler fragen sollten. Mit wie vielen Modellen wurde das System getestet? Was ändert sich, und was bleibt gleich, wenn das Modell wechselt?
Sich nicht an einen Anbieter binden
Der Fehler. Eine Überprüfung findet ein Problem, und ich behebe es. Die nächste findet ein weiteres, anderes, aber im selben Bereich des Ablaufs: oft ein anderer Aspekt desselben Problems, manchmal eine Folge der vorherigen Korrektur. Jede Korrektur für sich ist richtig; wer aber Punkt für Punkt vorgeht, beendet die Serie nicht, weil die Regel, von der der ganze Bereich abhängt, unangetastet bleibt. Konstruiertes Beispiel: Ich füge der Suche den Kundenfilter hinzu; die nächste Überprüfung stellt fest, dass die Suche auf einen Standardwert zurückfällt, wenn sich der Filter nicht anwenden lässt; die übernächste findet dieselbe Schwachstelle im Export.
Woran man es merkt. Wenn zwei Überprüfungen verschiedene Probleme im selben Bereich finden, behebe ich den dritten Punkt nicht mehr einzeln. Für jedes Problem führe ich eine einzige Regel ein, die im Zweifel sperrt: Kann das System nicht belegen, dass eine Antwort erlaubt ist, gibt es sie nicht. Die Regel prüfe ich mit einem Test, der über viele Fälle erzeugt wird, nicht mit wenigen von Hand geschriebenen Beispielen. Ein neuer Fall kommt zu den erzeugten Fällen hinzu und wird keine eigene Korrektur.
Was Sie die Entwickler fragen sollten. Was ändert sich, wenn eine Überprüfung ein weiteres Problem im selben Bereich findet: eine weitere Korrektur oder eine Regel? Deckt der Test die möglichen Fälle ab oder nur die bereits gesehenen? Antwortet das System im Zweifel oder bleibt es stehen?
Die Methode ist auch wichtig, weil das Ergebnis stark vom verwendeten Modell abhängt, und keine der Optionen ist kostenlos.
In den Tests des beschriebenen Projekts bieten Online-Dienste bessere Leistung als die lokale Konfiguration; folgende Aspekte bleiben zu berücksichtigen:
Ein offenes Modell auf einem GPU-Server vermeidet die Gebühr eines Anbieters pro Aufruf und hält die Daten im Haus. Es kann sich lohnen bei hohen, gleichmäßigen Volumina oder erforderlich sein, wenn Daten nicht an externe Dienste gesendet werden können. Dabei sind jedoch Kosten und Grenzen zu berücksichtigen:
Aus meiner direkten Erfahrung erfordert all dies eine sehr präzise Analyse und Entwicklung mit sorgfältiger Berücksichtigung der Kundenbedürfnisse: das Gegenteil von dem, was man oft online liest.
Unter den oben beschriebenen Einschränkungen der lokalen Konfiguration halte ich Abläufe, die das Modell für jede Anfrage viele Male aufrufen, für aufwendig zu betreiben. Ich sehe eher Möglichkeiten bei wenigen Anfragen mit hohem Nutzen oder bei schnelleren Diensten, deren Kosten zur geleisteten Arbeit passen. Jeder Aufruf verbraucht Token, und wie viele für eine korrekte Antwort nötig sind, lässt sich nur durch Messen feststellen (die Kosten des gesamten Dienstes). Diese Einschätzung betrifft die getestete Konfiguration und muss bei anderen Modellen, anderer Hardware oder veränderten Anforderungen überprüft werden: Günstigere Modelle und klarer begrenzte Abläufe können die Wirtschaftlichkeit verändern.
Die drei Wege im Vergleich: Kosten und Kontinuität
Das Sprachmodell kommt an höchstens drei Stellen zum Einsatz. Zählungen, Summen, Filter und Quellenangaben werden durch deterministischen Code verarbeitet.
Codedeterministischer SchrittModellAufruf eines Sprachmodells
Die natürlichsprachliche Frage mit allen ausdrücklich genannten Filtern.
Sucht in der Frage nach Werten, die tatsächlich in den Daten existieren, wie Namen und Codes, und nach Mengenangaben.
Die häufigsten Fragen werden durch deterministische Regeln erkannt, ohne ein Modell aufzurufen.
Wird die gesamte Frage erklärt? Wenn ein Teil davon unberücksichtigt bleibt, wird der Schnellpfad verworfen, anstatt eine teilweise Antwort zu geben.
Nur wenn kein Schnellpfad ausreicht: Das Modell entscheidet, ob die Frage eine Analyse oder eine Suche verlangt.
Abhängig von der Klassifizierung, einer von zwei Pfaden:
Für Analysen wandelt ein deterministischer Compiler die Frage in einen Plan um.
Bei Suchanfragen schlägt das Modell ein bis drei Schritte als typisiertes JSON vor. Der Code prüft Schema und Filter sowie Begriffe, die in der Frage nicht vorkommen.
Jeder Wert im Plan wird gegen die tatsächlichen Daten überprüft. Wenn er unbekannt oder mehrdeutig ist, wird eine Klärung angefordert.
Wenn sich die Daten in der Zwischenzeit geändert haben, wird die Vorbereitung wiederholt: ein veralteter Plan wird niemals ausgeführt.
Abhängig von der Art des Plans, einer von zwei Pfaden:
Zählungen, Summen und Analysen werden von der Datenbank berechnet; Texte und Zitate werden durch Code generiert. Kein Modell beteiligt.
Exakte Suche in der Datenbank oder semantische Suche im Vektorindex; anschließend werden die Treffer mit den aktiven Daten abgeglichen. Höchstens 40 Belege.
Nur für Suchen: Das Modell schreibt die Antwort und zitiert die Identifikatoren der Beweise, die es erhalten hat.
Der Server überprüft jeden Identifikator und baut die Zitate neu auf. Eine unbekannte Referenz führt zum Scheitern der Anfrage.
Text, Status, ausgeführter Plan und Zitate, mit Hinweisen auf die angewendeten Grenzen.
Diese Quellen stützen die allgemeinen technischen Kriterien. Messungen auf meiner Hardware beschreiben genau diese Konfiguration und lassen sich nicht ohne Weiteres übertragen.