Was kostet KI im Betrieb wirklich?

Über KI-Projekte wird viel geredet, über die Rechnung danach wenig. Wir betreiben seit September ein eigenes Nachrichtenprojekt, „Wer berichtet was“: 57 deutsche Nachrichtenquellen, über 260.000 Meldungen seit Mitte September, jede relevante Meldung wird von einem Sprachmodell politisch eingeordnet, zusammengehörige Meldungen werden zu Stories gebündelt und zusammengefasst. Das ist ein Betrieb, in dem das Modell nicht ab und zu, sondern tausendfach am Tag arbeitet. Dieser Artikel zeigt die Kostenkurve der ersten acht Wochen und was wir daraus gelernt haben. Alle Zahlen stammen aus unserer eigenen Verbrauchserfassung, nicht aus Schätzungen.

Der Tag, an dem die Rechnung explodierte

In den ersten Tagen lief das System mit 27 Quellen und kostete ein bis zwei Dollar am Tag. Am 17. September haben wir auf 57 Quellen erweitert, vor allem um Regionalzeitungen. Die Rechnung für diesen einen Tag: 26,32 Dollar. Bis dahin waren in wenigen Tagen schon rund 70 Dollar aufgelaufen, bevor wir überhaupt sauber messen konnten.

Der Grund war nicht das Modell, sondern die Menge. Die Gesamtfeeds der Regionalen liefern 500 bis 650 Meldungen am Tag je Titel, voller Lokalsport, Blaulicht und Veranstaltungshinweise. Und unser System hat jede davon eingeordnet. Die Lehre steht am Anfang jeder Kostenrechnung für KI: Die Kosten skalieren mit der Datenmenge, die man dem Modell ungefiltert gibt, nicht mit der Zahl der Quellen oder der Nutzer.

Drei Eingriffe, die die Kurve gebrochen haben

Erstens: Messen. Jeder Aufruf des Modells schreibt seit dem 16. September Eingabe- und Ausgabetokens, Modellnamen und Zweck in eine eigene Tabelle. Daraus rechnet eine interne Seite den Verbrauch in Dollar, je Tag und je Zweck. Erst damit war sichtbar, dass 68 Prozent der Kosten in der Einordnung lagen und 32 Prozent in den Zusammenfassungen. Wir haben die Erfassung gegen die Abrechnung des Anbieters geprüft: In elf Tagen wich sie um zehn Cent ab.

Zweitens: Deckeln. Ein Monatsbudget, bei dessen Erreichen die Einordnung stoppt und eine Mail rausgeht. Am 24. September hat der Deckel gegriffen, das System stand bis zum nächsten Tag still. Das war unangenehm und genau richtig. Lieber ein Tag ohne neue Einordnungen als eine Rechnung ohne Obergrenze.

Drittens: Filtern. Das Modell bekommt nur noch, was die Auswertung braucht. Je Quelle und Tag eine feste Quote, je Story höchstens acht Einordnungen, verteilt über die politischen Lager, Sport nur bei Stories mit vielen Quellen, eine neue Zusammenfassung erst, wenn eine Story deutlich gewachsen ist. Einquellen-Meldungen, die nach drei Tagen niemand aufgegriffen hat, fallen weg. Ergebnis: rund fünf Dollar am Tag statt 26, bei gleicher Aussagekraft der Seite.

Der Modellwechsel: erst messen, dann umstellen

Mitte Oktober kam ein neues, kleineres Modell der Reihe, die wir einsetzen (Claude Haiku 5.5 statt 4.5). Wir haben es nicht einfach umgeschaltet, sondern auf 927 bereits eingeordneten Artikeln gegen das alte Modell und gegen ein Referenzurteil laufen lassen. Der Vergleich kostete 37 Cent. Das Ergebnis: Die Übereinstimmung mit der Referenz stieg von 0,64 auf 0,87, das neue Modell staucht Urteile nicht mehr zur Mitte, und die Kosten je 1.000 Artikel fielen von 2,88 auf 0,40 Dollar. Seit dem 14. Oktober liegt der Betrieb bei rund 70 Cent am Tag.

Das ist der zweite Teil der Lehre: Das teuerste Modell ist selten das beste für eine klar umrissene Aufgabe. Wer seinen Verbrauch misst und eine Referenz hat, kann jeden Modellwechsel in einer Stunde prüfen, statt zu hoffen.

Der Rahmen in Zahlen

Abgerechnet waren das rund 170 Dollar im September, 79 im Oktober, und der November liegt auf Kurs für gut 20. Das Volumen ist dabei nicht gesunken: Das System ruft heute 3.000 bis 5.500 Meldungen am Tag ab, ordnet davon 900 bis 1.600 ein und hält über 100.000 Stories. Ein Unterrichtsblatt für Schulen, das Lehrkräfte aus einer Story erzeugen, kostet im Betrieb etwas über einen Cent.

Was das für Ihr Vorhaben heißt

1. Verbrauch je Aufruf erfassen, ab dem ersten Tag. Nicht die Monatsrechnung des Anbieters ist die Messgröße, sondern die Tabelle, aus der Sie sehen, welcher Prozessschritt was kostet.
2. Ein hartes Budget mit Stopp einbauen. Eine Warnmail reicht nicht. Das System muss von selbst anhalten können, auch nachts, auch am Wochenende.
3. Nur verarbeiten, was die Auswertung braucht. Die größten Einsparungen kamen nicht vom Modell, sondern von der Frage, welche Daten überhaupt zum Modell müssen.
4. Neue Datenquellen erst messen, dann anschließen. Zwei Quellen können sich im Volumen um den Faktor zehn unterscheiden. Eine Kostenschätzung je Quelle ist wertlos.
5. Modelle regelmäßig gegen eine Referenz prüfen. Das neuere, kleinere Modell war bei uns besser und 86 Prozent günstiger. Ohne Vergleich hätten wir es nicht gewusst.

Wer das von Anfang an einplant, bekommt KI im Betrieb zu Kosten, die sich mit einem Softwareabo vergleichen lassen. Wer es weglässt, bekommt die Rechnung vom 17. September, nur ohne die Tabelle, die erklärt, warum.