Hört endlich auf, die neuesten KI-Modelle zu verwenden!
Auf Vorträgen werde ich regelmäßig gefragt, was wir eigentlich für unsere KI-Infrastruktur ausgeben.
Die Antwort überrascht fast jeden: Ca. 30.000 Euro im Jahr. Für alles.
Alle Agenten, unser komplettes Software-Setup.
Wie das geht?
Zwischen dem teuersten State-of-the-Art-Modell und dem richtigen Modell liegt Faktor 300: $15 vs. $0,05 pro Million Token.
Wer glaubt, das neueste Modell liefert automatisch das beste Ergebnis, liegt in den meisten Fällen falsch.
Für Belege vorsortieren, umbenennen, ablegen? Kein Reasoning-Modell nötig.
Inhalte übersetzen? Kein Reasoning-Modell nötig.
Den Großteil der Routineaufgaben in einem Unternehmen? Kein Reasoning-Modell nötig.
Man braucht keinen promovierten Mathematiker, um Akten zu sortieren.
Das eigentliche Problem ist ein anderes:
Wenn Mitarbeitende selbst entscheiden, welches Modell sie verwenden, wählen sie fast immer das neueste.
Deshalb überlassen wir diese Entscheidung bei uns nicht dem Menschen.
Unsere KI-Recruiterin Helga wählt für jeden Agenten das passende Modell aus.
Das ist weder Sparmaßnahme noch Kompromiss. Es ist schlicht die sinnvollere Architektur.
Und IT-Abteilungen sind hier klar gefordert: Governance rund um Modellauswahl ist kein Nice-to-have mehr. Es ist eine Kostenfrage. Und eine Nachhaltigkeitsfrage.
Seid ihr Sparfuchs oder "Token-Maxxer"?
Auf Vorträgen werde ich regelmäßig gefragt, was wir eigentlich für unsere KI-Infrastruktur ausgeben.
Die Antwort überrascht fast jeden: Ca. 30.000 Euro im Jahr. Für alles.
Alle Agenten, unser komplettes Software-Setup.
Wie das geht?
Zwischen dem teuersten State-of-the-Art-Modell und dem richtigen Modell liegt Faktor 300: $15 vs. $0,05 pro Million Token.
Wer glaubt, das neueste Modell liefert automatisch das beste Ergebnis, liegt in den meisten Fällen falsch.
Für Belege vorsortieren, umbenennen, ablegen? Kein Reasoning-Modell nötig.
Inhalte übersetzen? Kein Reasoning-Modell nötig.
Den Großteil der Routineaufgaben in einem Unternehmen? Kein Reasoning-Modell nötig.
Man braucht keinen promovierten Mathematiker, um Akten zu sortieren.
Das eigentliche Problem ist ein anderes:
Wenn Mitarbeitende selbst entscheiden, welches Modell sie verwenden, wählen sie fast immer das neueste.
Deshalb überlassen wir diese Entscheidung bei uns nicht dem Menschen.
Unsere KI-Recruiterin Helga wählt für jeden Agenten das passende Modell aus.
Das ist weder Sparmaßnahme noch Kompromiss. Es ist schlicht die sinnvollere Architektur.
Und IT-Abteilungen sind hier klar gefordert: Governance rund um Modellauswahl ist kein Nice-to-have mehr. Es ist eine Kostenfrage. Und eine Nachhaltigkeitsfrage.
Seid ihr Sparfuchs oder "Token-Maxxer"?