Nach unserem Podcast zur KI-Kostenkontrolle wurden wir gefragt:„Ist es nicht am günstigsten, das Ganze selbst zu betreiben?“ und „Sollten wir nicht ein eigenes Modell trainieren?“ Beide Fragen halten wir für berechtigt. Aber oft werden sie zu früh gestellt.
Wer die grundlegenden Optimierungen ausschöpft, kann sich sinnvoll mit Eigenbetrieb und Fine-Tuning beschäftigen. Beide Themen lohnen sich, aber nur, wenn man die zugrunde liegende Logik versteht.
Fixe versus variable Kosten
Wer vom Anbieter auf eigene Hardware wechselt, tauscht variable Kosten gegen fixe Kosten. Beim Anbieter wird pro Verbrauch gezahlt. Wer nichts nutzt, zahlt nichts. Beim Eigenbetrieb wird die Grafikkarte bezahlt, ob sie rechnet oder nicht. Eine leistungsfähige Karte kostet als Cloud-Miete grob einige Euro pro Stunde, läuft sie durch, landet man im vierstelligen Bereich pro Monat, für eine einzige Karte.
Der Anbieter ist das Taxi: teuer pro Kilometer, aber bezahlt wird nur, was gefahren wird. Der Eigenbetrieb ist der Firmenwagen mit angestelltem Fahrer: günstig pro Kilometer, kostet aber auch, wenn er in der Garage steht. Die entscheidende Frage ist daher: Steht die eigene KI-Infrastruktur meist in der Garage, oder läuft sie rund um die Uhr? In den meisten Unternehmen wird von acht und achtzehn Uhr genutzt, Montag bis Freitag, also mit einer Auslastung von unter 30 Prozent. Da lohnt sich ein Eigenbetrieb fast nie. Ein Unternehmen, das nachts große Datenmengen verarbeitet und tagsüber Anfragen beantwortet, kann eigene Hardware gut auslasten. Der Chatbot mit Mittagsspitzen und ruhigen Nächten nicht.
Unsichtbare Zusatzkosten und -Risiken
Eigenbetrieb bringt in der Regel auch eine Personalstelle mit: Jemand muss betreiben, aktualisieren, absichern und überwachen. Diese Person ist meist teurer als die Hardware selbst. Dazu kommt das Schlüsselpersonenrisiko: Kündigt der eine Mensch, der die KI-Infrastruktur versteht, steht ein Kernprozess still. Beim Anbieter löst der das Problem. Und während Anbieter alle paar Monate ein besseres Modell ohne Mehraufwand bereitstellen, ist im Eigenbetrieb jedes Modell-Update mit eigenem Aufwand verbunden.
Wann Eigenbetrieb trotzdem sinnvoll ist
- Wenn mit Patienten-, Personal- oder Mandantendaten gearbeitet wird und aus Datenschutzsicht feststeht, dass diese Daten das Haus nicht verlassen dürfen, ist die Entscheidung nicht mehr kostenabhängig, sondern eine Frage der Zulässigkeit.
- ein sehr hohes, sehr gleichförmiges Volumen mit gleichartigen Vorgängen rund um die Uhr vorliegt
- extreme Anforderungen an Antwortzeit gestellt werden
- der Betrieb ohne Internetverbindung stattfinden muss, etwa direkt in der Fertigung
Der Zwischenweg: offene Modelle bei einem Anbieter
Offene KI-Modelle mit frei verfügbaren Gewichten, etwa DeepSeek, lassen sich firmenintern weiterentwickeln und trotzdem bei einem Anbieter betreiben, verbrauchsabhängig, in einem Rechenzentrum in der EU, ohne eigene Grafikkarte. Große Cloud-Plattformen bieten das inzwischen an. Damit lassen sich drei von vier Vorteilen des Eigenbetriebs mitnehmen, die Wahl des Modells, die Kontrolle über die Region und die Unabhängigkeit von einem einzigen Hersteller, während die Abrechnung nach Verbrauch bleibt. Als grobe Faustregel gilt: Solange die monatliche Modellrechnung im niedrigen vierstelligen Bereich liegt, ist Eigenbetrieb rechnerisch praktisch nie sinnvoll. Allein die Personalkosten fressen jede Ersparnis. Interessant wird es im deutlich fünfstelligen Monatsbereich bei gleichmäßiger Last.
Fine-Tuning: Verhalten, nicht Wissen
Das größte Missverständnis lautet: „Wir trainieren das Modell auf unsere Firmendaten, dann kennt es uns.“ Wer das macht, hat ein Modell, das bald schon veraltet ist. Fine-Tuning bringt einem Modell Verhalten bei, nicht Wissen: Form, Tonfall, Struktur, Entscheidungsmuster. Sollen aktuelle Preise, Bestände oder Verträge berücksichtigt werden, werden diese Informationen zur Laufzeit dazugeholt.
Beispiel Versicherung: Ein Versicherer, der täglich zehntausende Freitext-Schadensmeldungen erhält, kann ein offenes Modell mittlerer Größe mit 20.000 bereits korrekt einsortierten historischen Meldungen nachtrainieren. Die KI lernt so, wie das Unternehmen klassifiziert, Sparte, Schadenshöhe, Betrugsverdacht, Dringlichkeit, und wird für künftige Meldungen entsprechend treffsicherer und kann immer besser vorsortieren.
Zwei Quellen der Ersparnis bei Feintuning
Ersparnis kommt aus zwei gut messbaren Quellen. Erstens kürzere Anfragen: War der Prompt mit Beispielen und Regeln bislang zweitausend Wörter lang und nach dem Fine-Tuning nur noch fünfzig, spart das bei jedem einzelnen Aufruf, Bei zehntausend Aufrufen im Monat ist das ein wesentlicher Anteil der Eingabekosten. Der zweite, noch größere Hebel: Man kann mit einem trainierten Modell eine Modellklasse tiefer gehen. Ein kleines Modell, das genau auf eine Aufgabe eingearbeitet wurde, schlägt bei dann ein großes Allzweckmodell und kostet nur einen Bruchteil, weil es weniger Ressourcen verbraucht.
Die richtige Reihenfolge und die Ausschlusskriterien
Fine-Tuning braucht tausende Beispiele, damit ein Modell abstrahieren kann, und viele Unternehmen haben diese Daten schlicht nicht in ausreichender Menge oder Qualität. Ein Ausweg ist Destillation: Das große, teure Modell bearbeitet ein paar tausend echte Fälle, die Ergebnisse werden stichprobenartig geprüft und korrigiert, und genau diese dienen als Lehrmaterial für das kleine Modell. Der teure Fachmann bringt es dem günstigen Kollegen bei, danach wird das teure Modell für diese Aufgabe nicht mehr gebraucht. Wichtig bleibt die Reihenfolge: Fine-Tuning ist Schritt vier, nicht Schritt eins:
Erst eine bessere Anweisung, dann ein kleineres Modell mit guter Anweisung testen, dann die richtigen Informationen zur Laufzeit dazuholen, und erst wenn all das ausgereizt ist, Fine-Tuning. Mindestens die Hälfte der Fälle, in denen Unternehmen trainieren wollen, ist das dann gar nicht mehr nötig. Die Finger lassen sollte man vom Feintuning eh, wenn sich die Aufgabe häufig ändert, wenn es sich eigentlich um eine Wissensfrage handelt, wenn die Datenbasis zu klein oder zu unsauber ist, oder wenn man übersieht, dass man sich damit an eine Modellgeneration bindet, die ein neues Standardmodell in einem Jahr überholen kann. Ein halbjährlicher Prüftermin gegen das aktuelle Standardmodell gehört deshalb fest in den Kalender.
Podcast Transcript
Anke(00:00)
KI fürs Business, das Wichtigste in zehn Minuten mit Andreas Schrade.
Andreas (00:04)
und
Andreas (00:05)
Anke Precht.
Anke (00:08)
In der letzten Folge ging es die sieben Hebe gegen zu hohe KI-Kosten. Die häufigste Rückfrage danach war eigentlich nur eine, aber in zwei Varianten. Die erste wäre es nicht günstiger, wenn wir das Ganze selber betreiben und die zweite sollen wir vielleicht sogar ein eigenes Modell trainieren. Was sagst du zu diesen Rückmeldungen, Andreas?
Andreas (00:32)
Ja, das sind gute Fragen. Die sind auch völlig berechtigt. Man sollte nur aufpassen, dass man sich diese Fragen nicht zu früh stellt. Also das heißt, dass man zuerst die grundlegenden Optimierungen vornimmt, die wir auch in der letzten Episode besprochen haben,
Andreas (00:50)
Und sobald man diese Mittel ausgeschöpft hat, kann man sich zum Beispiel an das Thema Fine-Tuning wagen oder sich auch die Frage stellen, ob sich eventuell auch ein Eigenbetrieb lohnt. Und damit das dann klappt, sollte man sich im Vorfeld gute Gedanken oder sich das Thema grundlegend einmal anschauen.
Anke (01:12)
Okay, dann machen wir das heute. In der ersten Hälfte würde ich gerne darüber sprechen, wie sich eine eigene Infrastruktur versus Anbieter darstellt. In der zweiten Hälfte über das Fintuning sprechen, also was es eigentlich ist und wie es Geld spart. Und du sagtest ja im Vorgespräch schon, das ist irgendwie anders als die meisten denken. Wir werden dann über klare Schwellen sprechen.
Anke (01:43)
und ab wann sich die Frage Eigenbetrieb und Funtune überhaupt stellt. Fangen wir also bei der Kostenlogik an. Was ändert sich strukturell, Andreas, wenn ich vom Anbieter auf eigener Hardware wechsle?
Andreas (01:57)
Ja, also grundsätzlich tauscht ihr Variablekosten gegen fixe Kosten. Beim Anbieter zahlt ihr pro Verbrauch. Wer nichts nutzt, der zahlt nichts. Beim Eigenbetrieb zahlt ihr die Hardware, also die Grafikkarte.
Andreas (02:15)
ganz gleich, ob sie rechnet, also benutzt wird oder nicht. Eine leistungsfähige Karte kostet in der Cloud Miete, also wie nach Anbieter und Vertragsform, grob im Bereich von einige Euro pro Stunde. Wenn die durchläuft, dann seid ihr irgendwo im vierstelligen Bereich pro Monat für eine einzelne Karte.
Anke (02:41)
Und da sehe ich als Unternehmerin beim Thema Eigenbetrieb schnell so einen klassischen Denkfehler vielleicht. Denn das ist ja so eine ganz klassische Make or Buy Entscheidung und die wird fast immer über den Stückpreis begründet und fast nie über die Auslastung. Aber die geht es eigentlich, oder?
Andreas (03:01)
also auch dieses Thema ist, wenn man sich das einmal gründlich anschaut, auch Längen komplexer, als es vielleicht am Anfang den Anschein macht. Nehmen wir
Andreas (03:11)
Als Beispiel ein Taxi Betrieb. Der Anbieter ist das Taxi. Teuer pro gefahrenen Kilometer, aber er zahlt auch wirklich nur für jeden gefahrenen Kilometer. Der Eigenbetrieb ist dagegen der Firmenwagen mit einem angestellten Fahrer. Günstig pro Kilometer, aber er kostet auch, wenn er in der Garage steht. Und jetzt die entscheidende Frage.
Andreas (03:41)
Wie steht es eure KI Infrastruktur? Also steht diese vor allem, simpellich gesprochen, in der Garage? Also sprich besitzt keine hohe Auslastung oder wird diese rund die Uhr auch wirklich genutzt? Wenn wir jetzt sagen, dass bei den meisten Unternehmen von 8 bis 18 Uhr, Montag bis Freitag ein Betrieb erfolgt, dann sind das
Andreas (04:08)
50 von 160 oder 170 Wochenstunden. Also eure Auslastung liegt damit bei unter 30 Prozent. Und der Rest ist dann eben Standzeit, für die auch bezahlt werden muss. Der S
Anke (04:27)
Das heißt, oft zitierte Preisvorteil beim Eigenbetrieb ist keiner, solange die Last so stark schwankt.
Andreas (04:37)
Er ist erst dann einer, wenn die Last gleichmäßig und hoch ist. Und das ist die eigentliche Bedingung, nicht die Menge allein. Also ein Unternehmen, das nachts große Stapel an Daten verarbeitet und tagsüber Anfragen beantwortet, kann eine eigene Hardware gut auslasten. Ein Unternehmen mit, sagen wir, einem Chatbot auf der Webseite
Andreas (05:05)
Er hat vielleicht Mittagsspitzen, wenn Leute in der Mittagspause surfen und den Chatbot benutzen. Aber nachts gibt es de facto keine Auslastung, die Hardware schläft.
Anke (05:21)
Und dann kommen Kosten dazu, die in keiner Kalkulationstabelle stehen. Das sehe ich aus Beratungsprojekten relativ häufig. Der Eigenbetrieb bringt ja eine Personalstelle mit sich, die vorher gar niemand eingeplant hat. Jemand muss betreiben und aktualisieren und absichern und überwachen. Das macht einen Haufen Arbeit. Und die Person ist wahrscheinlich teurer als die Hardware.
Andreas (05:47)
Ja, und die Person ist dann auch ein Schlüsselpersonenrisiko.
Andreas (05:52)
Also wenn der eine Mensch, der eure inhouse KI Infrastruktur versteht, kündigt, dann steht erstmal ein Kernprozess still. Beim Anbieter ist das das Problem des Anbieters natürlich. Und beim Anbieter bekommt ihr zusätzlich natürlich auch alle paar Monate ein besseres Model, ganz ohne Mehraufwand, welches ihr nutzen könnt. Alles was ihr tun müsst ist dann vielleicht eine Zeile Programmcode ändern,
Andreas (06:21)
oder einfach in der Benutzoberfläche die Auswahl für das Model ändern. Und schon arbeitet man mit der nächsten Generation. Auf Seiten des Eigenbetriebs ist letztendlich jedes Model-Update mit mehr Aufwand
Anke (06:36)
Jetzt haben wir den eigenen Betrieb ja ganz schön gebashed. Klingt ein bisschen
Anke (06:40)
unfair. Lass uns mal die andere Seite anschauen, Andreas.
Andreas (06:43)
Ja, wie sieht es denn dort aus? Also erstens ganz klar der Aspekt Regulierung und Datenhoheit. Also wenn ihr mit Patientendaten, Personalakten arbeitet und von Datenschutzseite die Ansage kommt, dass diese Daten das Haus nicht verlassen sollen, dann ist das natürlich keine Kostenfrage mehr. Also eine Frage der Zulässigkeit. Der zweite Punkt ist das Thema Verhandelbarkeit.
Andreas (07:10)
Wer sein ganzes Kerngeschäft auf einen einzelnen KI-Anbieter stützt, dessen Preise sich ändern können, der hat natürlich auch ein strategisches Risiko. Das ist an sich erstmal kein Blocker, aber ein Grund oder ein Aspekt, den man natürlich auch berücksichtigen muss, im Zweifelsfall oder im Problemfall auch eine Möglichkeit zu haben, den Anbieter zu wechseln.
Andreas (07:38)
Und meine Gründe, die für ein eigenes Mord sprechen, sind einerseits ein sehr hohes, sehr gleichförmiges Volumen. Also wenn wir sagen, wir haben Millionen gleichartiger Vorgänge, dieselbe Aufgabe, die rund die Uhr ausgeführt werden muss. Oder wir haben auch hohe Anforderungen an die Antwortzeiten der KI. Oder wir haben einen Betrieb vor uns,
Andreas (08:06)
wo keine interne Verbindung besteht, vielleicht in der Produktion oder auch wenn ganz tief greifende Anpassungen oder Optimierungen vorgenommen werden sollen. Also wenn du direkt am Modell selbst arbeiten willst und nicht nur damit.
Anke (08:26)
Beiden Seiten gibt ziemlich viele Vorteile, aber auch ziemlich viele Nachteile, wie mir scheint. Gibt es denn einen Zwischenweg?
Andreas (08:34)
Ja absolut. Also du kannst offene, also Open Source, KI Models nehmen, etwa etwas wie Deep Seek. Also solche deren Gewichte frei verfügbar sind. Freiverfügbare Gewichte erlauben es dir dann dieses Model zu nehmen und für weitere Optimierungen, für weitere firmeninterne Trainings, Fine Tunings, sprich Weiterentwicklungen zu nutzen.
Andreas (09:01)
Und dann kann man dieses justierte Model oder dieses Open Source Model trotzdem auch bei einem Anbieter betreiben lassen. Verbrauchsabhängig, ganz beliebig in einem Rechenzentrum in der EU, ohne auch eine einzige eigene Grafikkarte besitzen zu müssen. Die großen Cloud-Plattformen, die bieten das an. Dann bekommst du damit
Andreas (09:29)
drei von den vier Vorteilen des Eigenbetriebs. Ja, also du kannst das Model frei auswählen, du hast die Kontrolle über die Region, du hast keinen Zwang zu einem bestimmten Hersteller und du behältst damit natürlich auch die Abrechnung nach Verbrauch.
Anke (09:49)
Das ist genau der Punkt, an dem viele Diskussionen im Unternehmen wahrscheinlich entgleisen. Es fängt an mit der Lösungsfindung. Also was nehmen wir, ohne dass man vorher wirklich guckt, was sind denn eigentlich die Bedürfnisse? Was ist bei unserem Unternehmen wirklich los? Was brauchen wir?
Andreas (10:06)
Ja, ich kann auch dazu einmal gerne eine grobe Hausnummer geben, das grob zu verorten. Solange die monatliche Rechnung im, sagen wir, niedrigen vierstelligen Bereich liegt, ist ein Eigenbetrieb rechnerisch praktisch nie sinnvoll. Also allein die Personalkosten für die Wartung.
Andreas (10:28)
restliche Ersparnis auf. Interessant wird es dann typischerweise erst, wenn wir in einem gut fünfstelligen Monatsbereich bei einer gleichmäßigen Auslassung kommen. Aber das muss man wirklich ganz individuell mit den eigenen Konditionen und Sachverhalten nachrechnen. Aber so ganz grob in etwa stimmt die Größenordnung.
Anke (10:55)
Okay, das gibt schon mal Orientierung. Wenn wir jetzt zur zweiten Frage kommen, nämlich das Thema Fine Tuning Andreas und die Kostenoptimierung. Hier hast du im Vorgespräch gesagt, da gibt es oft Missverständnisse.
Andreas (11:11)
Ja genau, also das größte Missverständnis lautet wahrscheinlich, wir trainieren das Model auf unsere Firmendaten und dann kennt es unser Unternehmen. Aber das funktioniert so nicht. Also
Andreas (11:27)
Das Feintuning an sich bringt einem Model lediglich das Verhalten bei, aber nicht das Wissen. Dazu zählen etwa die Vortonfallstruktur und auch ganz wichtig gewisse Entscheidungsmuster. Das heißt, wenn du willst, dass die aktuellen Preise, Bestände oder Verträge der KI bekannt sind, dann ist das eine Suchaufgabe.
Andreas (11:55)
und die Information wird zur Laufzeit aktuell dazu geholt. Denn wenn man dieses Wissen per Training einbauen möchte, dann bekommt das Model zwar dieses Wissen mit, aber es ist natürlich dann zukünftig nicht auf dem aktuellen Stand und arbeitet mit diesen veralteten Angaben, mit denen es quasi trainiert wurde.
Anke (12:18)
stellt sich für mich die Frage, wie muss man es denn dann trainieren? Ich mag ja die Bilder und Beispiele, die du oft gibst. Hast du ein Bild für uns, was im Kopf bleibt? Wie trainiert man so ein Model und was geht es?
Andreas (12:31)
Also ich nehme ganz gern den Vergleich, dass Fine-Tuning eines Models vergleichbar ist mit der Einarbeitung eines Mitarbeiters. Also wenn wir uns ein Beispiel ansehen, wir die Versicherungsbranche, einen Versicherer, der zum Beispiel
Andreas (12:49)
Schadensmeldungen vorsortieren muss. heißt, eine Versicherung bekommt täglich tausende Schadensmeldungen. Ja, die werden im Freitext überliefert, sei es das Kundenportal, sei es per Mail, vielleicht auch abgetippte Telefonnotizen. Und dann habe ich nun diesen Schadensfall vorliegen und ich möchte die in interne Kategorien einsortieren. Sei es Sparte oder vielleicht auch die Schadenshöhe.
Andreas (13:17)
geschätzt wird oder ob vielleicht auch ein Betrugsverdacht dahinter liegt, Betrugsverdacht ja oder nein oder auch vielleicht die Dringlichkeit. Das heißt wir nehmen diese Rohinformationen möchten die in einzelne Kategorien klassifizieren. So jetzt könnte man folgendes machen, man nimmt ein offenes Model und betreibt Feintuning. Das heißt man trainiert dieses Model weiter, indem man zum Beispiel 20.000
Andreas (13:47)
vergangene Schadensmeldungen nimmt, die von echten Sachbearbeitern bereits korrekt einsortiert wurden. Und die KI lernt also nun beim Prozess des Finetunings anhand dieser konkreten Beispiele, wie das Unternehmen die Schadensmeldungen klassifiziert. Dadurch gibst du dem Model zukünftig weniger Freiraum. Und es wird damit auch für zukünftige Schadensmeldungen
Andreas (14:15)
dann klassifiziert werden sollen, auch entsprechend deutlich besser performen. Man könnte sagen, dass man diese Allgemeinbildung, mit denen diese Open Source Models ausgestattet werden, gegen Spezialwissen ausgetauscht werden und bekommt dafür dann die Datenhoheit, welche es intern in einer eigenen Infrastruktur wieder haben kann, was für einen Versicherer vielleicht nicht unwichtig ist, und wir bekommen Tempo und damit auch niedrigere Kosten.
Andreas (14:46)
. .
Anke (14:46)
Damit trainieren wir eher strukturell als inhaltlich. Also wir sagen nicht, der Versicherungsnehmer kriegt so und so viel Euro 50 zurück, weil das sind ja Dinge, die sich verändern und je nachdem dann, wie Dinge, Preise sich verändern etc. auch immer wieder aktualisiert werden, das gibt man dann wieder neu rein. Einleuchtend, du hast gesagt niedrigere Kosten, wo kommt die Ersparnis her?
Andreas (15:13)
Genau, also diese Ersparnis kommt aus zwei Quellen und beide sind auch gut messbar. Erstens, es entstehen kürzere Anfragen. Also wenn dein Prompt, mit dem du diese Aufgabe nun ausführen möchtest, vielleicht bislang 2000 Wörter lang war, aber weil du alles im Detail ausspezifizieren musstest, wie du intern klassifizierst, dann sind das nach dem Fine-Tuning vielleicht nur noch 50.
Andreas (15:42)
statt 2000. Und diese Differenz sparst du bei jedem einzelnen Aufruf des KI-Systems. Ja, also der Prompt wird kürzer und wenn man das nun auf den Monat hoch errechnet bei vielleicht 10.000 Aufrufen, dann ist das keine Detailoptimierung mehr. Dann ist das wirklich auch, hat das einen wesentlichen Einfluss auf die Kostenstruktur. Ja, weil dadurch
Andreas (16:08)
die Eingabe-Gesamtlänge aller Brombs zusammengefasst deutlich kürzer wird und damit auch die Eingabekosten im KI-System reduziert werden. ja, zweitens, und das ist der größere Hebel, du kannst eine KI-Model-Klasse tiefer gehen, also ein kleineres Model nehmen, das dann eben genau auf diese eine spezielle Aufgabe eingearbeitet wurde. Und
Andreas (16:37)
Diese Variation, kleineres Model, eingearbeitet ist, schlägt dann auch bei dieser ganz konkreten Aufgabe die Leistungsfähigkeit, die Performance von einem größeren Allzweckmodel, was eben nicht trainiert wurde und kostet damit dann auch einen Bruchteil der Kosten, weil ein kleineres Model auch weniger Hardware-Ressourcen verbraucht.
Anke (17:01)
Spannend. Stellen wir uns vor, ich will in meinem Betrieb jetzt Fine Tuning betreiben. Was sind dann die häufigsten Stäubersteine und Probleme, die mir da begegnen können?
Andreas (17:07)
Es ist ein guter Punkt. Also Fine-Tuning bedeutet, dass die KI anhand von ganz konkreten Beispielen lernt, wie du gewisse Dinge in deinem oder deinem Prozess in Hand haben möchtest. Wie etwa in diesem einen konkreten Klassifikationsfall. Die KI
Andreas (17:35)
ist allerdings bei diesem Lernvorgang nicht sonderlich effizient. Das heißt, wir brauchen tausende Beispiele, damit die KI wirklich lernen kann und auch dieses gelernte Wissen abstrahieren kann, auch auf Fälle, die sie bislang noch nicht gesehen hat, die also Zukunft im operativen Betrieb kommen werden. Und das Problem ist, dass viele Firmen diese Daten schlichtweg oftmals eben nicht haben. Also sei es nicht quantitativ oder eben auch nicht von einer qualitativen Seite.
Anke (18:06)
Also die vielen Datensätze, die du jetzt vom Versicherer erzählt hast, die sind in manchen Unternehmen einfach nicht da. Irgendeine Abkürzung, das Problem zu lösen?
Andreas (18:17)
Ja, es gibt immer viele Wege und Möglichkeiten, die dann auch von Fall zu Fall unterschiedlich angewendet werden können. Aber vielleicht ein kreativer Ansatz, der gut funktioniert, ist ein Vorgang,
Andreas (18:32)
den man gerne auch Destillation nennt, was erstmal kompliziert und vielleicht auch nicht unbedingt nach Hardware oder nach IT klingt. Es geht darum, dass du das große, teure Model für dich arbeiten lässt. Das heißt, du nimmst das größte Model, was in sich teuer ist und lässt diese Fälle bearbeiten. Du prüfst dann die Ergebnisse, stichprobenartig, und kodegierst diese. Das heißt, du baust, du nutzt ein großes Model,
Andreas (19:02)
deine Datenbasis für das spätere Fine-Tuning heranzuzüchten. Und im Endeffekt könnte man sagen, dass quasi der teure Fachmann es damit dem günstigeren Kollegen beibringt. Und wenn man einmal diesen Prozess durchlaufen hat, dann brauchen wir auch das teure Model nicht mehr. dann haben wir genügend Daten gesammelt, ein kleineres zu trainieren und operativ zu betreiben.
Anke (19:31)
klingt wie im echten Leben. Kann man eine ganze Menge Geld sparen. Schauen wir uns die andere Seite an. Wann sollte ich denn vom Feintuning die Finger lassen? Ich habe ein bisschen den Eindruck, dass das Feintuning im Moment so eine Art Statussymbol wird in Unternehmen, die dann sagen, wir haben ein eigenes Model und das klingt natürlich in der Geschäftsführungsrunde viel, viel cooler als
Andreas (19:53)
Ja, da
Anke (19:59)
Wir haben unsere Promz verbessert.
Andreas (20:03)
Es ist wichtig, dass man die Reihenfolge, in der man Optimierungen durchführt, einhält. Also Feintuning ist nicht der erste Schritt, mit dem man eine Optimierungsphase beginnt und konkret
Andreas (20:19)
sollte man zuerst daran arbeiten den Prozess zu verbessern und dann kann man schauen ob man auch zur laufzeit externe Informationen dazu holt die in den Evaluierungsprozess des Models herangezogen werden können den Auto zu verbessern und wir haben ja auch in der letzten Episode verschiedene Maßnahmen aufgezeigt
Anke (20:44)
noch weitere Ausschlusskriterien für Feintuning?
Andreas (20:48)
Ja, also ich würde sagen, wenn sich die Aufgabe häufig ändert, also wenn sich alle paar Tage die Kategorien ändern, nach denen zum Beispiel klassifiziert werden soll, dann ergibt das keinen Sinn, weil das Training eine gewisse Zeit beanspruch nimmt. Also wenn die Aufgabe nicht repetitiv genug ist und auch nicht stabil genug ist, dann macht das keinen Sinn.
Andreas (21:11)
Es macht auch dann keinen Sinn, wenn die Aufgabe eher eine Wissensfrage ist. Dann gehört die Information eher in eine Suche und nicht in einen Trainingsprozess. Ein anderer Punkt, der auch im Feintuning nichts zu suchen hat, wenn man im Feintuning-Prozess gerade eben nicht mit sauberen Datensätzen arbeiten kann. Also wenn wir jetzt bei dem Schadensfall Beispiel bleiben, wenn du jetzt
Andreas (21:40)
tausende fälle hast von denen viele widersprüchlich sind weil sie von verschiedenen sachbearbeitern durchgeführt wurden dann hat das KI model eine Schwierigkeit daraus die Entscheidungsprozesse zu verstehen und damit auch den eigentlichen Ablauf zu lernen einfach weil die daten widersprüchlich
Andreas (22:01)
ja und vielleicht noch ein punkt wenn man anfängt ein model selbst zu trainieren dann bindet man sich auch an dieses model man integriert es es läuft und es kann natürlich sein dass gerade in zeiten wo die kikuse fortschritte macht in einem halben jahr in einem jahr
Andreas (22:21)
das Out of the Box Model, was nicht feingetunet wurde, besser performt als dieses von sich aus firmenintern herangezüchtete Spezialmodel. Und da muss man aufpassen, dass man auf dem Laufenden bleibt und auch immer die Performance misst, indem man entsprechende Testfälle hat.
Anke (22:42)
Das ist ja dann gar kein technisches Thema, wieder ein Führungsthema. Wenn ich mir jetzt vorstelle aus Unternehmenssicht, dass ich mein angepasstes Model wie so ein Vermögenswert betrachte, da habe ich was geschaffen, das ist total cool. Wir haben was investiert, das heißt, so wie die Firma, dann ist es wahrscheinlich für die meisten Unternehmen auch schwer, wieder abzuschalten.
Anke(23:12)
Wenn was Besseres rauskommt, heißt, wir müssten aus psychologischer Sicht diesen Prüftermin fest in den Kalender schreiben. Sagen so, alle paar Monate checken wir das sehr sachlich, ziehen Daten heran, schauen, was funktioniert besser, machen genau diese Überprüfung zur Routine, weil sonst bleiben wir vielleicht auf einem Model hängen, was am Ende überhaupt nicht mehr taugt.
Andreas (23:39)
Genau, völlig richtig.
Anke (23:43)
Okay, lass uns den Podcast nochmal in vier Sätzen zusammenfassen.
Anke (23:50)
Erstens, Eigenbetrieb ist Auslastungsfrage. Wer die Karte nicht rund die Uhr beschäftigt, zahlt am Ende für die Standzeit. Zweitens, der Zwischenweg über offene Modelle bei einem Anbieter in der EU löst die meisten Souveränitätsanliegen ohne eigene Hardware, braucht also nicht zwangsläufig Eigenbetrieb.
Anke (24:13)
Drittens, Feintuning muss Verhalten beibringen oder Prozesse oder Routinen und nicht Wissen. Und viertens, Eigenbetrieb und Feintuning kann Geld auf zwei Wegen sparen. Kürzere Anfragen, Wechsel in günstigere Modellklassen, vor allen Dingen, wenn die Models so trainiert sind, wie ich sie brauche.
Andreas (24:37)
Wunderbar.
Anke (24:38)
Gut.
Anke (24:39)
Okay, das war KI für’s Business. Vielen Dank, dass ihr dabei wart. Vielen Dank, Andreas. Wenn es euch gefallen hat, lasst uns ein Like da und empfehlt uns weiter. Wir hören uns bald wieder.
