ChatGPT kann sich irren. Und wie! Aber fangen wir am Anfang an: GPT steht für Generative Pre–trained Transformer. Es ist ein hochmodernes Tool zur Sprachvorhersage. Bei der Verarbeitung natürlicher Sprache (NLP) wie zum Beispiel Übersetzung, Zusammenfassung oder Konversation hat es große Fortschritte gebracht. Aber trotz dieser beeindruckenden Fähigkeiten haben GPT–Modelle klare Grenzen, die man kennen sollte, wenn man mit ihnen arbeiten möchte – vor allem, wenn man es fürs Business nutzen will. Hier sind die 10 wichtigsten:
GPT kann nicht denken und schlussfolgern
GPT ist nicht in der Lage, wirklich zu denken oder zu argumentieren. Es generiert Text nur auf der Grundlage der Muster in seinen Trainingsdaten. Wenn Sie einem GPT–Modell beispielsweise eine Frage stellen, die logisches Denken erfordert, z. B. „Warum ist der Himmel blau“, wird es eine einfache Antwort geben, die in seinen Trainingsdaten vorkommt, z. B.: „Der Himmel ist blau, weil das Sonnenlicht mit der Atmosphäre interagiert.“ Voraussetzung ist also, dass ChatGPT etwas zu Ihrer Frage gelernt hat, was dann auch wirklich Sinn ergibt. Stellen Sie eine Frage, die logisches Denken erfordert, zu der GPT aber noch nichts „gelernt“ hat, ist es wahrscheinlich, dass ChatGPT eine unsinnige Antwort darauf gibt.
GPT hat nur ein begrenztes Verständnis für Kontext oder gar Abstraktion
GPT–Modelle sind nur sehr begrenzt in der Lage, Kontext einzubeziehen. Text basiert ausschließlich auf den Mustern aus den Trainingsdaten. Bitte Sie beispielsweise ein GPT–Modell, eine Geschichte über einen „Mann, der seine Brieftasche verloren hat“ zu schreiben, wird GPT eine Geschichte über einen Mann generieren, der seine physische Brieftasche verloren hat. Diese bleibt sachlich, und die metaphorische Ebene fehlt komplett. Heraus kommt eine langweiliges Story, mit der Sie keinen vom Hocker reißen.
GPT-Sprache und die dazugehörigen Konzepte können stark verzerrt sein
GPT–Modelle sind auf die Sprache und Konzepte ausgerichtet, die in den Trainingsdaten vorkommen. Wenn ein GPT–Modell zum Beispiel auf einem Datensatz trainiert wird, in dem weibliche Pronomen im Vordergrund stehen, wird es Text erzeugen, der nur auf Frauen ausgerichtet ist und weit von dem entfernt ist, was Sie sich vorgestellt haben.
GPT kommt bei logischen Schlussfolgerungen an seine Grenzen
GPT–Modelle können nur sehr begrenzt logische Schlussfolgerungen ziehen. Bitten Sie beispielsweise ein GPT–Modell, eine mathematische Gleichung zu lösen und den logischen Beweis dafür zu erbringen, wird es passen müssen.
Zweideutige Aufforderungen werden kritiklos übernommen
GPT–Modelle erzeugen unsinnigen oder widersprüchlichen Text, wenn die Eingabeaufforderungen zweideutig oder irreführend sind. Es führt auch widersprüchliche Aufforderungen aus, selbst wenn das Ergebnis keinen Sinn ergibt. Bitten Sie ein GPT–Modell zum Beispiel, die Farbe des Geräuschs zu beschreiben, könnte etwas wie „Das Geräusch ist orange“ herauskommen. Nonsens.
Anfällig für feindliche Angriffe
GPT–Modelle sind anfällig für Angriffe, die ihre Ergebnisse manipulieren oder verfälschen können. Wenn zum Beispiel ein Angreifer dem Eingabetext eine kleine Menge Rauschen hinzufügen, erzeugt das GPT–Modell eine Ausgabe, die mit dem Eingabetext nicht viel zu tun hat.
GPT bewertet Text weder ethisch noch moralisch
So kann es leicht zu beleidigenden oder unangemessenen Inhalten kommen. Und zwar immer dann, wenn das GPT–Modell mit Trainingsdaten konfrontiert wurde, die verzerrte oder unangemessene Inhalte enthalten. Wird ein GPT-Modell zum Beispiel mit Social-Media-Kommentaren trainiert, die rassistische oder sexistische Sprache enthalten, wird es diese für seine Texte genauso verwenden.
Die Trainingsdaten sind noch lange nicht vollständig
GPT–Modelle erzeugen unvollständigen oder ungenauen Text, wenn ihre Trainingsdaten unvollständig oder ungenau sind. Nur was hereingegeben wurde, kann auch wieder herauskommen. Das kann zu groben Fehlinformationen führen, zum Beispiel, wenn wissenschaftliche Eingabedaten überholt oder unvollständig waren.
Nicht in allen Sprachen gleich gut
Wurde ein GPT–Modell in Englisch trainiert, wird es die Inhalte in anderen Sprachen nicht so genau wiedergeben können. Je weiter sich die Sprache von der Trainingssprache unterscheidet, umso stärker wirkt dieser Effekt. Französische Trainingsdaten können auf Spanisch zum Beispiel genauer wiedergegeben werden als englische Trainingdaten auf Chinesisch. Da man als Nutzer nicht immer weiß, in welcher Sprache zum Thema trainiert wurde, ergeben sich vielfältige Fehlerquellen.
Das Ergebnis ist nur so gut wie die Trainingsdaten
GPT–Modelle sind immer durch die Qualität und Quantität ihrer Trainingsdaten begrenzt. Sind die Trainingsdaten von schlechter Qualität oder in ihrer Menge zu begrenzt, wird das GPT–Modell keine besonderen Ergebnisse bringen, vielleicht sogar sehr fehlerhafte. Darüber hinaus können Veränderungen in der Verteilung der Trainingsdaten im Laufe der Zeit die Leistung des GPT–Modells beeinträchtigen.
Was bedeutet das für die Digitalisierungsvorhaben unserer Kunden?
Viele Unternehmen wollen GPT für sich einsetzen. Für Kundenservice oder Marketing ist es ein beeindruckendes Werkzeug, es kann die Arbeit erleichtern und der Qualität guttun. Wenn wir aber bei der Implementierung in Unternehmen die Grenzen nicht im Blick haben, können peinliche Fehler passieren. Darum achten wir genau, wofür es das Richtige ist, und wie es dann auch trainiert und angewandt wird.
Wir bewerten also für jeden Anwendungsfall nicht nur die Chancen, sondern auch potenzielle Risiken und Einschränkungen, bevor wir es einbauen.
Sie haben Fragen dazu, wie GPT in Ihrem Unternehmen nutzen kann, und ob das Sinn macht? Kontaktieren Sie uns! Wir freuen uns auf Sie!
