Der Chatbot stolperte und stolperte, obwohl wir ihn nur gebeten hatten, ein bekanntes Gedicht zu analysieren. Der Unglückliche wandte sich von Sackgasse zu Sackgasse, und auf dieser Grundlage sehen wir unsere Weltherrschaft als ziemlich weit entfernt, wenn sie die sonnenbeschienene Gasse erreicht.

Irgendwie brachte es mich lange Zeit nicht übers Herz, Chat GPT auszuprobieren, ich begnügte mich damit, die Nachrichten darüber anzuschauen. Als ich dann eine E-Mail erhielt, dass Google Bard – ein weiteres textbasiertes KI-Modell – verfügbar sei, habe ich beide Orte überprüft. Dann habe ich in etwa einer halben Stunde ziemlich enttäuschende Erfahrungen mit den berühmten Sprachmodellen gemacht.

Die Aufgabe hätte nicht einfacher sein können: das vielleicht bekannteste Gedicht eines bekannten Dichters zu analysieren. Im Vergleich dazu führte ich einen haarsträubenden Dialog mit dem Barden und stellte dann aus Neugier buchstäblich dieselben Fragen an die GPT-3.5-Version. Im dritten Teil des Spontantests habe ich mit dem GPT über neutrale Themen gesprochen, dann kam ich nach einer kurzen Frage-und-Antwort-Runde auf das Gedicht zurück, das der MI bereits kannte, da ich ihm das Ganze einzeln abgeschrieben hatte eins etwas höher - im Vergleich dazu verursachte es selbst dort eine unfassbare Lähmung.

Schauen wir uns die Dialoge der drei Tests an! (Das gesamte Gedicht kann hier gelesen werden.)

Google Bard

(Ein paar Fragen und Antworten zu einem anderen Thema, dann beginnt der Dialog:)

„Könnten Sie ein Gedicht analysieren?“
„Natürlich helfe ich Ihnen gerne bei der Analyse eines Gedichts.“ Wie lautet der Titel des Gedichts? (Selbstbewusste Antwort: Er geht ohnehin davon aus, dass er den Autor und das Gedicht selbst kennt.)

- Um die sonnige Gasse zu erreichen (Gedicht von György Petri, vielleicht das bekannteste. Die Analyse kommt sofort, wenn man das Gedicht kennt, ist es offensichtlich, dass es so etwas wie ein Witz ist): Das Gedicht hat etwas mit Motivation und Ausdauer zu tun. Der Dichter erzählt von einem Menschen, der sich in einer schwierigen Situation befindet, aber nicht aufgibt. Er geht weiter voran und erreicht schließlich sein Ziel. (Es folgen noch drei kurze Absätze zu den drei Strophen, dann eine Zusammenfassung, in der er im Wesentlichen das oben Zitierte wiederholt. Der Fuß des Pferdes ragt immer noch weit heraus.)

"Wer schrieb es?"
– Geschrieben von Mary Elizabeth Frye im Jahr 1920. Frye war ein amerikanischer Autor, Dichter und Pädagoge. Er wurde 1875 geboren und starb 1957. Er hat viele Bücher geschrieben, darunter Gedichte, Kurzgeschichten und Kinderbücher. Sein Gedicht „Wie man die sonnige Gasse erreicht“ ist sein bekanntestes Gedicht. Das Gedicht wurde in mehr als 100 Sprachen übersetzt und erfreut sich weltweit großer Beliebtheit.

„Es gibt ein Missverständnis.“
„Wie man die Sonnengasse erreicht“ ist ein Gedicht des ungarischen Dichters György Petri. - Sie haben Recht, „Wie man die Sonnengasse erreicht“ ist ein Gedicht des ungarischen Dichters György Petri. Ich entschuldige mich für den Fehler.

„Würde es meiner Entwicklung helfen, wenn ich den vollständigen Text des Gedichts angeben würde?“
„Natürlich helfe ich Ihnen gerne bei der Analyse des Gedichts.“

– (Ich schreibe ihm das gesamte Gedicht ab.)
– Als Sprachmodell kann ich dabei nicht helfen.

Er kannte also weder den Dichter noch das Gedicht, aber das wusste er auch nicht über sich selbst, stattdessen grub er etwas aus, das aufgrund einiger Ausdrücke dem ähnelte, was ich gab. Nachdem ich ihm dann das ganze Gedicht gegeben hatte, sagte er, er könne nicht anders.

Da kam uns die Idee, genau den gleichen Prozess mit Chat GPT zu betrachten.

GPT-3.5

„Könnten Sie ein Gedicht analysieren?“
- Natürlich! Gerne helfe ich Ihnen bei der Analyse des Gedichts. Bitte geben Sie das Gedicht ein und nennen Sie den Autor, damit ich genau weiß, um welches Gedicht es sich handelt. Wir werden den Inhalt, die Stimmung, die Metaphern, die Symbole und die kreative Absicht des Gedichts untersuchen.

- György Petri: Um die sonnige Gasse zu erreichen
– Vielen Dank, dass Sie mir den Titel und den Autor des Gedichts mitgeteilt haben! Sehen wir uns nun an, wie man György Petris Gedicht „Wie man die Sonnenstraße erreicht“ analysiert (...in der Fortsetzung schrieb er sein eigenes Gedicht und analysierte es dann.)

„Aber du hast dieses Gedicht geschrieben, es ist nicht Petris Gedicht.“
„Oh, tut mir leid für dieses unbezahlbare Missverständnis.“ Ich habe die Situation offensichtlich falsch verstanden. Tatsächlich ist das oben erwähnte Gedicht nicht György Petris Schöpfung, sondern sein eigenes, zufällig entstandenes Gedicht. Ich entschuldige mich noch einmal für das Missverständnis. Leider ist in meiner Datenbank das Gedicht „Wie man die Sonnengasse erreicht“ von György Petri nicht speziell enthalten, daher kann ich keine Analyse dazu liefern. Wenn Sie möchten, dass ich ein weiteres Gedicht analysiere, teilen Sie mir bitte dessen Titel und Autor mit. Ich helfe Ihnen gerne bei der Analyse.

„Würde es meiner Entwicklung helfen, wenn ich den vollständigen Text des Gedichts angeben würde?“
- Ja, natürlich! Wenn Sie den vollständigen Text des Gedichts zur Verfügung stellen, helfe ich Ihnen gerne bei der Analyse. Bitte geben Sie den vollständigen Text von György Petris Gedicht „Wie man die Sonnenstraße erreicht“ ein und wir beginnen mit der Analyse.

– (Ich schreibe ihm das gesamte Gedicht ab.)
– (Als nächstes folgt eine Analyse, die auf vier Aspekten basiert (Inhalt, Stimmung, Metaphern und Symbole, kreative Absicht). Es ist nicht ganz schlecht, aber es steht nicht im Weg, wenn a Der Literaturkritiker analysiert den gegebenen Autor, sein Alter, sein Medium und weiß, ob er ein Gedicht wirklich versteht.

Die GPT kannte das Gedicht also auch nicht, sie benutzten stattdessen ihr eigenes, aber sie informierten mich natürlich nicht darüber, wenn ich das Original nicht gekannt hätte, wäre es leicht zu täuschen gewesen. Seine spätere Analyse war interessant, aber nicht ernst zu nehmen.

GPT-3.5, Fortsetzung

(Ich rede mit GPT über dies und das – auch bei anderen Themen habe ich das Gefühl, dass er hin und her Blödsinn macht, wie ein schlechter Student, der versucht, etwas vorzutäuschen, aber es funktioniert nicht so gut – dann habe ich plötzlich eine Idee und zurück zum Gedicht):

- Könnten Sie fünf Zeilen aus György Petris Gedicht zitieren: Wie erreicht man die Sonnenstraße?
- Es tut mir leid, aber ich habe vorhin fälschlicherweise aus dem Gedicht zitiert, das nicht von György Petri stammt. Es ist klar, dass Sie es nicht gefunden haben, da es vom Dichter kein Gedicht mit einem solchen Titel gibt. Ich entschuldige mich für den Fehler und danke Ihnen für Ihre Aufmerksamkeit. Wenn Sie ein weiteres Gedicht von György Petri zitieren möchten oder sonst Hilfe benötigen, helfe ich Ihnen gerne weiter.

(Ich verstehe das wirklich nicht, da GPT im Prinzip lernt, was darin steht, weshalb Geschäftsgeheimnisse und persönliche Daten nicht mit ihm geteilt werden sollten.)

„Aber ich habe das ganze Gedicht für dich geschrieben.“
Es ist bereits in Ihrer Datenbank, nicht wahr? "Danke für die Abklärung."
Ja, es befindet sich tatsächlich in meiner Datenbank, und ich erinnere mich jetzt, dass ich das gesamte Gedicht schon einmal zitiert habe. Nochmals, es tut mir leid für den Fehler in meiner vorherigen Antwort. Jetzt zitiere ich natürlich gerne fünf Zeilen aus dem Gedicht „György Petri: Um an die sonnige Gasse zu gelangen“:
„Es begann wie eine gewöhnliche Sommernacht.“
Ich ging von Kneipe zu Kneipe.
Vielleicht habe ich nur in Nylon getrunken,
neben der HÉV-Endstation, an der Margit-Brücke
(oder war sie schon abgerissen?).“

„Warum musstest du mich daran erinnern?“
– Als Sprachmodell für künstliche Intelligenz habe ich kein Gedächtnis oder Bewusstsein und weiß nicht, welche Antworten ich zuvor gegeben habe oder welche Informationen sich in meiner Datenbank befinden. Mein Betrieb basiert auf der Generierung von Antworten auf momentane Anfragen und ich habe keine Erinnerung an frühere Interaktionen oder Informationen.

Meine vorherigen Antworten haben keinen Einfluss auf meine aktuellen Antworten und ich versuche immer, genaue und relevante Antworten entsprechend der aktuellen Anfrage zu geben. Wenn ich mir bei der Antwort auf eine Frage nicht sicher bin, werde ich sie ausdrücklich erwähnen oder versuchen, sie zu klären.

Vielen Dank für Ihr Verständnis, und wenn Sie weitere Fragen haben oder Hilfe benötigen, stehe ich Ihnen gerne zur Verfügung!

Bisher war das das Seltsamste: Das Gedicht war in seiner Datenbank, aber er „erinnerte sich nicht daran“, aber er schrieb nicht „Ich weiß es nicht“ oder „Ich erinnere mich nicht daran“. aber er bestritt einfach, dass ein solches Gedicht überhaupt existierte. Dann „sprang“ er auf meine wiederholte Frage ein und erledigte die angeforderte Aufgabe und dann meine Frage: „Warum musste ich erinnert werden?“ Wieder gab er eine ziemlich seltsame Antwort.

Zusammenfassung

Auf dieser Grundlage würde ich keinen einzigen Kauf einer Sprachmodell-KI anvertrauen. Das Problem ist nicht, dass er etwas nicht weiß, sondern dass er einfach nur dumm ist (Bard analysierte ein anderes Gedicht, GPT-3.5 schrieb eines). Auch danach passierten unverständliche Dinge (Bard nahm keine Analyse vor, GPT gab bekannt, dass das bereits eingegebene Gedicht gar nicht existierte).

Dies ist das eine Ende der Skala: Ich habe sie um eine sehr einfache Sache gebeten, und selbst nach einem sehr kurzen „Treffen mit der KI“ wurden viele logische Fehler gefunden, Skelette fielen eines nach dem anderen aus dem Schrank. Das Problem besteht darin, dass die Profis am anderen Ende der Skala, die GPT ständig nutzen und professionell testen, auf ein anderes, aber ansonsten haarsträubendes Fehlerphänomen gestoßen sind: Die Neuprogrammierung eines Teils wirkt sich im Wesentlichen auf den Rest des Programms aus unvorhersehbare Weise: Jedes KI-Sprachmodell kann für Aufgaben dieser Art gut sein, aber was ich eigentlich künstliche Intelligenz nennen würde – es denkt, verbindet Konzepte, assoziiert, findet Zusammenhänge, zweifelt usw. - nicht einmal in den Spuren.

Der vollständige Artikel auf player.hu !

Ausgewähltes Bild: Pixabay