Chatbot potykał się i potykał, mimo że poprosiliśmy go tylko o analizę dobrze znanego wiersza. Pechowiec skręcił ze ślepego zaułka w ślepy zaułek i na ich podstawie postrzegamy naszą dominację nad światem jako dość odległą, gdy dociera do nasłonecznionego pasa.

Jakoś nie miałem serca przez długi czas wypróbować Chat GPT, zadowalałem się oglądaniem wiadomości na ten temat. Potem, kiedy otrzymałem wiadomość e-mail z informacją, że Google Bard – kolejny tekstowy model AI – jest dostępny, sprawdziłem oba miejsca. Potem, w mniej więcej pół godziny, zdobyłem dość rozczarowujące doświadczenia ze słynnymi modelami językowymi.

Zadanie nie mogło być prostsze: analiza chyba najbardziej znanego wiersza znanego poety. Dla porównania, wdałem się w mrożący krew w żyłach dialog z Bardem, a potem z ciekawości dosłownie zadałem te same pytania wersji GPT-3.5. W trzeciej części zaimprowizowanego testu rozmawiałem z GPT na neutralne tematy, a następnie po krótkiej sesji pytań i odpowiedzi wróciłem do wiersza, który MI już znał, ponieważ skopiowałem mu całość jeden po drugim jeden nieco wyższy - w porównaniu nawet tam powodował niezrozumiały paraliż.

Spójrzmy na dialogi trzech testów! (Cały wiersz można przeczytać tutaj.)

Barda Google

(Kilka pytań i odpowiedzi na inny temat, potem zaczyna się dialog :)

„Czy mógłbyś przeanalizować wiersz?”
„Oczywiście, chętnie pomogę ci w analizie wiersza”. Jaki jest tytuł wiersza? (Odpowiedź pewna: przyjmuje za pewnik, że i tak zna autora i sam wiersz.)

- Dostać się na słoneczną uliczkę (wiersz György Petri, chyba najbardziej znany. Analiza przyjdzie od razu, znając wiersz wiadomo, że to jakiś żart): Wiersz jest związany z motywacją i wytrwałością. Poeta opowiada o osobie, która jest w trudnej sytuacji, ale się nie poddaje. Cały czas idzie do przodu i w końcu osiąga swój cel. (Następują jeszcze trzy krótkie akapity dotyczące trzech zwrotek, a następnie podsumowanie, w którym zasadniczo powtarza to, co zostało zacytowane powyżej. Końska stopa nadal bardzo mocno wystaje.)

"Kto to napisał?"
- Napisane przez Mary Elizabeth Frye w 1920 roku. Frye był amerykańskim pisarzem, poetą i pedagogiem. Urodził się w 1875 roku, zmarł w 1957 roku. Jest autorem wielu książek, w tym wierszy, opowiadań i książek dla dzieci. Jego wiersz „Jak dotrzeć do słonecznego pasa” jest jego najbardziej znanym wierszem. Wiersz został przetłumaczony na ponad 100 języków i jest popularny na całym świecie.

„Zaszło pewne nieporozumienie”.
„Jak dotrzeć na słoneczną uliczkę” to wiersz węgierskiego poety György Petri. - Masz rację, „Jak dotrzeć do słonecznej uliczki” to wiersz węgierskiego poety György Petri. przepraszam za pomyłkę.

„Czy pomogłoby mi to w rozwoju, gdybym podał pełny tekst wiersza?”
„Oczywiście, chętnie pomogę ci w analizie wiersza”.

– (Przepisuję mu cały wiersz.)
– Jako model językowy nie mogę w tym pomóc.

Więc nie znał poety ani wiersza, ale nie wiedział tego o sobie, zamiast tego wykopał coś, co na podstawie pewnych wyrażeń przypominało to, co podałem. Potem, kiedy dałem mu cały wiersz, powiedział, że nie może pomóc.

Właśnie wtedy wpadliśmy na pomysł, aby przyjrzeć się dokładnie temu samemu procesowi z GPT na czacie.

GPT-3.5

„Czy mógłbyś przeanalizować wiersz?”
- Naturalnie! Chętnie pomogę w analizie wiersza. Proszę wpisać wiersz i podać jego autora, abym wiedział dokładnie, który to wiersz. Zbadamy treść wiersza, nastrój, metafory, symbole i intencje twórcze.

- György Petri: By dotrzeć na słoneczną uliczkę
- Dziękuję za podanie mi tytułu i autora wiersza! Zobaczmy teraz, jak przeanalizować wiersz György Petri „Jak dotrzeć do słonecznej uliczki” (...w sequelu napisał własny wiersz, a następnie go przeanalizował).

„Ale ty napisałeś ten wiersz, to nie jest wiersz Petriego”.
- Och, przepraszam za to bezcenne nieporozumienie. Najwyraźniej źle zrozumiałem sytuację. Rzeczywiście, wspomniany powyżej wiersz nie jest dziełem György Petriego, ale jego własnym, przypadkowo wygenerowanym wierszem. Jeszcze raz przepraszam za nieporozumienie. Niestety, w mojej bazie danych nie ma konkretnie wiersza „Jak dotrzeć do słonecznego pasa” György Petri, więc nie mogę go przeanalizować. Jeśli chcesz, abym przeanalizował inny wiersz, podaj jego tytuł i autora, a chętnie pomogę Ci go przeanalizować.

„Czy pomogłoby mi to w rozwoju, gdybym podał pełny tekst wiersza?”
- Oczywiście, że tak! Jeśli podasz pełny tekst wiersza, chętnie pomogę Ci go przeanalizować. Wprowadź pełny tekst wiersza György Petri „Jak dotrzeć do słonecznego pasa”, a rozpoczniemy analizę.

– (Przepisuję mu cały wiersz.)
– (Następna jest analiza oparta na czterech aspektach (treść, nastrój, metafory i symbole, intencja twórcza). Nie jest całkowicie zła, ale nie przeszkadza w krytyk literacki analizuje danego autora, wiek, medium wiedząc, naprawdę rozumie wiersz.

Więc GPT też nie znało wiersza, zamiast tego użyli własnego, ale oczywiście nie poinformowali mnie o tym, gdybym nie znał oryginału, łatwo byłoby mnie oszukać. Jego późniejsza analiza była interesująca, ale nie należy jej traktować poważnie.

GPT-3.5, ciąg dalszy

(Rozmawiam o tym i owym z GPT - też na inne tematy mam wrażenie, że bredzi tam iz powrotem, jak zły student, który próbuje udawać, ale nie działa to zbyt dobrze - wtedy nagle mam pomysł i wróć do wiersza):

- Czy mógłbyś zacytować pięć wersów z wiersza György Petriego: Jak dotrzeć do słonecznej alei?
- Przepraszam, ale wcześniej błędnie zacytowałem z wiersza, którego nie napisał György Petri. Jasne jest, że go nie znalazłeś, ponieważ nie ma wiersza o takim tytule autorstwa poety. Przepraszam za pomyłkę i dziękuję za uwagę. Jeśli jest jakiś inny wiersz György Petri, który chciałbyś zacytować lub potrzebujesz innej pomocy, chętnie Ci pomogę.

(Naprawdę nie rozumiem, skoro GPT w zasadzie uczy się tego, co jest w nim napisane, dlatego nie należy udostępniać mu tajemnic handlowych i danych osobowych.)

„Ale napisałem cały wiersz dla ciebie”.
Jest już w Twojej bazie danych, prawda? "Dziękuję za wyjaśnienie."
Tak, rzeczywiście jest w mojej bazie danych, a teraz przypominam sobie, że cytowałem już cały wiersz. Jeszcze raz przepraszam za błąd w mojej poprzedniej odpowiedzi. Oczywiście teraz z przyjemnością zacytuję pięć linijek z wiersza „György Petri: Aby dostać się na słoneczną uliczkę”:
„Zaczęło się jak zwykła letnia noc.
Chodziłem od pubu do pubu.
Może po prostu piłem w Nylonie,
obok pętli HÉV, przy moście Margit
(a może był już zburzony?).

– Dlaczego musiałeś mi o tym przypominać?
– Jako model językowy sztucznej inteligencji nie mam pamięci ani świadomości i nie wiem, jakich odpowiedzi udzieliłem wcześniej, ani jakie informacje znajdują się w mojej bazie danych. Moja działalność opiera się na generowaniu odpowiedzi na chwilowe prośby i nie pamiętam wcześniejszych interakcji ani informacji.

Moje poprzednie odpowiedzi nie mają wpływu na moje obecne odpowiedzi i zawsze staram się udzielać dokładnych i trafnych odpowiedzi zgodnie z aktualnym zapytaniem. Jeśli nie jestem pewien odpowiedzi na pytanie, wyraźnie o tym wspomnę lub spróbuję je wyjaśnić.

Dziękujemy za zrozumienie. Jeśli masz dodatkowe pytania lub potrzebujesz pomocy, chętnie Ci pomogę!

To było jak dotąd najdziwniejsze: wiersz był w jego bazie danych, ale nie „pamiętał”, ale nie napisał „nie wiem” ani „nie pamiętam”, ale po prostu zaprzeczył, że taki wiersz w ogóle istniał. Następnie „wskoczył” na moje powtarzane pytanie i wykonał wymagane zadanie, a następnie na moje pytanie: Dlaczego trzeba mi przypominać? Ponownie udzielił dość dziwnej odpowiedzi.

Streszczenie

Na tej podstawie nie powierzyłbym ani jednego zakupu modelowi językowemu AI. Problem nie polega na tym, że czegoś nie wie, ale na tym, że jest po prostu głupi (Bard przeanalizował inny wiersz, GPT-3.5 napisał jeden). Nawet po tym działy się rzeczy niezrozumiałe (Bard nie podjął się analizy, GPT ogłosiło, że wpisany już wiersz w ogóle nie istnieje).

To jeden koniec skali: poprosiłem ich o bardzo prostą rzecz i nawet po bardzo krótkim „spotkaniu z AI” znaleziono masę błędów logicznych, szkielety wypadały z szafy jeden po drugim. Problem polega na tym, że profesjonaliści na drugim końcu skali, którzy stale używają i profesjonalnie testują GPT, natknęli się na inny rodzaj, ale poza tym jeżący włos na głowie fenomen błędów, zasadniczo przeprogramowanie jednej części wpływa na resztę programu w sposób nieprzewidywalny sposób: każdy model języka AI może być dobry do zadań tego typu, ale to, co naprawdę nazwałbym sztuczną inteligencją - myśli, łączy pojęcia, kojarzy, znajduje powiązania, wątpliwości itp. - nawet w śladach.

Cały artykuł na player.hu !

Wyróżniony obraz: Pixabay