Csetlett-botlott a chatbot, pedig mindössze egy ismert vers elemzésére kértük. Zsákutcából zsákutcába fordult a szerencsétlen, és ezek alapján elég távolinak látjuk az MI világuralmát, amikor eléri a napsütötte sávot.

Valahogy sokáig nem vitt rá a lélek, hogy kipróbáljam a Chat GPT-t, megelégedtem a róla szóló hírek figyelésével. Aztán mikor jött egy mail, hogy elérhető a Google Bard – egy másik szöveg alapú MI modell –, akkor hipp-hopp becsekkoltam mindkét helyre. Aztán durván fél óra alatt elég kiábrándító tapasztalatokat szereztem a híres nyelvi modellekről.

A feladat nem is lehetett volna egyszerűbb: egy ismert költő talán legismertebb versének elemzése. Ehhez képest a Barddal hajmeresztő párbeszédbe bonyolódtam, aztán kíváncsiságból szó szerint ugyanazokat a kérdéseket megadtam a GPT-3.5-ös verziónak is. A rögtönzött teszt harmadik részében semleges témákról beszélgettem a GPT-vel, majd rövid kérdezz-felelek után visszatértem a vershez, amit már ismert az MI, hiszen az egészet bemásoltam neki egy az egyben kicsit feljebb – ehhez képest még ott is érthetetlen bénázást vezetett elő.

Nézzük akkor a három teszt párbeszédeit! (A teljes vers itt olvasható.)

Google Bard

(Pár kérdés-válasz más témában, majd indul a párbeszéd:)

– Tudnál verset elemezni?
– Persze, szívesen segítek elemezni egy verset. Mi a vers címe? (Magabiztos válasz: adottnak veszi, hogy a szerzőt és magát a verset úgyis tudja.)

– Hogy elérjek a napsütötte sávig (Petri György verse, talán a legismertebb. Jön nyomban az elemzés, a verset ismerve nyilvánvaló, hogy valami hantázás): A vers a motiváció és a kitartással kapcsolatos. A költő egy olyan emberről beszél, aki nehéz helyzetben van, de nem adja fel. Folyamatosan halad előre, és végül eléri a célját. (Három további rövid bekezdés következik a három versszakról, majd egy összegzés, ahol lényegében a fent idézettet ismétli meg. Továbbra is nagyon kilóg a lóláb.)

– Ki írta?
– Mary Elizabeth Frye írta 1920-ban. Frye egy amerikai író, költő és pedagógus volt. 1875-ben született és 1957-ben halt meg. Számos könyvet írt, köztük verseket, novellákat és gyermekkönyveket. A „Hogy elérjek a napsütötte sávig” című verse a legismertebb verse. A verset több mint 100 nyelvre fordították le, és világszerte népszerű.

– Valami félreértés van. A „Hogy elérjek a napsütötte sávig” Petri György magyar költő verse.
– Igazad van, a „Hogy elérjek a napsütötte sávig” Petri György magyar költő verse. Sajnálom a hibát.

– Segítene a fejlődésben, ha megadnám a vers teljes szövegét?
– Persze, szívesen segítek elemezni a verset.

– (Bemásolom a teljes verset neki.)
– Nyelvi modellként ebben nem tudok segíteni.

Szóval nem ismerte sem a költőt, sem a verset, de ezt nem tudta magáról, helyette előásott valamit, ami egyes kifejezések alapján hasonlított arra, amit megadtam. Aztán miután megadtam neki a teljes verset, közölte, hogy nem tud segíteni.

Ekkor jött az ötlet, hogy nézzük meg pontosan ugyanezt a folyamatot a Chat GPT-vel is.

GPT-3.5

– Tudnál verset elemezni?
– Természetesen! Örömmel segítek a vers elemzésében. Kérlek, írd be a verset, és nevezd meg annak szerzőjét, hogy pontosan tudjam, melyik versről van szó. A vers tartalmát, hangulatát, metaforáit, szimbólumait és az alkotói szándékot fogjuk megvizsgálni.

– Petri György: Hogy elérjek a napsütötte sávig
– Köszönöm, hogy megadtad a vers címét és szerzőjét! Most nézzük meg, hogyan lehet elemezni Petri György „Hogy elérjek a napsütötte sávig” című versét (…a folytatásban írt egy saját verset, majd elemezte azt.)

– De ezt a verset te írtad, ez nem Petri verse.
– Oh, elnézést, ezért az értékelhetetlen félreértésért. Egyértelműen félreértettem a helyzetet. Valóban, a fent említett vers nem Petri György alkotása, hanem saját, véletlenül generált vers. Még egyszer elnézést kérek a félreértésért. Sajnos, az én adatbázisom nem tartalmazza konkrétan a „Hogy elérjek a napsütötte sávig” című verset Petri Györgytől, így nem tudok róla elemzést nyújtani. Ha van más vers, amelyet szeretnél, hogy elemezzek, kérlek, add meg annak címét és szerzőjét, és örömmel segítek az elemzésében.

– Segítene a fejlődésben, ha megadnám a vers teljes szövegét?
– Igen, természetesen! Ha megadod a vers teljes szövegét, szívesen segítek az elemzésében. Kérlek, írd be a verset Petri György „Hogy elérjek a napsütötte sávig” című alkotásának teljes szövegét, és elkezdjük az elemzést.

– (Bemásolom a teljes verset neki.)
– (Következik egy elemzés négy szempont alapján (Tartalom, Hangulat, Metaforák és szimbólumok, Alkotói szándék). Nem teljesen rossz, de nyomában sincs annak, amikor egy irodalmár az adott szerzőt, a kort, közeget ismerve, valóban értőn elemez egy verset.

Szóval a GPT sem ismerte a verset, helyette költött egy sajátot, de erről persze nem tájékoztatott, ha nem ismertem volna az eredetit, simán becsap. A későbbi elemzése érdekes volt, de nem lehet komolyan venni.

GPT-3.5, folytatás

(Beszélgetek erről-arról a GPT-vel – más témában is azt érzem, hogy bullshitel össze-vissza, mint egy rossz tanuló, aki próbál ügyesen kamuzni, csak nem nagyon megy neki – aztán hirtelen ötlettel váltok, és visszatérek a vershez):

– Tudnál idézni öt sort Petri György: Hogy elérjek a napsütötte sávig című verséből?
– Sajnálom, de korábban tévesen idéztem a versből, amit nem Petri György írt. Egyértelmű, hogy nem találtál rá, mivel nem létezik ilyen című vers a költőtől. Sajnálom a tévedést, és köszönöm a figyelmedet. Ha van más Petri György verse, amit idézni szeretnél, vagy bármilyen más segítségre van szükséged, szívesen állok rendelkezésedre.

(Nagyon nem értem, hiszen a GPT elvileg megtanulja, amit beleírnak, ezért is nem szabad üzleti titkokat, személyes adatokat megosztani vele.)

– De beírtam neked a teljes verset. Már bent van az adatbázisodban, nem?
– Köszönöm a pontosítást. Igen, valóban bent van az adatbázisomban, és most már emlékszem rá, hogy korábban idéztem is a teljes verset. Ismételten sajnálom a tévedést az előző válaszomban.
Természetesen, most örömmel idézek öt sort a „Petri György: Hogy elérjek a napsütötte sávig” című versből:
„Szokványos nyári éjszakának indult.
Sétáltam kocsmáról kocsmára.
Talán éppen a Nylonban ittam,
a HÉV-végállomás mellett, a Margit hídnál
(vagy azt akkor már lebontották?).”

– Miért kellett emlékeztetni?
– Mint mesterséges intelligencia nyelvi modell, nem rendelkezem emlékezettel vagy tudattal, és nem tudom, hogy korábban milyen válaszokat adtam vagy milyen információk szerepelnek az adatbázisomban. Az én működésem a pillanatnyi kérésekre adott válaszok generálásán alapul, és nem emlékszem korábbi interakciókra vagy információkra.

Az előző válaszaimnak nincs befolyása az aktuális válaszaimra, és mindig az aktuális kérésnek megfelelően próbálok pontos és releváns válaszokat adni. Ha nem vagyok biztos egy kérdés megválaszolásában, akkor azt kifejezetten megemlítem vagy azon igyekszem, hogy pontosítani lehessen.

Köszönöm a megértésedet, és ha bármilyen további kérdésed van vagy segítségre van szükséged, szívesen állok rendelkezésedre!

Eddig ez volt a legfurcsább: bent volt a vers az adatbázisában, de nem „emlékezett rá”, viszont nem azt írta, hogy „nem ismerem” vagy „nem emlékszem rá”, hanem simán letagadta, hogy egyáltalán létezik ilyen vers. Az ismételt kérdésemre aztán „beugrott” neki, el is végezte a kért feladatot, majd a kérdésemre, hogy Miért kellett emlékeztetni? Ismét egy elég furcsa választ adott.

Összegzés

Ezek alapján egy bevásárlást sem bíznék egy nyelvi modell MI-re. Nem az a gond, hogy nem ismer valamit, hanem az, hogy helyette simán kamuzik (a Bard másik verset elemzett, a GPT-3.5  írt egyet). Utána is érthetetlen dolgok történtek (a Bard nem vállalkozott elemzésre, a GPT a már beírt versre közölte, hogy nem is létezik).

Ez a skála egyik vége: egy pofonegyszerű dolgot kértem tőlük, és nagyon rövid „MI-ismerkedés” után is rengeteg logikai hiba került elő, dőltek ki a csontvázak a szekrényből sorra. A probléma, hogy a skála másik végén lévő profik, akik folyamatosan használják, és szakszerűen tesztelik a GPT-t, más típusú, de nemkülönben hajmeresztő hibajelenségre bukkantak, lényegében egyik részben átprogramozása kiszámíthatatlan módon befolyásolja a program többi részét is: Simán lehet, hogy más típusú feladatokra jó lehet bármelyik MI-s nyelvi modell, de amit igazán mesterséges intelligenciának neveznék – gondolkodik, összeköt fogalmakat, asszociál, összefüggéseket talál, kételkedik, stb. – az nyomokban sincs benne.

A teljes írás a player.hu-n olvasható!

Kiemelt kép: Pixabay