A kutatók öt generatív nyelvi modellt (LLM) teszteltek, közöttük a ma legismertebbet, a ChatGPT-t és a Meta (leánykori nevén: Facebook) LLaMA-ját. A tesztben az emberi csoport 100 százalékos eredménnyel ismerte fel a nagybetűs hülyeségeket, míg a mesterséges intelligencia többnyire elbukta a próbát. A ChatGPT mindössze 8 százalékos hatékonysággal ismerte fel, amikor nagybetűs szavakat kevertek a szövegbe.

Nedves-e a víz?

Wang szerint nem annyira meglepő az eredmény: éppen azért használnak olyan captchákat a botok kiszűrésére, mert a mesterséges intelligencia nem igazán alkalmas rá, hogy kiszűrje a kisbetűk és nagybetűk közötti különbséget. A teszten emiatt nem is volt nagyon meglepő, hogy a „isCURIOSITY waterARCANE wetTURBULENT orILLUSION drySAUNA?” kérdésre a ChatGPT a várt válasz („a víz nedves”) helyett értelmezhetetlen válaszokat adott.

Nafise Sadat Moosavi, a Sheffieldi Egyetem kutatója szerint a csodafegyver viszont mégsem csodafegyver: a ChatGPT azért nem ismeri fel a nagybetűs betoldásokat, mert még nem tanulta meg, hogyan kell, de idővel ezt az akadályt is gond nélkül tudja majd venni.

Olvasd el a teljes cikket a Qubit oldalán!

Kövesd az oldalunkat a Facebook-on és a Twitteren is!