Az Atari 2600 leverte sakkban a ChatGPT-t

A ChatGPT, a Claude, a Llama és más LLM-ek (nagy nyelvi modellek) képesek különféle információkat összegyűjteni egy prompt alapján, és teljes mondatokat generálni válaszként. De vajon tudnak-e ezek a modellek sakkozni? Az OpenAI vezérigazgatója, Sam Altman már említette, hogy a cég mesterséges intelligenciája jó úton halad az „Artificial General Intelligence” (általános mesterséges intelligencia) felé – egy olyan szoftver felé, amely képes az emberhez hasonlóan önállóan tanulni és megérteni dolgokat.

Ne maradj le cikkeinkről, like-olj minket a Facebookon is!

Követem!

A Citrix-fejlesztő, Robert Jr. Caruso egy kis kísérletben tesztelte ezt, és a ChatGPT-t egy Atari 2600 sakkprogram (emulált verziója) ellen küldte pályára. Az eredmény: a ChatGPT egy 90 perces mérkőzés során vesztett az 1977-es számítógép ellen. A nyelvi modell minden lépésnél egy képet kapott a sakkprogram állásáról, és ennek alapján kellett megterveznie a következő lépést.

„Meg kellett akadályoznom, hogy borzalmas lépéseket tegyen, és többször is korrigálnom kellett a táblakép-érzékelését minden körben” – írta a fejlesztő a LinkedInen. „Bár a ChatGPT kapott egy táblaképet a figurák azonosításához, összekeverte a bástyákat a futókkal, figyelmen kívül hagyta a gyalogtámadásokat, és rendszeresen elvesztette a fonalat, hogy hol vannak az egyes figurák.”

Miután megtette a lépéseit, ChatGPT gyakran elnézést kért a rossz döntéseiért. Úgy tűnik, kifogásokat is keresett, például az Atari 2600 sakkprogram absztrakt felületét okolva a gyenge teljesítményéért. Azonban még akkor sem javult a helyzet, amikor áttértek a hagyományos sakkjelölésre.

Az LLM-ek nem sakkozásra készültek

Általánosságban elmondható, hogy az LLM-ek nem megbízhatóak sem sakkjátékban, sem matematikai feladatok megoldásában. Egy nyelvi modellnek nincs valódi fogalma a sakk szabályairól, és nem tudja megfelelően tárolni vagy értelmezni a korábbi és jövőbeli lépéseket. Egy LLM ugyanis statisztikai valószínűségekkel dolgozik, és ezek alapján alakítja ki a szavakat és mondatokat.

Ezzel szemben egy sakkgép előre tudja számítani a lépéseket, mivel a szabályokat merev kódként használja. Emellett mindig pontosan tudja a koordináták alapján, hogy melyik figura hol helyezkedik el a táblán – ehhez nincs szükség számítógépes látásra, amely további hibalehetőségeket vinne a rendszerbe.

Hogy mennyire gyengék az LLM-ek a sakkban, azt más fejlesztők is vizsgálták – például Maxim Saplin, aki többféle mesterséges intelligenciát eresztett össze egy olyan bottal, amely egyszerűen véletlenszerű lépéseket tett. Az OpenAI o3, o4-mini és Grok 3 Mini típusú modellek legfeljebb 94%-os győzelmi arányt értek el. Saplin nyilvánosságra hozta az eredményekből készült rangsort is.

(A cikk eredetileg a német golem.de oldalon jelent meg.)