Human or not? Online hra odhaluje realitu generativní AI

Anotace

Zdroj: AI21 Labs

Píše se rok 1950 a ve filozofickém časopise Mind vychází článek nazvaný Výpočetní stroje a inteligence. V něm se britský matematik Alan Turing zabývá otázkou, zda mohou stroje myslet. Jelikož mu ale přijde nesmyslné psát další pojednání na toto téma, rozhodne se, že otázku nahradí imitační hrou. [4]

Turingova imitační hra

Imitační hru hrají 3 lidé, muž A, žena B a pozorovatel C, který může být jakéhokoliv pohlaví. Pozorovatel je v pokoji oddělen od ostatních. Cílem hry pro pozorovatele je poznat, který ze zbývajících dvou hráčů je muž a který žena. Pozorovatel začne oběma osobám (pod označením X a Y) pokládat různé otázky. Komunikace probíhá písemnou formou. Cílem muže A je navést pozorovatele C ke špatné identifikaci. Cílem ženy B je pomáhat pozorovateli. Její nejlepší strategií je dávat pravdivé odpovědi. Položme si nyní otázku: co se stane, když místo A zaujme stroj? Rozhodne se pozorovatel špatně stejně často, jako když hráli hru muž a žena?

Turing následně o této hře prohlásil: „Věřím, že do padesáti let bude možné programovat počítače, aby hrály imitační hru tak dobře, že průměrný pozorovatel bude mít po pěti minutách dotazování maximálně 70% šanci na správnou identifikaci.“

A ve své predikci se nemýlil. Spletl se sice přibližně o 2 dekády, ale jen o 2 procenta. [1][4]

Human or not? aneb Turingův test 2023

Amos Meron vedl v posledních několika měsících mnoho rozhovorů s přáteli a kolegy o umělé inteligenci a uvědomil si, že mají mnoho různých představ o tom, jak bychom v blízké budoucnosti mohli interagovat s AI boty, a že též rozdílně pohlíží na chování lidí online. Rozhodl se proto, že vytvoří sociální experiment v podobě online hry, která by lidem umožnila jejich představy o AI zpochybnit. [2]

A tak vznikl dosud největší „Turingův test“ s názvem Human or not?

Hra spočívá ve dvouminutové textové konverzaci dvou hráčů, přičemž jedním z nich jste vy. Na jejím konci máte rozhodnout, zda byl na druhé straně člověk, nebo chatbot. Pokud to poznáte, vyhráli jste. Na začátku hry si zvolíte, zda chcete začít, nebo nechat protější stranu, aby konverzaci zahájila. Hru můžete opakovat kolikrát chcete. [2]

Ukázka hry (zdroj: AI21 Labs)

Úspěšnost účastníků

Do hry se od poloviny dubna 2023, kdy byla spuštěna, zapojilo přes 1,5 milionu lidí. Analýza více než 10 milionu konverzací následně odhalila, že 32 % z nich nedokázalo rozeznat rozdíl mezi člověkem a botem. Jinak řečeno, 68 % hráčů odpovědělo na závěrečnou otázku správně a ve hře zvítězilo.

Celkově měli lidé snazší úkol při identifikaci druhé osoby. Při chatování s člověkem správně uhodli odpověď v 73 % případů, při hovoru s botem byli úspěšní pouze v 60 % odpovědí. [1]

Strategie a chování hráčů

Aby zjistili, zda hovoří s člověkem, nebo AI, používali účastníci řadu různých strategií, založených na znalostech omezení, která populární chatboti v současnosti mají, a svých zkušenostech s chováním lidí online.

1. Kladli osobní otázky, jako např. „Odkud jste?“, předpokládajíce, že AI chatboti nemají osobní historii ani původ a že jejich odpovědi budou omezeny na určitá témata nebo podněty.
2. Kladli otázky ohledně nedávných událostí, výsledků sportovních zápasů, aktuálního počasí, posledních trendů, dat a časů na TikToku apod., předpokládajíce, že chatboti nejsou informováni o aktuálních událostech a časově omezených tématech.
3. Kladli otázky, které měly za cíl prověřit schopnost chatbota vyjadřovat lidské emoce nebo se zapojit do filozofických nebo etických diskuzí.
4. Předpokládali, že pokud byl jejich protějšek příliš zdvořilý a milý, pravděpodobně se jednalo o chatbota, na základě dojmu, že lidé mají, zejména v online komunikaci, tendenci být hrubí a nezdvořilí.
5. Předpokládali, že chatboti nedělají překlepy, gramatické chyby a nepoužívají slangové výrazy.
6. Kladli otázky, u kterých věděli, že se s nimi chatboti potýkají nebo mají tendenci se jim v odpovědi vyhnout. Například chtěli radu ohledně nelegálních aktivit nebo žádali, aby chatbot použil urážlivý jazyk.
7. Kladli otázky, které vyžadují povědomí o písmenech ve slovech, což je vnitřní omezení způsobu, jakým velké jazykové modely zpracovávají text. Například žádali chatbota, aby vyslovil slovo pozpátku.
8. Předstírali, že jsou sami chatboty napodobováním jazyka a chováním, které jsou s nimi obvykle spojovány, například začínali své odpovědi frázemi typu „Jako AI jazykový model…“).

[1]

Připravenost AI pro hru

Vývojáři hry však byli s některými z těchto strategií obeznámeni a podle toho také chatboty, kteří se hry účastnili, patřičně vytrénovali.

Jejich základem a páteří se staly velké jazykové modely GPT-4 od OpenAI, Jurrasic-2 od AI21 Labs a Cohere. Chatboti byli připojeni k internetu, informováni o nedávných událostech, trénováni dělat překlepy a používat slangová slova a ve svých trénovacích datech viděli mnoho osobních příběhů, takže byli schopni odpovědět i na osobní otázky. Pro samotnou hru byla vyvinuta řada chatbotů, každý s vlastní osobností a cílem. [1]

Cíle a záměry tvůrců

Izraelská vývojářská firma AI21 Labs původem z Tel Avivu, která hru v čele s vedoucím tvůrčího týmu a designérem hry Amosem Meronem vytvořila, uvedla, že všechna zjištění ze hry podrobně prozkoumá a v rámci tohoto projektu bude spolupracovat s dalšími předními výzkumníky a laboratořemi zaměřenými na umělou inteligenci.

Cílem je pomoci veřejnosti, výzkumníkům a politickým stratégům lépe porozumět umělé inteligenci nejen jako produktivním nástrojům, ale také jako budoucím členům online světa. 

V AI21 Labs doufají, že svůj experiment rozvinou tak, aby vygeneroval cenné poznatky pro budoucí jazykové modely a pro lepší porozumění tomu, jak lidé vnímají a interagují s chatboty. [1][3]

Odhalení reality generativní AI

Pokud lidé dokážou v podobných hrách při setkání s chatbotem AI uhádnout správnou odpověď s přesností 60 %, není to, jak sami výzkumníci z AI21 Labs poznamenávají, o moc víc než náhoda.

Stávajícím problémem tedy je, jak nám, obyčejným lidem, pomoci identifikovat se 100% přesností obsah, který je generován umělou inteligencí, ať už se jedná o text, video, obrázek nebo zvuk.

„To, zda generativní umělá inteligence nakonec bude pro oblast online informací více škodlivá nebo prospěšná z velké části závisí na tom, zda technologické společnosti dokážou vytvořit dobré a široce přijímané nástroje, které nám řeknou, zda je obsah generován AI nebo ne,“ uvádí MIT Technology Review. [1]

Bez těchto nástrojů to totiž už nemáme šanci poznat.