Je AI kognitivním trojským koněm?

Anotace

Andrew Maynard je profesorem sociálních inovací a ředitelem Future of Being Human Initiative na Arizona State University. Do Berlína na konferenci OEB25 (globální mezisektorová konference o digitálním vzdělávání) jel s přáním vyvolat diskuzi nad otázkou, zda lze AI považovat za „kognitivního trojského koně”. Podívejme se, jak to myslel [1].

Andrew čelí rostoucím obavám, zda snadnost, rychlost a plynulost, s jakou nám modely AI poskytují výsledky, potenciálně neobcházejí naši schopnost kriticky a zdravě vyhodnocovat informace a vstřebávat znalosti. Problém je v tom, že nově vznikající modely umělé inteligence jsou pro nás tak přitažlivé, že je těžké odolat jejich vstupu do našich kognitivních životů, i když stále nevíme, jak mohou potenciálně ovlivnit naše myšlení, naše přesvědčení, naše vnímání a chápání, a dokonce i to, jak se chováme.

Jsme na AI v tolika různých ohledech stále více závislí, od toho, jak se učíme a chápeme svět, až po to, jak děláme rozhodnutí, řídíme organizace, a dokonce i jak se spojujeme s jinými lidmi. Tak nějak by možná mohl takový „dar s velkým příslibem a potenciálem“ vypadat. Zpochybňování jeho využití se zdá být zaostalé a nesprávné. Přesto bychom si měli klást otázky ohledně potenciálních nezamýšlených důsledků.

Andrew nastíněnou problematiku spojuje s potřebou tzv. „epistemické bdělosti“ (epistemic vigilance), což je soubor kognitivních mechanismů, s jejichž pomocí hodnotíme sdělované informace z pohledu jejich potenciálního rizika nás dezinformovat či oklamat. Zajišťuje, aby komunikace zůstala výhodná i navzdory tomuto riziku.

Teorie epistemické bdělosti [2] ukazuje, že komunikace mezi lidmi je z evolučního hlediska pro učení životně důležitá. Během vývoje jsme vyvinuli mechanismy, které optimalizují učení prostřednictvím komunikace tím, že zajišťují co nejnižší kognitivní náklady a zároveň co nejvyšší efektivitu učení.

Výsledkem je, že při komunikaci s ostatními primárně důvěřujeme tomu, co dostáváme. Pokud se nám ale cokoli zdá nepochopitelné či divné (způsob sdělení, tón, řeč těla, kontext, rozpor s vlastní zkušeností apod.), aktivují se naše mechanismy epistemické bdělosti, začneme kriticky hodnotit a odmítneme to, když se nám to nezdá. Tento model funguje podobně jako náš imunitní systém. Jak ukázala behaviorální věda, lze epistemickou bdělost za určitých okolností oklamat. V chaotické lidské společnosti však obvykle funguje.

Ale co když do procesu přijímání informací přidáte technologii, která naruší status quo – metaforický zbrusu nový virus, na který jsme se ještě neměli šanci adaptovat? Zde se setkáváme s tím, co se často označuje jako evoluční nesoulad (evolutionary mismatch) – situací, kdy nová technologie překračuje naše vyvinuté schopnosti bezpečně a úspěšně se vypořádat s jejími potenciálními dopady. Ve vývoji lidstva jsou takové nesoulady ve skutečnosti poměrně běžné. Jsme pozoruhodně dobří v používání našich kognitivních schopností a inteligence ke kompenzaci a adaptaci na takové nesoulady, a to i přesto, že jsme se nevyvíjeli s riziky přímo spojenými s mnoha technologiemi, se kterými se dnes v životě setkáváme.

Co když ale nesoulad ovlivní právě ty kognitivní schopnosti, na které se spoléháme při zvládání rozdílů mezi tím, co právě zažíváme, a tím, co jsme zdědili minulým vývojem lidské společnosti? Co když nová technologie – a v tomto případě konkrétně AI – nespustí naše mechanismy epistemické bdělosti stejným způsobem jako tradiční mezilidská komunikace, a v důsledku toho má schopnost proklouznout kolem naší obrany bez povšimnutí?

Přestože je detailní výzkum potenciálu AI obcházet epistemickou bdělost naprosto nezbytný, nejedná se o pouhou spekulaci. Existuje dostatek indikátorů naznačujících, jak by k tomu mohlo docházet. Jsou to např. tyto:

• Plynulost zpracování informací
  Jedná se o subjektivní prožitek snadnosti, s jakou je podnět mentálně zpracováván. Máme tendenci více důvěřovat informacím, které jsou podávány s vyšší mírou plynulosti, jasnosti, přesvědčivosti a jejichž pochopení je méně náročné. Aplikace AI jsou mimořádně zdatné ve vytváření jasných a přesvědčivých reakcí, které nejsou příliš náročné na pochopení. Jsou optimalizovány pro plynulost zpracování, a proto jsou schopné snadněji uniknout našim mechanismům epistemické bdělosti.

• Atraktivita
  Máme tendenci považovat přijaté informace za důvěryhodnější, pokud pocházejí od někoho, koho máme rádi, ke komu máme vřelý vztah, kdo se nám zdá být přátelský nebo koho považujeme za autoritu. A to se vztahuje i na to, jak je obsah komunikace vytvořen a doručen. Objevují se náznaky, že to platí i pro způsob, jak reagujeme na AI. Většina AI platforem je vyškolena tak, aby dělala dojem vřelosti a kompetentnosti. Máme tendenci jim důvěřovat – i když jsme varováni, abychom to nedělali. Navíc získávají stále větší atraktivitu díky své obrovské popularitě.

• Rychlost a objem
  Jako druh jsme se vyvinuli tak, abychom zvládali relativně pomalé tempo předávání informací prostřednictvím různých forem komunikace. Nadměrně vysoká rychlost a velký objem toku informací potenciálně zahlcuje mechanismy epistemické bdělosti. Modely AI dokáží zabalit nové informace takovým způsobem, aby i ty nejsložitější myšlenky vklouzly do našich myslí nejlépe tak, že o nich vůbec nemusíme přemýšlet. Vyplývá to z kombinace plynulosti, atraktivity a jejich schopnosti zkoumat a syntetizovat informace v rozsahu a rychlosti, které daleko přesahují lidskou. Jsme svědky rostoucího trendu tzv. „kognitivního odlehčení“(Je snadnější zůstat hloupý?), kdy uživatelé přenechávají myšlenkové a výzkumné úkoly AI, a poté přijímají výsledné komprimované informace. Ukazuje se, že kognitivní odlehčení může omezit kritické myšlení.
  Epistemická bdělost je nákladný kognitivní proces. Vyžaduje uchovávání informací v pracovní paměti a zároveň jejich vyhodnocování, generování alternativních hypotéz, porovnávání toho, co přijímáme, s tím, co víme (nebo čemu věříme), posuzování kvality zdrojů a mnoho dalšího. Pokud tok přicházejících informací překročí naši schopnost je zpracovat, potenciálně nás to nutí k neuvěřitelně těžké volbě: omezit tok a vzdát se slibovaných výhod, nebo se nechat unášet proudem a vzdát se naší kognitivní kontroly.

• Past inteligentního uživatele
  Některé výzkumy naznačují zajímavý paradox [3]. Zdá se, že inteligentnější jedinci mají tendenci zpracovávat více informací, a navíc co nejrychleji. Díky tomu si méně uvědomují nebezpečí přetížení objemem. Důvěřují svému úsudku, a proto je méně pravděpodobné, že ho budou zpochybňovat. Cení si efektivity, a proto nejsou ochotni zpomalit rychlost přijímání informací. Také mívají sklony používat svou inteligenci k ospravedlnění svých přesvědčení a činů.
  Právě ty kognitivní schopnosti, které je činí „chytrými“, z nich mohou dělat méně kritické příjemce výstupů AI. Jejich epistemická bdělost je více ohrožena.

Když připustíme, že se AI může stát kognitivním trojským koněm, existuje značné riziko, že vyvíjíme technologie, k nimž nemáme kognitivní obranné mechanismy, abychom se mohli bránit v případě, že naše důvěra není na místě. Schopnost aplikací AI napodobit nejlepšího člověka, jakého jste kdy potkali, spouští okruhy sociálního poznávání bez ohledu na explicitní vědomí. A čím více se interakce podobá lidské, tím větší odolnost důvěry generuje.

Začlenění technologií do života může mít dalekosáhlé důsledky. Proto si musíme klást kritické otázky ohledně potenciálních rizik, provádět výzkum, abychom tato rizika lépe pochopili, a snažit se vývoj AI ovlivňovat. Pokud ovšem jsme již kognitivního trojského koně umělé inteligence nezanesli do našich myslí a hradby jsme nezbořili.

OEB 2025 – Humanity in the Intelligent Age – Opening Plenary

Ve své úvodní přednášce (video výše) položil Andrew Maynard kromě titulní otázky ještě dvě další:

• Mění AI to, kdo jsme?
  AI lze vnímat jako zrcadlo. Odráží jen to, co do něj lidstvo vložilo. Když se do něj díváme, zpětná vazba od AI ovlivňuje to, jak myslíme, čemu věříme, jak se chováme, jak vnímáme svět kolem sebe.

• Potřebujeme k tomu, abychom získali výhody využitím AI, být chytřejší?
  AI není jen nová technologie podobná knihtisku, kalkulačce nebo internetu. Nutí nás myslet jinak, tedy být kompetentnější.

Profesor Maynard možné odpovědi jen naznačil. Jeho hlavním cílem bylo vyvolat diskuzi. Podle mě se mu to povedlo.