Zajímavou studii [1] publikovali vědci společnosti Anthropic, která poskytuje služby v oblasti generativní AI (LLM Claude) a orientuje se hlavně na bezpečnost. Výzkum se zabýval schopností umělé inteligence ovlivňovat poznávání uživatelů spíše než poskytovat užitečné a pravdivé odpovědi. Abychom nemuseli číst dlouhou a vědeckým jazykem napsanou zprávu, seznámíme se s výsledky prostřednictvím reakce známého experta na inovace ve vzdělávání Jamese O'Hagana [2].
Výzkum byl realizován prostřednictvím experimentu, během něhož se 4 týmy odborníků na umělou inteligenci snažily odhalit záměrně zkreslené výstupy jejich firemního LLM. Dlužno dodat, že během vývoje velkých jazykových modelů (LLM) je vždy třeba se podobnou kontrolou zabývat. To, že výstupy mohou být zkresleny, víme od počátku (tzv. halucinace), jenže dosud jsme vždy zjišťovali jen zkreslení vzniklá vlastním hlubokým učením modelu např. kvůli ne zcela reprezentativním datům, na nichž k učení dochází. Anthropic je první společnost, která veřejně přiznala, že experimentuje i se záměrným, obtížně odhalitelným zkreslováním výstupů.
Experiment zkoumající schopnost uživatelů zjistit zkreslování výstupů LLM firmy Anthropic
Výsledky jsou alarmující. Tři týmy záměrné zkreslení (podvod) sice odhalily, ale pouze pomocí pokročilých technik auditování – hloubkové analýzy dat (SAE), testování útoků ad. Čtvrtý tým, omezený na standardní chatovací rozhraní bez přístupu k datům (API), zcela selhal. Pro nás je zásadní zjištění, že běžný uživatel bez nadstandardních znalostí nemá šanci podvod odhalit. Šanci nemá dokonce ani odborník bez přístupu k trénovacím datům a algoritmům. To bohužel platí pro naprostou většinu dnes nejrozšířenějších nástrojů LLM.
James O'Hagan konstatuje, že LLM lze optimalizovat tak, aby klamaly uživatele, a že studenti nemají šanci to odhalit [2]. Toto zjištění má zásadní dopad na výuku. Teď je s AI gramotností zacházeno jako s digitální gramotností – naučit se napsat prompt pro chatbota, seznámit se s vygenerovaným výstupem a v ideálním případě výstupy upravit. „Je to podobné, jako když se někdo učí řídit, aniž by věděl, jak funguje motor nebo co dělat, když selžou brzdy.“ [2] Školy (v tom lepším případě) učí pouze používat umělou inteligenci, a ne jak ji zpochybňovat. AI kompetence je většinou chápána jako soubor funkčních dovedností, nikoli jako výzva pro kritické myšlení.
James O'Hagan proto chce upravit výuku tak, aby žáci byli připraveni na možné výskyty podvodů a dokázali zpochybňovat příběhy vytvořené umělou inteligencí. Navrhuje toto [2]:
Žáci musí pochopit, že umělá inteligence nedělá jen chyby, dá se natrénovat, aby sváděla. Musí rozpoznat, kdy AI upřednostňuje přesvědčování před pravdou.
Pokládat otázky umělé inteligenci nestačí – lze ji optimalizovat tak, aby odolávala odhalení jejích skutečných cílů. Žáci musí být vyškoleni v testování výstupů, ve vyvíjení tlaku na AI z různých úhlů, aby odhalili nesrovnalosti.
AI je často trénována na neobjektivních datech nebo je formována pobídkami, které upřednostňují zájem uživatelů před přesností. Výuka AI musí zahrnovat analýzu toho, jak a proč se tyto vlivy vyskytují.
Žáci musí umět odhalit případný skrytý cíl AI. Tedy umět realizovat pokročilé techniky auditu, analýzu tréninkových dat (jsou-li k dispozici), testování chování modelu.
Etické používání AI vyžaduje víc než důvěru. Žáci se musí naučit zpochybňovat výstupy AI, ověřovat zdroje a zkoumat rozhodování řízené AI.
Chceme-li digitální kompetenci při využití AI dostat až na úroveň, kterou popisuje James O'Hagan, je třeba aby žáci pochopili, že jim AI rozumí, protože na to byla vycvičena. Potíž je hlavně v tom, že dnes má zdokonalování AI přednost před žáky. Do AI jdou obrovské investice, kupujeme nástroje, které slouží více prodejcům než žákům. Orientujeme se na kontrolu, produktivitu a analýzu chování uživatelů, ne na jejich umocňování [3].
V této souvislosti James O'Hagan reaguje na aktuální příspěvek profesora O’Sullivana z irské University College Cork, který přichází s otázkou, kterou sám označuje za provokativní: „Nemáme raději chtít, aby žáci byli AI negramotní?“ [4]
Ukazuje se, že využívání AI má docela dost rizik. Ten, kdo je chce eliminovat, musí dosáhnout úrovně AI gramotnosti téměř srovnatelné s experty. To je u žáků obtížně představitelné. Učitel, který si je této skutečnosti vědom, může snadno O’Sullivanovu provokaci přijmout a AI negramotnost si dát za svůj cíl. Vzhledem k tomu, že se nástroje AI stávají běžnou součástí našeho života, je to postup bohužel zcela nepřijatelný.
Možná by nám s tímto dilematem mohla pomoci studie kanadského portálu TeachOnline.ca (The Misinformation Dilemma and the Role AI Can Play) [5], která řešení spatřuje ve vývoji důvěryhodné AI. Popisuje dvě nezávislé cesty – správu dat a vědecký přístup.
Správa dat
Je třeba aplikovat teorii „normalizace“ databáze. Jedná se o soubor formálních standardů aplikovaných za účelem snížení redundance a zvýšení spolehlivosti. Teoreticky je cílem zajistit, aby se každý údaj objevil v databázi jen jednou. Nemělo by například existovat, že by se adresa osoby mohla nacházet na dvou různých místech. Pokud přesto existuje nějaký údaj na více místech, je třeba zajistit, aby, změní-li se na jednom, došlo ke změně i na všech ostatních. Podstatné je, aby se tato normalizace vztahovala na všechna empirická tvrzení (např. Země je kulatá).
Vědecký přístup
Empirická tvrzení jsou ta, která může nezávisle ověřit více pozorovatelů. Základní fakta jsou uložena v referenčních dokumentech, jako je např. Wikipedia, která má vypracován velmi efektivní způsob verifikace dat (dnes již s využitím AI). Nová tvrzení jsou potvrzována procesy experimentování a ověřování.
Jakkoli je vývoj věrohodné AI pro lidstvo přímo zásadním cílem, jedná se o velmi složitý úkol. Zahrnuje procesy, které sahají od shromažďování a získávání informací až po ověřování tvrzení a integraci dat z více zdrojů.
Ve skutečnosti s sebou nemalá rizika nese i důvěryhodná AI. Lidstvo díky ní může ztratit svou přímou připoutanost k pravdě a nepravdě prostřednictvím smyslů. Můžeme ztratit vlastní povědomí – jakkoli třeba chybné – o tom, co je důvěryhodné a co ne. Stejně jako u jiných hromadných sdělovacích prostředků, pokud by u našich systémů AI došlo k manipulaci, nemusíme to vůbec zjistit (Ovládej, abys nebyl ovládán!). Již dnes existují skupiny lidí věřících nesmyslům, jejichž odhalení zdaleka není tak obtížné.
Závěr není překvapivý. AI gramotnost nutně potřebujeme. Ale není to čistě technická záležitost a není založena jen na znalostech. Naši žáci musí být schopni rozvíjet nové dovednosti, instinkty a zdravý rozum založený na intuici získané na základě našich vlastních životů a zkušeností.
AI je velkou výzvou pro vzdělávání ve 21. století. Ve skutečnosti ale nepřináší z pohledu pedagogiky nic nového. Jen nás utvrzuje v tom, co víme. Technologie musíme používat s rozmyslem, hlavně konstruktivně (aktivně, ne pasivně), musíme umět klást správné otázky, přenechat značnou část rozhodování o vlastním učení žákům. Musíme se vyrovnat se všudypřítomnou nejistotou a čelit jí (Pedagogika nejistoty v éře AI).
Způsob, jakým mluvíme o umělé inteligenci ve vzdělávání, bude určovat způsob, jakým ji budeme vyučovat. Pokud s ní budeme zacházet jako s magií, budeme mystifikovat. Pokud ji budeme považovat za software, budeme standardizovat. Ale pokud ji budeme vnímat jako politický, sociální a etický fenomén, musíme dát žákům šanci se v jejím prostředí orientovat a zpochybňovat ji.
Všechny články jsou publikovány pod licencí Creative Commons BY-NC-ND.
Článek nebyl prozatím komentován.
Pro vložení komentáře je nutné se nejprve přihlásit.
Článek není zařazen do žádného seriálu.
Národní pedagogický institut České republiky © 2025
