Jak na explicitní obsah žáků vytvořený generativní AI

Anotace

„Nevím, kolikrát vám to mám říkat, že na těch fotkách nejsem já,“ hájila se před spolužáky Alice. „Chápu, že se tomu dá asi jen těžko uvěřit, ale je to opravdu tak,“ pokračovala dál s neochvějnou přesvědčivostí, ale ve třídě to nevypadalo, že by jí někdo věřil. Vlastně to všem přítomným takto docela vyhovovalo. Šlo o novou senzaci a záhadu. A netýkala se nikoho z nich. Alespoň prozatím.

Když ji předchozí večer v uzavřené skupině několik kamarádů vyzvalo, aby zkusila pomocí generativní umělé inteligence vytvořit fotky, na kterých bude svlečená, zdálo se, že o nic moc zase tak nejde. Všichni se výsledku zasmáli a tím to skončilo. Co se však zpočátku jevilo jako nevinná zábava, se po pár hodinách změnilo doslova v peklo.

Alici ráno zaplavily desítky zpráv od spolužáků mimo původní skupinu, ve kterých stálo: „Vypadáš sexy“, „Netušil jsem, že jsi taková“, „Pošli mi další“. Hned jí bylo jasné, že všechny ty vygenerované fotky už kolují všude po sítích.

AI explicitní obsah a narůstající hrozby

Ke zveřejnění se nikdo nepřiznal. A přestože se nakonec přišlo na to, kdo fotky publikoval, setkala se Alice s názory, které toto, zcela zjevně protiprávní jednání včetně generativní tvorby bagatelizovaly: „Přece ty fotky nejsou skutečné, ale generované. Tak o co jde?“

A nešlo o postoj ojedinělý. Jedním z častých omylů lidí je přesvědčení, že explicitní obsah vytvořený generativní umělou inteligencí je méně škodlivý než ten skutečný. Podle Americké pediatrické akademie je skutečnost taková, že „pokud se dítě stane obětí sexuálního zneužití založeného na obraze vytvořeném AI, může zažívat ponížení, stud, vztek, pocit narušení a sebezavinění. Pokud se pak deepfake šíří mezi školní komunitou nebo vrstevníky, může být oběť šikanována, zesměšňována a obtěžována a trauma se zesiluje pokaždé, když je tento obsah dále sdílen“.

Přestože dosavadní studie uvádí, že 88 % explicitních fotografií nezletilých, které jsou sdíleny a zneužívány online, vytváří přímo mladí lidé, není zcela jasné, kolik z nich je skutečných a kolik generovaných. Předpokládá se, že s masivním rozmachem generativní AI a jejím zdokonalováním bude těch generovaných většina a budou i nadále převažovat.

[1]

Řešení i pro generativní AI

Je proto nejvyšší čas, aby školy prostřednictvím svého vedení a za pomoci školních AI týmů svá stávající pravidla ohledně problematiky sextingu a sextortionu rozšířily i na oblast generativní AI.

Jde zejména o zavádění jasných pravidel pro případy potenciálního zneužití AI technologií při vytváření explicitních materiálů s cílem ochránit žáky a současně jim nabídnout podporu v případě, že se stanou oběťmi. A to se týká i případů, kdy je takovýto obsah vytvořen mimo vyučování a budovu školy. Hlavní otázkou zůstává, jak to udělat nejlépe.

[1]

Preventivní programy

Je zřejmé, že omezovat či zakazovat používání generativní umělé inteligence mezi vhodná řešení nepatří. Naopak, ta vedou k tomu, že oběti sdílení AI explicitních materiálů nemají odvahu situaci nahlásit a vyhledat pomoc.

Ani tradiční formy řešení ve formě besed, na kterých jsou děti varovány před zakládáním účtů na sociálních sítích, případně nabádány, aby své účty ponechaly soukromé, nebývají tak efektivní.

Dle výzkumů se proaktivní přístupy zaměřené na podporu obětí zdají výrazně účinnější. Cílem prevence je umožnit žákům, aby vyjádřili své názory, aktivně se zapojili do programu a věděli, jak a kde hledat podporu, pokud se setkají s něčím škodlivým nebo znepokojujícím.

Iniciativa pro prevenci online zneužívání dětí (Online Child Exploitation Prevention Initiative – OCEPI) nedávno publikovala výzkumem podloženého průvodce určeného pro využití v rámci preventivních programů, který se například zaměřuje na konkrétní využívání sociálních sítích pro pozitivní účely a učí žáky, jak reagovat a kam se obrátit, pokud se setkají s nevhodným či nebezpečným online obsahem.

Dle této příručky mohou školy využít 10 osvědčených postupů při spolupráci s rodiči, školními preventisty a dalšími komunitními organizacemi, aby společně vytvořily vhodné preventivní programy pro děti a dospívající.

Navzdory tomu, že prevence může výrazně přispět ke snížení budoucího výskytu explicitních materiálů vytvořených generativní AI, měly by být školy taktéž připraveny na to, jak postupovat, pokud k podobným incidentům skutečně dojde, tj. mít vypracované krizové scénáře.

[1]

Postupy pro pomoc s řešením

Pro řešení problematiky týkající se explicitního obsahu vytvořeného GenAI existují konkrétní, jednoduché a realizovatelné kroky, které mohou školy podniknout.

Právě zmíněná organizace OCEPI publikovala v červnu 2025 dokument s názvem Pokyny pro pedagogické pracovníky a vedení škol. Jeden z prakticky ověřených přístupů z tohoto materiálu spočívá v tom, že ředitel školy či vedoucí pracovník zašle tento dokument právnímu poradci školního obvodu spolu s aktuální verzí školního řádu a požádá jej o úpravu formulací a doplnění jazykových pasáží, které mohou sloužit k informování celé školní komunity a k formování jasných školních pravidel.

Na uvedený krok by poté mělo navazovat sdílení aktualizovaných informací a postupů s ostatními lidmi ve škole – administrátory, školním psychologem a dalšími odborníky, a v neposlední řadě také s učiteli a rodiči. Všichni dospělí, kteří se o žáky starají, by tak měli mít přístup ke stejným informacím a být připraveni podpořit celkové úsilí školy v tomto směru.

Důležitou součástí řešení je motivace učitelského sboru i širší školní komunitu k tomu, aby si všichni zmíněného průvodce přečetli, porozuměli dané problematice a také znali organizace, na které je možné se v případě potřeby obrátit.

Naším společným cílem musí být vytvoření funkčního systému, který ochrání žáky a bude rizikům digitálního světa předcházet. Čím dříve dokážeme proaktivní přístupy zavést, tím lépe minimalizujeme rizika, kterým budeme my a naši žáci ve spojení s generativní AI v budoucnu čelit.

[1]

Školním řádem to nekončí

Výše uvedená problematika explicitního obsahu je exemplárním příkladem toho, že nastavování pravidel pro používání generativní AI musí jít mnohem dál. Že doplněním školního řádu o pravidla využívání GenAI v rámci vzdělávání a školy to zdaleka nekončí.

Nejen pro žáky, ale i pro učitele a ostatní zaměstnance školy musíme definovat jasná pravidla používání generativní AI, která pro ně budou platit kdekoliv a kdykoliv. A tato GenAI netiketa by měla být přenositelná i do dalších úrovní vzdělávání a vzdělávacích institucí.

O rok později (epilog)

Byl to právě na den rok, kdy vygenerovala explicitní fotky pomocí generativní AI. Alice vzpomínala, co poté následovalo a jak těžkým obdobím si musela projít. Kdyby se to stalo dnes, pomyslela si, nic z toho, čemu musela před rokem čelit, by se pravděpodobně nestalo. Nebo minimálně z větší části ne. Doba se změnila. Dnes téměř nikdo z její generace nevěří ničemu, co je publikováno na sociálních sítích, protože nikdo už nedokáže stoprocentně rozeznat, co je reálné a co generované. I ostatní generace postupně změnily způsob uvažování a začaly mnohem víc používat intuici a nabyté zkušenosti s generativní AI. Možná jim k tomu dopomohly podobné incidenty, jako byl ten její. Jen osobní zkušenosti ale určitě nestačily. Bylo potřeba zapojit systémové řešení, které iniciovala a následně zavedla její škola a všechny ostatní.