Umělá či lidská zpětná vazba?

Anotace

MIT Media Lab publikovala docela zajímavou, i když ne příliš překvapivou zprávu o tom, jak studenti vnímají různé druhy zpětné vazby, kterou při učení dostávají [1]. Primárně se jednalo o to, jak na ně působí zpětná vazba generovaná AI. Philippa Hardman ve své zprávě o tomto experimentu již naznačuje podstatu – Skrytá cena generované zpětné vazby [2]. Podívejme se, o co jde.

Často nás zajímá hlavně to, zda AI dokáže generovat zpětnou vazbu stejně dobře jako lidský pedagog. Odpověď dnes již zní většinou, že ano. Ukazuje se však, že bychom se měli ptát jinak. Dokáže AI studentům pomoci cítit se vnímáni jako osobnosti a dát jim pocit sounáležitosti, který je tak zásadní pro jejich zapojení, motivaci a úspěch?

Philippa nejprve shrnuje to, co výzkumy kombinovaných forem vzdělávání (blended learning) říkaly již před nástupem AI:

1. Studenti potřebují cítit, že učitel je skutečně přítomen.

2. Studenti potřebují sociální spojení, nejen přístup k výuce (online).

3. Studentům nestačí individualizovaný obsah, potřebují individualizovanou pozornost.

4. Studenti potřebují mít pocit sounáležitosti (být přijímáni a oceňováni ostatními).

5. Studenti potřebují lidskou interakci k seberegulaci (nastavování vlastních cílů, sledování vlastního postupu).

Experiment MIT byl realizován v kurzu kreativního kódování (programování), který měl tři moduly (Tvary, Barvy, Interakce). Studenti dostávali individuální, strukturovanou a vysoce kvalitní zpětnou vazbu generovanou jazykovým modelem Claude. Byla od reakcí skutečného učitele k nerozeznání. Polovina studentů byla informována, že zpětná vazba pochází ze systému AI. Druhé polovině bylo řečeno, že pochází od jejich lidského asistenta (TA).

Experiment MIT porovnávající výsledky výuky u studentů pracujících se zp. vazbou generovanou AI (AI – o AI věděli, TA – věřili, že pochází od učitele)

Výsledek znázorněný na těchto grafech je jednoznačný. Studenti, kteří věřili, že na jejich práci reaguje skutečný člověk, strávili v modulech výrazně více času, psali více kódu a častěji ho spouštěli. Nejednalo se o nenápadné změny zjišťované tradičním dotazníkovým šetřením – jednalo se o velké, skutečnými daty měřitelné rozdíly v chování v rámci (i když poměrně krátkého) kurzu.

Výzkumnice MIT své výsledky porovnaly s osmi jinými studiemi zabývajícími se zpětnou vazbou od AI. Všechny potvrzují, že navzdory skutečnosti, že zpětná vazba od AI je podrobnější a bezprostřednější, studenti dávají přednost lidské zpětné vazbě, která obsahuje emocionální nuance a kontextově specifické vedení.

Ukazuje se, že vliv zpětné vazby na učení je ovlivňován tím, jak je zpracována, nikoli pouze tím, jak je poskytována – a že od určitého bodu může podrobnější zpětná vazba snížit její dopad, pokud si ji studenti nedovedou zařadit podle priorit. Nástroje umělé inteligence jsou schopny tento problém s přetížením snadno vyvolat.

Pozor ale, existují také výzkumy, které zjistily významné pozitivní účinky AI zpětné vazby na procesy učení, třeba když je do prezenční výuky jen jako doplněk přidána automatizovaná zpětná vazba. Může být efektivní zejména u strukturovaných úkolů, jako je např. kontrola pravopisu, syntaxe kódování, procvičování s výběrem odpovědí apod. [3].

To znamená, že musíme zkoumat, za jakých podmínek AI zpětná vazba funguje. Ve většině případů je její pozitivní vliv zaznamenán, je-li použita jako okamžitá reakce při hodnocení spokojenosti účastníků nějakého kurzu. Typicky se jedná o účinek krátkodobý. Mnohem méně studií se (na rozdíl od výzkumu MIT) zabývá tím, co studenti dělají se zpětnou vazbou v průběhu času – jak moc se snaží, jak moc vytrvají, a jak se toto chování může vztahovat k dosaženým výsledkům v pozdějších fázích kurzu. Právě v této oblasti je zapotřebí dalšího výzkumu, abychom lépe pochopili dopad umělé inteligence na lidské učení.

Philippa v roli expertky na tvorbu kurzů na závěr shrnuje šest doporučení, které mají designéři hybridních výukových aktivit dodržovat:

1. Využívejte AI ke zvýšení dopadu zpětné vazby, ne k usnadnění své práce.

2. Zviditelněte svou lidskou přítomnost.

3. Využijte AI ke zkvalitnění své lidské zpětné vazby.

4. Rozlišujte, kdy je vhodné použít zpětnou vazbu AI a kdy lidskou.

5. Snažte se, aby zpětná vazba vedla studenty k aktivnímu zapojení, nikoli jen k přijímání závěrů.

6. Omezte počet bodů AI zpětné vazby. Používejte ji hlavně ke strukturaci úkolu a stanovení priorit.

Poznámka: O podobném experimentu profesora Goela z Georgia Tech, který patřil k prvním svého druhu, jsme informovali již v roce 2018, viz Boti v roli výukových asistentů.