Bloomův 2 sigma problém v éře AI

Anotace

Statistika je věda, která je asi většině učitelů (kromě matikářů) dost cizí. Občas ale narazíme na problém, který s ní souvisí, a nezbude nám nic jiného, než se trochu do jejích hlubin ponořit. Amerického kognitivního psychologa Benjamina Blooma asi všichni známe hlavně jako tvůrce známé taxonomie kognitivních vzdělávacích cílů. Od svého vzniku v 50. letech minulého století byla opakovaně revidována. Již před 15 lety jsme se ji pokoušeli přenést do digitálního prostředí (Bloomova taxonomie v digitálním světě). Kromě taxonomie je Bloom znám též formulací tzv. 2 sigma problému.

Bloom ve svém výzkumu [1] realizoval větší množství experimentů, v nichž měřil dopad 3 různých výukových postupů – konvenční výuky v rámci třídy se 30 žáky (učitel vykládá a žáci se učí), mastery learningu (řízená znalostně orientovaná výuka s individuální kontrolou typicky pomocí testů) a osobního tutoringu, v němž má každý žák svého vlastního (kvalitního) učitele. Statisticky zpracované celkové výsledky jsou na následujícím grafu.

Bloomovo původní znázornění výsledků různých výukových metod z roku 1984 [1]

Podívejme se na ně pohledem laického statistika. Sigma (σ) je veličina, kterou tato věda nazývá směrodatnou odchylkou. V zásadě jde o to, jak moc rozdílné jsou výsledky nějakého měření nebo obecně dat. Jinou související veličinou je velikost účinku (d). Setkali jsme se s ní u Hattieho (Zjevné učení podle profesora Hattieho). Říká, jak moc nějaké opatření ovlivní výsledek měření.

Průběhy na obrázku jasně ukazují, že výuka 1:1 proti konvenční je nejen přibližně 2x úspěšnější, ale navíc se přibližně 2x snižují rozdíly mezi žáky. Dá se tedy říci, že d i σ je 2x vyšší. Každý si však hned jistě uvědomí, že výuka 1:1 s osobním tutorem pro každého žáka je ve skutečnosti nedosažitelným ideálem. Proto 2 sigma problém.

Vývojáři výukových technologií se desítky let pokoušejí nahradit osobního tutora počítačem. V 80. letech, kdy byl 2 sigma problém Bloomem formulován, byly vyvíjeny tzv. inteligentní výukové systémy, které se snažily výuku po vzoru behaviorismu naprogramovat a řídit. Jejich inteligence spočívala v tom, že žák byl veden učebním materiálem podle toho, jak úspěšně byl schopen odpovídat na typicky výběrové otázky. Jak moc úspěšné tyto metody jsou, asi všichni víme. Hodí se jen ve specifických případech pro paměťově orientované učení. Nic proti němu, ale je to pořád jen malá část potřebných výukových cílů.

Existují fundované kritiky samotného Bloomova zjištění. Třeba José Luis Ricón odhaduje skutečný efekt osobního tutoringu nanejvýš na d = 1 [2]. Pozor ale, i to je ve skutečnosti hodně (žádný efekt by byl d = 0). Vyslovuje hypotézu, že výsledek je hodně závislý na kvalitě tutora a že Bloom měl pravděpodobně k dispozici jen ty nejlepší.

Již nejméně 20 let se školy pokoušejí realizovat individualizaci výuky tak, aby každý žák mohl jít svou vlastní cestou. Ve světě vzdělávacích technologií většinou mluvíme o tzv. personalizaci. Vlastně se pořád jedná jen o zdokonalování řízení žáka s pomocí dat, která o jeho stávajících schopnostech existují. Jestliže na počátku bylo adaptivní testování, které upravovalo otázky na základě předchozích odpovědí téhož testu (Nový pohled na schopnost technologií ověřovat výukové výsledky), postupně se toto řízení stále více zdokonalovalo na základě dlouhodobě ukládaných dat mapujících postup žáka (viz např. Khanova škola). Pořád to však znamenalo veškerou funkci takových systémů naprogramovat, a jejich chování tudíž bylo předvídatelné, a v mnoha případech pro žáka obtížně akceptovatelné.

Díky revoluci v oblasti generativní umělé inteligence (AI) se teď zásadně mění situace. Ukázat si to můžeme např. na asistentovi Khanmigo, kterého již testuje Khanova škola:

How AI could save (not destroy) education

Jedná se o aplikaci nejnovější verze ChatGPT 4. generace, která je uzpůsobena účelu, jenž má plnit. Žákům nenabízí hotová řešení úkolů, které mají řešit. Prostřednictvím okamžité zpětné vazby je navádí k pochopení postupu řešení a nabízí odpovědi na otázky, které si v souvislosti se svým učením mohou pokládat. Vzhledem k tomu, že Khanmigo má k dispozici data o všem, co ten který žák v prostředí Khanovy školy dělá, může reagovat se „znalostí“ aktuálního stavu jeho poznání. Aplikace strojového učení znamená, že každým dalším využitím implementované umělé inteligence se systém sám zdokonaluje.

Podobný AI asistent se dokáže přizpůsobit tempu, úrovni dovedností a oblastem zájmu každého žáka. Je schopen poskytnout správnou lekci ve správný čas. Je-li dobře nastaven, nemá žádné vlastní preference a nikomu nenadržuje. Znamená to, že se s jeho pomocí dá dospět až ke značně vyspělé individualizaci výukového procesu. Tedy samozřejmě jen v mezích toho, co AI asistent dokáže. Vzhledem k tomu, že má k dispozici téměř všechny poznatky, které kdy byly na internetu publikovány (GPT), a navíc je vycvičen k plnění specifických vzdělávacích požadavků, jsou jeho možnosti pro nás zatím až nepochopitelně obrovské. Přesto Khanmigo stále počítá se zapojením učitelů. Umožňuje jim vidět konverzaci, kterou s ním žáci vedli a dává jim tak možnost lépe porozumět, jak na tom jsou.

Nacházíme se na samém počátku aplikace generativních AI systémů ve vzdělávání. Khanmigo je jen první vlaštovkou. Doug Belshaw zmiňuje [3] též např. aplikaci generující vhodné úryvky textu při výuce čtení v MS Teams (Passage generation of Reading Progress assignments) nebo nejnovější verzi Duolingo Max. A rychle budou přibývat další.

Zkušenému lidskému individuálnímu tutoru schopnému skutečného vcítění a znalému vlastností žáka se AI zatím nevyrovná. Je však evidentní, že jsme se zase o krok přiblížili ke stavu, v němž budeme moci každému žákovi zajistit větší individuální podporu alespoň částečně se přibližující k ideálnímu stavu 1:1. Díky tomu budou mít učitelé mnohem větší prostor pro rozvoj nekognitivních složek poznání (kompetencí). Zatím je příliš brzy, ale bude hodně zajímavé sledovat, k jakým výsledkům dospěje skutečné vědecké ověřování nasazení těchto nových nástrojů, jak moc se přiblížíme k d (či σ) = 2.

Každý významný nový objev lze využít ku prospěchu lidstva i naopak. Zastavit vývoj nelze, jeho usměrnění však v naší moci je. Jako závěr si dovolím citovat Douga Belshawa: „Velmi doufám, že nás umělá inteligence nezavede do sci-fi dystopie, ale spíše pomůže dospět k rovnováze mezi vývojem technologií a lidským učením.“ [3]