Rozbor 2 sigma problému podle Paula Hippela

Anotace

Von Hippelové jsou rozvětveným rodem pocházejícím z Německa. Skoro všichni jeho členové jsou významní vědci. Arthur Robert von Hippel byl fyzikem, který utekl v roce 1936 před nacisty do USA a uchytil se na MITu. Měl dva syny, Franka, který působí v Princetonu, a Erica, který je na MITu. Toho my již známe, protože jsme adoptovali jeho zjištění týkající se čelných uživatelů nějaké inovace (inovátorů) a zavedli ve školství pojem čelný učitel. To je ten, který zavádí dosud nevyzkoušené metody a ověřuje jejich účinnost (Hippelova technologická inovace ve školství). Syn Franka Paul von Hippel se uchytil na University of Texas v Austinu a věnuje se teoreticky vzdělávání se zaměřením na daty řízené školství. Zaujal mě jeho výklad nám již známého Bloomova 2 sigma problému [1]. Podívejme se, jak ho v souvislosti s aktuální snahou o personalizaci výuky prostřednictvím AI vidí on.

Nejprve připomeňme, že Bloom v roce 1984 přišel s tvrzením, že individuální výuka s kvalitním osobním tutorem (1 : 1) ve srovnání s tradiční frontální výukou ve třídě (1 : 30) zlepšuje skoro neuvěřitelně výsledky. Experiment, který provedli jeho doktorandi na University of Chicago vykázal směrodatnou odchylku σ = 2. Laik si souvislosti těžko představí, ale pro názornost – 0 odpovídá stavu beze změny, kvalitní výuka se pohybuje nanejvýš do σ = 0,5, ty nejlepší metody dosahují kolem σ = 1 (srovnejte s výsledky profesora Hattieho). Paul se pokouší Bloomova zjištění porovnat s tehdy zveřejněnými daty profesora Wahlberga (kompatibilními s Hattiem), na něž se Bloom odvolává. A naráží na těžko vysvětlitelné nesrovnalosti, protože u Wahlberga je tutoring na 0,40 [1].

Bloomovo původní znázornění výsledků různých výukových metod z roku 1984 [1]

Skutečnost je taková, že zatím žádný experiment s tutoringem nedokázal zopakovat podobný výsledek, jakého dosáhli Bloomovi doktorandi v Chicagu. Paul se pokouší odhalit příčiny a zjistil dva hlavní důvody.

1. Chicagský experiment obsahoval výuku jen jednoho tématu, o němž žáci na počátku nic nevěděli. Růst z nuly je vždy snazší a rychlejší.

2. Experimentální skupina se učila déle a měla, na rozdíl od skupiny kontrolní, k dispozici průběžnou zpětnou vazbu v podobě testů s podporou kvalifikovaného, předem pečlivě připraveného tutora. (Pozor, Bloom zmiňuje ještě skupinu s „mastery learningem“, která neměla individuálního tutora, ale měla průběžné zpětnovazební testy).

V naprosté většině případů se výzkumy zabývají výsledky tutoringu, které zahrnují nějaké delší období, třeba celý ročník. Nelze je pak porovnávat s výukou jednoho tématu. Paul ukazuje příklad skvělého tutoringu na svém otci (Frank von Hippel), kterého nechtěl učitel pustit do 2. třídy s tím, že není připraven. Babička mu sehnala učitelku a dala jí za úkol ho během 7 týdnů připravit tak, aby zvládl nejen učivo 2. třídy, ale rovnou i třídy 3. Do té posléze také nastoupil. A na cestě za poznáním pak vytrval a stal se po studiu na MIT držitelem stipendia pro doktorandy na Oxfordu (Rhodes Scholarship), které získá každoročně cca 1 % uchazečů.

Představa, že tutoring 1 : 1 běžně zvyšuje výukové výsledky o dvě směrodatné odchylky, je naprosto nereálná. Přínos závisí na tom, do jaké míry se žákům dostane individuální podpory a zpětné vazby, jak kvalitní je tutor, jak moc se procvičí cílové dovednosti, a na kvalitě testu použitého k měření výsledků. Typický účinek intenzivního, dobře navrženého programu hodnoceného pomocí široce zaměřených testů se pohybuje kolem σ = 0,3.

Bloomovo tvrzení však skoro jako sci-fi inspiruje některé vývojáře vzdělávacích technologii při návrhu softwaru pro kognitivní výuku. Odvolává se na něj např. ASSISTments nebo MATHia. Většina těmto podobných aplikací se aktuálně snaží vyvinout tutoru podobného, umělou inteligencí disponujícího digitálního asistenta, který žáka při učení doprovází a navádí ho na správnou cestu.

MATHia + MATHstream Overview Video | Carnegie Learning

Dá se očekávat, že někteří vývojáři budou s odvoláním na Blooma tvrdit, že jejich aplikace má schopnost řešit Bloomův 2 σ problém (jako např. Khan v případě Khanmigo). Je pravdou, že zapojení velkých jazykových modelů představuje velký příslib do budoucnosti. Podle Paula se však zatím hodí spíše na podporu získávání faktických znalostí. Při vysvětlování takových matematických konceptů, jako je třeba Pythagorova věta, rychle ztrácí dech. Přesto kombinace schopností přirozeného jazyka chatbotů se spolehlivou formální znalostní základnou – jako je kognitivní lektor, matematický engine nebo volně dostupná učebnice – nabízí do budoucna značný příslib. [1]

Vynořuje se také otázka, jak dobře budou žáci pracovat s chatboty. Vzhledem k tomu, že to nejsou lidé, je snadné si představit, že je žáci nebudou brát příliš vážně – že k nim nebudou cítit takovou odpovědnost. Zatím to ale vypadá, že se žáci práci s AI nebrání, možná proto, že jsou přesvědčeni, že nebudou hodnoceni. Noví výukoví chatboti mají potenciál stát se téměř stejně osobními, poutavými a citlivými jako lidský tutor. Přitom jsou mnohem dostupnější a levnější.

Dosud žádné důkazy o účincích tutoringu chatbotů nebyly zveřejněny. Bylo by přinejmenším unáhlené očekávat 2 σ efekt. Přílišné sliby mohou vést ke zklamání a snaha o dosažení nemožných cílů může plodit pochybné výukové praktiky. Již nyní existují služby, které dělají za žáky domácí úkoly, i takové, které nabízejí vypracování celých seminárních prací, apod. Takoví „pomocníci“ mohou krátkodobě zlepšit hodnocení, ale z dlouhodobého hlediska žáka připraví o poznatky, které učení přináší a bez nichž se v životě neobejde.

Zpočátku by bylo rozumné se jednoduše zaměřit na efekty, které se blíží výhodám dobře navrženého lidského tutoringu. Dospět s nízkými náklady, bez potřeby armády lidských učitelů k plošnému zlepšení výukových výsledků na úrovni σ = 0,3 by bylo obrovským triumfem. Takového účinku pravděpodobně nemůže být dosaženo pouhým nasazením chatbotů ve škole. Je třeba je obratně integrovat do osobního vzdělávacího prostředí žáků. A je třeba na ně aplikovat strategie vědy o učení. Jakmile budou vytvořeny a ověřeny účinky prvních prototypů, měli bychom být schopni je nepřetržitým přírůstkovým A/B testováním vylepšovat.

Možná bychom tak mohli pomalu přeměňovat sci-fi na vědeckou skutečnost.