Úvodní stránka
Přehled článků
Odkazník
Metodická pomoc
O Spomocníkovi
RSS RSS
Titulka RVP > Úvodní stránka Spomocníka > Nový pohled na schopnost technologií ověřovat...

Ikona teoreticky

Nový pohled na schopnost technologií ověřovat výukové výsledky

Ikona odbornost
Autor: Bořivoj Brdička
Článek je součástí Učitelského spomocníka na adrese http://spomocnik.rvp.cz.
Anotace: Článek se zabývá aktuálními výstupy bádání evropských vědců na poli vzdělávacích technologií zvláště v oblasti počítačového hodnocení výukových výsledků. Popisuje paradigmatickou změnu směrem k analýze velkých dat a aplikaci umělé inteligence.
Téma příspěvku:Informační a komunikační technologie
Klíčová slova: CBA, e-Assessment, European Journal of Education, test, hodnocení, ověřování, analýza výukových výsledků, umělá inteligence

Text článku:

Zabývali jsme se poslední dobou docela dost tím, jaký vliv na vývoj vzdělávacích technologií má výzkum problematiky využití velkých dat realizovaný hlavně v zámoří (Strategie rozvoje školství v USA pod taktovkou Ed.gov). I když to na první pohled vypadá, že Evropa je v této oblasti poněkud pozadu, existují výjimky. Poměrně dost na špici se drží vědci v Británii (např. Jste rezident nebo návštěvník?, Digitální gramotnost podle Wheelera nebo Husité vědy). Jiným velmi kvalitním zdrojem pokrokových vědeckých informací je například online časopis European Journal of Education, který je mi o to sympatičtější, že vychází pod licencí CC. Zrovna poslední vydání z března 2013 bylo tematicky zaměřeno na ICT and Education: taking stock of progress and looking at the future.

Je v něm hned několik mimořádně zajímavých článků, jejichž úroveň lze považovat za světovou. Třeba hned ten první (The Use of ICT in Education: a survey of schools in Europe) tradičním způsobem zpracovává dotazníkové šetření u stovek tisíc žáků, učitelů a ředitelů z 27 evropských zemí. Zpráva o výsledcích zavádí pojem „digitálně vstřícná škola“ (digitally supportive school) a „digitálně sebejistý učitel“ (digitally confident teacher). Myslím, že by stálo za to si je osvojit. Podle hlavního závěru je nezbytné zavádět ICT plošně do výuky proto, abychom zvyšovali schopnost žáků používat technologie k učení. Nesmíme očekávat, že se díky jejich mimoškolní všudypřítomnosti dopracují k této dovednosti samovolně. Určitě se k tomuto tématu ještě brzy vrátíme.

Teď se ale podíváme na další příspěvek, jenž fundovaně popisuje vývoj v oblasti počítačového hodnocení výukových výsledků. Nese název Changing Assessment — Towards a New Assessment Paradigm Using ICT [1] a jeho autory jsou dva badatelé - Christine Redecker a Øystein Johannessen. Christine Redecker je vědeckou pracovnicí Institute for Prospective Technological Studies se sídlem ve španělské Seville. Zabývá se inovačním potenciálem ICT ve vzdělávání. Dovolím si připomenout, že se jeden její příspěvek v roce 2010 objevil i v české verzi příručky eTwinningu - Proč by učitelé měli začít využívat nástroje Webu 2.0 pro vytváření sociálních sítí? Øystein Johannessen je norský VŠ učitel a odborník na vzdělávací technologie, který působil v mnoha manažerských funkcích na ministerstvu školství a v European Schoolnet. Řídil výzkum v OECD CERI a je členem expertního panelu Horizon Report.

Vývoj počítačového hodnocení výukových výsledků

Pro popis vývoje počítačového hodnocení výukových výsledků (e-Assessment) autoři používají 4 generační členění definované již v práci Bundersona, Inouye a Olsena z roku 1980 [2]:

Generace 1: Počítačové testování (tradiční testy dělané na počítači);

Generace 2: Adaptivní počítačové testování (obtížnost je nastavována během testu na základě předchozích výsledků zkoušeného);

Generace 3: Průběžné hodnocení (kalibrované metody soustavně odhalují vývoj žákova poznání);

Generace 4: Inteligentní hodnocení (interpretace uložených individuálních výsledků generující doporučení studujícímu i učitelům, jak dál postupovat).

Je skoro neuvěřitelné, že je tato 33 let stará představa stále použitelná. Schematické znázornění propojené se současným stavem poznání je na následujícím obrázku.

Vývoj počítačového hodnocení výukových výsledků [1]

 

Tradiční testové paradigma

V roce 1980 se nám o možnostech využití velkých dat generovaných uživateli všudypřítomných technologií ještě ani nezdálo. Počítačové testování (Computer Based Assessment) generace 1 se zabývalo zkoumáním faktických znalostí a používalo hlavně otázky s výběrovou odpovědí (Multiple Choice), nanejvýš krátkou (jednoznačnou) tvořenou odpovědí (Short Answer). Již první na testování orientované systémy uměly nastavovat jinou reakci pro každou očekávanou odpověď uživatele. Odtud byl jen krok k dnes běžným adaptivním systémům, které průchod testem modifikují podle předchozích výsledků (generace 2). Schopnější žák se nemusí zdržovat a dostává těžší otázky. Ty jsou lépe hodnoceny a celkové skóre je pak samozřejmě vyšší.

Důležitou vlastností tradičních systémů hodnocení je velikost databanky, z níž jsou otázky vybírány. Čím více jich je, tím méně je pravděpodobné, že při náhodném výběru dostanou žáci při opakování testu stejné otázky. Zároveň klesá možnost naučit se nazpaměť pouze správné odpovědi. Na druhou stranu je velmi obtížné a drahé připravit větší množství otázek se stejnou obtížností, což je samozřejmě nutnou podmínkou porovnatelnosti výsledků a celkové reliability testu.

Vývoj tradičního e-Assessmentu směřuje ke zvyšování validity hodnocení zdokonalováním algoritmu výběru vhodných položek zadání z databanky podle předchozích výsledků uživatele, zlepšováním schopností systému správně hodnotit na základě většího množství různých informací o uživateli a vývojem aplikací schopných provádět inteligentní analýzu a hodnocení otevřených textových odpovědí (viz Je současná umělá inteligence schopna hodnotit tvořený text?).

Transformace ověřování výukových výsledků (Generation Re-invention)

Vývoj počítačového testování je doprovázen změnou v chápání výukových cílů. Současné didaktické koncepty pod vlivem měnících se podmínek života v 21. století akcentují mnohem více kompetence než tradiční znalosti. To má samozřejmě na ověřování výukových výsledků značný vliv. I tradiční formy testování se snaží tomuto trendu vyjít vstříc a pokoušejí se testové úlohy příslušným způsobem modifikovat. To je do určité míry možné (Efficient testing). Budoucí vývoj je však ovlivňován i dalšími faktory. Tím nejdůležitějším je pravděpodobně blížící se všudypřítomnost technologií. V ne příliš vzdálené budoucnosti můžeme počítat s tím, že nějakým počítačovým zařízením bude vybaven každý žák a bude ho používat k výukovým účelům (Learning 2.0).

Právě tato skutečnost je jednou z příčin očekávané paradigmatické změny e-Assessmentu. Již brzy budeme žáky průběžně hodnotit na základě zkoumání jejich soustavné činnosti (pomocí velkých dat). Jednorázové certifikační počítačové testy budou sice existovat nadále, ale zcela jistě nebudou nasazovány plošně. Hodnocení výukových výsledků bude zabudováno přímo do výukových aktivit (Embedded Assessment), jež budou přizpůsobené potřebám každého žáka (Personalised Learning). Nacházíme se v období přechodu od prvních dvou generací e-Assessmentu ke generaci 3 a 4.

Nové paradigma ověřování výukových výsledků

Poslední 3 roky patří ve zprávě Horizon Report analýza výukových výsledků k nejdůležitějším novým technologickým postupům ovlivňujícím budoucnost školství (Vize daty řízeného školství). Je skoro jisté, že aplikace schopné hodnotit na základě toho, co uživatel na svém digitálním zařízení dělá, se nejpozději do 5 let stanou běžným standardem. Již dnes existují příklady, na nichž lze vlastnosti takových systémů demonstrovat. Je to např. známá Khan Academy nebo v oblasti VŠ systém Signals Purdue University.

Hodnocení bude skutečně komplexní (holistický přístup). Bude odrážet vše, co uživatel na svém přístroji dělá. Zatím není zcela jasné, zda se analýza bude zabývat pouze tím, co žák dělá v rámci výukového systému, do něhož se musí přihlásit, nebo zda bude brát v úvahu veškerou činnost na přístroji realizovanou. Získat potřebná data bude jistě možné, problémy se vynořují v oblasti ochrany osobních údajů. Třeba dospějeme až tak daleko, že si budeme pořizovat více přístrojů, každý pracující v jiném systému. Žádný ale nebude vůči potenciálnímu zneužití osobních dat zcela imunní (Komu patří velká data ve školství?).

Výsledky analýzy musí sloužit primárně jako zpětná vazba žákům samotným a učitelům, kteří je budou na cestě za poznáním provázet. Bude tomu tak minimálně tak dlouho, než se dopracujeme k umělé inteligenci generace 4, u níž doporučování další cesty bude mít na starost inteligentní počítačový agent. I tak zbude pořád dost výukových (a výchovných) aktivit, které se bez učasti pedagoga neobejdou.

Závěr

Zdá se, že se nacházíme na rozcestí. Tradiční paradigma počítačového ověřování výukových výsledků již pravděpodobně dosáhlo maxima svých možností a stále obtížněji reaguje na požadavek ověřování kompetencí pro 21. století. Na obzoru se objevují zcela nové možnosti, které přinášejí technologie. Budoucnost patří analýze veškeré činnosti, kterou žák v rámci studia bude prostřednictvím technologií dělat. Princip je podobný hodnocení založenému na portfoliu, jež obsahuje všechny výsledky žákovských prací, jen jde ještě dále a umožňuje zkoumat i postupy k těmto výsledkům vedoucí.

Znamená to, že hodnocení bude vlastně přímo propojeno s výukou. Proto nutně musí být plně v souladu s pedagogickými koncepcemi, podle nichž jsou výukové aktivity realizovány. Bohužel to zatím vypadá spíše tak, že je vývoj určován zrychlujícím se technologickým pokrokem a pedagogika zůstává stranou. Nebudou-li pedagogové ochotni či schopni se do ovlivňování budoucího vývoje zapojit, může se stát, že výsledné hodnocení založené na digitálních datech získaných z výukové činnosti nebude správně nastaveno a mohlo by nevhodně ovlivnit vývoj celé společnosti.

Definování vhodných výukových cílů, standardů i postupů bychom měli přenechat odborníkům. Ti by měli být schopni ovlivňovat i ty činnosti, které již brzy bude mít pod kontrolou umělá inteligence. Nebude-li přirozený vývoj na tomto poli uspokojivý, bez zásahu na úrovni vrcholné školské politiky se neobejdeme.

Citace:
[1] - REDECKER, Christine; JOHANNESSEN, Øystein. Changing Assessment — Towards a New Assessment Paradigm Using ICT. 2013. [cit. 2013-5-1]. Dostupný z WWW: [http://onlinelibrary.wiley.com/doi/10.1111/ejed.12...].  
[2] - BUNDERSON, V. C; INOUYE, D. K; OLSEN, J. B. The four generations of computerized educational measurement. New York : Macmillan, 1989.  
Anotované odkazy:
Příspěvek nemá přiřazeny žádné anotované odkazy.
Přiřazené DUM:
Příspěvek nemá přiřazeny žádné DUM.
 
INFO
Publikován: 06. 05. 2013
Zobrazeno: 3925krát
Hodnocení příspěvku
Hodnocení týmu RVP:
Hodnocení článku : 0

Hodnocení uživatelů:
Hodnocení článku : 5
Hodnotit články mohou pouze registrovaní uživatelé.

5 uživatelů Hodnocení článku : 5
zatím nikdo Hodnocení článku : 4
zatím nikdo Hodnocení článku : 3
zatím nikdo Hodnocení článku : 2
zatím nikdo Hodnocení článku : 1
Jak citovat tento materiál
BRDIČKA, Bořivoj. Nový pohled na schopnost technologií ověřovat výukové výsledky. Metodický portál: Články [online]. 06. 05. 2013, [cit. 2016-05-27]. Dostupný z WWW: <http://spomocnik.rvp.cz/clanek/17421/NOVY-POHLED-NA-SCHOPNOST-TECHNOLOGII-OVEROVAT-VYUKOVE-VYSLEDKY.html>. ISSN 1802-4785.
Doporučte materiál
Licence Licence Creative Commons

Všechny články jsou publikovány pod licencí Creative Commons.


Komentáře RSS komentářů článku
Autor: RNDr. Pavel PEŠAT, Ph.D.Vloženo: 06. 05. 2013 08:30

Moc pěkné. děkuji.

Jenom drobné poznámky:

1) Re: "Bohužel to zatím vypadá spíše tak, že je vývoj určován zrychlujícím se technologickým pokrokem a pedagogika zůstává stranou. Nebudou-li pedagogové ochotni či schopni se do ovlivňování budoucího vývoje zapojit...". Čím dále tím více mám pocit, že pedagogové ve školách se podle svých možností zapojují, někteří lépe, někteří hůř, někteří obdivuhodně dobře. Co pokulhává, je česká teoretická pedagogika. Nenarazil jsem v českých učebnicích teoretické pedagogiky na jména jako Eric Mazur (Peer instruction http://en.wikipedia.org/wiki/Eric_Mazur), Robert Beichner  (Scale Up, http://www.ncsu.edu/PER/Articles/JCST_SCALE-UP_article.pdf), on-line iniciativa EdX (http://harvardx.harvard.edu/news/speech-menino-announce-initiative-harvard-mit-boston-globe) aj, viz např. Prucha, J. (ed.): Pedagogická encyklopedie. (Současně se omlouvám, nejnovější výzkumy by se např. do téhle knihy ani dostat nemohly, Peer Instruction a Scale Up však s přehledem - praktikují se ve světě již minimálně 10 let s prokazatelně dobrými výsledky). Pravda, historie pedagogiky je v našich učebnicích popsána obdivuhodně dobře.

2) Re: "Hodnocení bude skutečně komplexní (holistický přístup). Bude odrážet vše, co uživatel na svém přístroji dělá". Zde máme problém - žáky, kteří z nějakého důvodu komunkují s počítači na kvalitativně jiné úrovni než s lidmi - ať už mnohem lépe, nebo mnohem hůře. Příkladem jsou žáci se specifickými vzdělávacími potřebami. Někteří se "baví" jen s počítači, někteří práci s počítači na úrovni srovnatelné s žáky v hlavním vzdělávacím proudu prostě nezvládnou z důvodu své specifické potřeby. "Holistický" přístup pak snadno povede k nerelevantnímu hodnocení. Evaluací těchto žáků se SVP v prostředí obecné dostupnosti a využívání technologií bude třeba rozpracovat.

Autor: Bořivoj BrdičkaVloženo: 06. 05. 2013 08:52

Děkuji kolegovi Pešatovi za reakci. Rád bych se vyjádřil k pedagogice. Bylo by strašnou chybou, kdybychom vnímali pedagogiku jako vědu, jejíž obsah je dán výběrem nám milých teoretiků a jiné zamítali. To by jen posílilo stávající systém, který je založen na souhře skupiny vyvolených, kteří se vzájemně podporují a svou moc staví na schvalování výběru obsahu impaktovaných časopisů, přidělování grantů apod. Nemysleme si, že jsme v tomto nějakou výjimkou. Podívejte se třeba na to, jak vypadá současný boj o výklad hesla MOOC na Wikipedii, jak ho vysvětluje Audrey Waters - [Expletive Deleted] Ed-Tech #Edinnovation

Autor: Lukáš MižochVloženo: 06. 05. 2013 10:06

Ten boj o heslo MOOC na anglické Wikipedii je IMHO klasický problém s nedodržením pravidel a následným „ublíženým“ článkem kritizujícím Wikipedii. ;)

Autor: Bořivoj BrdičkaVloženo: 06. 05. 2013 10:54

Obávám se, že kromě nedodržení pravidel se zde jedná též o záměr ovlivnit výklad ve prospěch určité skupiny, která má na důsledcích jiný, než čistě vědecký zájem.