Kritéria kvality pro vysokoškolské využívání OER MWS

Využívání otevřených vzdělávacích zdrojů (anglicky: Open Educational Resources - OER) může mít negativní efekt na výslednou podobu znalostí studentů (pokud jim nejsou doporučeny kvalitní zdroje či nejsou vedeni k tomu je rozeznat).

Výzkum realizovaný v USA poukázal na skutečnost, že studenti, i když se běžně pohybují v digitálním prostředí, mají problém rozeznat kvalitní informace. Více než 80% jich například věří, že reklamní sdělení je oficiální novinová zpráva. Mají také problémy s hodnocením zpráv na Twitteru i u dalších sdělení (Wineburg a kol., 2016). Výsledky dalšího výzkumu ukázaly, že jen 66% mladých Američanů (věk 18-24 let) pevně věří, že Země je kulatá. Přičemž můžeme spekulovat, že i to může být ovlivněno množstvím volně dostupných informací rozdílné kvality a nedostatečných kompetencí ji posoudit.

Výsledky výzkumu mezi českými studenty environmentálních oborů ukázaly, že značná část není schopna definovat kritéria kvality; mezi těmi, kteří kritéria uvedli, převažovaly nejčastěji odpovědi, které se daly zařadit do kategorie ,,Práce se zdroji”, ,,Věrohodnost (ověřitelnost)”, ,,Přehlednost”.  Yaari et al. zkoumali, které atributy kvality jsou pro uživatele Wikipedie relevantní: "Atributy jako množství informací, spokojenost s obsahem a externí odkazy byly často uváděny" Naopak: "atributy například počet editací a počet unikátních editorů získaly dva protichůdné významy - jako atributy kvalitních článků byly zmíněny jak málo editací / editorů, tak i mnoho editací / editorů." Právě Wikipedie (zejména anglická verze) má podrobně rozpracovaný systém hodnocení kvality z hlediska uživatelů, kteří hodnotí jednotlivé články jak z hlediska různých aspektů kvality, tak z hlediska jejich naplnění v rámci jednotlivých tematických kategorií, kam článek spadá. Na anglické Wikipedii jsou pak články ohodnoceny celkově podle kvality obsahu, jak je ohodnotili uživatelé.

Nicméně posuzování kvality z hlediska studentů nemusí být v rámci OER využitelných pro vysokoškolskou výuku příliš relevantní (co se objektivního posouzení kvality týče), vzhledem k tomu, že můžeme předpokládat, že cílová skupina (studenti) má dostatečné kompetence ji kvalifikovaně posoudit.

Kvalita OER představuje jednu z největších překážek v aplikaci těchto zdrojů do studijních kurikul. Hodnocení kvality v otevřeném prostředí internetu má svá specifika oproti klasickým učebním textům a zavedeným žánrům. Dlouhá a kol., navrhují rozpracování kódů, jejichž pomocí hodnotili OER, do podoby indikátorů: ,,Současně je možné si představit též třetí fázi, ve které by hodnocení kódů bylo lépe metodicky popsáno, čímž bychom získali indikátory kvality; na tomto základě by pak bylo možné v budoucnu vytvořit komplexní indikátorovou sadu celkově (v agregované podobě) hodnotící kvalitu zdroje.” Stanovit kritéria kvality pro OER je nicméně problematické, vzhledem k tomu, že v odborné literatuře nepanuje shoda ani na kritériích kvality pro online zdroje či definici informační kvality, vzhledem k tomu, že posuzování kvality dané informace je individuální a vždy závislé na kontextu a účelu k čemu tato informace slouží (fitness to use). Proto i posuzování OER a kritéria kvality jsou závislé na tom, pro jakou cílovou skupinu a specifický účel (např. konkrétní diplomku či seminární práci) je zdroj určen.

Je především rozdíl mezi kritérii kvality, které je možné použít pro dané OER jako celkový systém (tzn. technické prostředí a způsob fungování) a mezi kritérii, která hodnotí obsah. Zdroj (ve smyslu úložiště), který naplňuje znaky kvality po stránce technické, může obsahovat i řadu nekvalitních zdrojů informací (např. špatně napsané články). Značné množství přístupů v hodnocení kvality OER využívá do určité míry komunitu jejich uživatelů, které z ní tak do jisté míry dělají spolutvůrce těchto zdrojů. Pro digitální vzdělávací zdroje podpořené z veřejných rozpočtů jsou vymezeny autorskoprávní požadavky (tedy umístění pod otevřenou licencí) jako jedno z hlavních kritérií kvality. Jako další důležitý znak kvality pro zdroje, jež je možné využít pro vysokoškolské vzdělávání, můžeme vymezit to, zda je možnost recenzního řízení (tedy zkontrolování daného článku odborníkem) a zda je tato recenze vyznačena, dále pak uvedení data vytvoření či aktualizace zdroje. Na základě literatury, seznámení se s praxí existujících wikisystémů a našich zkušeností s jejich tvorbou, navrhujeme pro účely posuzování technického prostředí OER na bázi Mediawiki softwaru z hlediska kvality následující kritéria (Tabulka 1).

Tabulka 1. Možná kritéria kvality využitelná pro OER fungující na bázi Mediawiki softwaru pro vysokoškolské účely a jejich popis.

Kritérium	Popis kritéria
Vyznačení copyrightu	Licencování zdroje pod otevřenou licencí je základní podmínkou, aby se dal označit a  používat jako OER. Pokud je takto licencován, ale není to vyznačeno, ti, kteří to nevědí, ho takto využívat nemohou. Vyznačení copyrightu u všech materiálů, které jsou pod otevřenou licencí  (či v rámci celého zdroje) je proto důležité pro jejich šíření.
Datum vytvoření	Vyznačení data vytvoření zdroje je klíčovým znakem kvality pro jeho využívání, popř. citování v dalších zdrojích.
Datum poslední aktualizace	Vyznačení data poslední aktualizace je stejně jako vyznačení data vytvoření  důležitým kritériem kvality.
Vyznačení verze stránky a historie editací	Pokud se má na zdroj odkazovat v odborné práci, je lepší citovat datum verze stránky než čas přístupu. Zdroj se totiž může aktualizovat velice rychle, zejm. v případě aktuálních událostí. Na Wikipedii mohou proběhnout dvě změny během jedné minuty. Proto je důležité, aby v rámci zdroje byla uvedena verze stránky, tak historie editací, která slouží k jejímu nalezení.
Autorství	Reputace autora je důležitým kritériem kvality, jak v případě tištěných, tak online zdrojů. Právě vyznačení autorství je jedním z prvků, kterým se mohou různé projekty OER fungující na bázi Mediawiki softwaru odlišit od Wikipedie.
Recenze	Recenzní řízení je jedním z hlavních kritérií kvality v akademickém prostředí. Publikace recenzované relevantními odborníky  jsou respektovanější  než ty nerecenzované. Proto je ideální když i OER určené pro VŠ účely umožňují recenzní řízení a jeho vyznačení (např. uvedením, že tento článek byl recenzován příslušným odborníkem).
Vyznačení kvality tvůrci	Vyznačují u konkrétních materiálů tvůrci nějakým způsobem jejich kvalitu? Např. uvedením toho, zda prošly recenzí a kdo je recenzoval?
Udržitelnost	Jedním z hlavních problémů pro kvalitu OER je zejména udržitelnost, která závisí v určité míře na financování (serverů, popř. placených editorů) ale zejména na komunitě, zda daný zdroj pravidelně edituje ať již vytváří nový obsah, či aktualizuje stávající. S udržitelností se potýkají i velké zahraniční OER projekty jako jsou ty medicínské, které i přes to, že shromáždily množství článků se po čase staly neaktivními (WikiSkripta:WikiSkripta, 2019). Kritérium odpovídá na otázku, zda projekt funguje v současné době, nebo je již pouze online ale bez údržby. Právě aktualizace OER o nejnovější poznatky je hlavní předností těchto zdrojů proti tradičním materiálům. Pokud v rámci projektu vznikly materiály, které již ale nejsou editovány a aktualizovány o nejnovější poznatky, dá se předpokládat, že kvalita materiálů na něm se snižuje.
Hodnocení kvality uživateli	Je možnost uživatelského hodnocení kvality materiálů. Toto je důležitý aspekt kvality, který sice nenahrazuje expertní posouzení kvality (zdroj může hodnotit kdokoliv) ale může tvůrcům poskytnout zpětnou vazbu na to, zda vyhovuje požadavkům těch, pro které je určen (např. VŠ studentům), např. zda není moc či málo odborný a splňuje základní vymezení informační kvality ,,fitness for use”. Např. články na anglické Wikipedii jsou uživateli ohodnoceny, zda naplňují aspekty kvality v různých kategoriích, do nichž tematicky spadají.

Jako základní aspekt v hodnocení kvality obsahu pro akademické využívání je možné definovat tzv. peer review proces. Právě tento proces tvoří i základ posuzování kvality vědecké práce. Obecně je definován jako hodnocení dané práce experty v oboru. V prostředí vědecké práce je expertíza celkem dobře definována, např. na základě autorství odborných publikací, přičemž se posuzuje jak kvalita časopisů, v nichž jsou práce uveřejňovány, tak jejich recepce vědeckou komunitou (např. četnost citací). Na základě toho se dá celkem jednoduše poznat expertíza v daném oboru. U OER je situace jiná: na rozdíl od vědeckých publikací, které jsou úzce specializované, lze tyto zdroje považovat spíše za učebnice. Jde o zdroje terciární, kritériem kvality je tak právě způsob, jakým se sekundárními zdroji pracuje.

OER se často věnují komplexním či interdisciplinárním tématům. S rostoucí komplexitou je pak těžké najít experta, který je schopen zhodnotit je jako celek. A zejména u zdrojů, jež jsou zamýšleny pro širokou veřejnost (typu Wikipedie), je navíc těžké určit pro koho a pro jaké vzdělávací účely má daný zdroj sloužit. Ten samý článek Global Warming může být dostačující pro studenta základní či střední školy, ale již ne pro studenta klimatologie. Pokud OER využívají systém hodnocení kvality, opírají se proto často právě o uživatele, které tak zároveň berou do určité míry jako ,,peer”, tedy navzájem si rovné (autor a posuzovatel). Tím posilují prvek své otevřenosti. Uživatelé však nejsou experty v pravém slova smyslu, proto se také nejedná o klasické recenzní řízení srovnatelné s odbornými publikacemi. Jde spíše o ohodnocení většinou uživatelů, které nevypovídá o kvalitě daného zdroje obecně, ale pouze o tom, jak kvalitně je vnímaný těmi, kdo jej hodnotili. OER pracují se sekundárními zdroji, které by obsahovou kvalitu měly zaručovat. Jde tedy o to, aby nebyly použity mimo původní kontext, případně dezinterpretovány.

V tomto článku je použita část textu z disertační práce Otevřené vzdělávací zdroje v kontextu environmentálních studií (se sohlasem autora) a textu z interního dokumentu kolektivu COŽP Analýza OER na UK a posuzování kvality - mapovací studie.

Reference

Tato stránka vznikla, či byla výrazně rozšířena v rámci projektu "Zajištění kvality otevřených vzdělávacích zdrojů: jak správně vytvářet a využívat volně dostupné studijní materiály“, podpořeného v letech 2019–2021 Technologickou agenturou České republiky. Podrobnosti o projektu.