Evaluační zpráva projektu VOSK

Cíle evaluace

Cílem evaluační zprávy je prakticky zhodnotit dopad a efektivitu projketu VOSK na cílovou skupinu – především učitele základních a středních škol. Evaluace jednotlivých aktivit probíhala průběžně celý projekt a byla mírně přizpůsobená charakteru a povaze jednotlivých aktivit. Současně byli účastníci aktivit v závěrečné fázi realizace projektu kontaktováni a dotazováni na zpětnou vazbu k využitelnosti poznatků získaných na jednotlivých workshopech a kurzech přímo ve výuce. Zpracované statistiky a přehledy za celý projekt vám předáváme níže.

Evaluace účastníků workshopů a retest za účelem ověřitelnosti využití získaných poznatků ve výuce

Evaluace dopadů přínosnosti jednotlivých workshopů probíhala ve dvou fázích
1) Bezprostředně po skončení kurzu
2) Dotazování s časovým odstupem k využitelnosti získaných poznatků ve výuce

Bezprostředně po skončení kurzu nás zajímalo především zpětné hodnocení efektivity kurzu, zda účastníci získali informace a metodiky, které očekávali a jak hodnotí organizaci jednotlivých workshopů a vystoupení přednášejících. Takto získané informace byly důležité interně pro nás, abychom si např. ujasnili, která témata a kteří přednášející dokázali auditorium zaujmout a bude efektivní je nadále oslovovat při přípravě dalších akcí Občankářů. Zpětná vazba týkající se organizační stránky workshopů si kladla za cíl především případné praktické dopady pro zlepšení organizační stránky. Podstatnou součástí evaluace bylo, nakolik jsou pro účastníky na workshopech získané poznatky přínosné a zda plánují jejich využití dále ve výuce.
Dotazník pro zpětnou vazbu po skončení workshopu neměl formu škálových odpovědí, spíše „volné reflexe“, kterou jsme ale směřovali způsobem popsaným výše. Získané odpovědi jsme společně zpracovali a vyhodnocovali.

Dotazování na konkrétní využití ve výuce se uskutečnilo s časovým odstupem a směřovalo na aplikaci poznatků z workshopů, metodik a materiálů přímo ve výuce.  Při získávání této zpětné vazby jsme sice naráželi na ne úplně adekvátní návratnost, ale i tak je možné získané informace považovat za zcela relevantní.

Celkem byla evaluace účastníků provedena na těchto workshopech:
- Jak efektivně na výuku ekonomie
- Letní škola Občankářů 2018 – 4 denní série workshopů
- Seminář kritického myšlení
- Seminář moderní didaktiky (ivnovace a metody) a kritického myšlení
- Aktuality o EU před volbami do EU
- Letní škola Občankářů 2019 – 4denní série workshopů

Evaluace - hodnocení využitelnosti po skončení kurzu

Graf: Přínosnost workshopů
Skončené workshopy (nebo sérii workshopů – Letní školy) jako přínosné nebo převážně přínosné hodnotilo:

(graf k dispozici v příloze Evaluační zpráva projektu VOSK ve formátu .pdf pod tímto článkem)

Graf: Využití poznatků ve výuce

Workshop jako inspirativní považovalo a další využití alespoň některého ze získaných poznatků, resp. metodik, materiálů ve výuce předpokládá:

(graf k dispozici v příloze Evaluační zpráva projektu VOSK ve formátu .pdf pod tímto článkem)

Komentář:
Evaluace na reálnou využitelnost ve výuce  probíhala z logických důvodů v závěru projektu VOSK. Při sběru dat jsme naráželi na dvě věci -  návratnost dotazníků a objektivní zhodnocení toho, která témata jsou učiteli ve výuce využívána více a která méně. Každý seminář měl jiný počet účastníků, proto četnost jednotlivých témat aplikovaných v hodinách o ničem objektivně nevypovídá. Současně jsme reflektovali situace, kdy např. workshopu věnovanému ekonomii se účastnil učitel, který se teprve se na výuku této látky připravuje a v monitorovaném období ji neučí. Na tuto skutečnost jsme reagovali úpravou dotazníku a zjištěním, zda učitelé nadále přepokládají výuku poznatků osvojených na některém z workshopů.
Graf: Implementace získaných poznatků, metodik do výuky

Graf: Společenskovědní obory, ve kterých byly aplikovány poznatky z projektu VOSK.

Komentář: Worshopy projektu VOSK nabídly širokou škálu témat a metodik. Lze však konstatovat, že jejich využití ve výuce dominuje především mediální výchova, politologie, ekonomická témata a právo. Aplikace poznatků ostatních oborů ale také není zanedbatelná. 

(graf k dispozici v příloze Evaluační zpráva projektu VOSK ve formátu .pdf pod tímto článkem)

Závěr: Evaluace a retest potvrdily, že účastníci byli s průběhem workshopů spokojeni a ve sledovaném období více než 90% z nich použilo získané poznatky ve výuce.

Evaluace lektorů workshopů

Evaluace lektorů probíhala bezprostředně po skončení jejich výstupu v rámci workshopů. V některých případech formou dotazníku, jindy podle možností ústně. Zajímala nás vždy
- okamžitá zpětná vazba po skončené lekci
- jak hodnotí lektoři sami uplatnitelnost svého příspěvku ve výuce
- zda by měli v případě našeho zájmu pokračovat ve spolupráci.

Všichni  zúčastnění lektoři hodnotili spolupráci na projektu VOSK jako inovativní, diskuze s účastníky jako přínosné a věcné, svoji účast na workshopu jako smysluplnou. Stejně tak všichni zúčastnění lektoři odpověděli kladně na otázku o tom, zda svoje téma považují jako přenosné a využitelné ze strany vyučujících v hodinách. 100% souhlas v tomto případě není nijak účelový, bylo to hlavní kritérium pro výběr lektorů a témat přednášených na workshopech. Velice často podle vyjádření lektorů to byl ten hlavní smysl, proč se rozhodli projektu VOSK zúčastnit. Na otázku dalšího případného zapojení jsme dostali také ve všech případech kladnou odpověď, někteří lektoři se vyjadřovali v tom smyslu, že by sami stáli o dlouhodobější koncepční spolupráci. Tu bychom samozřejmě rádi uvítali např. při tvorbě pracovních listů nebo pomůcek pro učitele.
Nezamýšleným důsledkem realizace workshopů v rámci projektu VOSK tedy je, že Občankáři jsou zasíťovaní na širokou paletu odborníků akademických i praktických profesích v různých společenskovědních oborech, u kterých lze přepokládat další úspěšnou spolupráci i v budoucnu. 

Evaluace kurzů DVPP

V rámci projektu VOSK jsme vyvinuli dva unikátní kurzy akreditované jako DVPP. Jednalo se o
- Mytologie sounáležitosti
- Občanka v souvislostech – moderní události v historických paralelách

které byly oba koncipovány jako kombinovaný vzdělávací program – skládaly se vždy ze vstupního a výstupního semináře a e-learningové části konané mezi nimi. Oba kurzy se konaly ve třech na sobě nezávislých bězích a od října 2018 do června 2019. Úvodní semináře a e-learning na sebe obsahově navazovaly – na seminářích  vystupovali odborníci na různou společenskovědní problematiku, toto téma bylo následně rozvíjeno během e-learningové části, během které získávali učitelé jednotlivé materiály a mohli je bezprostředně využívat přímo ve výuce.  Závěrečný seminář cílil na ověření, zhodnocení, reflektoval také získané zkušenosti při výuce jednotlivých témat. Na něm jsme také od účastníků zjišťovali celkovou zpětnou vazbu na jednotlivé kurzy. Podobně jako v případě workshopů pořádaných v rámci projektu VOSK jsme následně s časovým odstupem ověřovali konkrétní aspekty využitelnosti získaných poznatků z kurzů přímo ve výuce.
Evaluace k jednotlivým lekcím e-learningu probíhala v podstatě bezprostředně, protože účastníci měli možnost se k nim v rámci diskuze/odpovědí/kladení otázek lektorům vyjadřovat, čehož skutečně využívali jak pro celkové zhodnocení tématu, tak pro dílčí otázky k porozumění konkrétní problematiky. 

Graf: Zhodnocení systému kombinovaného semináře účastníky:

Z uvedeného grafu je patrné, že účastníci kurzů hodnotili kombinovanou formu jako úspěšnou, jak jednu z hlavních výhod hodnotili možnost mít na v průběhu celého i na konci kurzu odbornou zpětnou vazbu.

(graf k dispozici v příloze Evaluační zpráva projektu VOSK ve formátu .pdf pod tímto článkem)

Graf: Výběr témat pro e-learnig

Z uvedených výsledků zpětných vazeb je patrné, že výběr témat pro e-learningovou část většině uchazečů vyhovoval.

(graf k dispozici v příloze Evaluační zpráva projektu VOSK ve formátu .pdf pod tímto článkem)

Graf: Spolupráce s lektory v průběhu kurzu:

Z uvedeného výstupu zpětné vazby vyplývá, že spolupráce mezi účastníky z řad  cílové skupiny a lektory kurzu byla hodnocena pouze pozitivně anebo převážně pozitivně. Škály negativního hodnocení mají nulové položky.

(graf k dispozici v příloze Evaluační zpráva projektu VOSK ve formátu .pdf pod tímto článkem)

Graf: zvolená metodika pro e-learning

Otázka: Vyhovovaly vám celkově metody použité během e-learningu (práce s mediálním obsahem, zapojení účastníka, návrhy na inspiraci do škol)?

Upřesnění u negativních odpovědí se vztahovalo především na počet témat a délku kurzu.

Retest – zpětné ověření využitelnosti získaných poznatků ve výuce

(graf k dispozici v příloze Evaluační zpráva projektu VOSK ve formátu .pdf pod tímto článkem)

Graf: využití poznatků z některého z kurzů ve výuce

(graf k dispozici v příloze Evaluační zpráva projektu VOSK ve formátu .pdf pod tímto článkem)

Graf: využití jednotlivých kapitol kurzu Občanka v souvislostech účastníky kurzu ve výuce

Z uvedených dvou grafů vyplývají preference absolventů kurzu při využití jednotlivých témat a metodik ve výuce. Zatímco v případě kurzu Občanka v souvislostech dominovala témata z mezinárodních vztahů a sociologie, využití témat v kurzu Mytologie sounáležitosti bylo diverzifikovanější.
(graf k dispozici v příloze Evaluační zpráva projektu VOSK ve formátu .pdf pod tímto článkem)

Graf: využití jednotlivých kapitol kurzu Mytologie sounáležitosti

(graf k dispozici v příloze Evaluační zpráva projektu VOSK ve formátu .pdf pod tímto článkem)

Závěr: Účastníci obou kurzů pozitivně hodnotili mj. rychlou implementaci aktuálních jevů do výuky, odborné zpracování jednotlivých témat, možnost využití aktuálních výzkumů a studií ve výuce. Pozitivně dále hodnotili např.  možnost využití připravených textů a mediálních obsahů ve výuce a metodickou podporu, kterou během kurzu mohli využívat. Aktuálnost témat odrážela i skutečnost, že drtivá většina účastníků kurzu použila získané poznatky a metody přímo ve výuce.
Velkou výhodu spatřujeme i v tom, že takto vyvinutý model vzdělávání nám umožní i po skončení podpory připravit další kurzy vedené podobným způsobem. 

Evaluace lektorů kurzů DVPP

E-learningové kurzy vedli dva zkušení lektoři za řad Asociace učitelů občanské výchovy a společenských věd a dále externí lektoři. Se stálými lektory byla vedena a vyhodnocována evaluace průběžně po celou dobu vedení kurzů, externí lektoři vyhodnocovali především dosah svého působení v průběhu kurzu. Celkově hodnotili lektoři během průběhu obou kurzů pozitivně zejména:

- spolupráci a zájem ze strany účastníků cílové skupiny
- možnost propojení poznatků z aktuálních studií a výzkumů z akademické sféry bezprostředně s prostředním výuky
- použité materiály jsou „živá učebnice“ – dávají možnost zapracovat připomínky učitelů a bezprostředně tak řešit např. úpravu doplnění o zajímavý odkaz, úpravu časové dotace jednotlivých aktivit, atd.
- možnost výměny zkušeností jednotlivých účastníků cílové skupiny na začátku a při konci projektu
- řečeno s lektory kurzu M. Mahdalem…: „Vyvinutý e-learnigový nástroj nám být s učiteli nejen na seminářích, ale vlastně i při tom, když sami aktivitu zapojovali do výuky a naráželi na různé problémy. To, že jsme mohli reagovat v komunitě účastníků bezprostředně, bylo velmi příznivé.“
- … a Monikou Stehlíkovou:  „Přijde mi výborné využít e-learning v budoucnu i na jiná témata. Nabízí možnost zůstat v kontaktu s účastníky, takže to není ten klasický model přivítání - přednáška – káva – evaluace – poděkování. Za mě to dává jednoznačně smysl.“

Věci, které lektoři navrhli řešit nebo vylepšit v případě dalšího využití e-learnigového nástroje na případě dalšího využití tohoto kurz ve výuce:

- délka celého kurzu
- časové rozvržení celého kurzu
- využití o rozšíření další technologické podpory – např. videokonference
- hospitace lektora kurzu přímo v hodinách některých učitelů

Závěr: Na základě získaných zpětných vazeb jak ze strany účastníků, tak lektorů můžeme vyhodnotit vyvinutý nástroj jako inovativní, efektivní a využitelný v případných jak se stávajícím tak obměněným obsahem i pro další přípravu učitelů.

Evaluace zahraničních stáží

Průběh, cíle a vyhodnocení příkladů dobré praxe ze  zahraničních stáží včetně evaluace je popsána v dokumentu „Výstupní zpráva ze zahraničních stáží.“ Jednotlivě jsou také stáže zdokumentovány také na těchto webových odkazech:

Itálie: https://www.obcankari.cz/obcankari-na-pracovni-stazi-v-italii
Německo: https://www.obcankari.cz/obcankari-na-pracovni-stazi-v-nemecku
Francie: https://www.obcankari.cz/obcankari-na-pracovni-stazi-ve-francii

Účastníci stáže zpracovávali evaluaci formou celkové reflexe po jejím skončení, současně byli vyzváni, aby věcně vyjádřili, co považují za příklady dobré praxe zejména pro práci s dětmi s odlišným mateřským jazykem (OMJ) a byl-li účastník na proinkluzivní škole tak i  s přihlédnutím k příkladům dobré praxe tam. Současně jsme se zajímali obecně i o další příklady další dobré praxe pro český vzdělávací systém i pro svoje domácí školy a to ve své reflexi zohlednili. Současně účastníci zpětně hodnotili svoji zkušenost se zahraniční stáží. Tu všichni (100% účastníků) hodnotilo velmi pozitivně a dobře organizačně zajištěnou. Všichni účastníci se také vyjádřili v tom smyslu, že získané poznatky o výuce a vzdělávacím systému jsou pro ně zcela unikátní a mělo by pro ně smysl je i nadále rozšiřovat o poznatky v jiných zemí.  Všichni se také vyjádřili v tom smyslu, že by pro ně bylo cenné poznatky ze všech tří stáží shrnout a příklady dobré praxe představit na některém zvláštním workshopu i ostatním vyučujícím. Pokud se objevila negativa  v evaluacích účastníků, týkala se výhradně některých konkrétních jejich zkušeností z navštívených škol - (např. nedodržování základní psychohygieny na školách ve Francii, někteří účastníci přijímali ambivalentně zákaz používání mobilů ve školách, nebo např. hodině zjevně deklarovanou politickou angažovanost jednoho z učitelů, atd.
Souhrnně lze o zahraničních stážích konstatovat, že návštěva na školách v Itálii, Německu a Francii ve většině  aspektů potvrdila naše pozitivní očekávání, současně nám umožnila dobře vidět pozitiva a negativa vlastního vzdělávacího systému. Stáže nepochybně znamenaly pro účastníky z řad CS zisk mnoha nových a inspirativních zkušeností, které za všechny tři země lze shrnou především v těchto následujících zobecnění:
- Každá škola vlastním způsobem řešila inkluzi žáků s OMJ, jen podmínky byly podle regionu jiné. Zjednodušeně řečeno platí, že školy jsou považovány za hlavní socializační  prvek při integraci žáků s OMJ, výraznou složkou při tom hraje také oboustranná hodnotová a kulturní akceptace. Od žáků s OMJ je vyžadováno ale dodržování těch pravidel, které platí i pro ostatní žáky.
- Společenský status učitele ve všech navštívených zemí je odlišný od ČR. Vychází z toho, že společnost tomuto povolání přikládá výraznou váhu, což je někdy v úplném protikladu situace v ČR. Získat místo učitele navíc v místě bydliště často není jednoduché, učitelé na to čekají i několik let. Nezřídka je do výběru učitele zapojen regionální úřad (Itálie), nebo širší konsorcium (Německo). S tím souvisí i adekvátní finanční ohodnocení  učitelů.
-  Obecný trend ke školám s velkým počtem žáků. Žádná škola, kterou jsme navštívili, neměla méně jak 500 žáků. V Itálii dokonce počet žáků převyšoval 1000, i ve Francii je běžný počet žáků 600 – 800 na školu. Školy pro velký počet žáků nabízejí větší množství možností zapojení žáků do nejrůznějších aktivit. Na druhou stranu je od žáků očekáváno striktnější dodržování nastavených pravidel. Na žádné navštívené škole jsme ale neměli pocit, že nastavený systém je odosobněný a „automatizovaný“. Na všech školách jsme viděli vzájemný respekt ve vztahu učitelů a žáků, snahu o podporu vedení žáků pozitivním způsobem, nikoliv restrikcemi.  Školy také mnohem více než u nás plnily roli jakéhosi komunitního centra, žáci zde mohli trávit i volný čas. Podmínky však byly individuální – v Itálii končí výuka zpravidla kolem druhé hodiny, v Německu byla nabídka aktivit cca do 17 hodiny, ve Francii byla běžná odpolední výuka, ale též velká polední přestávka na oběd, na který část žáků odcházela domů.
- V zahraničních školách platí, že ať už je výuka organizována jakkoliv (hodinovky – dvouhodinovky), výrazně se zde uplatňují aktivizační metody. Hodin s klasickou frontální výukou jsme viděli málo, v Německu dokonce žádnou. Žáci dostávají v hodinách vždy nějaký prostor pro vlastní aktivitu – ať už se jedná o práci s textem,  vypracování zadaných otázek, prezentace, atd. Na druhou stranu jsme neviděli mnoho hodin, kde by byla uplatněna např. skupinová práce, běžnější byla spíše individuální. 
- V navštívených školách bylo patrné, že hlavním požadavkem na učitele je, aby se mohl především soustředit na výkon svojí profese,  mohli si připravovat kvalitní hodiny a činnosti s tím spojené (kroužky, knihovna, atd.). Učitelé nejsou zatíženi zbytečnou administrativou, o řadu povinností, které u nás běžně na učitele spadají, se v zahraničí starají specializovaní nepedagogičtí zaměstnanci – počínaje dozorem na chodbách (Itálie) anebo vyřizováním omluvenek konče (Francie). Také se v zahraničí běžněji přistupuje ke spolupráci dvou učitelů na aktivitách, které běžně u nás dělá pouze jeden – např. výuka zaměřená proti projevům netolerance – učitelka OV a hudební výchovy, řetězové provádění (učitelé ANJ a dějepisu), nebo zdvojené třídnictví v Německu (muž a žena).

Pro celkové zhodnocení všech tří stáží je patrné, že v oblasti kurikulární je možné přistupovat k výuce občanské výchovy a společenskovědních předmětů vůbec různým způsobem a stanovených cílů dosahovat různou cestou. I tak lze ve vzdělávání občanskovědních předmětů dosáhnout efektivně stejných či podobných výsledků. Pro zpětné vyhodnocení je nutné si uvědomit, že výuka vždy akceptuje specifika regionu i se zřetelem k reálnému stavu lokální komunity včetně následného možného uplatnění absolventů na trhu práce. Bylo v tomto ohledu skutečně zajímavé např. vidět, jak
-  vzdělání v regionu Apulie s vysokou nezaměstnaností absolventů se orientuje na ty oblasti trhu práce, kde se předpokládá v budoucnu progres – především turistický ruch a služby. Místní  
- vzdělání v Bádensku-Würtenbersku se hodně orientuje na proekologickou a
trvale udržitelnou koncepci, a to přesto, že region je významným automobilovým producentem. Rada inovací zavedených ve vzdělávání je široce diskutovaná, přijatý kutikulární konsenzus se následně považuje za závazný
- Francie je země, která výrazně akcentuje integraci osob s OMJ na základě jazyka – jeho zvládnutí je bezpodmínečně nutné pro začlenění do vzdělávacího systému. Výrazně je zde také chápáno vzdělání jako proces, na kterém se podílí žáci, učitelé a rodiče, a jsou do rozhodování běžně přibíráni.

Přes místní odlišnosti lze v kurikulární oblasti všech zemí vysledovat obecné, zásadní výchovně-vzdělávací hodnoty, které z mladých lidí utvářejí integrované osobnosti připravené reagovat na nové potřeby 21. století. A v tom se můžeme od zahraničních kolegů v mnohém přiučit.

Závěr: Realizaci projektu stáží považuji za více než úspěšnou. Přínos výměnných stáží pro pedagogy je nezpochybnitelný. Profesní setkávání kolegů v celoevropském kontextu přispívá k vzájemnému obohacování a chápání specifických potřeb navštívených regionů a vede nejen k porozumění, ale i rozšiřování obzorů profesních i lidských.