Wanda Wojnowska
W lustrach ewaluacji

Nie mogę zacząć opisu ewaluacji w szkolnej praktyce bez kilku słów wstępu o tym, czym ona jest dla mnie. Wykorzystam w tym celu nie liczne i różnorodne definicje, a sytuację zaobserwowaną w sklepie obuwniczym. Dwulatka przymierzała pantofelki. Towarzyszyli jej mama, babcia i dziadek. Dziewczynka siedziała grzecznie i pozwalała wkładać sobie kolejne buciki. Kiedy wybór dorosłych padł na bordowe lakierki, dziewczynka podbiegła w nich do lustra. Zanim zaakceptowała propozycję, wysłuchała, co mieli do powiedzenia inni, porównała ich wybór ze swoimi odczuciami, obejrzała pantofelki, ale miała też potrzebę zobaczenia SIEBIE w tych bucikach. Niezwykłe. 

Wyznaczanie kierunków rozwoju i... wspólna nauka 
Wybór bordowych lakierków pewnie pociągnął za sobą konsekwencje, np. w postaci komponowania pasującej do nich garderoby, ale też otworzył możliwości ubrania się na różne okazje. Świadomość własnego kontrolowanego wpływu na najbliższe otoczenie daje nam poczucie komfortu i pozwala na bezpieczny rozwój. Nasze szkolne doświadczanie ewaluacji zaczęliśmy właśnie od łączenia jej z projektowaniem rozwoju. Pierwsze standardy rozwoju sformułowaliśmy na podstawie refleksji i dyskusji o tym, co chcielibyśmy zmienić na lepsze w naszej szkolnej rzeczywistości. 

Dzisiaj projektowanie przyszłości jest konsekwencją przeprowadzonej ewaluacji. Kiedy jednak kilkanaście lat temu przystąpiliśmy do projektu pilotażowego Centrum Edukacji Obywatelskiej, najpierw wyznaczyliśmy kierunki rozwoju. Nie było badań i dyskusji nad ich wynikami. Naszym działaniom towarzyszyła jednak głęboka refleksja grona pedagogicznego oparta na znajomości środowiska szkoły i jego potrzeb, na gromadzonych latami doświadczeniach i ogromnej wierze, że w zmieniającym się kraju możemy też zmienić szkołę. U podstaw tego dążenia do ulepszania tworzonej przez nas edukacyjnej rzeczywistości znalazła się przede wszystkim nasza intuicja. Pytania – Gdzie dzisiaj jesteśmy? Gdzie chcielibyśmy się znaleźć? Czego potrzebujemy? Jak dotrzeć do wyznaczonego miejsca? – jakie stawialiśmy sobie w dyskusji nad projektem, okazały się później kluczowe także dla projektu ewaluacji. A ponieważ od tamtego czasu minęło już kilkanaście lat, zdobyliśmy wiedzę i zgromadziliśmy doświadczenia, na których zbudowaliśmy szkolną procedurę badawczą. Dzisiaj naszą przyszłość planujemy na podstawie świadomego i starannie przygotowywanego poznania, w którym mają udział także nasi uczniowie, ich rodzice, a czasem partnerzy działań. Miejsce intuicji zastąpiła dyskusja nad sądami, liczbami, dokumentami, działaniami i wyprowadzone z niej wnioski. Myśląc o przyszłości, planujemy ją na podstawie potrzeb wszystkich szkolnych środowisk, co pozwala nam skutecznie zaprosić je do naprawiania rzeczywistości, a czasem urzeczywistniania marzeń. 

Kiedy w organizacji uczącej się, jaką jest szkoła, wytworzy się zwyczaj postępowania w określony sposób w określonych sytuacjach, rzeczywistość staje się dla członków organizacji łatwiejsza, czytelniejsza, a podejmowane działania – mniej czasochłonne i efektywniejsze. Aby tak się stało, musieliśmy zainwestować we wspólną naukę. Nasza rada pedagogiczna nie należy do małych: w kolejnych latach tworzyło ją zwykle około 50 nauczycieli. Ułatwia to podział zadań bez nadmiernego obciążania jednostek, ale jednocześnie utrudnia przepływ informacji w sytuacjach, w których bardzo nam zależy na jednomyślności. Aby zminimalizować ryzyko powstania zakłóceń w komunikacji, często ze sobą rozmawiamy. Pracujemy w małych zespołach, ich członkowie przenoszą informacje do innych grup. Gromadzimy dowody i wykorzystujemy efekty wspólnej pracy. Posiedzenia rady pedagogicznej odbywają się kilkanaście razy w roku, a mimo to wciąż czujemy, że brakuje nam czasu na dyskusje i głęboką refleksję. 

Ewaluacja w praktyce
Pierwsze zespoły prowadzące programową ewaluację powstały w celu koordynowania działań wynikających z wybranych kierunków rozwoju. Mimo upływu czasu zasada ich funkcjonowania pozostaje niezmienna. Kiedy rada pedagogiczna wybierze priorytety i opracuje sposób ich realizacji, formują się zespoły zarządzające standardami. Zwykle do pracy w takim zespole zgłasza się więcej nauczycieli niż wymaga tego zakres zadań. Moją rolą jako dyrektora jest ustalenie ostatecznego składu grupy. Nadaję temu formę zarządzenia. Podejmując decyzje o składzie osobowym zespołu, uwzględniam doświadczenie nauczycieli wynikające z posiadanych kwalifikacji i stażu pracy. W gronie czterech czy pięciu osób tworzących zespół znajdują się nauczyciele z potwierdzonymi kompetencjami w wybranej dziedzinie. Będą oni pełnić przede wszystkim funkcje eksperckie i zadbają o przygotowanie merytoryczne i wiedzę pozostałych członków zespołu. Nauczyciele z długim stażem w naszej szkole, dobrze znający jej przeszłość, tradycje, ludzi oraz powiązania, ułatwią włączenie zaprojektowanych działań w szkolną codzienność bez burzenia ustalonego porządku. W prace zespołu zawsze angażuję też nauczycieli, którzy są zatrudnieni w naszej szkole od niedawna – wniosą do grupy świeże spojrzenie, a przy okazji sami wiele się nauczą i dowiedzą o specyfice szkoły. 

Przyjmujemy zasadę, że szybka musi być wyłącznie interwencja, pozostałe działania wymagają czasu. Podczas pierwszego spotkania formalnie przekazuję grupie zakres zadań i kompetencji. Od tego momentu zespół działa autonomicznie, ale zgodnie z warunkami kontraktu ma prawo korzystania z pomocy dyrektora na każdym etapie swojej pracy. Do obowiązków nauczycieli zarządzających standardem należą organizacja i realizacja zaprojektowanych aktywności. Jednocześnie stają się oni strażnikami dbającymi o przestrzeganie ustaleń poczynionych przez radę pedagogiczną. Wśród przekazanych zadań jest też opracowanie projektu, a następnie przeprowadzanie ewaluacji. Na podstawie analizy dokumentu przyjętego przez radę pedagogiczną członkowie zespołu planują, jakie dowody będą gromadzić w trakcie najbliższych pięciu lat pracy i w jaki sposób to zrobią. Ustalają, które z funkcjonujących w szkole dokumentów będą wykorzystane w procesie ewaluacji. Rozpoznają możliwe źródła informacji i najbardziej efektywne sposoby jej pozyskiwania. Konstruują harmonogram. Wyznaczają etapy i zakresy, jakie będą analizować. 

Przyjmując standardy rozwoju, podejmujemy decyzje o kierunku naszej pięcioletniej pracy. Na taki okres projektowana jest też ewaluacja. Na podstawie ciągłej analizy zgromadzonych dowodów zespół ocenia zgodność zaprojektowanych działań z planem, ich rytmiczność oraz stopień realizacji (przez porównanie zebranych informacji z założonymi kryteriami sukcesu). Jeśli zachodzi potrzeba, zespół interweniuje – przypomina o ustaleniach lub inicjuje nową aktywność. Zarządzanie standardem polega m.in. na kontrolowaniu tego, czy zaplanowane działania występują zgodnie z planem w określonej formie i terminach, ale też na refleksji na temat zachodzących zmian. Z tego względu w rocznej ocenie pracy szkoły znajduje się informacja mająca charakter ewaluacji etapowej. Na tej podstawie formułujemy wnioski do pracy w kolejnym roku. W ten sposób konsekwentnie kreujemy wspólnie zaprojektowaną przyszłość.

Przydatne narzędzia ewaluacyjne – matryca ewaluacyjna standardu
Nauczyliśmy się, że już na początku należy skonstruować narzędzia, które będą przydatne w gromadzeniu dowodów: tabele zestawień, arkusze obserwacji, dyspozycje do kwestionariuszy, dokumentację medialną… Stosowana przez nas procedura projektowania rozwoju szkoły zawiera – obok standardów i wskaźników – także mierzalne kryteria sukcesu, czyli satysfakcjonującego nas poziomu wprowadzanych zmian. Jeśli, projektując zmianę, ustalimy, co będzie wskazywało na jej wystąpienie (wskaźnik) oraz co będzie określać jej zakres (częstotliwość, poziom, zasięg…), to zgromadzone dowody będą nie tylko potwierdzać realizację działań, lecz także dostarczać informacji, w jakim stopniu zmiana ta spełnia nasze oczekiwania. Projektowanie kończy się przygotowaniem tzw. matrycy ewaluacyjnej standardu (zob. tab. 1).

STANDARD: …………………………………………………………………………………………....
	
 Kryterium/Badanie	Dyspozycje do wywiadu
(W)	Przewidywane obserwacje
(O)	Analiza dokumentacji
(D)	Pytania do kwestionariusza
(A)	
Kryterium 1:	x		x		
	Dyrektor: Kiedy? Jakie?		Zapisy w dziennikach – tematyka godzin		
	Po 4 latach				
Kryterium 2:		x	x		
		Zachowanie uczniów po dzwonku na lekcję	Zestawienia ocen zachowania		
		Długa przerwa, pierwszy poniedziałek miesiąca	Po każdej klasyfikacji		
Kryterium 3:	x			x	
	Rodzice: Dlaczego? 			Uczniowie: Co?	
	Co dwa lata			Co roku w XII	

Tab. 1. Przykładowa matryca ewaluacyjna standardu

Matryca jest prostym sposobem wizualizacji projektowanych badań, a jednocześnie pozwala nam na szybkie sprawdzenie, czy projektowana ewaluacja spełnia wymagania: trafności, rzetelności i triangulacji. W drodze dyskusji zespół ustala zatem możliwe źródła informacji i najlepsze sposoby jej pozyskiwania. Obowiązuje zasada, aby na każde zagadnienie spojrzeć z perspektywy co najmniej dwóch „luster”. Dopiero rozbieżność wyników wywołuje potrzebę weryfikacji i poszukiwania trzeciego punktu widzenia. 

Konsekwencją wykorzystania matrycy jest też organizacja badań. Skład każdej grupy zarządzającej standardem jest co najmniej czteroosobowy. Umożliwia to podział zadań zgodny z narzędziami wykorzystywanymi w ewaluacji. Wyobraźmy sobie, ze tniemy matrycę na pionowe paski, które rozdajemy nauczycielom. Jeden z nich przygotowuje kwestionariusze ankiet, przeprowadza badania i opisuje wyniki, inny członek zespołu prowadzi i dokumentuje wywiady, jeszcze inny sporządza notatki z analizy szkolnych dokumentów lub opracowuje arkusz obserwacji. Z naszych doświadczeń wynika, że dzięki możliwości organizacji pracy własnej niezależnie od pozostałych nauczycieli lepiej zarządzamy czasem, a skupienie na wybranym narzędziu daje zwrotnie obraz nieskażony postrzeganiem rzeczywistości przez pryzmat innych badań. 

Tak powstaje też tzw. narzędziowa część raportu. Jest to fragment raportu, w którym zawieramy pełne prezentacje przeprowadzonych badań: wszystkie opisy i analizy dowodów oraz warunków, w jakich były gromadzone, zestawienia wszystkich udzielonych w badaniach odpowiedzi, notatki z przeprowadzonych oglądów i obserwacji wraz z wykorzystanymi narzędziami. Ten fragment raportu przygotowywany jest indywidualnie, zgodnie z podziałem badań. Ma on układ zgodny z zastosowanymi narzędziami i jest wykorzystywany w dalszej pracy zespołowej. Część problemową, czyli opis efektu wdrożonych działań w odniesieniu do założonych kryteriów sukcesu, zespół tworzy wspólnie, wymieniając się wynikami badań i wyciągniętymi z nich wnioskami. Na tym etapie potrzebna jest dyskusja i refleksja, do której czasami zapraszani są inni nauczyciele, czasem rodzice, uczniowie lub zewnętrzni eksperci. Z analiz zespołu i rozmów wyłaniają się ostateczne opisy i wnioski. Zapoznaję się z treścią raportu, zanim zostanie on zaprezentowany radzie pedagogicznej i poddany pod dyskusję. Ostateczny raport zwykle nie stanowi dla mnie zaskoczenia, bo mimo autonomicznej pracy zespołu jestem systematycznie informowana o wynikach ewaluacji etapowych. Czasami zespoły potrzebują pomocy, a czasami proszą o interwencję. Oczywiście trwa także nieustająca szkolna rozmowa – uczestniczę w niej w gabinetach, salach, na szkolnych korytarzach, podczas szkolnych uroczystości, imprez, realizowanych projektów… 

Kiedy w edukacyjnej rzeczywistości zafunkcjonowały standardy jakości pracy szkół i placówek, postawiliśmy w naszej szkole kolejne „lustro ewaluacji”, w którym przeglądamy się i próbujemy porównać uzyskany obraz do wzorca. Odwołaliśmy się do doświadczeń wynikających z prowadzenia ewaluacji programu rozwoju, w wyniku czego powstał szkolny zespół specjalizujący się w ocenie jakości pracy. Lider zespołu, którego formalnie powołuję, pełni swoją funkcję przez pięć lat. Pozostali członkowie są wymieniani co dwa–trzy lata, aby umiejętność ewaluacji i znajomość szkolnej procedury stawała się udziałem kolejnych nauczycieli. W składzie zespołu zawsze znajdują się przedstawiciele grup zarządzających standardami rozwoju (trzy–cztery osoby), co umożliwia korzystanie z wyników pracy tych grup i zapewnia sprawną komunikację. Funkcjonowanie zespołu ewaluacyjnego (zob. rys. 1) zapewnia lepszą organizację badań, ponieważ pozwala na zebranie w jednym miejscu potrzeb wszystkich zespołów. Dzięki temu żadna grupa szkolna nie jest nieustannie nękana ankietami czy wywiadami. Wystarczy jedno przemyślane narzędzie zbierające potrzeby wszystkich, a potem znowu „nożyczki”, które umożliwiają podzielenie się wynikami.

Zespół zarządzający standardem 1 

Zespół zarządzający standardem 2

Zespół zarządzający standardem …

Grupa robocza D

Grupa robocza O

Grupa robocza W

Grupa robocza A

ZESPÓŁ EWALUACYJNY

Inni (eksperci, przedstawiciele innych środowisk)

Rys. 1. Zespół ewaluacyjny – schemat

Co roku obszar poddawany ocenie jest wyłaniany w drodze ustaleń na posiedzeniu rady pedagogicznej, a następnie włączany do rocznego planu pracy szkoły. Konsekwentnie wprowadzam temat do planu nadzoru, określam cele i przedmiot oraz uzgodniony z zespołem harmonogram ewaluacji. Informacja zwrotna, prezentowana gronu pedagogicznemu w formie raportu, jest komunikatem opisującym nasz sposób realizacji wymagań, nie podejmujemy próby umiejscawiania się na literowej drabinie poziomów ich spełnienia.

Przydatne narzędzia ewaluacyjne – włączanie uczniów w proces ewaluacji
Nasze ewaluacyjne „lustra” stawiamy w różnych miejscach szkoły i przeglądamy się w nich sami, czasami też stawiamy tam naszych podopiecznych – przygotowujemy ich do zespołowej oceny życia szkoły. Mamy dwie sprawdzone formy, dzięki którym uczniowie na podstawie zgromadzonych dowodów dokonują osądów i proponują zmiany. Pierwsza z nich to debata. Każdego roku uczniowie wybranego poziomu (np. wszyscy uczniowie klas V) prowadzą wspólną debatę poświęconą szkole lub aktualnemu zagadnieniu, np. „Wolontariat – trudny temat”, „Zdrowe żywienie – modne i wygodne”, „Świat ratujemy, Zieloną Flagę otrzymać możemy”, „Moja szkoła. Szkoła moich rodziców” itp. Uczniowie najpierw omawiają tematy w klasach, a później zasięgają opinii swoich rodziców, czasem szkolnych kolegów; przeprowadzają wywiady, sondaże; analizują swój udział w różnych działaniach. Na forum klas prezentują indywidualne stanowiska, a następnie jako delegaci mogą wystąpić przed publicznością składającą się z uczniów, nauczycieli i zaproszonych gości. Wśród tych ostatnich zawsze są rodzice uczniów, którzy także dzielą się swoimi doświadczeniami i wyrażają opinie. 

Przysłuchuję się uczniowskim debatom, tak jakbym stawała przed nowym „lustrem”, w którym mogę zobaczyć coś, czego wcześniej nie dostrzegałam. Zgodnie z przyjętymi zasadami każde wystąpienie zawiera propozycję udoskonalenia, poprawy lub zmiany z udziałem samych uczniów. Wdrożenie zgłoszonej propozycji dobrze służy klimatowi szkoły i kształtowaniu obywatelskich postaw: zmiana w menu szkolnej stołówki, lustra zawieszone w łazienkach, organizacja nowej formy zajęć pozalekcyjnych czy organizacja przerw na podwórku. My – nauczyciele – wprowadzamy pożądaną zmianę, a uczniowie budują przekonanie, że mają wpływ na swoje otoczenie. Razem zmieniamy szkołę. Nowej wymowy nabiera umieszczony w holu szkoły fragment Desideraty: „masz prawo tu być”.

Innym sprawdzonym sposobem na włączanie uczniów w proces ewaluacji jest organizacja klasowych zespołów przeciwdziałania agresji. Eliminowanie zachowań agresywnych, a tym samym podnoszenie poziomu bezpieczeństwa w szkole, wpisuje się w jeden z realizowanych kierunków rozwoju. Do aktywnej i świadomej współpracy zaprosiliśmy zespół uczniów – reprezentantów klas. Jego zadaniem jest m.in. przygotowywanie corocznej kampanii „Przemocy stop. Nie zamykaj oczu”. Każdego roku zajmujemy się innym tematem: „Zachowania agresywne”, „Okna komunikacji”, „Pomocy – stop cyberprzemocy” czy „Esc… do zabawy”. Stałym elementem jest wieczorne spotkanie z rodzicami, podczas którego są prezentowane wyniki badań przeprowadzonych przez uczniów. W ten sposób wspólnie pracujemy nad poprawą szkolnych relacji, ale też wprowadzamy zmiany (np. dodatkowe dyżury nauczycieli przy sklepiku i stołówce, jeden kierunek ruchu na schodach, zasady klasowe i szkolne...). 

Przydatne narzędzia ewaluacyjne – arkusz autoewaluacji
W celu przeprowadzenia ogólnoszkolnej dyskusji o nas samych korzystamy z „lustra” upowszechnionego przez Centrum Edukacji Obywatelskiej – badania Profil szkoły. Warto spojrzeć na szkołę z różnych punktów widzenia, żeby dowiedzieć się czegoś o sobie. Wykres będący wizualizacją opinii o szkole wyrażanych przez tworzących ją ludzi (nauczycieli, uczniów, rodziców, pracowników obsługi szkoły) jest na stałe wyeksponowany na szkolnym korytarzu. Płaszczyzny, w których rozbiegają się strzałki wykresu, stanowią inspirujący punkt wyjścia do dalszej dyskusji i samopoznania. 

Przeglądając się w „lustrach ewaluacji”, budujemy szkolną tożsamość, projektujemy przyszłość, sprawdzamy własną skuteczność. Staramy się, żeby nasza szkoła była dobrym miejscem edukacji. Dlatego chcemy być dobrymi nauczycielami. Przed podczas dyskusji ustaliliśmy, co dla nas oznacza pojęcie „dobry nauczyciel”. Na tej podstawie sformułowaliśmy elementy oceny, przypisaliśmy im rangi (0–3) i właściwe wagi. Tak powstał arkusz autoewaluacji. Jest to nasz sposób na indywidualną refleksję pedagogiczną, małe „lustro”, w którym przeglądamy się sami. Zawarte w nim kryteria są spójne z kryteriami zwiększania wynagrodzenia zasadniczego, regulaminem przyznawania nagród i kryteriami oceny pracy, co zapewnia przejrzystość tych procesów. Jednocześnie uwzględnienie trzech kategorii wag pozwala na określenie poziomu własnej aktywności i odpowiedzialności za realizowane działania. Arkusz autoewaluacji może być wypełniany od pierwszych dni nowego roku szkolnego. Świadomość stawianych wymagań pozwala nauczycielom kierować swoją aktywnością zgodnie z potrzebami szkoły, akceptowanymi wartościami i własną ambicją. Nauczyciele składają dokument wraz z zakończeniem roku szkolnego, co pozwala dyrekcji pozyskać i zgromadzić jednolitą informację o ich pracy. Szczegółowe informacje o tworzeniu arkusza autoewaluacji i sam arkusz można znaleźć na stronie ORE w zakładce poświęconej projektowi „Wspieranie szkół i nauczycieli”. 

Zobaczyć siebie w lustrze
Takiej organizacji pracy i towarzyszącej jej nieustannie ewaluacji zawdzięczamy świadomość, że nasza pozycja edukacyjna w mieście nie jest przypadkowa. Czasami przymierzamy się do wzorca określonego standardami zewnętrznymi, ale rzeczywiste doskonalenie zawdzięczamy powiązaniu procesu ewaluacji z programem rozwoju. Jesteśmy świadomi własnego wpływu na przyszłość. Osiąganie zaprojektowanych kryteriów sukcesu daje nam poczucie wspólnoty i siły. Możemy przyglądać się swoim mocnym stronom i słabościom w bezpiecznym „lustrze” wewnętrznej ewaluacji. Naszych uczniów przygotowujemy do podobnego działania, żeby widzieli sens i potrzebę własnej aktywności, dostrzegali związek między własnym działaniem a otoczeniem i chcieli angażować się w zmiany. Budujemy tożsamość szkoły i przekonanie, że razem możemy zrobić jeszcze więcej. W podejmowaniu właściwych decyzji pomoże nam „lustro” ewaluacji, w którym – jak dziewczynka w sklepie obuwniczym – zobaczymy SIEBIE.