Wskaźnik EWD - co to takiego?

 Drodzy Rodzice,

ponieważ coraz częściej będziecie spotykać się z terminem EWD, jako wskaźnikiem określającym poziom i zaangażowanie szkoły w osiąganie sukcesów przez Wasze dzieci, dlatego na naszej stronie zamieszczamy opracowanie Centralnej Komisji Edukacyjnej poświęcone EWD. Żeby zrozumieć dlaczego nasza szkoła otrzymała tytuł Gimnazjum Sukcesu warto poświęcić kilka chwil na przeczytanie tego materiału.

Co to jest metoda edukacyjnej wartości dodanej (EWD)?

Metoda EWD to zestaw technik statystycznych pozwalających zmierzyć wkład szkoły w wyniki nauczania. Wkład ten nazywamy edukacyjną wartością dodaną. EWD jest miarą efektywności nauczania w danej szkole.

Czym nie jest metoda EWD?

Metoda EWD nie jest celem, a jedynie środkiem. W polskiej praktyce oświatowej widać skłonność do zacierania różnic między celami i środkami służącymi do ich osiągania.

Metoda EWD nie dostarcza miary jakości edukacji. Edukacja to więcej niż nauczanie, jakość to więcej niż efektywność. Jakość nauczania można opisać przez formułę:

jakość nauczania = wartość celów * efektywność w ich osiąganiu

Nawet najwyższa efektywność nie zapewnia jakości. Jeżeli cele nauczania mają wątpliwą wartość (rozwojową, społeczną), to „efekt mnożnikowy” sprawia, że nawet przy wysokiej efektywności, jakość jest niska.

Metoda EWD nie „dodaje wartości” wynikom testów egzaminacyjnych. Najbardziej wyrafinowane analizy nie zmienią faktu, że im rzetelniejsze i bardziej trafne testy, tym miary EWD zbudowane na ich wynikach są lepsze.

Dlaczego wyniki egzaminów końcowych nie są wystarczającą miarą efektywności nauczania?

Wyniki egzaminacyjne uczniów zależą od wielu czynników indywidualnych, środowiskowych i szkolnych. Duża ich część znajduje się poza możliwością skutecznej kontroli przez szkołę (np. środowisko rodzinne, wrodzony komponent zdolności). Jeżeli tak, to nieprzetworzone wyniki egzaminacyjne mogą być w wielu wypadkach fałszywymi sygnałami efektywności.

Do czego może służyć metoda EWD?

Można wskazać trzy podstawowe zastosowania metody EWD:

1. Zachęcanie szkół do doskonalenia nauczania – ewaluacja wewnątrzszkolna

2. Rozliczanie i wspieranie rozwoju szkół – ewaluacja zewnętrzna

3. Dostarczanie informacji dla rodziców/uczniów przydatnych przy wyborze szkoły

Jak szacujemy EWD?

Gdyby wszystkie szkoły w Polsce pracowały z uczniami o tym samym poziomie uprzednich osiągnięć szkolnych, tych samych zasobach rodzinnych i dysponowały tymi samymi zasobami materialnymi, wyniki egzaminu końcowego byłyby dobrą miarą efektywności. Ale tak nie jest. Metoda EWD pozwala uwzględnić zróżnicowanie szkół ze względu na zasoby „na wejściu”. W wypadku gimnazjów najlepszą, dostępną miarą zasobów na wejściu są wyniki uczniów na sprawdzianie po szkole podstawowej. Wyniki sprawdzianu mówią nie tylko o poziomie osiągnięć szkolnych ucznia na progu gimnazjum, ale są też „nośnikiem” informacji o środowisku rodzinnym dziecka, o jego poziomie zdolności i motywacji szkolnej. Dzieje się tak dlatego, że wyniki sprawdzianu są uwarunkowane podobnymi czynnikami, co rezultaty egzaminu gimnazjalnego.

Wskaźnik EWD dla gimnazjum mówi o tym, na ile wysokie/niskie wyniki egzaminu gimnazjalnego uzyskali uczniowie w porównaniu do gimnazjów w całej Polsce o danym poziomie zasobów na wejściu. Wskaźnik ma charakter względny, czyli służy do porównywania szkół. W skali kraju wskaźnik EWD ma z definicji wartość równą zeru. Wartość dodatnia EWD wskazuje na ponadprzeciętną efektywność nauczania, wartość ujemna na niższą niż przeciętna efektywność.

Dlaczego wskaźniki trzyletnie?

W szacowaniu wskaźników wykorzystujemy wyniki z trzech kolejnych lat. Dlatego mówimy o wskaźnikach trzyletnich. Bazujemy na wynikach testów egzaminacyjnych w wersji standardowej dla uczniów zdających w terminie głównym. W analizach nie uwzględnia się też uczniów drugorocznych. To ostatnie ograniczenie wynika z przekonania, że wydłużenie cyklu kształcenia do 4 czy nawet większej liczby lat, sprawia, że szacowanie efektywności nauczania dla tej grupy uczniów nie może dokonywać się w ten sam sposób, co w wypadku normalnego, trzyletniego cyklu kształcenia.

Obliczanie trzyletnich wskaźników uzasadnione jest z kilku powodów. Najważniejszy to fakt, że wyniki egzaminacyjne obarczone są niepewnością pomiarową. Im większą pulą danych dysponujemy, tym mniejszy wpływ tej niepewności na szacowanie wskaźników dla szkoły. Używając wyników z trzech kolejnych lat, zyskujemy trzy razy więcej danych, a duża ilość informacji oznacza większą precyzję szacowania. Ewaluacja szkoły nie jest dzięki temu uzależniona od chwilowych zmian, jednorazowych „statystycznych kaprysów” zwiększających lub zmniejszających wartość wskaźników.

Jak już wspominaliśmy wyniki wszelkich pomiarów, też testów egzaminacyjnych, cechuje niepewność pomiarowa. Lokując gimnazjum na wykresie należy wziąć to pod uwagę. Robimy to wyznaczając dla każdego gimnazjum obszar, w którym z 95% pewnością znajduje się gimnazjum ze względu na dwa interesujące nas wskaźniki: wynik egzaminu i EWD. Obszar ten ma kształt elipsy. Rezygnacja z dokładnego (tzw. punktowego) szacowania interesujących nas wartości nie jest wynikiem asekuranctwa, czy „statystycznej bojaźliwości”, jest normalną procedurą statystyczną stosowaną wszędzie tam, gdzie na podstawie wartości szacunkowych musimy formułować odpowiedzialne oceny lub podejmować kosztowne działania.

Na jakiej skali prezentowane są wyniki?

Korzystanie z wyników z różnych edycji egzaminów zewnętrznych rodzi znaczący problem. Surowe wyniki egzaminów nie są porównywalne między kolejnymi edycjami egzaminu. Przed przystąpieniem do analiz efektywności nauczania musieliśmy więc je sprowadzić do porównywalnej postaci.

W pierwszej fazie wyniki każdej edycji egzaminu tak przekształcono, by ich rozkłady maksymalnie zbliżyły się do rozkładu normalnego (normalizacja). W drugim kroku znormalizowane wyniki egzaminacyjne w każdym roku przeliczono na wspólną skalę, tak by średnia krajowa wyniosła 100 punktów, a odchylenie standardowe wyniosło 15 punktów (standaryzacja). Taka procedura umożliwia wykorzystywanie w ewaluacji szkół wyników z rożnych lat.

Znormalizowana i wystandaryzowana skala wyników uczniowskich służy zarówno do prezentacji wyniku egzaminacyjnego danego gimnazjum, jak i do prezentacji wartości wskaźnika edukacyjnej wartości dodanej. W wypadku EWD skala ma swój środek w punkcie 0. Wynik EWD równy np. 5 pkt, oznacza, że przeciętny uczeń tego gimnazjum otrzymał na egzaminie gimnazjalnym o 5 punktów więcej, niż by to wynikało z jego rezultatu na sprawdzianie po szkole podstawowej.

Dlaczego w ewaluacji szkoły należy uwzględniać zarówno wynik egzaminacyjny jak i wskaźnik EWD?

Są to miary komplementarne, łącznie dają pełniejszy obraz szkoły. Jednoczesne ich uwzględnienie pozwala wyróżnić 5 głównych typów gimnazjów:

1. Szkoły neutralne. Gimnazja, w których notujemy zarówno średni w skali kraju poziom wyników egzaminacyjnych, jak i przeciętną efektywność.

2. Szkoły sukcesu. Gimnazja o wysokich wynikach egzaminacyjnych i wysokiej efektywności nauczania.

3. Szkoły wspierające. Gimnazja o niskich wynikach egzaminacyjnych, ale wysokiej efektywności.

4. Szkoły wymagające pomocy. Gimnazja o niskich wynikach egzaminacyjnych i niskiej efektywności nauczania.

5. Szkoły niewykorzystanych możliwości. Gimnazja o wysokich wynikach egzaminacyjnych oraz niskiej efektywności nauczania.

Jak odczytywać wykresy?

Gimnazjum A. Część matematyczno-przyrodnicza

By ułatwić statystyczną interpretację pozycji gimnazjum, w układzie współrzędnych wyrysowano dwie elipsy. Mniejsza z nich, ciemnoszara, wskazuje obszar, w którym mieści się 50% gimnazjów. Druga elipsa, jasno szara, wyznacza obszar, w którym mieści się 90% gimnazjów. Środkiem ciężkości tych elips jest punkt (100;0).

Pozycja zielonej elipsy na wykresie wskazuje, że mamy do czynienia ze szkołą neutralną (część matematyczno-przyrodnicza). Tak będziemy nazywać gimnazja, których pozycja w układzie współrzędnych bliska jest punktowi (100;0). Jeżeli obszar ufności (zielona elipsa) zawiera punkt (100;0), mamy do czynienia z tego typu szkołą.

Szkoła neutralna, to placówka statystycznie przeciętna. Chcąc jednak uniknąć określeń „przeciętna, średnia”, proponujemy dla szkół o średniej wyników egzaminacyjnych zbliżonej do średnie krajowej i wskaźniku EWD bliskiemu zero nazwę „szkoła neutralna”.

Szkoły neutralne, to najliczniejsza kategoria gimnazjów. Dzieje się tak dlatego, że zarówno wynik egzaminacyjny, jak i wskaźnik EWD najczęściej przyjmuje wartości bliskie lub niezbyt odległe od średniej.

Dla ewaluacji szkół kluczowy jest trend czasowy. Czy znalezienie się w latach 2006-2008 blisko punktu (100;0) jest etapem w wędrówce ku szkole sukcesu, czy przystankiem w drodze ku niepokojącej kategorii szkoły wymagającej pomocy? Pokażą to wyniki analiz w kolejnych latach. Już niedługo zamieścimy wyniki analiz na podstawie danych 2005-2007 oraz 2007-2009. Wskażą one gimnazjom kierunki ich wędrówki.

Gimnazjum B. Część matematyczno-przyrodnicza

Gimnazjum C. Część matematyczno-przyrodnicza

Co różni Gimnazjum B i C? Wyniki końcowe. Obszary ufności dla tych gimnazjów są na wymiarze wyniku egzaminacyjnego oddalone o ponad 15 punktów (ponad jedno odchylenie standardowe)! Co natomiast je łączy? Ponadprzeciętna efektywność nauczania mierzona wskaźnikiem EWD. Możemy tak odpowiedzialnie statystycznie powiedzieć, bo obszary ufności znajdują się ponad linią poziomą oznaczającą zerową wartość EWD (oś pozioma).

Dotychczasowe sposoby analizowania wyników egzaminacyjnych ulokowałyby te szkoły odpowiednio w 3. i 9. staninie i nie przyszłoby nam do głowy, że te placówki coś może łączyć. Wprowadzenie wymiaru EWD pozwoliło dojrzeć coś, co było przed okiem obserwatora nieuzbrojonego w odpowiednie instrumenty statystyczne ukryte.

Czy szkoła wspierająca ma szanse stać się szkołą sukcesu na miarę gimnazjum C? Ma, choć szanse to niewielkie. Na nabór uczniów o wyższych wynikach na sprawdzianie, czyli o wyższym potencjale edukacyjnym, są niewielkie nadzieje (Gimnazjum B to jedyne gimnazjum w okolicy). By przesunąć się na osi poziomej o kilkanaście punktów, Gimnazjum B musiałoby radykalnie poprawić efektywność. Taka zmiana nie jest statystycznie wykluczona, ale tak nieprawdopodobna, że nie wolno przed tą szkołą stawiać tak nierealnego celu. Nie powinna spoczywać na laurach, ale realny poziom aspiracji, to podwyższenie efektywności o kilka punktów egzaminacyjnych i przejście do kategorii przejściowej „wysoka EWD i przeciętne wyniki egzaminacyjne”. Gdy spocznie na laurach, grozi jej spadek do kategorii „niskie wyniki egzaminacyjne i przeciętna efektywność”, a nawet do kategorii szkół wymagających pomocy.

Gimnazjum C też ma swoją przestrzeń rozwoju lub regresu. Dobra identyfikacja relatywnie słabszych stron i programy doskonalące nauczanie mogą przesunąć wynik tej szkoły ku prawemu górnemu rogowi. Zadowolenie się stanem posiadania grozi spadnięciem do kategorii „wysokie wyniki egzaminacyjne i przeciętne EWD”, a z biegiem czasu nawet do kategorii szkół niewykorzystanych możliwości.

Przejdźmy do drugiej pary gimnazjów: D i E.

Gimnazjum D. Część matematyczno-przyrodnicza

Gimnazjum E. Część matematyczno-przyrodnicza

Co łączy Gimnazjum D i E? Poniżej przeciętnej efektywność nauczania mierzona wskaźnikiem EWD. Możemy tak odpowiedzialnie statystycznie powiedzieć, bo obszary ufności znajdują się poniżej linii poziomej oznaczającej zerową wartość EWD (oś pozioma). Co natomiast je różni? Wyniki końcowe. Obszary ufności dla tych gimnazjów są na wymiarze wyniku egzaminacyjnego oddalone o prawie 25 punktów (czyli prawie 2 odchylenia standardowe)! Dotychczasowe sposoby analizowania wyników egzaminacyjnych ulokowałyby te szkoły odpowiednio w 1. i 7. staninie.

I znów nie przyszłoby nam do głowy, że te placówki coś może łączyć. Wprowadzenie wymiaru EWD pozwoliło dojrzeć coś, co było niewidoczne - oba gimnazja mają EWD poniżej zera.

Gdy patrzymy na wyznaczone dla gimnazjów D i E obszary ufności, warto zwrócić uwagę na jeszcze dwie rzeczy. Po pierwsze, mimo że wyniki obu szkół lokują się poniżej osi poziomej, to na wymiarze EWD widać między nimi znaczącą statystycznie różnicę. Gimnazjum D jest mniej efektywne niż gimnazjum E. Po drugie, obszar ufności dla rezultatu gimnazjum D jest znacznie większy niż dla Gimnazjum E. W tym wypadku wynika to z różnicy w liczbie uczniów. Im mniej uczniów, im mniejszą liczbą danych dysponujemy, tym większa niepewność szacowania pozycji szkoły.