Edukacyjna wartość dodana (EWD) – metoda analizy pozwalająca oszacować wkład szkoły w wyniki egzaminacyjne uczniów. Edukacyjną wartością dodaną nazywa się także wskaźniki efektywności nauczania, obliczone za pomocą tej metody. Metoda ta opiera się na wykorzystaniu modeli statystycznych do szacowania postępów poczynionych przez uczniów podczas nauki na danym etapie edukacyjnym. Jeżeli uczniowie danej szkoły osiągnęli wyniki wyższe niż oczekiwane na podstawie ich wcześniejszych osiągnięć szkolnych, uznaje się, że szkoła, do której uczęszczali, nauczała efektywniej niż inne szkoły, które pracowały z podobnymi uczniami. Jeżeli wyniki te są niższe, szkoła nauczała mniej efektywnie, niż inne placówki pracujące z podobnymi uczniami. Wskaźniki EWD są więc miarami relatywnymi. Nie pokazują, jak bardzo uczniowie „zmądrzeli” bądź „zgłupieli” w danej szkole, ani tego, jak dużo się nauczyli. Natomiast pozwalają zobaczyć, czy szkoła naucza mniej, czy bardziej efektywnie, niż przeciętna placówka w kraju.

Zastosowanie metody EWD wymaga wyników przynajmniej dwóch pomiarów osiągnięć szkolnych: na początku nauki w danej szkole/etapie edukacyjnym i na jej zakończenie. Jej istotą jest odejście od patrzenia na szkoły jedynie przez pryzmat wyniku osiąganego przez uczniów na koniec nauki. Ponieważ wyniki egzaminacyjne zależą w znaczącej mierze od czynników, które są poza kontrolą szkoły, używanie rezultatów egzaminów końcowych jako miary efektywności musi prowadzić do niesprawiedliwych ocen. EWD jest bardziej wartościową metodą oceny efektywności nauczania. Uwzględnienie wyników uczniów na początku rozpoczęcia nauki w danej szkole pozwala wskazać szkoły, które mimo relatywnie słabych wyników końcowych mogą pochwalić się wysoką efektywnością nauczania i odwrotnie, szkoły będące wysoko w rankingu wyników testów końcowych, ale niewiele przyczyniające się do postępów uczniów. Wyniki "na wejściu" informują nie tylko o poziomie osiągnięć szkolnych ucznia na progu szkoły, ale są też „nośnikiem” wiedzy o środowisku rodzinnym dziecka, o jego poziomie zdolności i motywacji szkolnej. Dzieje się tak dlatego, że wyniki egzaminu "na wejściu" są uwarunkowane podobnymi czynnikami, co rezultaty egzaminu końcowego.

Rozwój metody EWD w Polsce współfinansowano dotychczas ze środków Unii Europejskiej w ramach kolejnych projektów systemowych. Ostatni projekt z tego cyklu zakończył się 31.10.2015.

Dostępne obecnie wskaźniki podzielić można według trzech kryteriów: poziom edukacyjny, liczba roczników uczniów, które wskaźnik obejmuje oraz dziedzina wiedzy, którego wskaźnik dotyczy. Tabela przedstawia klasyfikację z uwzględnieniem dwóch pierwszych kryteriów.

+ wskaźniki EWD są obliczane

- wskaźniki EWD nie są obliczane

* tylko dla 180 szkół, które wzięły udział w badaniu zrealizowanym w projekcie EWD

** tylko dla roczników kończących klasę VI w latach 2014 i 2015 ze szkół, które uczestniczyły w badaniu OBUT w latach 2011 i 2012 i zachowały dane z tego badania

Wskaźniki jednoroczne pokazują efektywność nauczania w jednym roczniku uczniów, czyli jednym cyklu dydaktycznym szkoły. Szkoły zainteresowane wskaźnikami obliczają je samodzielnie za pomocą Kalkulatora EWD 100 (gimnazja i szkoły maturalne) lub Kalkulatora EWD SP (szkoły podstawowe). Oprócz wskaźników dla całej szkoły, możliwe są obliczenia w interesujących szkołę grupach uczniów, np. wśród chłopców i dziewcząt, w poszczególnych klasach itp.

Wskaźniki trzyletnie są łączną informacją o wynikach egzaminacyjnych i efektywności nauczania w szkole w trzech kolejnych rocznikach uczniów. Wskaźniki te, w przeciwieństwie do jednorocznych, są ogólnodostępne.

Obliczanie wskaźników EWD wymaga dostępności danych egzaminacyjnych na początku i końcu etapu kształcenia, którego wskaźnik ma dotyczyć. Z tego powodu modele EWD w Polsce opracowuje się dla gimnazjów i szkół kończących się maturą. Wyjątek stanowią szkoły podstawowe, które w latach 2011 oraz 2012 przystąpiły do Ogólnopolskiego Badania Umiejętności Trzecioklasistów (OBUT) i w szkolnych archiwach zachowały dane z tego badania. Placówki te, jeżeli połączą wyniki uczniów z badania OBUT z wynikami sprawdzianu, mają możliwość obliczenia za pomocą Kalkulatora EWD SP jednorocznych wskaźników EWD dla II etapu edukacyjnego dla roczników uczniów, którzy ukończyli szkołę w latach 2014 i 2015.

Wskaźniki EWD dla I etapu edukacyjnego (klasy I-III szkoły podstawowej) nie są obecnie dostępne. W książce Kontekstowy model oceny efektywności nauczania po I etapie edukacyjnym (Dolata i in. 2014) przedstawiono wyniki analiz oraz rekomendacje dotyczące możliwości szacowania efektywności nauczania dla tego etapu. Natomiast rekomendacje dla II etapu edukacyjnego zamieszczono w książce (Ko)wiarianty efektywności nauczania. Wyniki badania w klasach IV-VI .

W zależności od struktury egzaminów zewnętrznych, do których przystępują uczniowie na początku i końcu danego etapu kształcenia, możliwe jest obliczanie wskaźników EWD dla różnych dziedzin wiedzy.

Tabela poniżej prezentuje dostępne obecnie wskaźniki EWD. Podane lata oznaczają roczniki, dla których obliczono po raz pierwszy dany typ wskaźnika. Wskaźnik jest dostępny dla kolejnych roczników. Na przykład, pierwszy trzyletni humanistyczny wskaźnik EWD dla gimnazjów obliczono dla roczników 2006-2008. Wskaźnik ten dostępny jest dla wszystkich kolejnych okresów.

Wskaźniki EWD szacuje się na podstawie modeli, które pozwalają na statystyczne prognozowanie wyników uczniów na egzaminie kończącym dany etap kształcenia w zależności od wyników na egzaminie "na wejściu". W przypadku EWD gimnazjalnego, wykorzystuje się wyniki sprawdzianu (arkusz standardowy) oraz egzaminu gimnazjalnego (arkusz standardowy), natomiast w przypadku EWD maturalnego – wyniki egzaminu gimnazjalnego (arkusz standardowy) oraz matury (arkusze standardowe, poziom podstawowy i rozszerzony). Ze względu na brak centralnej bazy danych zawierającej wyniki egzaminacyjne, modelowanie EWD wymaga wcześniejszego pozyskania z Okręgowych Komisji Egzaminacyjnych danych z poszczególnych egzaminów, ich "wyczyszczenia" i połączenia.

Model statystyczny EWD jednorocznego to model regresji najmniejszych kwadratów, w którym przewiduje się wyniki na egzaminie kończącym dany etap kształcenia na podstawie wyników egzaminu "na wejściu", z uwzględnieniem zmiennych kontrolnych. Wskaźnik EWD obliczany jest jako średnia z reszt regresji w ramach grup będących przedmiotem zainteresowania. Wyniki egzaminów przekształca się na skalę znormalizowaną o średniej 100 i odchyleniu standardowym 15 w skali kraju. Model statystyczny implementowany jest w aplikacji – Kalkulatorze EWD – za pomocą której użytkownicy wyliczają wskaźniki na podstawie samodzielnie wczytanych danych.

W modelu EWD dla II etapu edukacyjnego (szkoła podstawowa, klasy IV-VI) uwzględnia się jako zmienne kontrolne informacje o płci ucznia i dostosowaniu warunków sprawdzianu ze względu na specyficzne trudności w uczeniu się. Wyniki pomiarów na „wejściu” i „wyjściu” przed modelowaniem skaluje się z wykorzystaniem modelu Rascha^[1]. Użytkownik wylicza samodzielnie wskaźniki za pomocą aplikacji Kalkulator EWD SP^{[potrzebny przypis]}.

W modelach gimnazjalnych EWD uwzględnia się jako zmienne kontrolne informacje o płci ucznia, dostosowaniu warunków egzaminu ze względu na specyficzne trudności w uczeniu się podczas sprawdzianu, podczas egzaminu gimnazjalnego oraz interakcję tych zmiennych. Uwzględnia się dane uczniów o standardowym (3 lata), jak i wydłużonym o rok toku kształcenia. Użytkownik wylicza samodzielnie wskaźniki za pomocą aplikacji EWD 100.

W modelu EWD dla liceów ogólnokształcących i techników kontroluje się te same zmienne, co w przypadku gimnazjów. Uwzględnia się dane uczniów o standardowym (3 lata w liceach, 4 lata w technikach), oraz wydłużonym o rok toku kształcenia. Wyniki maturalne z matematyki skaluje się z wykorzystaniem modelu Rascha, uwzględnia się zarówno poziom podstawowy, jak i rozszerzony. Użytkownik wylicza samodzielnie wskaźniki za pomocą aplikacji Kalkulator EWD 100.

Modele trzyletnie EWD to modele regresji mieszanych efektów z efektem losowym dla stałej regresji związanym z przydziałem uczniów do szkół. Wskaźniki EWD obliczane są jako bayesowskie predykcji a'posteriori (Best Linear Unbiased Predictors) realizacji efektu losowego. W modelach tych wykorzystuje się wyniki egzaminacyjne na początku i końcu tego etapu kształcenia pochodzące z trzech kolejnych roczników uczniów. Uwzględnia się szereg zmiennych kontrolnych. Wyniki egzaminacyjne podlegają skalowaniu za pomocą modeli IRT i przekształceniu na skalę o średniej 100 i odchyleniu standardowym 15.

W modelach gimnazjalnych EWD uwzględnia się jako zmienne kontrolne: płeć, informacja o dostosowaniu warunków egzaminu ze względu na specyficzne trudności w uczeniu się podczas sprawdzianu, egzaminu gimnazjalnego oraz interakcja obu tych zmiennych. Uwzględnia się dane uczniów o standardowym cyklu kształcenia i tych, których tok kształcenia jest dłuższy o jeden rok.

W modelach maturalnych EWD kontroli statystycznej podlegają: płeć, informacja o dostosowaniu warunków egzaminu ze względu na specyficzne trudności w uczeniu się podczas egzaminu gimnazjalnego, matury, interakcję tych zmiennych oraz parametry selekcji, które pozwalają poradzić sobie ze zjawiskiem wybierania poziomu arkusza (podstawowy/rozszerzony) w zależności od poziomu umiejętności.

Wskaźniki jednoroczne przedstawiane są w formie graficznej i mają postać pionowych odcinków, których środek, zaznaczony za pomocą kropki, przedstawia oszacowanie punktowe EWD, natomiast linie poniżej i powyżej kropki reprezentują przedział ufności (domyślnie: 90%).

Jeżeli przedział ufności zawiera wartość średnią EWD w kraju (0), oznacza to, że szkoła pracowała z uczniami z przeciętną, typową dla większości szkół efektywnością. Jeżeli wskaźnik w całości znajduje się powyżej lub poniżej wartości 0, oznacza to, że efektywność nauczania w szkole była odpowiednio wyższa lub niższa niż przeciętnie.

Trzyletnie wskaźniki przedstawiane są graficznie w układzie współrzędnych, w którym na osi poziomej znajdują się wyniki egzaminacyjne, natomiast na osi pionowej – edukacyjna wartość dodana. Wskaźniki są prezentowane w postaci elips reprezentujących łączną informację o średnim wyniku egzaminacyjnym oraz EWD w zakresie sprawdzanym przez egzamin zewnętrzny z uwzględnieniem niepewności szacowania obu wartości (poziom ufności dla rozkładu dwuwymiarowego: 95%). W centrum układu współrzędnych wyrysowane są dwie szare elipsy zwane warstwicami, wskazujące obszary, w których koncentruje się odpowiednio około 50% i około 90% wyników szkół w skali kraju. Warstwice ułatwiają ilościową interpretację wskaźników. Domyślnie osie układu współrzędnych przecinają się w punkcie średniego wyniku egzaminacyjnego w kraju oraz średniego EWD w kraju, jednak użytkownik ma możliwość wybrania gminy, powiatu lub województwa jako dodatkowego układu odniesienia.

Jeżeli elipsa zachodzi na oś pionową, której położenie wyznacza punkt średniego wyniku egzaminacyjnego w kraju lub w innym wybranym przez użytkownika układzie odniesienia, wyniki egzaminacyjne tej szkoły są przeciętne. Jeżeli elipsa nie zachodzi na oś pionową, lecz jest w całości po prawej lub lewej stronie osi, wyniki egzaminacyjne szkoły są odpowiednio niższe lub wyższe niż przeciętnie. Wnioskowanie o stopniu, w jakim szkoła odbiega od średniej, możliwe jest na podstawie znajomości właściwości rozkładu normalnego (średnia wyników w kraju wynosi 100, odchylenie standardowe: 15). W podobny sposób interpretuje się położenie szkoły w stosunku do osi poziomej. Jeżeli elipsa nie zachodzi na oś poziomą, lecz w całości leży poniżej lub powyżej osi, EWD szkoły jest odpowiednio niższe lub wyższe niż przeciętne. Wartości EWD wyrażone są w tych samych jednostkach, co wyniki egzaminu. Średnia EWD w kraju wynosi 0. Interpretując wskaźniki, należy uwzględnić jednocześnie informację o średnim wyniku egzaminacyjnym oraz efektywności nauczania.

Wskaźniki trzyletnie dla szkół kończących się maturą prezentowane są wraz z informacjami o liczbie osób, które przystąpiły w szkole do egzaminu maturalnego w analizowanym okresie oraz strukturą wyboru przedmiotów i poziomów egzaminów. Informacje te wspierają interpretację wskaźników.

Badanie trafności wskaźników EWD dla gimnazjów przeprowadził zespół EWD w latach 2009-2013. Wyniki tego badania są pomyślne. Okazało się, że wskaźniki EWD nie zależą w znaczącym stopniu od czynników pozaszkolnych, takich jak status społeczny rodziców czy inteligencja uczniów. Gdyby było inaczej, nie można by uznać, że odzwierciedlają efektywność nauczania. Oprócz tego wskaźniki okazały się nieskorelowane z korzystaniem przez uczniów z korepetycji – szkoły, których uczniowie uczęszczali na takie zajęcia, nie osiągały wyższych wartości wskaźników EWD. Wykryto natomiast, że w efektywnych szkołach uczniowie w większym stopniu rozwijają się poznawczo. Więcej informacji znajduje się w książce pt. „Trafność metody edukacyjnej wartości dodanej dla gimnazjów” (Dolata i in.2013).

Badanie trafności wskaźników EWD dla szkół kończących się maturą przeprowadził Instytut Filozofii i Socjologii PAN w latach 2009-2013 (Karwowski, 2013). Wyniki tych badań również są pomyślne. Wskaźniki EWD dla liceów ogólnokształcących i techników okazały się w niewielkim stopniu powiązane ze statusem społeczno-ekonomicznym rodzin uczniów. Ponadto okazały się w niedużym stopniu skorelowane z inteligencją uczniów. Zaobserwowano także korelacje wartości wskaźników z cechami przypisywanymi „dobrym” szkołom, m.in. z efektywnym wykorzystaniem czasu na lekcji (czas poświęcony na naukę w stosunku do czasu poświęcanego na utrzymanie porządku w klasie i na czynności administracyjne) oraz proszkolnym klimatem panującym wśród uczniów. Szczegółowe informacje znajdują się w książce podsumowującej wyniki badania pt. „Ścieżki rozwoju edukacyjnego młodzieży – szkoły pogimnazjalne” (Karwowski i in, 2013)

Wskaźniki trzyletnie dają ogólny obraz wyników i efektywności nauczania w szkole. Umożliwiają śledzenie zmian w czasie i porównywanie danej szkoły z innymi placówkami. Przeznaczone są przede wszystkim dla szkół, lecz krąg ich odbiorców jest znacznie szerszy. Mogą one stanowić informację wspomagającą wybór szkoły dla rodziców i uczniów. Samorządy, przyglądając się wskaźnikom znajdujących się na ich terenie placówek, mogą dokonywać ewaluacji prowadzonej polityki edukacyjnej (np. obserwować różnicowanie się placówek). Kuratoria mogą wykorzystywać wskaźniki podczas realizacji ewaluacji zewnętrznej.

Z perspektywy szkoły szczegółowość analiz, na jakie pozwalają wskaźniki trzyletnie, jest niewystarczająca, by zrozumieć procesy zachodzące w placówce. Do tego celu potrzebne jest narzędzie, które wykaże zmiany w krótszych niż trzyletnie okresach czasu, pozwoli wyliczyć wskaźniki EWD dla mniejszych i specyficznych dla szkoły grup uczniów, umożliwi porównanie między latami nie tylko efektów pracy szkoły jako całości, ale również efektywności nauczania w wybranych grupach uczniowskich. Służą temu jednoroczne wskaźniki EWD, które szkoły mogą wyliczać samodzielnie za pomocą Kalkulatora EWD. Analizy te służą lepszemu zrozumieniu czynników efektywności w szkole oraz ewaluacji wewnętrznej prowadzonych działań (w tym np. innowacji) dydaktycznych.

Wykorzystywane na świecie modele edukacyjnej wartości dodanej są zróżnicowane – zawierają różnorodne zmienne, pozwalają na ocenę efektywności nauczania szkół i/lub nauczycieli.

Głosy krytyczne podzielić można na dwie grupy – głosy specjalistów zajmujących się modelowaniem EWD oraz głosy opinii publicznej i użytkowników. Dotyczą one przede wszystkim trafności metody.

Specjaliści wskazują, że nie tylko poziom osiągnięć szkolnych, ale również ich przyrosty – czyli również EWD szkoły – mogą być pod kontrolą czynników genetycznych a nie środowiskowych^[2][3]. Specjaliści podkreślają problematyczność przyczynowej interpretacji wskaźników EWD ze względu na nielosowy przydział uczniów i nauczycieli do szkół. Nawet staranna kontrola zmiennych opisujących mechanizm selekcji do szkół nie rozwieje ostatecznie wątpliwości interpretacyjnych^[4].

Użytkownicy wskazują, że podczas obliczania wskaźników nie uwzględnia się informacji o środowisku społecznym, w którym działa szkoła. Na przykład – modele EWD nie uwzględniają korzystania przez uczniów z korepetycji^[5]. W konsekwencji – twierdzą krytycy – efekty wypracowane przez korepetytorów przypisywane są szkole. Wyniki badań trafności metody EWD pokazały jednak, że zarzut ten – przynajmniej w odniesieniu do gimnazjum – nie znajduje potwierdzenia. Ponadto, szkołom, które mają wysokie wskaźniki EWD, zarzuca się koncentrowanie na wynikach testów i „ogłupianie” uczniów^[6]. Zarzutowi temu również przeczą wyniki badań trafności pokazujące, że w szkołach o wysokim EWD uczniowie lepiej rozwijają się poznawczo.

Odpowiedź na pytanie „Dlaczego nie powinno się wykorzystywać wskaźników EWD w ocenie pracy szkoły?” zawarta jest w artykule „Edukacyjna wartość dodana – nadzieje i rzeczywistość”^[7],

• Informacje o EWD