close

Вход

Забыли?

вход по аккаунту

?

30

код для вставкиСкачать
M
Y
CM
MY
CY
CMY
K
QQ
MERJENJE IZBOLJŠAV PRI UČNIH DOSEŽKIH
Q
C
Izvirnik te publikacije je bil objavljen pod naslovom Measuring Improvements in Learning
Outcomes: Best Practices to Assess the Value-Added of Schools, ISBN 9789264050228, © 2008
Organizacija za ekonomsko sodelovanje in razvoj (OECD), Pariz.
Ta prevod je objavljen z dovoljenjem OECD. Ne predstavlja uradnega prevoda s strani
organizacije OECD.
MERJENJE IZBOLJŠAV
pri učnih dosežkih
www.oecdbookshop.org - Spletna knjigarna OECD
www.sourceoecd.org - OECD e-knjižnica
www.oecd.org/oecddirect - Služba OECD za obveščanje o izdanih publikacijah
Publikacija je brezplačna.
ISBN 978-961-6899-00-0
9 789616 899000
Dobre prakse
za presojanje dodane vrednosti šol
MERJENJE IZBOLJŠAV PRI UČNIH DOSEŽKIH:
Dobre prakse za presojanje dodane vrednosti šol
V času, ko izobraževalni sistemi držav članic OECD doživljajo vedno večje pritiske,
da bi povečali svojo učinkovitost, vedno več udeležencev priznava, da obstaja
potreba po natančnih merilih uspešnosti šol. A kako naj njihovo uspešnost
natančno merimo? Surovi rezultati testov in njihovo razvrščanje pogosto odsevajo družbeno-ekonomski položaj učencev. Modeliranje dodane vrednosti je drugačno in se osredotoča na napredek v uspešnosti učenca. Nanaša se na skupino
statističnih modelov, ki ocenjujejo prispevek šol k temu napredku v okviru predpisanih ali izraženih ciljev (npr. kognitivne dosežke), merjene dvakrat v določenem
časovnem obdobju.
Ocene dodane vrednosti so pomemben korak naprej glede na merila šolske uspešnosti, ki so trenutno v rabi v večini izobraževalnih sistemov držav OECD. Prinašajo
bistveno natančnejšo in dragocenejšo kvantitativno bazo za boljše načrtovanje
v šolah, razvoj šolske politike in ustvarjanje odgovornosti šole. Brez natančnega
merila uspešnosti so lahko pravični rezultati in učinkoviti odzivi šolske politike
kompromitirani, saj sredstva ne pridejo tja, kjer so najbolj potrebna. Politike in
prakse ni mogoče izboljšati, če ne vemo, kaj preverjeno deluje. Tu igra bistveno
vlogo modeliranje dodane vrednosti. Prinaša natančnejša merila šolske uspešnosti in odpravlja številne probleme drugih meril, ki so lahko pristranska do šol, na
katerih se izobražujejo učenci iz deprivilegiranih socialno-ekonomskih okolij.
To prelomno poročilo je obvezno čtivo za vse, ki jih zanima šolska uspešnost.
Celotno besedilo izvirnika je dostopno na spletu prek povezave:
www.sourceoecd.org/educationt/9789264050228
Tisti, ki imajo dostop do vseh knjig OECD, naj uporabijo povezavo:
www.sourceoecd.org/9789264050228
SourceOECD je spletna knjižnica OECD, v kateri so na voljo knjige, periodični tisk
in statistične baze podatkov.
Za več informacij o tej nagrajeni spletni storitvi in za brezplačno poskusno
uporabo vprašajte v knjižnicah ali pišite na SourceOECD@oecd.org.
Merjenje izboljšav
pri učnih dosežkih
Dobre prakse za presojanje dodane vrednosti šol
oecd
Naslov izvirnika: Measuring Improvements in Learning Outcomes best practices to assess the value-added of schools
MINISTRSTVO ZA ŠOLSTVO IN ŠPORT
republika SLOVENIJA
MERJENJE IZBOLJŠAV PRI UČNIH DOSEŽKIH:
Dobre prakse za presojanje dodane vrednosti šol
Naslov izvirnika: Measuring Improvements in Learning Outcomes
best practices to assess the value-added of schools
Izdal in založil: Državni izpitni center, zanj dr. Darko Zupanc
Izdajo publikacije je omogočilo sofinanciranje Evropskega socialnega sklada
Evropske unije in Ministrstva za izobraževanje, znanost, kulturo in šport Republike Slovenije
Prevedla: Barbara Skubic
Jezikovni pregled: Tina Vršnik Perše
Strokovni pregled: dr. Gašper Cankar
Tehnična urednica: Nataša Poč
Urednica založbe: Joži Trkov
Oblikovanje naslovnice: Barbara Železnik Bizjak
Prelom: Bojan Primožič
Tisk: GRAFIS grafični inženiring d. o. o.
Naklada: 270 izvodov
1. izdaja, Ljubljana, 2012
Izvirnik je objavil OECD v angleščini pod naslovom: Measuring Improvements in
Learning Outcomes: Best Practices to Assess the Value-Added of Schools.
© 2008 OECD
Vse pravice pridržane.
© 2012 Državni izpitni center za slovenski prevod
Objavljeno z dovoljenjem OECD, Pariz.
Kakovost slovenskega prevoda in usklajenost z izvirnikom je odgovornost Državnega
izpitnega centra.
CIP - Kataložni zapis o publikaciji
Narodna in univerzitetna knjižnica, Ljubljana
37:311
311.1:37
MERJENJE izboljšav pri učnih dosežkih : dobre prakse za presojanje dodatne vrednosti šol / [prevedla Barbara Skubic]. - Ljubljana :
Državni izpitni center, 2012
Prevod dela: Measuring improvements in learning outcomes
ISBN 978-961-6899-00-0
262337280
ORGANIZACIJA ZA EKONOMSKO SODELOVANJE IN RAZVOJ
OECD je edinstven forum, v katerem se vlade štiriintridesetih demokratičnih
držav skupaj lotevajo gospodarskih, družbenih in okoljskih izzivov globalizacije.
Prav tako je OECD med vodilnimi organizacijami v prizadevanjih, da bi razumeli
razvojne novosti in vprašanja, na primer vodenje podjetij, informacijske ekonomije in izzive, ki jih povzroča staranje prebivalstva, in pomagali vladam, da se
odzovejo nanje. Organizacija zagotavlja okolje, v katerem lahko vlade primerjajo
svoje izkušnje s politikami drugih, iščejo odgovore za skupne probleme, prepoznavajo dobre prakse in si prizadevajo uskladiti svoje notranje in mednarodne
politike.
Države članice OECD so: Avstralija, Avstrija, Belgija, Češka, Čile, Danska, Estonija, Finska, Francija, Grčija, Irska, Islandija, Italija, Izrael, Japonska, Kanada, Koreja,
Luksemburg, Madžarska, Mehika, Nemčija, Nizozemska, Norveška, Nova Zelandija, Poljska, Portugalska, Slovaška, Slovenija, Španija, Švedska, Švica, Turčija,
Združene države Amerike in Združeno kraljestvo. Pri delu OECD sodeluje tudi
Komisija evropskih skupnosti.
Publikacije OECD razširjajo rezultate zbranih statistik in raziskav o gospodarskih, družbenih in okoljskih vprašanjih, ki jih je zbrala ali izvedla organizacija, pa
tudi konvencije, smernice in standarde, o katerih so se dogovorile njene članice.
Odgovornost za izid tega zvezka prevzema generalni sekretar OECD. Mnenja in argumenti,
izraženi in uporabljeni v njem, ne pomenijo nujno uradnih stališč organizacije ali vlad
držav članic.
Popravke k publikacijam OECD lahko najdete na naslednjem spletnem naslovu: www.oecd.org/
publishing/corrigenda.
© OECD 2008
Vsebine na spletni strani OECD lahko kopirate ali snemate s spleta za lastno uporabo in
odlomke iz publikacij, podatkovnih baz in multimedijskih izdelkov OECD vključujete v svoje
dokumente, predstavitve, bloge, spletne strani in učna gradiva, če OECD ustrezno navajate
kot vir in imetnika avtorskih pravic. Vse zahteve za javno in komercialno rabo in v zvezi s pravicami za prevajanje pošljite na rights@oecd.org. Prošnje v zvezi z dovoljenji za fotokopiranje
dela tega gradiva za javno ali komercialno rabo naslovite neposredno na Copyright Clearance
Center (CCC) pri info@copyright.com ali na Centre français d’exploitation du droit de copie (CFC)
contact@cfcopies.com.
PREDGOVOR
V prizadevanjih, da bi izboljšale svoje izobraževalne sisteme, namenjajo članice
OECD vedno večji poudarek merilom o uspešnosti dela šol, saj so le-ta ključna v
prizadevanjih šol za izboljšanje, za sisteme šolske odgovornosti in izbiro šol in širše
izobraževalne politike. Vendar pa je vrednost tega poudarka odvisna od natančnosti meril o uspešnosti šol. Vrsta držav se izogiba surovim rezultatom testov o
uspešnosti šol, saj so ti lahko tudi odsev dejavnikov okolja, iz katerega prihajajo
učenci, in zato le slabo predstavljajo uspešnost šol. To lahko povzroči težave: brez
natančnih meril uspešnosti so lahko nepristranski rezultati in učinkoviti odzivi
politike vprašljivi, saj se sredstva ne usmerjajo tja, kjer so najbolj potrebna. Šolske politike in prakse ni mogoče izboljšati, če ne vemo, kaj zares deluje. Prav zato
igra oblikovanje modelov dodane vrednosti tako pomembno vlogo, saj ponuja
natančnejše merilo za uspešnost šol. To merilo se izogne veliko težavam, ki pestijo
druga merila, predvsem pristranskosti do šol, v katerih se šolajo učenci iz neprivilegiranih socialno-ekonomskih okolij. Natančno merilo uspešnosti poveča zaupanje, ki ga lahko imajo interesne skupine v sistem dela šol in njihove evalvacije.
Kazalniki dodane vrednosti prinašajo pomembno orodje za prepoznavanje
dobre prakse v izobraževalnem sistemu. Vendar pa ima le malo držav članic OECD
uveljavljene mehanizme, ki bi na ravni šol zagotavljali informacije o dodani vrednosti. Pri izboljševanju načrtovanja in uvajanja modelov dodane vrednosti v
izobraževalne sisteme je veliko izzivov. Razvoj ustreznih podatkovnih baz, oblikovanje ustreznih statističnih tehnik in kombinacija obojega s primernimi odzivi izobraževalne politike in s pobudami za izboljševanje šol predstavljajo nenehen izziv.
Poleg tega se pri uspešnem vključevanju modeliranja dodane vrednosti v izobraževalne sisteme pojavlja vrsta tehničnih težav. Te imajo precejšnjo politično težo
in lahko resno omejijo uporabnost modelov dodane vrednosti pri razvoju šolske
politike. Zato to poročilo posveča precej pozornosti tehničnim vidikom razvoja
modelov dodane vrednosti, saj je za razvoj učinkovite šolske politike bistveno, da
so le-ti ustrezno obravnavani.
Poročilo je namenjeno oblikovalcem šolskih politik, upravljalcem, ravnateljem,
učiteljem in vsem, ki jih zanimajo izobraževalni sistemi. Z njegovo pomočjo bodo
dobili informacije in smernice, kako lahko sistem določanja modelov dodane vre-
dnosti na ravni šol razvijejo tako, da bo koristen za izobraževalni sistem. Poročilo
črpa iz najnovejših raziskav, najboljših praks in izkušenj, pridobljenih v izobraževalnih sistemih, ki pravkar uvajajo določanje modelov dodane vrednosti ali pa
so to storili v preteklosti. Poročilo je razdeljeno na tri dele: prvi del predstavlja
cilje in uporabo sistema za določanje modelov dodane vrednosti. Obravnava
najpomembnejše usmeritve in načine uporabe, ki spodbujajo izboljšanje šol in
njihovo prevzemanje odgovornosti in ustrezno izbiro šol s strani staršev. Drugi
del je bolj tehnične narave in bo verjetno primernejši za bralce, ki jih zanimajo
tehnična vprašanja pri določanju modelov dodane vrednosti. Osredotoča se na
njihovo oblikovanje, na relevantna statistična in metodološka vprašanja. Tretji
del se osredotoča izključno na vpeljevanje modelov dodane vrednosti in zajema
tako politična kakor tudi institucionalna vprašanja, ki jih je treba rešiti, in tehnične
pomisleke, ki jih je treba odpraviti. Poleg tega pa del poročila z naslovom ‘Vpeljevanje sistema modelov dodane vrednosti: ključni koraki v fazi vpeljevanja’ povzema
ključne točke iz tretjega dela in ponuja razmeroma hiter in enostaven vodič po
ključnih korakih, s katerimi se bodo morali v fazi implementacije spopasti oblikovalci šolskih politik in upravljavci. Ta del je na koncu prvega sklopa, preden se v
drugem delu začne bolj tehnična razprava.
Poročilo se je začelo razvijati, ko je odbor za izobraževanje pri Direktoratu
OECD za izobraževanje na svojem zasedanju 6. in 7. aprila 2005 podprl pobudo
predstavnikov Norveške, da bi pregledali uporabo meril za dodano vrednost na
ravni šol v vseh državah OECD. To je pripeljalo do predloga, naj države premislijo
o svojem sodelovanju pri tem projektu, ki ga je finančno podprla norveška vlada,
razvil pa ga je Ben Jensen pri Sekretariatu OECD. Henryja Brauna, vodilnega strokovnjaka na tem področju, so zaprosili, naj pripravi strokovno gradivo, ki je bilo
vključeno v predlog.
Uporaba modelov dodane vrednosti v izobraževalnih sistemih držav OECD ni
posebej razširjena, pogosta pa je v Združenem kraljestvu in ZDA. Poleg tega je
več držav razvilo manjše ali regionalne pilotne iniciative. Države članice OECD so
bile k projektu povabljene julija 2006 in trinajst se jih je vabilu odzvalo: Avstralija,
Belgija (flamska skupnost), Češka, Danska, Francija, Nizozemska, Norveška, Poljska, Portugalska, Slovenija, Španija, Švedska in Združeno kraljestvo. Takrat je bilo
tudi določeno, da bo projekt vodila ekspertna skupina, ki bo pripravila poročilo o
razvoju določanja modelov dodane vrednosti, sestavljali jo bodo strokovnjaki iz
sodelujočih držav, vodil jo bo Sekretariat OECD, za pomoč pri oblikovanju poročila
pa bodo povabili še dodatne strokovnjake.
Ekspertno skupino so sestavljali:
Bieke De Fraine
Belgija (Fl.)
Maciej Jakubowski
Poljska
Eva Van de gaer
Belgija (Fl.)
Maria Eugénia Ferrão
Portugalska
Radim Ryska
Češka
Gašper Cankar
Slovenija
Sine Frederiksen
Danska
Rosario Martínez Arias
Španija
Poul Schjørring
Danska
Anders Broberg
Švedska
Claudie Pascal
Francija
Andrew Ray
Združeno kraljestvo
Wim van de Grift
Nizozemska
Henry Braun
vabljeni strokovnjak
Torbjørn Hægeland
Norveška
Ben Jensen
OECD
Skupino je vodil Ben Jensen iz Sekretariata OECD, ki je predsedoval vsem štirim dvodnevnim sestankom, namenjenim diskusijam o relevantnih vprašanjih in
pripravi poročila. Prvi sestanek je potekal v Oslu novembra in decembra 2006.
Težišče sestanka je bila diskusija o modelih dodane vrednosti v državah udeleženkah. Vsak član ekspertne skupine je pripravil poročilo o uporabi modela dodane
vrednosti v svoji državi, vključno z diskusijo o njihovi natančnosti in uporabnosti,
in o uporabi rezultatov šol pri pospeševanju ciljev šolske politike. To je izpostavilo
skupne točke in razlike med posameznimi državami pri razvoju modelov dodane
vrednosti in spodbudilo razpravo o tem, kako jih definirati na ravni šol.
Drugi sestanek ekspertne skupine je bil marca 2007 v Londonu. Posvečen je bil
uporabi informacij o dodani vrednosti, katerih namen je izboljšava šol, in njihovi
predstavitvi v sodelujočih državah. Za lažjo diskusijo o teh vprašanjih so predstavitve pripravili Henry Braun, Ben Jensen in Andrew Ray. Tretji sestanek je bil maja
2007 v Varšavi in se je osredotočil na statistična in metodološka vprašanja pri
razvoju in uporabi določanja modelov dodane vrednosti. Predstavljeni so bili specializirani referati, v katerih so avtorji raziskali, kako stabilni so rezultati šol, pa tudi
občutljivost specifikacij modela in uporabe različnih družbeno-ekonomskih kontekstualnih karakteristik in druga vprašanja, na primer, kaj storiti v primeru manjkajočih podatkov ali napake pri meritvah. Pripravljen je bil dodaten referat, ki je ponazoril prednosti uporabe informacij o dodani vrednosti šol za šolske inšpektorje. Te
referate so pripravili Maria Ferrão, Torbjørn Haegeland, Maciej Jakubowski, Andrew
Ray in Wim van de Grift. Četrto srečanje ekspertne skupine se je odvilo septembra
2007 v Kopenhagnu. Sodelujoči so analizirali nastajanje poročila, osredotočili so se
na razpravo o metodoloških vprašanjih, na primer o odnosu med modeli dodane
vrednosti in modeli rasti ali možnostih za analizo dodane vrednosti znotraj okvira
OECD INES, da bi raziskali vprašanja, povezana z modeli dodane vrednosti. Referate in predstavitve, ki so spodbudili razpravo o teh vprašanjih, so pripravili Henry
Braun, Maciej Jakubowski, Ben Jensen in Eva Van de gear.
Člani ekspertne skupine so še naprej sodelovali pri razvoju poročila, katerega pripravo je vodil Ben Jensen iz Sekretariata OECD. Še več, kar nekaj predelanih delov tega poročila je bodisi prevzetih iz referatov, ki so bili predstavljeni
na sestankih ekspertne skupine, ali pa se pri njih navdihujejo. Posamezni člani so
k poglavjem in razdelkom tega poročila prostovoljno prispevali podrobne prispevke. Poleg tega je vsak od članov ekspertne skupine pri oblikovanju poročila
deloval tudi kot pregledovalec. Zdelo se je primerno, da za recenzijo poročila imenujemo tehničnega strokovnjaka. Za dvostopenjski recenzijski postopek smo se
odločili, da bi se zagotovo posvetili vsem vprašanjem, na katera je opozoril tehnični pregled. Dr. Daniel McCaffrey, vodilni strokovnjak na področju analiz dodane
vrednosti, je privolil, da bo poročilo tehnično pregledal in je tako znatno prispeval
k njegovi kakovosti. Poročilo je uredil Andrew Tierney. Raziskovalna pomoč pri pripravi poročila je delo Diane Toledo Figueroa, administrativna podpora pa Fionnuale Canning. Juliet Evans, Shayne MacLachlan in Elisabeth Villoutreix so usklajevali
njegovo izdelavo.
VSEBINA
Uvod
17
Modeli dodane vrednosti: definicija
22
Format tega poročila
25
1.DEL
CILJI IN UPORABA MODELOV DODANE VREDNOSTI
27
1. Cilji smernic šolske politike pri razvoju sistema modelov dodane vrednosti 29
Uporaba modelov dodane vrednosti za izboljšave v šolah 31
Odločanje, utemeljeno na zbranih podatkih
32
Natančnost meril uspešnosti
34
Uporaba družbeno-ekonomskih značilnosti pri oblikovanju
modelov dodane vrednosti
37
Povečevanje odgovornosti šol z uporabo modelov dodane vrednosti
Spodbude in neoptimalen rezultat
Izboljševanje izbire šol s pomočjo informacij o dodani vrednosti
Sklep
2. Predstavitev in interpretacija modelov dodane vrednosti 40
46
48
52
53
Predstavitev informacij dodane vrednosti
55
Identificiranje pomembnih sprememb v uspešnosti šol
63
Ustvarjanje standardov in zgledov z informacijami o dodani vrednosti
64
Predstavitev v medijih
67
3. Uporaba modelov dodane vrednosti za notranjo izboljšavo šol
Šole kot izobraževalne organizacije
73
73
Analiza profilov dodane vrednosti šol
76
Uporaba modelov dodane vrednosti kot pomoč pobudam za izboljšanje šol
78
Uporaba modelov dodane vrednosti za projekcije uspešnosti
81
Usmerjena uporaba modelov dodane vrednosti
85
Uporaba modelov dodane vrednosti za izboljšanje sistema evalvacije šole 88
Uvajanje sistema določanja modelov dodane vrednosti:
ključni koraki faze uvajanja
2.DEL
NAČRTOVANJE MODELOV DODANE VREDNOSTI 95
103
Uvod
105
4. Premislek ob oblikovanju
111
Podatki o ocenjevanju učencev
113
Konstruktna veljavnost
114
Merska napaka
116
Lestvičenje testnih rezultatov
117
Rezultati ocenjevanja, izraženi na ordinalni lestvici
118
Struktura ocenjevanja učencev v sodelujočih državah
120
Filozofija statističnih prilagoditev in uporaba kontekstualnih značilnosti
124
Pomen kontekstualnih značilnosti
126
Katere socialno-ekonomske značilnosti?
129
Podatki na ravni šole
137
5. Ilustrativni modeli dodane vrednosti
139
Modeli dodane vrednosti na osnovi linearne regresije
139
Modeli variančnih komponent ali modeli z naključnimi učinki
140
Modeli dodane vrednosti s fiksnimi učinki
142
Dallaški model
143
Multivariatni modeli odziva z naključnimi učinki 146
Analiza krivulje napredka
148
Sklep
6. Izbira modela: statistična in metodološka vprašanja 150
151
Statističi kriterij: varianca in medčasovna zanesljivost
152
Statistični kriterij: pristranskost
156
Statistični kriterij: srednji kvadrat napake
157
Manjkajoči podatki Izbira modela v analizi dodane vrednosti
Sklep
158
160
163
3.DEL
VPELJEVANJE MODELOV DODANE VREDNOSTI
167
Uvod
169
7. Vzpostavljanje ciljev šolske politike in izbor ustreznega modela
dodane vrednosti
171
Izbor spremenljivk za merjenje dodane vrednosti Diskretna in zvezna merila
173
174
Identificiranje najboljšega modela dodane vrednosti za cilje šolske politike 175
Razvoj učinkovite baze podatkov
178
Pilotni program za sistem dodane vrednosti
183
8. Nadaljnji razvoj in raba modelov dodane vrednosti
187
Raba rezultatov triletnega drsečega povprečja
191
Komunikacija in vključevanje deležnikov
192
Razvoj programa usposabljanja
196
Predstavitev in raba informacij o dodani vrednosti
200
Literatura
203
SLIKE
Slika 2. 1: Primer izračuna sredinske črte dodane vrednosti za Anglijo
56
Slika 2. 2: Posnetki zaslonov, ki prikazujejo dodano vrednost
na spletni strani tabel uspešnosti 58
Slika 2. 3: Primer konteksualiziranih informacij dodane vrednosti
za angleško srednjo šolo 61
Slika 2. 4: Kontekstualizirane spremembe dodane vrednosti
v primerjavi s spremembami surovih dosežkov
63
Slika 2. 5: Izsek iz časnika The Guardian (19/1/2006),
ki prikazuje dodano vrednost in druge podatke
68
Slika 2. 6:Odlomek iz časnika The Times (19/1/2006),
ki prikazuje »primerjalno tabelo« z dodano vrednostjo
69
Slika 2. 7: Rezultati dodane vrednosti angleške šole,
dosegljivi na spletni strani BBC, 2008 71
Slika 3. 1: Primer profila dodane vrednosti za šole
z uporabo sistema TVAAS – matematika
76
Slika 3. 2: Primer iz šolskega poročila TVAAS
80
Slika 3. 3: Primer projekcijskega poročila TVAAS
83
Slika 3. 4: Primer šolskega poročila TVAAS (algebra)
84
Slika 3. 5: Primer primerjalnih krivulj uspešnosti TVAAS
86
Slika 4. 1: Grafični prikaz procesa statistične prilagoditve
125
PREGLEDNICE
Preglednica 2. 1: Število šol glede na medletno opazno spremembo
med letoma 2005 in 2006 Key Stage 4
kontekstualizirani rezultati dodane vrednosti
66
Preglednica 4. 1:Ocenjevanje učencev v sodelujočih državah, ki bi bilo lahko
uporabljeno za določanje modelov dodane vrednosti
120
Preglednica 4. 2: Kontekstualni podatki, zbrani v sodelujočih državah,
ki bi bili lahko potencialno koristni pri modelih
dodane vrednosti
134
Preglednica 6. 1:
153
Absolutne spremembe pri kontekstualizirani dodani
vrednosti (CVA), dodani vrednosti (VA) in surovih
rezultatih (APS): Summary Statistics, Key Stage 4,
2005-2006 (Združeno kraljestvo)
OKVIRJI
Okvir 2. 1:Opis kontekstualizirane dodane vrednosti (CVA)
v angleških medijih
70
Okvir 3. 1:Osredotočanje na specifične procese poučevanja
in učenja pri šolskih inšpekcijah na Nizozemskem
91
Okvir 8. 1: Programi usposabljanja na Poljskem
199
UVOD
V času, ko so izobraževalni sistemi v vseh članicah OECD pod vedno večjim
pritiskom, naj povečajo uspešnost in učinkovitost, se krepi spoznanje, da so
potrebna natančna merila za določanje uspešnosti šol. Ocenjevanje dosežkov
učencev je danes v številnih državah OECD ustaljeno, rezultati pa so pogosto na
široko objavljeni in uporabljani tako v javnih debatah kakor tudi za potrebe izboljševanja dela šol. Pogledi na to, kako je mogoče in potrebno uporabiti rezultate
evalvacije in ocenjevanja, se razlikujejo. Nekateri jih vidijo predvsem kot orodja
za razkrivanje najboljših praks in prepoznavanje skupnih težav in bi radi z njimi
spodbudili učitelje in šole, naj izboljšajo in razvijejo bolj produktivno učno okolje,
ki bo udeleženim ponujalo več opore. Drugi njihovo vlogo krepijo s podpiranjem
konkurenčnosti javnih storitev ali tržnih mehanizmov pri dodeljevanju sredstev,
na primer tako, da javno objavijo primerljive rezultate in staršem olajšajo izbiro,
ali tako, da se sredstva dodeljujejo glede na število in uspeh učencev. Ne glede na
cilje merjenja uspešnosti šol je pomembno, da dejansko odsevajo prispevke posameznih šol, ne pa zgolj – ali deloma – družbeno-ekonomskih razmer, v katerih
učitelji poučujejo in šole delujejo. Če ni tako, so lahko sredstva dodeljena narobe
in ustvarjene so napačne spodbude, če – na primer – šole lahko dosežejo višji
akademski uspeh zaradi izbire učencev po učnem uspehu oziroma tako, da izberejo učence iz privilegiranih družbeno-ekonomskih okolij, namesto da bi rezultate
izboljšale s pomočjo boljših učnih metod.
V tem poročilu so dokumentirane najsodobnejše metode, ki jih prinaša določanje modelov dodane vrednosti in ki uporabnikom dopuščajo, da ločijo prispevek šole k razvoju učenca od kontekstualnih dejavnikov, ki so in na katere razred
in šola nimata vpliva. Večja natančnost, ki jo ti modeli zagotavljajo pri meritvah
uspešnosti šol, in vloga, ki jo lahko igrajo pri uvajanju izobraževalne politike in
spodbud za razvoj šol, sta povečali zanimanje za določanje modelov dodane
vrednosti. Cela vrsta študij je pokazala, da so ocene uspešnosti šol, pridobljene
s pomočjo modelov dodane vrednosti, natančnejše od tistih, ki jih dobimo s
pomočjo primerjave surovih testnih rezultatov ali presečnih kontekstualiziranih
modelov doseganja učnih ciljev, o katerih bomo več povedali v nadaljevanju
(Doran in Izumi, 2004). Kvantitativna baza, ki jo ponujajo, je namreč za vprašanja, povezana z načrtovanjem izboljšav v šolah in razvojem šolske politike, ter za
17
uresničevanje učinkovitih dogovorov o odgovornosti šol v osnovi natančnejša
in bolj dragocena od tiste, ki jo zagotavljajo surovi testni rezultati in presečne
študije.
Modeli dodane vrednosti so statistične analize, ki prinašajo kvantitativna merila
za uspešnost šol (npr. rezultat dodane vrednosti za šolo) in jih je mogoče uporabiti
pri razvoju, spremljanju in ocenjevanju šol in drugih vidikov izobraževalnega sistema. V tem pogledu bi morali na uvajanje modela dodane vrednosti v sistem gledati kot na sredstvo, s katerim bomo dosegli cilj, in ne kot na cilj. Mere dodane vrednosti bodo od enega do drugega izobraževalnega sistema uporabljene različno,
in vse te razlike naj bi vplivale na odločitve in postopke, ki jih izvedemo pri razvoju
modelov dodane vrednosti. Če naj torej razvojni proces doseže cilje šolske politike,
mora biti zasnovan glede na nameravano uporabo rezultatov dodane vrednosti šol.
V tem poročilu smo prepoznali tri široke cilje šolske politike, ki jim uporaba
modeliranja dodane vrednosti koristi: pobude za izboljšavo šol, spodbujanje odgovornosti šol in izbira šol s strani staršev. Kako učinkovita bo uporaba podatkov o
uspešnosti pri sprejemanju odločitev, ki zadevajo cilje te politike, je odvisno od
natančnosti uporabljenih meril. Vendar pa pogostejše sprejemanje odločitev na
podlagi podatkov ovira pomanjkanje natančnih podatkov o uspešnosti šol, ki so
nujni za izboljšanje izobraževanja (Raudenbush, 2004; Vignoles et al., 2000). Surovi
testni rezultati ponujajo merila za uspešnost učencev, vendar je iz njih težko enoznačno sklepati o uspešnosti šol. Prečni kontekstualizirani modeli uspešnosti upoštevajo kontekstualne značilnosti, npr. okolje, iz katerega izhaja učenec, vendar so
manj uporabni pri določanju učinkov posamezne šole na njegovo izobrazbo. Mere
dodane vrednost pomenijo pomemben napredek, ki omogoča natančno merjenje
uspeha šole, na katerem je mogoče utemeljiti odločitve za doseganje ciljev šolske
politike in rast uspešnosti šol. To poročilo prikazuje, kako lahko podatke o dodani
vrednosti uporabimo za izboljševanje šol, za individualne programe in politike ter
pri sprejemanju odločitev na sistemski ravni in ravni šol.
Pri vseh pobudah za izboljšave šol je treba upoštevati, da izboljšanje v dani
dejavnosti ali vrsti dejavnosti najprej zahteva natančno evalvacijo dejanskega
stanja, za to pa so seveda potrebna natančna merila uspešnosti (Sammons et al.,
1994). Težko je učinkovito razviti programe, če ni mogoče natančno analizirati
dejanskega stanja. Na sistemski ravni lahko informacije o dodani vrednosti uporabimo za odkrivanje področij izobraževalnega sistema in šol, ki izkazujejo največ
dodane vrednosti, in tistih, kjer je potrebno nadaljnje izboljševanje. Na ravni šol,
predmetov, stopenj in skupin učencev je mogoče ugotoviti, kje šola dodaja največ vrednosti in kje so potrebne izboljšave. V tem pogledu so rezultati dodane
vrednosti največ vredni, če ne le dokumentirajo dejansko stanje šol, ampak tudi
generirajo informacije, ki lahko podprejo nadaljnjo izboljšavo šol. Statistične analize odnosov med opravljenim delom na šoli in kazalniki njenega uspeha lahko
18
pokažejo, katere strategije delujejo in katere ne, kar pripelje do prilagajanja politike in prerazporeditve sredstev.
Modele dodane vrednosti je mogoče uporabiti tudi za ustvarjanje projekcij
o uspešnosti šole, ki lahko pomagajo pri načrtovanju, razporejanju sredstev in
sprejemanju odločitev. Projekcije lahko uporabimo za prepoznavanje prihodnjih
rezultatov, na primer za zagotavljanje ocen, če bi se nadaljevale trenutne krivulje
uspešnosti, in za določanje ciljev. Ti cilji lahko usmerjajo sprejemanje odločitev na
ravni šole v zvezi s tem, kako kar najbolje uporabiti sredstva in prilagoditi izobraževalni proces, da bi dosegli specificirane cilje uspešnosti (Hill et al., 2005; Doran
in Izumi, 2004). Skupaj z dodatnimi informacijami, zbranimi v šolah, ponujajo projekcije o prihodnji uspešnosti učečih se, ki temeljijo na merah dodane vrednosti,
celovito podobo uspešnosti šole. Šolsko osebje ima nato na voljo informacijsko
podlago, ki lahko služi kot osnova za načrtovanje in delovanje.
Sistem odgovornosti šol lahko z uporabo modelov dodane vrednosti bistveno
pridobi. Sistemi odgovornosti ugotavljajo, kdo je komu odgovoren za specifične
prakse in rezultate (McKewen, 1995). Tovrstni sistemi lahko zagotovijo informacije
širši javnosti: davkoplačevalci lahko izvejo, ali je njihov denar učinkovito porabljen,
uporabniki se bolj informirano odločijo, katero izobraževalno ustanovo izbrati. Vendar pa ključno vprašanje ostaja, ali je ocenjevanje procesov in uspešnosti natančno
in pošteno do posameznih šol. To poročilo nam dokazuje, da modeli dodane vrednosti zagotavljajo natančnejša, bolj poštena merila uspešnosti šol (merimo jih v povečanju uspeha učencev), ki jih je prav tako mogoče uporabiti za evalvacijo šolskega
procesa. Rezultati modeliranja dodane vrednosti (torej rezultati dodane vrednosti
posameznih šol) povejo, za koliko so šole uspele povečati uspešnost učencev. Kadar
jih uporabljamo v sistemih odgovornosti šol, lahko ta merila učinkovito uporabljamo
pri evalvacijah šol, posledice pa so za šole in šolsko osebje bolj poštene.
Tretji ključni cilj politike, o katerem je govor v tem poročilu in ki z uporabo
modelov dodane vrednosti pridobi, je izbira šole. Ti podatki so namenjeni informiranju staršev in družin o uspešnosti različnih šol, da bi jim tako pomagali pri odločitvi o izbiri šole. Zato morajo biti podatki o rezultatih šol objavljeni (Gorard, Fitz in
Taylor, 2001). Čeprav v vseh državah ni tako, pa ta trend v državah članicah OECD
narašča (OECD, 2007a). Kakor je predstavljeno v prvem delu tega poročila, prinaša
izboljšana raven izbire šol znotraj izobraževalnega sistema številne prednosti.
Starši lahko izberejo šole, ki bolje ustrezajo njihovim potrebam, in sredstva se nato
lahko pretakajo v šole, ki najbolje izpolnjujejo te potrebe (Hoxby, 2003). Vendar pa
so take prednosti odvisne od natanče meritve uspešnosti šole, sicer so družine pri
izbiri slabo informirane, sredstva pa napačno razporejena. Za večjo učinkovitost
izbire šol je nujna večja natančnost pri modeliranju dodane vrednosti. Staršem
daje natančnejše merilo o uspešnosti šole, na kateri utemeljijo svojo odločitev, šoli
pa bolj pošteno priložnost, da svojo uspešnost izboljša.
19
Politični dejavniki in politična vprašanja, ki delujejo na modele dodane vrednosti, se lahko razlikujejo. Ob upoštevanju tovrstnih razlik je lahko pozitivno,
če razvoj in vpeljavo modelov dodane vrednosti strukturiramo tako, da ustrezata dogovorjenim ciljem šolske politike. Uporabo modelov dodane vrednosti za
pospeševanje posameznih politik obravnavamo v prvem delu tega poročila in jo
podrobno razložimo v tretjem delu, ki se ukvarja z vprašanji vpeljevanja.
Večja natančnost, inherentna modelom dodane vrednosti, ustvarja večje zaupanje v uporabo meril uspešnosti, ki lahko pospešijo tri zgoraj navedene cilje.
Večje zaupanje izvira iz izboljšav, ki so sčasoma nastale pri določanju modelov, in
iz prednosti, ki jih imajo v primerjavi z drugimi metodami ocenjevanja uspešnosti šol. Sodobna doba »učinkov šol« se je, vsaj v ZDA, začela s tako imenovanim
Colemanovim poročilom, ki je proučevalo povezanost šol, družin in akademskih
dosežkov učencev (Coleman, 1966). To poročilo je dopolnilo vrsto evropskih študij, ki so se posvečale vprašanjem neenakosti, izmerjenih pri medgeneracijski
analizi, ki je primerjala rezultate preko več generacij (Carlsson, 1958; Glass, 1954).
Nadaljnje študije o učinkovitosti šol so vsebovale tudi kvantitativne primerjave
šol. V začetku so šole z visokimi dosežki identificirali tako, da so primerjali povprečne testne rezultate učencev. Naslednji korak za raziskovalce je bil pogosto
izbor majhnega števila teh šol za nadaljnjo analizo; upali so, da bodo v njihovi
praksi prepoznali elemente, ki so vplivali na njihov uspeh. Končni cilj je bil razširitev njihovih odkritij z namenom, da bi prišlo do obsežnejše izboljšave šol. Pregled
zgodnjih raziskav na tem področju je v Madaus, Airasian in Kellaghan (1980).
Že zgodaj je bilo ugotovljeno, da rangiranje šol na podlagi »surovih« rezultatov testov učencev visoko korelira s socialno-ekonomskim statusom slednjih
(McCall, Kingsbury in Olson, 2004). Bethell (2005), na primer, govori o protislovjih,
ki nastajajo zaradi uporabe tabel, ki primerjajo surove rezultate testov v Angliji.
V poskusu, da bi te težave premagali, so uporabili multivariantne prečne analize.
V najenostavnejši različici teh analiz so bili povprečni rezultati testov šole napovedani s številom (združenih) relevantnih demografskih karakteristik učencev v
šoli. Ideja je bila, da bi šole razvrstili na osnovi odklona ostanka glede na regresijsko premico. Te odklone so pogosto poimenovali »učinki šole«. Šole z velikimi
pozitivnimi odkloni so veljale za vzorne in vredne nadaljnjega preučevanja. Šole z
velikimi negativnimi odkloni so veljale za problematične in so prav tako zahtevale
nadaljnje preučevanje, čeprav iz drugih razlogov. Predlagane so bile alternativne
prilagoditvene strategije, primerjale pa so se tudi posledične razlike v rangiranju
šol (Dyer, Linn in Patton, 1969; Burstein, 1980).
Bolj izpopolnjeni prečni modeli so od takrat naprej bolj priljubljeni in jih
pogosteje uporabljajo skupaj z metodami, ki upoštevajo hierarhično strukturo
šolskih sistemov, z učenci razporejenimi v razrede, razredi, razporejenimi v šole, in
šolami, razporejenimi v okrožja (Aitkin in Longford, 1986; Goldstein, 1986; Willms
20
in Raudenbush, 1989). Ocene, ki so jih ponudili ti modeli, so postale natančnejše
in so v splošni uporabi v državah OECD. Te prečne ocene so bile v tem poročilu
kategorizirane kot kontekstualizirani modeli dosežka. Te multivariatne modele je
mogoče uporabiti za zagotavljanje merila uspešnosti šole, vendar je veljalo, da
tovrstne analize ne vsebujejo potrebnega analitskega okvira, da bi jih lahko kvalificirali kot modele dodane vrednosti. Kontekstualizirani modeli dosežka ocenjujejo magnitude dejavnikov, ki prispevajo k uspešnosti učenca ali njegovim
dosežkom v določenem času. Značilen primer je regresijski model, ki spremenljivko učenčevega socialno-ekonomskega statusa ali kontekstualnih lastnosti in
spremenljivko, ki določa šolo, ki jo obiskuje posamezen učenec, uporabi za pojasnjevanje dosežkov. Prilagoditev surovih rezultatov, do katere pride z vključitvijo
kontekstualnih značilnosti, ustrezneje kaže prispevek šole k učenčevemu znanju
kakor uporaba »surovih« rezultatov testov, ki merijo uspešnost šole. Rezultati teh
prečnih modelov se opirajo na teoretsko analizo vloge družine pri oblikovanju
posameznikovega socialno-ekonomskega uspeha in pogosto odkrijejo, da k ravni
učenčevega uspeha najpomembneje prispeva prav družbeno-ekonomsko poreklo staršev (OECD, 2007b; Haveman in Wolfe, 1995; Becker, 1964). Podatki o vlogi
učenčevega socialno-ekonomskega položaja pri učnih dosežkih, čeprav zanimivi
in pomembni, oblikovalcem šolske politike pogosto kljub vsemu ne dajejo dovolj
informacij, da bi lahko sprejemali odločitve o odgovornosti šol in izvedli reformo
za izboljšave v šolah. Vseeno pa so ti kontekstualizirani modeli dosežkov opazen
napredek v primerjavi z uporabo neprilagojenih in surovih rezultatov dosežkov za
ocenjevanje uspešnosti šole.
Do pomembnega napredka je prišlo z razvojem modelov dodane vrednosti,
ki uporabljajo več meril učenčevega uspeha za ocenjevanje vpliva (ali dodajanja
vrednosti) posameznih šol na meritve uspešnosti učencev. Pomembno oceno
modelov dodane vrednosti je dala Fitz-Gibbonsova (1997), ki so jo prosili, naj britanski vladi svetuje pri razvoju sistema za njihovo vzpostavitev. Fitz-Gibbonsova
je ugotovila, da bi bil lahko tak model temelj za statistično veljaven in lahko razumljiv nacionalni sistem dodane vrednosti. Modeli dodane vrednosti uporabljajo
podatke, ki sledijo krivuljam testnih rezultatov posameznih učencev pri enem ali
več predmetih v enem ali več letih (Mortimer et al., 1988; Goldstein et al., 1993;
SCAA, 1994; Sanders, Saxton in Horn, 1997; Webster in Mendro, 1997; Rowan,
Correnti in Miller, 2002; Ponisciak in Bryk, 2005; Choi in Seltzer, 2005; McCaffrey
et al., 2004; McCaffrey et al., 2003; McCaffrey et al., 2005). Z raznovrstnimi prilagoditvami so podatke o napredku in razvoju učencev preoblikovali v kazalnike o
dodani vrednosti šol. Najpomembnejši tipi modelov dodane vrednosti so predstavljeni v petem poglavju tega poročila.
Modeli dodane vrednosti so v primerjavi s številnimi sodobnimi merili za
uspešnost šol pomemben korak naprej. Primerjave surovih testnih rezultatov sicer
prinašajo nekaj pomembnih informacij, vendar so slabo merilo uspeha šol. Ne
21
upoštevajo namreč predhodnih ravni dosežkov, zato lahko njihov rezultat v veliki
meri odseva razlike v kontekstualnih karakteristikah, na primer, v družbeno-ekonomskem okolju, iz katerega izhajajo učenci. Kontekstualizirani modeli dosežkov
se poskušajo teh problemov lotiti z meritvami vpliva kontekstualnih karakteristik
na specifično merilo uspeha, vendar so manj uspešni pri ločevanju učinkov, ki jih
ima na napredek učencev šola, od drugih kontekstualnih karakteristik, zato so pri
merjenju uspešnosti šole manj uporabni. Modeli dodane vrednosti poskušajo premagati te težave, tako da vključujejo tudi pretekle dosežke učencev in, v nekaterih
primerih, kontekstualne karakteristike. To omogoča natančnejšo analizo napredka
pri uspešnosti učencev, in ta analiza je bolj učinkovita pri razlikovanju učinkov
posameznih dejavnikov, ki vplivajo na napredek učencev. Te prednosti prinašajo
večjo natančnost pri meritvah uspeha, to pa poveča zaupanje pri interpretaciji
meril za uspešnost šol.
Če povzamemo, poročilo zagovarja stališče, da modeli dodane vrednosti s
tem, ko natančno merijo višje in nižje dosežke v izobraževalnem sistemu, prispevajo k učenju v celotnem sistemu; k izboljšani identifikaciji in analizi tistega, »kar
deluje«; k izboljšanim in pravičnejšim sistemom odgovornosti šol in izbire šol, ki
nato ustvarijo dobro definirane spodbude, s pomočjo katerih bodo šole lahko
izboljšale svoje uspehe; k razvoju informacijskih sistemov, ki šolam dovoljujejo
analizo in oceno lastnih uspehov in delovanja in tako okrepijo celoten sistem
evalvacije šol; k financiranju izobraževalnih sistemov, ki bolj neposredno usmerja
sredstva tja, kjer so potrebna; in k premagovanju ukoreninjenih družbeno-ekonomskih neenakosti, ki obstajajo v družbah in jih lahko nepremišljena in nenatančna merila uspešnosti na ravni šole prikrijejo.
Modeli dodane vrednosti: definicija
Glede na prednosti, ki jih prinaša uporaba modelov dodane vrednosti, je
nujno, da to poročilo modele dodane vrednosti razlikuje od drugih statističnih
pristopov. Sodelujoče države se pri rabi modelov dodane vrednosti in statističnih
analiz za analizo uspešnosti šol močno razlikujejo. Tovrstne variacije povečujejo
pomembnost definicije tako »dodane vrednosti« kakor tudi »modelov dodane
vrednosti«, da bi ju lahko jasno razločevali od drugih vrst statističnih analiz. V tem
poročilu je dodana vrednost, ki jo prispeva šola, definirana kot:
prispevek šole k napredku učenca na poti proti izraženim ali predpisanim izobraževalnim ciljem (npr. kognitivnemu dosežku). Prispevek ne vsebuje drugih
dejavnikov, ki prispevajo k izobraževalnemu napredku učenca.
22
Iz te definicije dodane vrednosti je mogoče modele dodane vrednosti definirati kot:
razred statističnih modelov, ki ocenijo, koliko je šola prispevala k napredku
učenca pri izraženih ali predpisanih izobraževalnih ciljih (npr. kognitivnem
dosežku), izmerjenih vsaj dvakrat v določenem času.
Posamezni modeli dodane vrednosti lahko pri oceni uspešnosti šole uporabljajo ožjo definicijo, toda zgoraj navedeno splošno lahko uporabljamo pri različnih specifikacijah dodane vrednosti, pri čemer še vedno natančno prikaže razlike
med modeli dodane vrednosti in drugimi vrstami statističnih analiz. Statističnih
analiz, ki so jih uporabljali v številnih državah, da bi spremljali uspešnost šol, po
teh definicijah ne bi mogli šteti med modele dodane vrednosti. Takšne analize
pogosto niso vključevale vsaj dveh meril za ugotavljanje uspešnosti učencev, ki bi
ju lahko imeli za osnovo modelov dodane vrednosti. Te analize smo v tem poročilu
definirali kot kontekstualizirane modele dosežkov. Zdelo se nam je primerno, da
definicije za določanje modelov dodane vrednosti nismo razširili, da bi ustrezala
merilom uspešnosti vsake posamezne države, saj bi se učinkovitost analize tako
zmanjšala.
Razlikovalna lastnost modelov dodane vrednosti je vključevanje meritev
predhodne uspešnosti, kar dopušča natančnejšo oceno o prispevku k učenčevemu napredku. Doran in Izumi (2004) sta poudarjala prednosti modelov dodane
vrednosti pri spremljanju učencev v časovnem obdobju v primerjavi s prečnimi
modeli (ali s kontekstualiziranimi modeli dosežkov), ki omogočajo »trenutno
sliko« uspešnosti učenca. Model dodane vrednosti olajšuje podrobnejšo analizo
izboljšave šol, tako da ocenjuje izboljšave pri uspešnosti učencev v celotnem
določenem časovnem obdobju. Poleg tega modeli dodane vrednosti lahko bolje
razložijo neopazovane dejavnike, ki prispevajo k začetni stopnji uspešnosti, na
primer učenčevo sposobnost, kar je pri številnih kontekstualiziranih modelih
dosežka sistemska težava (Raudenbush, 2004).
Vključevanje preteklih meril uspeha omogoča, da ocenimo dodano vrednost
posamezne šole. Dodano vrednost je treba interpretirati kot prispevek šole k
uspehu učenca med dvema meritvama uspeha. Gre za pomembno vprašanje, saj
je mogoče učence ocenjevati na različne načine in v različnih časovnih intervalih.
Tovrstne razlike je treba upoštevati pri interpretaciji prispevka posamezne šole
(torej pri rezultatu dodane vrednosti šole). Ključno vprašanje je vsebina predmeta
ocenjevanja učenca, kajti dodana vrednost šole je ocenjevana zgolj na vsebini
predmetov, ki so vključeni v ocenjevanje (o tem podrobneje govorimo v prvem
poglavju). Premisliti je treba tudi o času ocenjevanja. Serija ocenjevanj dodane
vrednosti izmeri, kaj je v posameznem letu prispevala šola. Vendar pa vrsta izobraževalnih sistemov ne pozna vsakoletnih zunanjih preverjanj znanja ali struktur
23
tovrstnih preverjanj, ki bi dopuščale oceno rezultata dodane vrednosti zgolj za
eno leto. To ne pomeni, da dodane vrednosti ni mogoče ocenjevati s pomočjo
večletnega časovnega okvira. Prav nasprotno, tovrstne ocene obstajajo v številnih
izobraževalnih sistemih. Pomembno pa se je zavedati, da se razlikujejo od letnih
rezultatov dodane vrednosti, zato se je v diskusijah o dodani vrednosti šol treba
zavedati, kaj je predmet analize in v katerem časovnem okviru je bila dodana vrednost merjena.
Zaradi velikega pomena predhodnih meritev doseganja učnih ciljev se postavlja vprašanje, kaj je lahko ustrezno predhodno merilo uspešnosti, na osnovi katerega lahko merimo napredek. Debata o primerljivosti testnih rezultatov in konverziji rezultatov v pomensko smiselne in primerljive lestvice je živahna (Braun, 2000;
Dorans et al., 2007; Patz, 2007; Kolen in Brennan, 2004). Seveda mnogo modelov
dodane vrednosti ne zahteva, da bi morali biti rezultati testov dejansko razporejeni v vertikalne lestvice. Zahtevajo pač, da so rezultati v zaporednih lestvicah
približno linearno povezani, in v večini primerov je to razumno merilo (Doran in
Cohen, 2005). To poročilo ne obravnava razvoja preizkusov za preverjanje znanja:
pregled obsežne literature, ki analizira vprašanja ocenjevanja, ni predmet tega
poročila. Vendar pa se definicija dodane vrednosti, ki jo poročilo uporablja, osredotoča na napredek pri izbranih ali predpisanih izobraževalnih ciljih (npr. kognitivni
dosežki). To onemogoča vključevanje posameznih kontekstualiziranih modelov
dosežkov, katerih del so tudi merila inteligence, kakršen je na primer rezultat IQ,
ki bi jih lahko imeli za merilo splošne sposobnosti, vendar so kot merila predhodnih dosežkov, na podlagi katerih bi merili napredek, manj primerna. V diskusiji o
rezultatih dodane vrednosti šol mora biti vedno jasno, kaj dejansko predstavljajo
predhodni in sedanji dosežki in kako torej zadevajo dejanja politike in šol.
Celo pri večji natančnosti, ki jo dobimo z uporabo določanja modelov dodane
vrednosti, ostaja pri meritvah uspešnosti šol nekaj težav. Interpretacija rezultatov dodane vrednosti po šolah vključuje različna opozorila in svarila za pravilno
interpretacijo. Ta vprašanja obravnava drugi del tega poročila. Čeprav si diskusija
želi predstaviti različne težave z merjenjem pri oblikovanju in uporabi modelov
dodane vrednosti, njen namen ni zanikati njihovega očitnega potenciala. Nasprotno, natančne ocene dodane vrednosti imajo velik potencial pri razvoju izobraževalne politike in pobudah za izboljševanje šol in so v primerjavi z drugimi ukrepi
pomemben korak naprej. Šesto poglavje tako na primer obravnava statistična in
metodološka vprašanja, ki jih je treba obdelati pri razvoju in uporabi modelov
dodane vrednosti. Ta vprašanja so poudarjena, ne zato, da bi odvrnila od uporabe
modelov dodane vrednosti v izobraževalnih sistemih, ampak da bi spodbudila
njihov učinkoviti razvoj pri spodbujanju določenih ciljev izobraževalne politike.
Pravzaprav je ključni razlog za spodbujanje uporabe modelov dodane vrednosti
dejstvo, da že omenjena statistična in metodološka vprašanja pogosto ustvarijo
bistveno večje napake oz. težave, kadar jih obravnavamo z drugimi statističnimi
24
pristopi in meritvami uspešnosti šol. Ti alternativni pristopi običajno dajejo manj
natančne meritve uspešnosti šol in so za uspešen razvoj šol in šolskega sistema
torej manj uporabni. To poročilo zato še posebno pozornost posveča statističnim in metodološkim vprašanjem, s čimer bi radi poudarili potrebo po razvoju in
zagotavljanju natančnih meril dodane vrednosti in tako podkrepili razvoj šolske
politike in pobude za izboljšavo šol s podatki, kakor tudi pridobili zaupanje deležnikov.
Format tega poročila
To poročilo je razdeljeno na tri dele, ki so morda namenjeni nekoliko različnim skupinam uporabnikov. Prvi del govori o ciljih in rabi določanja modelov
dodane vrednosti. To vključuje razpravo o ciljih politike (o njih govorimo v prvem
poglavju), katerih uresničevanje lahko pospešimo s pomočjo določanja modelov
dodane vrednosti. S tem vprašanjem je povezana razprava, kako lahko informacije o dodani vrednosti in šolskih rezultatih predstavimo različnim deležnikom in
kje so razlike med predstavitvijo informacij o dodani vrednosti za interne namene,
za javno uporabo in za predstavitev v medijih. Številni primeri za učinkovito predstavitev iz različnih držav so našteti v drugem poglavju. Razprava o predstavitvi
informacij o dodani vrednosti za interne namene v tretjem poglavju se osredotoča na uporabo dodane vrednosti pri modelih dodane vrednosti za izboljšanje
kakovosti šol. Ključno za to razpravo je, kako lahko informacije odigrajo temeljno
vlogo pri skrbi za odločanje na podlagi podatkov v šolah, ki uporabljajo natančne
meritve uspeha in spremljajo pobude šol za izboljšave. Ta diskusija na šole gleda
kot na organizacije učenja, ki se lotevajo analize različnih vidikov uspešnosti
šole in učečih se in imajo od te analize koristi. Posebna pozornost je posvečena
usmerjeni rabi dodane vrednosti za specifične podskupine učencev in specifičnim
vidikom šol, postavljanju ciljev uspešnosti in projekcij uspešnosti, prepoznavanju
učencev, ki potrebujejo posebno pomoč in zgodnjo intervencijo, in izboljševanju
celotnega sistema evalvacije šol.
Drugi del obravnava načrtovanje modelov dodane vrednosti in se osredotoča
na njihove tehnične vidike. V četrtem poglavju je govor o ključnih postavkah pri
razvoju modela dodane vrednosti in identificira ključna vprašanja, ki jih je treba
obravnavati. Glavni tipi modelov dodane vrednosti so predstavljeni v petem
poglavju in prinašajo nekaj otipljivih primerov ter pojasnjujejo njihove različne
zahteve in kako jih je mogoče prilagoditi okoliščinam. Šesto poglavje obravnava
ključne statistične in metodološke dejavnike pri razvijanju modelov dodane vrednosti. Ti so poudarjeni, da bi pomagali pri prepoznavanju ključnih kriterijev, s
katerimi bi izbrali najustreznejši/-e model(-e) dodane vrednosti v izobraževalnem
sistemu. Vrsta vprašanj je predstavljenih s podporno analizo iz sodelujočih držav
in o njih razpravljamo, da bi poudarili korake, ki jih je mogoče narediti, da bi izbrali
ustrezen model dodane vrednosti. Poudarjeno je, da je ključni vidik načrtovanja
25
modelov dodane vrednosti za vse, ki ga skušajo vpeljati, odločitev o tem, kaj je
najprimernejši model za izpolnjevanje ciljev in načrtovano uporabo modelov
dodane vrednosti.
V tretjem delu teče razprava o vpeljevanju sistemov modelov dodane vrednosti v izobraževalne sisteme. Razprava oblikovalcem politik in upravljalcem zagotavlja smernice v zvezi s tem, kako vpeljati sistem, ki bo kar najbolje zadovoljil
njihove potrebe. Za ponazoritev ključnih postavk in potencialnih strategij, ki jih je
mogoče uporabiti, smo spet uporabili izkušnje držav udeleženk. Sedmo poglavje
se osredotoča na začetne korake sistema, ki pelje do pilotske faze vpeljave in jo
vključuje. Osmo poglavje se ukvarja s stalnim razvojem, pri čemer je posebna
pozornost posvečena razvoju komunikacije in sodelovanju deležnikov. Ta proces
vpeljave bi moral spremljati uvajanje sistema modelov dodane vrednosti in vključevati usposabljanje uporabnikov. Dejanja in posledice za šolske ravnatelje, učitelje in druge deležnike bodo morali biti jasno artikulirani, ne samo zato, da bodo
gradili zaupanje v novi sistem, ampak tudi zato, da bodo omilili strahove pred
njegovim uveljavljanjem, saj ga je mogoče dojemati kot potencialno pomanjkljivega na področju pravičnosti in preglednosti. Treba bo razviti posebne strategije,
ki bodo razložile sistem in deležnike izobrazile o tem, kako so izračunani rezultati
dodane vrednosti in kako bodo uporabljeni. Kakor je prikazano v tretjem delu, so
bile razvite uspešne strategije, ki poudarjajo prednosti modelov dodane vrednosti glede na druge meritve uspešnosti. V vrsti držav so deležniki pozdravili razvoj
in uporabo modelov dodane vrednosti; njihova večja natančnost zagotavlja bolj
poštene meritve uspešnosti šol, kar ustvarja bolj nepristranske sisteme odgovornosti šol in izbire šol ter natančnejše, torej učinkovitejše spodbude za izboljšavo
šol.
Vključena je tudi diskusija o glavnih korakih, ki jih je treba narediti pri vpeljevanju sistema določanja modelov dodane vrednosti. Diskusija o teh korakih ni
namenjena temu, da bi zagotovila izčrpen seznam vseh dejavnosti, ki jih je treba
izvesti, ampak temu, da bi pomagala oblikovalcem politik in upravljalcem, ki želijo
v čim krajšem času razumeti proces, potreben za vpeljevanje sistema določanja
modelov dodane vrednosti. Predstavljamo jo v kratkem ločenem sklopu ob koncu
prvega dela, da bi poudarili pomembnost vprašanj implementacije in usmeritev
uporabe modelov dodane vrednosti.
26
1.DEL
Cilji in uporaba modelov dodane
vrednosti
27
1.Cilji smernic šolske politike pri razvoju sistema
modelov dodane vrednosti
Trenutno usmerjenost na uspešnost šol v mnogih državah ženejo vprašanja o
učinkovitosti investicij v šolanje, združena z razširjeno skrbjo o nacionalni gospodarski konkurenčnosti. Glede na osrednjo vlogo, ki jo imajo v moderni ekonomiji človeški viri (Friedman, 2005; OECD, 1994, 1996, 2001), so šole potencialno
vir konkurenčne prednosti. Pri tem se pojavlja skrb, da lahko zaradi precejšnje
raznolikosti pri uspešnosti šol in pomembnih razlik pri rezultatih izobraževanja za
izstopajoče podskupine prebivalstva pride do napetosti v družbi in gospodarske
neučinkovitosti (OECD, 2008; Lucas, 1988; Romer, 1994). Da bi se lahko primerno
lotili teh vprašanj, morajo metode za natančno merjenje uspešnosti šol učinkovito
oceniti investicije v šole, identificirati najboljše prakse in osvetliti, katera področja je potrebno izboljšati. Tak sistem bi moral znati tovrstne informacije ustrezno
povzeti, in pokazati, kako lahko s pomočjo takih izboljšav povečamo uspešnost
vseh šol.
Analiza dodane vrednosti je oblikovana z namenom, da bi ocenila šole na podlagi tega, kar so se njihovi učenci naučili v času šolanja. Rezultati dodane vrednosti
šole so agregati krivulj uspešnosti posameznih učencev, na katere lahko poleg
same šole vpliva še vrsta dodatnih dejavnikov. Pristopi, ki temeljijo na dodani
vrednosti, torej poskušajo izolirati prispevek šole k učenčevemu znanju od drugih dejavnikov, ki so (v statističnem smislu) povezani z učenjem, na primer od
družbeno-ekonomskega položaja učenca. Ne glede na to, katera ambicija poganja razvoj modelov dodane vrednosti, obstaja potreba po oblikovanju natančnih
meril uspešnosti šol; meril, ki odsevajo resnično uspešnost šol in ne dejavnikov, ki
jih šola lahko kontrolira malo ali nič, na primer razlike pri sestavi populacije učencev ali naključnih variacij v rezultatih. Modeli dodane vrednosti lahko ponudijo
merila uspešnosti šol, ki bodo v večini izobraževalnih sistemov bistveno izboljšala podatke in informacije, ki se trenutno uporabljajo za sprejemanje odločitev.
In, kar je pomembno, merila za dodano vrednost zagotavljajo natančna merila
za prispevek šole k uspešnosti učenca in tako odstranjujejo precej problemov, ki
obstajajo pri trenutnih merilih za uspešnost šole. Bolj kot so naši podatki o uspešnosti učenca in šole natančni, laže usmerjamo in določamo spodbude, ki lahko
prinesejo trajnostne izboljšave.
29
Modele dodane vrednosti je mogoče uporabiti za usmerjanje pozornosti
na posamezne izobraževalne programe ali na skupine študentov, ki so podpovprečno ali nadpovprečno uspešni. Te informacije lahko uporabljajo oblikovalci
šolske politike, upravljavci, ravnatelji in učitelji, da bi lahko z njihovo pomočjo
hitreje prepoznali težave pri uspešnosti in usmerjali razvoj in evalvacijo šolskih
programov. Smernice šolske politike in programi, ki so usmerjeni k povečevanju
uspešnosti, zahtevajo obliko evalvacije, ki identificira tako visoko uspešna področja, kakor tudi tista, ki jih je treba izboljšati. Modeli dodane vrednosti lahko priskrbijo natančne kvantitativne kazalnike uspešnosti, ki olajšajo identifikacijo tistih
področij v šolah in šolskih sistemih, kjer so potrebne izboljšave, omogočajo oblikovanje tehnik zgledovanja pri uspešnejših in olajšujejo učenje v samih šolah in v
mrežah šol, torej med njimi. Modele dodane vrednosti je mogoče uporabiti tudi
za povečanje učinkovitosti že obstoječih ustanov, na primer šolskih inšpektoratov; omogoča pa nam tudi, da si o šolah ustvarimo bolj informirano mnenje.
Čeprav spodaj predstavljamo vsakega od treh glavnih ciljev šolske politike, je
jasno, da ima pri vpeljevanju določenih modelov dodane vrednosti večina izobraževalnih sistemov več ciljev. Na primer v Angliji se modeli dodane vrednosti zdaj
uporabljajo:
–– v preglednicah o uspešnosti šol1, ki informirajo starše in spodbujajo odgovornost šol;
–– v sistemih za izboljšave v šolah, kjer so podatki uporabljeni za samoevalvacijo in postavljanje ciljev;
–– za informiranje šolskih inšpekcij, ki so del širšega procesa izboljševanja šol;
–– za pomoč pri izboru šol, ki bodo deležne posebnih spodbud; in
–– za zagotavljanje informacij o učinkovitosti posameznih vrst šol ali pobud
šolske politike.
Raznolikost ciljev kaže, kako pomembna so natančna merila na vrsti področij
izobraževalnega sistema. Prav tako je jasno, da lahko specifični programi služijo
več ciljem šolske politike. Veliko teh programov in pobud, povezanih v politiko
izboljševanja šol, bi bilo uporabnih tudi za namene odgovornosti šol. V nekaterih
primerih bi pobude, ki spodbujajo informirano izbiro šol, učitelje, šole in šolske
upravitelje prisilila k odgovornosti.
V poročilu te vrste, namenjenem oblikovalcem politik in pedagogom, ki delujejo v različnih političnih in kulturnih kontekstih, pride do nadaljnih kompleksnih
situacij. Razlike v kontekstih lahko pripeljejo do divergentnih interpretacij ciljev
posameznih programov. Zgodovina izobraževalnega sistema, interakcija med
izobraževalnimi ustanovami in trenutno stanje razvoja sistemov vplivajo na to,
1 Preglednice uspešnosti se v Angliji zdaj imenujejo Achievement and Attainment Tables (AAT).
30
kako lahko gledamo na posamezno politiko ali pobudo. Na primer, pomislite na
razvoj sistema, ki za izboljšanje situacije povezane z izbiro šol uporablja modele
dodane vrednosti. V takem primeru lahko damo rezultate dodane vrednosti šol na
voljo staršem in jih objavimo na centralizirani spletni strani, ki staršem in učencem
omogoča, da izvejo več o uspešnosti šole. Obseg, do katerega se to smatra tudi
za obliko odgovornosti šol, se lahko razlikuje glede na kontekst in zgodovinski
razvoj šolskega sistema. Če bi takšno politiko izvajali v sistemu, kjer je bilo prej
analiziranih le malo informacij, je večja verjetnost, da bo tako dejanje razumljeno
kot uvajanje oblike odgovornosti šol, kakor bi bilo to v sistemu, kjer so informacije
o uspešnosti šol in učencev rutinsko dostopne javnosti. Kar je v enem šolskem
sistemu običajno, je lahko v drugem bistvena sprememba. Vpliv šolskih politik
na šole, šolske upravljalce in učitelje bi se temu primerno spreminjal. Razprava
o uporabi modelov dodane vrednosti, da bi z njimi pospešili cilje šolske politike,
ki so predstavljeni v tem poročilu, ne vključuje ocen učinkov na različne politike.
Diskusija se osredotoča na uporabo informacij o dodani vrednosti in na rezultate
dodane vrednosti šol kot na temelj za ukrepanje: razvoj in spremljanje pobud in
praks, ki jih je mogoče vpeljati pod prenekaterimi cilji politike.
Uporaba modelov dodane vrednosti za izboljšave v šolah
Modeli dodane vrednosti prinašajo natančne kazalnike in podatke o uspešnosti: le-te je mogoče uporabiti kot osnovo za ukrepe, ki bodo šolam pomagali
izpolniti zadane cilje izboljšav. Ukrepi so v različnih izobraževalnih sistemih različni in lahko obsegajo vrsto različno velikih pobud s specifičnimi nameni. Najdragocenejši so takrat, kadar ne le dokumentirajo trenutni status sistemov, ampak
tudi generirajo informacije, ki bodo pripomogle k stalnim izboljšavam, še posebej,
če bodo izvedene tudi nadaljnje, natančnejše analize. Tako lahko na ravni šolske
politike model dodane vrednosti uporabimo za iskanje nadpovprečno ali podpovprečno uspešnih šol in usmerimo pozornost in financiranje tja, kjer sta najbolj
potrebna. Še več, statistične analize odnosov med vložkom v šolo in njenim uspehom lahko pokažejo na učinkovitejše strategije, to pa pripelje do nepretrganega
prilagajanja šolske politike in redistribucije sredstev.
Z izoblikovanimi natančnimi merili uspešnosti šol modeli dodane vrednosti
dajo moč šolam in upravljavcem, da se lahko bolj informirano odločajo o tem,
kako šolsko uspešnost izboljšati (Saunders, 2000). Tovrstne informacije omogočajo natančnejše in pogosto bolj usmerjene pobude za razvoj izboljšav šol. Poleg
tega informacije o dodani vrednosti šolam in oblikovalcem šolske politike dajo
moč, da te pobude spremljajo in ocenjujejo. Če sta vodenje in sprejemanje odločitev utemeljena na podatkih, je namreč mnogo laže ocenjevati ali so sredstva
rabljena učinkovito in ali bodo torej omogočila nepretrgan razvoj učinkovitosti in
izboljšav kakovosti.
31
Odločanje, utemeljeno na zbranih podatkih
Uporaba meril dodane vrednosti za hitrejše izboljševanje šol zahteva, da se
bolj osredotočimo na sprejemanje odločitev, ki temeljijo na podatkih znotraj šol
in šolskega sistema. V zadnjih nekaj letih so oblikovalci izobraževalne politike v
različnih državah naleteli na val zanimanja za sprejemanje tovrstnih odločitev in
nastalo je več pobud, da bi oblikovali stopnjevane modele za uporabo podatkov, ki bi pomagali pri izboljšavi šol (Saunders, 2000). Podatki in meritve so pri
usmerjanju strategije in spremljanju, kako napreduje proti ciljem politike, ključnega pomena (Atkinson Review, 2005). V tem kontekstu sprejemanja odločitev se
kaže izrazito osredotočanje, na uporabo primerljivih podatkov: pomagajo odkriti,
katera področja lahko izboljšamo, in na njih zastaviti pomembne cilje.
Spreminjajoča se struktura izobraževalnega sistema pa je vedno bolj osredotočena na dodeljevanje in uporabo sredstev ter na uspešnost šol. Prišlo je tudi do
premika k večji avtonomiji šol z manj centraliziranimi pravili o vnosih in procesih
(OECD, 2004). Vendar pa mora ob zmanjšanem centraliziranem nadzoru sistem
sam meriti uspešnost šol in skrbeti, da bodo te meritve sistematično na voljo. Tako
na primer Ryska (2006) razpravlja o centralistično vodenem, uniformnem izobraževanju ob rigidni superviziji učiteljev, ki sta bila značilna za šolski sistem na Češkem
pred letom 1990. Češko ministrstvo za izobraževanje je pri tem igralo odločilno
vlogo: uporabljalo je neposredno upravljanje in inštrumente nadzora, vnosi in
procesi pa so bili podrobno predpisani. Glavno orodje supervizije na ravni šole je
bila šolska inšpekcija. Ravnatelji in učitelji so imeli le malo svobode pri izpolnjevanju kurikulov, tako z vidika vsebine, kakor tudi metodologije. Na ravni učencev
je bilo učiteljsko ocenjevanje najpomembnejši del ocenjevanja in se je v prvi vrsti
osredotočalo na znanje, ki je bilo pridobljeno v sklopu predpisanega kurikuluma.
Standardov in izvajanja ocenjevalnega sistema kot celote niso niti spremljali niti
presojali. Spremembe, do katerih je prišlo pred kratkim, pa so pripeljale do večje
decentralizacije v šolskem sistemu, z večjim poudarkom na merilih uspešnosti in
na učinkoviti rabi virov. Bolj decentraliziran šolski sistem je vse vpletene postavil v čisto nov položaj. Šole prepoznavajo potrebo po strukturirani in sistematični
evalvaciji, ki zagotavlja povratne informacije o tem, »kaj deluje« na vseh ravneh
izobraževalnega sistema (Ryska, 2006).
Odločanje, utemeljeno na podatkih, ne bi smelo biti domena samo oblikovalcev šolske politike: podatke lahko uporabljajo praktiki z vseh ravni izobraževalnega sistema. Ravnatelji in učitelji lahko uporabljajo podatke o vnosih, procesih
in rezultatih, da bi analizirali razporejanje sredstev in učinkovitost različnih politik, programov in vodstvenih odločitev (Odden in Busch, 1998). Pomembno je,
da na šole kot na izobraževalne ustanove gledamo na enak način kakor na druge
organizacije zasebnega ali javnega sektorja (Caldwell in Spinks, 1998). Vendar pa
podatki sami niso zagotovilo uspeha; ta pride šele s pristopi odločanja, ki so na
32
teh podatkih utemeljeni. Potrebujemo sistemski pristop k izboljševanju uspešnosti, pri katerem uporabljamo natančna merila uspešnosti in prizadevanja usklajujemo z izraženimi cilji.
Veliko držav članic OECD je v zadnjih letih poskušalo doseči, da bi se usmerjenost javnega sektorja preusmerila iz vnosov v rezultate, saj bi se s tem izboljšalo njegovo delo (Eurostat, 2001). Podaki šol so se tradicionalno osredotočali
na sredstva (Atkinson Review, 2005), informacije, ki pa so na bile voljo v uradnih
statistikah in administrativnih sistemih so bile večinoma povezane z vložkom v
šole in ne z rezultati. Oblikovalci šolske politike imajo pogosto dostop do podrobnih informacij o vložkih v izobraževalni sistem. Finančne informacije o glavnici in
tekočih stroških so pogosto razdeljene na stroške v različnih šolah in vložkih vanje,
na primer gradnjo in vzdrževanje in na plače učiteljskega in drugega kadra (OECD,
2007a). Včasih jih je mogoče razdeliti še naprej in analizirati izdatke na različnih
ravneh, vključno s centraliziranimi, regionalnimi, programskimi, šolskimi in izdatki
za učence. Koristi obsežnejših odločitev, utemeljenih na podatkih, so še večje, če
uporabimo kombinirano analizo podatkov vnosa, procesa in rezultata. Zanašanje
na samo en tip podatkov lahko pripelje do zavajajočih sklepov in napačnih dejanj,
če pa podatke o vložkih kombiniramo s podatki o šolskih procesih, pa lahko bolj
obsežno analiziramo tako razporeditev kakor tudi uporabo sredstev. Informacije
o šolskih procesih številne države zbirajo že dolga leta. Najobičajnejša metoda
zbiranja je s pomočjo posebnega ocenjevalnega okvirja, v katerega v večini držav
članic OECD spada tudi uporaba šolskih inšpektoratov (OECD, 2007a). Fokus teh
evalvacij in zbranih informacij je v različnih državah različen, običajno pa je vendar na procesih na šolski ravni in na zagotavljanju upoštevanja šolskih pravil in
postopkov. Pogosto se zbirajo informacije o obliki in strukturi poučevanja in o
specifičnih problemih v šolah. V številnih državah šolske inšpekcije ocenjujejo
uspešnost šol glede na vnaprej določene kriterije na teh področjih (OECD, 2007a).
Četudi so te analize bolj ekstenzivne od sistema spremljanja, ki se osredotoča samo na vložke, je sprejemanje odločitev v tem kontekstu omejeno zaradi
pomanjkanja podatkov o uspehu. Odločitev o vložkih in procesih zato ni mogoče
analizirati v luči njihovega učinka na uspešnost; optimalne razporeditve sredstev
in »mešanice« politik in programov, ki se dotikajo šolskih procesov, pa ni mogoče
učinkovito analizirati. Ko enkrat dobimo informacijo o dodani vrednosti, lahko
tisti, ki sprejemajo odločitve, lažje analizirajo kako prilagoditi sredstva in uresničiti
ustrezne šolske procese, da bi izboljšali uspešnost učencev. Če vključimo informacije o dodani vrednosti, se lahko organizirano naučimo, kaj najbolj prispeva k
izboljševanju uspešnosti.
33
Natančnost meril uspešnosti
Upoštevaje vedno večjo potrebo po analizi uspešnosti šol, je nujno imeti
natančno merilo uspešnosti, da bi lahko merili napredek pri uspešnosti učencev
in učinka razporeditve in uporabe sredstev v izobraževalnem sistemu. Če naj to
merilo uporabimo pri evalvaciji in razvoju šolskega sektorja, je razumljivo, da je
njegova natančnost izjemnega pomena. V številnih državah so se merila uspešnosti
šol osredotočila na surove testne rezultate ali merila dosežkov učencev; na primer,
na povprečne rezultate na standardiziranih testih in na odstotek učencev posamezne šole, ki napreduje na višjo stopnjo izobraževanja. Vendar pa je vedno bolj
jasno, da se z uporabo teh meril za merjenje uspešnosti šol pojavljajo problemi.
Pogosto namreč ne upoštevajo drugih dejavnikov, ki vplivajo na izobraževalne
dosežke, na primer: naravna sposobnost učencev; socialno-ekonomski položaj;
vpliv vrstnikov in posameznikov zunaj šole; različni dogodki in situacije, ki se zgodijo zunaj šole in lahko vplivajo na učenje; splošna naključnost pri ocenjevanju
učencev.
V državah, ki so decentralizirale strukturo šolskega sistema in so se na novo
osredotočile na odgovornost šol, se zavedajo, da poudarek na podatkih o uspešnosti lahko povzroči dvom o poštenosti, če ne obstajajo merila dodane vrednosti
(Jakubowski, 2008; Hægeland, 2006). Tovrstni dvomi so povzročili nelagodje med
deležniki v izobraževanju v celi vrsti držav (Linn 2004, 2005). Ravnateljem in učiteljem se lahko zdi, da njihovo delo ni pravično ocenjevano, saj so vsiljeni merilniki
odgovornosti, ki temeljijo na dejavnikih, nad katerimi šola nima nadzora. Dvom se
lahko razširi nad skupnost, družine, organizacije staršev in sindikate izobraževanja
(Bethell, 2005). Običajna skrb je, da na položaj ali dosežek učenca v določeni točki,
poleg njihovega napredka v času šolanja, deluje tudi njihov kognitivni napredek
pred vstopom v šolo. Dejansko na razvoj učenca ne vplivajo samo predhodno šolanje, ampak tudi izvenšolske izkušnje in podpora s strani družine in skupnosti v tem
času. Trditi, da je trenutna šola edina odgovorna za rezultate ni niti opravičljivo niti
pošteno. Precej študij je namreč pokazalo, da so dosežki učencev močno povezani
z značilnostmi družine in skupnosti: to dodatno spodkoplje kredibilnost uporabe
podatkov o trenutnem dosežku učencev kot edino osnovo za odgovornost šol.
McCall, Kingsbury in Olson (2004) poročajo o korelacijah med testnimi povprečji
šol in odstotkom učencev, ki imajo pravico do brezplačnih ali subvencioniranih
šolskih kosil (grobo merilo stopnje revščine v populaciji učencev v ZDA). Podatki
so bili pridobljeni iz stotin šol iz različnih zveznih držav. Uspešnost učencev je bila
utemeljena na rezultatih testa Measures of Academic Progress, ki ga je izvedla
Northwest Evaluation Association v letih 2002 in 2003. Če povzamemo rezultate
od tretjega do osmega razreda, so korelacije pri rezultatih za branje (–0,54 do
–0,66), pri matematiki pa (–0,51 do –0,59). Ko so bila šolska povprečja zamenjana
s precej preprosto mero, utemeljeno na spremembah testnih rezultatov učencev,
so korelacije pri branju segale od (–0,07 do –0,27), pri matematiki pa od (–0,02
34
do –0,24). Korelacija med spremembami ali napredkom pri rezultatih učencev in
brezplačno šolsko prehrano je bila bistveno nižja od korelacije med to meritvijo
družbeno-ekonomskega položaja in surovimi rezultati. To kaže, da uspešnost
šole lahko bistveno laže izoliramo od drugih dejavnikov, če analiziramo napredek
učencev, namesto da bi se zanašali na uspeh učenca v eni sami točki v časovnem
obdobju. Nadaljnje dokaze za to, da je bolje uporabiti kazalnike, ki temeljijo na
rasti učenca namesto tistih, ki temeljijo na njegovih dosežkih ponujata Zvoch in
Stevens (2006), ki sta analizirala tri zaporedne kohorte v velikem šolskem okolišu
v ZDA. Tovrstni izsledki posredno podpirajo pristope k dodani vrednosti, ki uporabljajo krivulje rezultatov učencev kot spremenljivke vnosa. Jakubowski (2008)
pravi, da na Poljskem obstaja močno prepričanje, da so neobdelani rezultati
zunanjega preverjanja znanja pri ocenjevanju kakovosti šole le malo vredni. Na
Norveškem prav tako dvomijo o ustreznosti podajanja sodb o uspešnosti šol, če
merila ne upoštevajo vrste dejavnikov, ki jih šola ne more nadzirati, vendar lahko
vplivajo na učenčev uspeh (Haegeland, 2006). Ker je cilj predstavitev kazalnikov, ki
odsevajo uspešnost šole, je jasno, da so surova povprečja, na ravni šol za dosežke
učenca nezadostna merila, ker nanje vpliva veliko pomembnih dejavnikov, na
katere šola nima vpliva, ali pa so nesorazmerno razporejeni med šolami.
V Angliji je v začetku devetdesetih let prejšnjega stoletja nov vidik uporabe
podatkov o uspešnosti, ki naj bi šole prisilil k odgovornosti, povzročil zaskrbljenost,
da šol brez meril o dodani vrednosti ne bo mogoče ocenjevati pravično. Istočasno je razvoj serije testov Key Stage ponudil možnost za izračun rezultatov dodane
vrednosti za vsako šolo. Izračun bi temeljil na napredku, ki ga je mogoče opaziti
med posameznimi Key Stage stopnjami, ko so enkrat na voljo nacionalni podatki
za relevantne kohorte učencev. To je pomenilo, da je mogoče šolo oceniti na podlagi uspešnosti njenih učencev pri nacionalnih preverjanjih znanja iz angleščine,
matematike in naravoslovja pri starosti 11 in 14 let, pri nacionalnih preverjanjih
znanja pri vseh predmetih pri 16. in 18. letih in napredka, ki so ga učenci dosegli
med testiranji2 (Ray, 2006). Modeliranje dodane vrednosti se je s časom še bolj razvilo. V zgodnjih letih uporabe meril za uspešnost šole so se rezultati šol sporočali
v obliki deleža učencev, ki so presegli zahtevan prag pri posameznem predmetu.
Tako so bile šole razvrščane glede na to, kolikšen del njihovih učencev je doseglo
predpisani standard. Ko so bile prvič objavljene, te tako imenovane »primerjalne
tabele«, ki so zbujale veliko zanimanje javnosti, niso upoštevale napredka posameznega učenca. Kot smo povedali zgoraj, so lahko primerjave kontraproduktivne,
2 Dodana vrednost je v Angliji določena na podlagi ocenjevanja učencev ob koncu vsakega od štirih
ključnih obdobij (Key Stages) šolskega izobraževanja. Ocenjevanje in nacionalni kurikulum nadzoruje
Qualification and Curriculum Authority. Prvo obdobje obsega prvi in drugi razred osnovne šole, učenci
so ocenjeni ob koncu drugega razreda, ko je večina stara sedem let. Drugo obdobje traja od tretjega
do šestega razreda, kar navadno šteje kot konec »osnovnega izobraževanja«. Tretje obdobje pokriva
od sedmega do devetega razreda; to so prva tri leta drugostopenjskega izobraževanja. Četrto obdobje
pokrije zadnji dve leti srednje šole, večina ocenjevanja pade na konec zadnjega (enajstega) razreda.
Glavna kvalifikacija je splošno spričevalo srednjega izobraževanja (General Certificate of Secondary
Education).
35
če so utemeljene na surovih rezultatih in ob neupoštevanju konteksta šole. Jane
Davidson, nekdanja valižanska ministrica za šolstvo je leta 2002 rekla:
»Ne potrebujem obsežne primerjalne tabele (ki so takrat temeljile na surovih
rezultatih), da bi vedela, da bo uspeh boljši v eni od bogatejših skupnosti kakor
v eni od revnejših.« (Bethell, 2005: p. 8.)
Po drugi strani pa analiza dodane vrednosti prinaša primerjalno merilo uspešnosti šol. To se pravi, da je vsaka šola primerjana s povprečjem vseh šol, vključenih v analizo s primerjavo, ki temelji na spremembah rezultatov testov skozi čas.
Oblikovana je analiza dodane vrednosti, ki ocenjuje šole na osnovi tega, česa so
se njihovi učenci naučili, medtem ko so vpisani v šolo, namesto da bi merila, kaj so
učenci ob vstopu v šolo že znali. To velja za bolj pošteno osnovo za primerjavo šol,
ki oskrbujejo različne populacije učencev z različnimi spretnostmi in stopnjami
znanja. Povratne informacije, pridobljene med programom za usposabljanje učiteljev, ki je leta 2006 spremljal uvajanje modeliranja dodane vrednosti na Poljskem, kažejo, kako se večja natančnost prevede v pravičnejši sistem (Jakubowski,
2007; glej osmo poglavje za več podrobnosti). Udeleženci usposabljanja so s
povratnimi informacijami osvetlili vrsto ključnih področij. Učitelji, ki so podpirali
uvajanje modelov dodane vrednosti, so poudarili:
–– koristi tega, da objektivnost rezultatov dodane vrednosti osvetli delo dobrih
šol z neprivilegiranimi učenci in se bori proti neveljavnim primerjavam, ki
temeljijo na surovih rezultatih testov;
–– natančnost kvantitativnega ocenjevanja in statističnih metod;
–– večjo transparentnost in kompatibilnost z metodami dodane vrednosti za
ocenjevanje šol;
–– potencial za izboljšano notranjo evalvacijo napredka učencev, še posebej
skozi dodatno analizo na ravni šole (npr. analiziranju rezultatov dodane vrednosti za posamezne skupine učencev); in
–– koristi obsežnega usposabljanja in javnih posvetovanj pred dejanskim vpeljevanjem (»v živo«) sistema dodane vrednosti.
Večja preglednost in natančnejše ocene dodane vrednosti so bile v očeh učiteljev in drugih interesnih skupin zelo pomembne. Stopnja zaupanja v sistem
se je povečala, ko so se učitelji naučili, kako izračunati ocene dodane vrednosti.
Nekateri učitelji, ki so se v začetku bali novega merila, ki bi ga bilo mogoče uporabiti za odgovornost šole, so postali privrženci modelov dodane vrednosti, ko so
ugotovili, da gre za sistem evalvacije, bistveno bolj pošten od tistega, ki je bil na
Poljskem v uporabi že nekaj let (Jakubowski, 2007).
36
Uporaba družbeno-ekonomskih značilnosti pri oblikovanju
modelov dodane vrednosti
Ključni argument za konstrukcijo modelov dodane vrednosti, namesto da
bi preprosto uporabljali surove testne rezultate kot merilo uspešnosti šol, je, da
so surovi rezultati testov kumulativen rezultat učnih izkušenj učenca in da nanje
vplivajo številni dejavniki, na katere šola nima vpliva. Morda je ključni »zunanji
dejavnik« razporeditev družbenih in ekonomskih značilnosti, ki so povezane z
uspešnostjo učenca, znotraj posamezne šole in med šolami. V številnih študijah
se je izkazalo, da tovrstni družbeno-ekonomski dejavniki vplivajo na uspešnost in
rezultate učencev (OECD, 2007c). Tabele uspešnosti, ki šole razvrščajo na podlagi
surovih testnih rezultatov ali vpisa v naslednjo stopnjo izobraževanja ne upoštevajo številnih dejavnikov, ki lahko zadenejo neprivilegirane učence in tako nepravično primerjajo šole, ki te učence izobražujejo.
Pri uporabi modelov dodane vrednosti bi lahko šola s populacijo učencev z nižjim socialno-ekonomskih statusom od običajnega prejela oceno dodane vrednosti, ki je blizu ničle (torej povprečja) ali čez, četudi je srednja absolutna uspešnost
njenih učencev lahko precej pod sredinsko vrednostjo za vse učence v šolskem sistemu. Ta točka osvetljuje pomembnost uporabe analize dodane vrednosti. Kadar
sklepamo o uspešnosti šol je pomembno upoštevati resnične okoliščine: različne
šole se srečujejo z zelo različnimi izzivi pri izobraževanju učencev. Analitična moč
se lahko poveča z vključitvijo kontekstualnih družbeno-ekonomskih karakteristik
v modele dodane vrednosti. Ti modeli so v tem poročilu imenovani kontekstualizirani modeli dodane vrednosti. Uporaba relevantnih značilnosti šolskega okolja
lahko povzroči, da so kazalniki dodane vrednosti na ravni šole natančnejši, in tako
tudi verodostojni.
Upoštevajoč potrebo po kredibilnejših in natančnejših rezultatih, države pri
oblikovanju modelov dodane vrednosti in drugih meril uspešnosti šol vedno bolj
zbirajo in uporabljajo družbeno-ekonomske podatke. Vendar pa je treba opozoriti, da kontekstualizirani rezultati dodane vrednosti šol niso nujno primerni za vse
odločitve o šolski politiki. Obstaja zaskrbljenost, da lahko kontekstualne spremenljivke zamaskirajo nizko uspešnost učencev in torej popačijo spodbude in sprejemanje odločitev, kar lahko dejansko utrdi obstoječe pomanjkljivosti v šolah z velikim deležem učencev z nizkim družbeno-ekonomskim statusom. To lahko vpliva
na same šole, pa tudi na razvoj šolske politike. Pomembni cilji uporabe modelov
dodane vrednosti, ki naj bi zagotovili odgovornost in izboljšavo šol, vključujejo
pobude, ustvarjene zato, da bi izboljšale uspešnost učencev in šol ter uporabo
podatkov na ravni šole. Države, ki so vpeljale sisteme modelov dodane vrednosti,
so to vsaj deloma storile, da bi zagotovile pomembnejšo pobudo za dvig uspešnosti učencev (Bourque, 2005; Ray, 2006). Z objavo rezultatov dodane vrednosti,
se lahko ustvarijo pobude za upravljavce šol, učitelje in druge deležnike, naj izbolj-
37
šajo uspešnost šol pri tem merilu. Prizadevanje za dvig uspešnosti pa se morda
lahko zniža v šolah, ki imajo zaradi upoštevanja razlik v družbeno-ekonomskem
statusu bistveno višje kontekstualizirane rezultate dodane vrednosti. To lahko
zniža pričakovanja in zmanjša spodbude celo v šolah, kjer je delež učencev z nizko
absolutno uspešnostjo zaskrbljujoče visok. Torej ima lahko vpeljava kontekstualnih spremenljivk v model dodane vrednosti neželene posledice za spodbujevalni
učinek na šole. Poleg tega so lahko s perspektive učencev in njihovih družin merila
dodane vrednosti za šole manj zanimiva v primerjavi z merili absolutne uspešnosti učencev ali napredka posameznega učenca.
Uporaba družbeno-ekonomskih značilnosti pri kontekstualiziranih modelih
dodane vrednosti ima lahko tudi negativen vpliv na pravičnost in na učinkovitost
sprejemanja odločitev, vendar pa je v teh primerih precej odvisno od tega, kako
so informacije o dodani vrednosti uporabljene. Uporaba vrste mer (in modelov)
dodane vrednosti je koristna za to, da bi sprejeli bolj informirano odločitev in služili določenim ciljem šolske politike. Pomislite na situacijo, v kateri ima šola kombinacijo velikega deleža učencev z značilnostmi nižjega socialno-ekonomskega
statusa in slabim učnim uspehom (po merilih testnih rezultatov). Modeli dodane
vrednosti (brez socialno-ekonomskih kontekstualnih karakteristik) bi lahko pokazali, da te šole dosegajo relativno nizke rezultate dodane vrednosti.3 Vključevanje
socialno-ekonomskih karakteristik v kontekstualiziran model dodane vrednosti
bi lahko pokazalo, da imajo nekatere od teh šol visok kontekstualiziran rezultat
dodane vrednosti. Za to skupino šol so surovi testni rezultati učencev nizki, prav
tako nizek je rezultat dodane vrednosti za šolo. Vendar pa je kontekstualiziran
rezultat dodane vrednosti višji in je lahko precej bližje povprečju. Pri odločanju, ali
bi uporaba socialno-ekonomskih kontekstualnih karakteristik v modelu dodane
vrednosti pospešila napredovanje izraženih ciljev politike, je potrebno pretehtati
vsakega od ciljev.
Analiza informacij o dodani vrednosti na sistemski ravni lahko pomaga pri
odločanju o razporeditvi sredstev v izobraževalnem sistemu. Veliko izobraževalnih
sistemov zagotavlja dodatna izravnalna sredstva za manj uspešne šole. Če bi v teh
primerih namesto običajnega modela dodane vrednosti uporabili kontekstualiziran model, bi bila razporeditev sredstev bistveno drugačna. Slabi rezultati dodane
vrednosti posameznih šol bi bili lahko za oblikovalce šolske politike znamenje,
da je za pomoč učencem, ki se šolajo v njih, potrebno zagotoviti dodatna sredstva. Če pa bi analizirali kontekstualizirane rezultate dodane vrednosti (ki so za
te šole višji), bi to pokazalo, da šole kljub zelo slabim uspehom svojih učencev ne
potrebujejo dodatnih sredstev. Vključevanje podatkov o družbeno-ekonomskih
značilnostih bi torej po tem scenariju učence v teh šolah postavilo v slabši položaj.
3 Kakor je pokazano v petem poglavju, lahko nekatere od teh šol dosegajo visoke rezultate dodane vrednosti, vendar za ta primer vzemimo tiste z nizkim rezultatom dodane vrednosti.
38
Lahko pa je koristno analizirati rezultate modeliranja z vključenimi in izključenimi
družbeno-ekonomskimi karakteristikami.
Analiza dodane vrednosti lahko pomaga tudi tistim, ki sprejemajo odločitve –
tako na sistemski ravni kakor na ravni šol – pri identificiranju učinkovitih šol, šolskih politik in programov. Uporaba rezultatov dodane vrednosti, ki ne vključujejo
družbeno-ekonomskih kontekstualnih značilnosti, bi bila zavajajoča. Uporaba
kontekstualiziranega modela dodane vrednosti lažje prepozna tiste šole z večjim
deležem učencev iz neprivilegiranih okolij, ki so bile sposobne izboljšati uspešnost učencev. Tovrstne analize ne bi bile mogoče, če model dodane vrednosti ne
bi vključeval družbeno-ekonomskih značilnosti, še manj natančne pa bi bile, če bi
uporabili le surove rezultate. Zdi se torej, da bi bilo za sistem šolske odgovornosti pravičneje uporabiti kontekstualizirane rezultate dodane vrednosti. Upoštevaje
prednosti in pomanjkljivosti pri uporabi modelov dodane vrednosti in kontekstualiziranih modelov dodane vrednosti, bi bilo mogoče najbolje uporabiti vrsto različnih
meril, oblikovanih za določene namene, če so le uporabniki usposobljeni, da lahko
pravilno interpretirajo razlike v šolskih rezultatih pri različnih modelih. Informacije,
ki zadevajo socialno-ekonomske karakteristike učencev, surove rezultate testov in
tako rezultate dodane vrednosti, kakor tudi kontekstualizirane dodane vrednosti
šol, bi omogočile podrobnejšo analizo, ki bi lahko bila temelj za vrsto odločitev.
Zgornji scenarij predpostavlja, da obstaja bistvena razlika med rezultati dodane
vrednosti šol in njihovimi kontekstualiziranimi rezultati dodane vrednosti. Vendar
pa bomo v šestem poglavju pojasnili, da to ne drži vedno. Obstajajo razprave, ki
trdijo, da se v sistemih, kjer je ocenjevanje učencev pogostejše in del oblikovanja
modelov dodane vrednosti, kvantitativni pomen in statistična pomembnost družbeno-ekonomskih kontekstualnih lastnosti zmanjšata do točke, ko imata le zanemarljiv učinek na rezultate dodane vrednosti posamezne šole. O tem vprašanju
je govora v šestem poglavju, vendar je treba na tem mestu opozoriti, da bo pri
vpeljevanju sistema določanja modelov dodane vrednosti pomembno analizirati
stopnjo, do katere te razlike obstajajo po šolah in sistemih šolskega izobraževanja.
Uporaba kontekstualiziranih modelov dodane vrednosti lahko pripomore k
pridobitvi zaupanja glavnih deležnikov, ki jih skrbi obravnava šol in učiteljev, ki
si prizadevajo izobraziti socialno in ekonomsko nepriviligirane učence. Vključevanje teh spremenljivk ne ustvarja zgolj natančnejših modelov, je tudi znamenje za
deležnike. Pomembnost sporočila, da kontekstualizirani model dodane vrednosti primerno kompenzira za različne težave pri izobraževanju učencev z nižjim
družbeno-ekonomskim statusom, je lahko vitalnega pomena. Kot bo govora v
tretjem delu, so vlade storile vrsto pomembnih korakov, da bi pridobile zaupanje
učiteljev, šolskih administratorjev, staršev in drugih ključnih deležnikov v modelih dodane vrednosti. Ti koraki se osredotočajo na vidike oblikovanja in uporabe
modelov dodane vrednosti, vključno s tem, kako so predstavljeni rezultati in kako
39
se pomaga deležnikom pri pravilni interpretaciji rezultatov šole. Pri gradnji baze
znanja za uporabo modelov dodane vrednosti imajo deležniki večje zaupanje
v rezultate dodane vrednosti in v sistem, ki takšne rezultate uporablja. To lahko
pomiri precej začetnih skrbi (Jakubowski, 2008).
Povečevanje odgovornosti šol z uporabo modelov dodane
vrednosti
V zadnjem desetletju je sprejemanje sistemov odgovornosti za šole postalo v
državah bolj običajno (OECD, 2007a; Kane in Staiger, 2002; Goldstein in Spiegelhalter, 1996; Hanushek in Raymond, 2004; Braun, 2006a; Taylor in Nguyen, 2006).
Ta razvoj lahko gledamo kot del širšega mednarodnega trenda vzpostavljanja sistemov, ki merijo uspešnost javnega sektorja na ravni uspešnosti in učinkovitosti.
Cilj tovrstnih sistemov je pospeševanje primerjav pri uporabi sredstev, rezultatov
in produktivnosti v ustanovah in sektorjih, kakršna sta zdravstvo in izobraževanje
(OECD, 2008).
Prizadevanja, da bi vpeljali sisteme odgovornosti, pogosto poganja zaskrbljenost, da so šole v svoji uspešnosti precej heterogene in da med prepoznavnimi
podskupinami prebivalstva prihaja do pomembnih razlik pri rezultatih izobraževanja (OECD, 2007b). Povečanje zanimanja za modele dodane vrednosti je posledica tega, da se znova poudarja odgovornost učiteljev in šol za svoje delo. Modeliranje dodane vrednosti je eden od načinov vpeljevanja tistega, čemur pogosto
rečemo odgovornost na podlagi testov. Četudi je odgovornost šol – ali pa bi
morala biti – širša od zgolj odgovornosti na podlagi testov, lahko slednja pogosto igra dominantno vlogo. Zasluga za to gre, vsaj deloma, relativni stroškovni
učinkovitosti testiranja, in deloma, objektivnosti testnih podatkov. Vendar pa je
včasih težko, če ne celo nemogoče, vključiti vse vidike uspešnosti šole v en sam
kazalnik, nekateri vidiki so že po naravi nemerljivi (Dixit, 2002). Modeli dodane
vrednosti uporabljajo rezultate ocenjevanja učencev, zato da bi bila uspešnost
pri teh ocenjevanjih fokus sistema odgovornosti šol, ki temelji zgolj na rezultatih
dodane vrednosti.
Odgovornost šole je komponenta spremljanja na sistemski ravni in regulatornih funkcij, ki jih izvaja agencija pri nacionalnem ali državnem ministrstvu za šolstvo. Predpisi med drugim urejajo, kako deluje vsaka komponenta sistema, katere
kvalifikacije morajo imeti različni strokovnjaki v njem ter zahteve kurikuluma in
ocenjevanja na vsaki stopnji. Spremljanje se nanaša na različne mehanizme, s
pomočjo katerih oblasti spremljajo delovanje sistema, pa tudi to, kakšno je notranje poročanje o dognanjih, kakšno je poročanje deležnikom in javnosti (Caldwell,
2002). V začetku je bila odgovornost osredotočena na to, ali šole spoštujejo pravila, ki urejajo različne vidike njihovega delovanja, na primer število dni pouka,
velikost razredov, kvalifikacije učiteljev, uporabljeni učbeniki, pa tudi vrsta zadev
40
povezanih s finančnim vodenjem. Na kratko, poudarek je bil na vnosu in na procesu. Zdaj pa postaja vedno bolj običajno, da se o odgovornosti šole premišljuje
v povezavi z merili rezultatov. Zatrjevanje, da »bi morale biti šole odgovorne za
svojo uspešnost«, bi moralo obsegati več, kakor zgolj zahtevati kratko poročilo
o tem, kaj se je v predpisanem časovnem obdobju v šoli dogajalo. Odgovornost
lahko danes zahteva, da šole zagotovijo upravičljivo analizo ali razlago za svoje
rezultate. En vidik odgovornosti v odnosu do kakovosti izobraževanja je, ali učenci
zadovoljivo napredujejo z vsakim letom pouka. Drugi vidik je, ali dosegajo standarde, ki so jih postavile šolske oblasti. Ko govorimo o cilju pravičnosti: ali vse
skupine učencev dosegajo cilje kakovosti v približno enakem deležu? Morda bi
lahko ocenili cilj učinkovitosti, tako da se vprašamo, ali šole, ki delujejo v okoljih
z več izzivi, delujejo prav tako učinkovito kakor šole, ki se srečujejo z manj izzivi.
Tega zadnjega vprašanja se lahko lotimo, tako da povežemo rezultate z vložki.
Fokus sistemov odgovornosti šol je v vsaki državi drugačen. Nekatere države
se bistveno bolj osredotočajo na uspešnost posameznih šol, medtem ko je v izobraževalnih sistemih drugih fokus na sistemski ravni, zato je v njih relativno malo
referenc na odgovornost šol in včasih tudi relativno malo metod za evalvacijo njihove uspešnosti (OECD, 2007a). Vrsta držav članic OECD je v zadnjih letih začela
razvijati sistem šolske odgovornosti. Na Norveškem so se tako koncept in meritve
šolske uspešnosti v zadnjih nekaj letih nekoliko spremenili. Po priporočilih vladne komisije je bil leta 2004 ustanovljen nacionalni sistem šolske odgovornosti.
Njegov osrednji element je prosto dostopna spletna stran, ki vsebuje podrobne
informacije o vseh norveških šolah. Poleg osnovnih administrativnih podatkov je
tu še veliko število kazalnikov v zvezi z uporabo sredstev, učnem okolju in rezultatih. Kazalniki uspešnosti šol so v osnovi surove povprečne vrednosti na ravni
šol, ali porazdelitve iz nacionalnih ali skupnih eksternih testov. Cilj sistema je
izboljšati vrsto in raven informacij za različne deležnike, vključno s samo vlado. Na
posamezne kazalnike ni neposredno vezana nobena sankcija ali nagrada. Njihov
namen je zgolj to, da so centralno orodje v procesu razvoja šol; z njihovo pomočjo
je mogoče identificirati dobre prakse v šolah, ki so uspešne, in identificirati šole,
kjer je še prostor za izboljšave. Ministrstvo za šolstvo lahko sistem uporablja za
spremljanje splošne ravni razvoja v šolskem sektorju, lokalne oblasti in lastniki šol
pa lahko spremljajo stopnjo razvoja njihovih šol v primerjavi z drugimi. In končno,
starši, učenci in javnost imajo zdaj celostne in standardizirane podatke o različnih
vidikih šol, ki jih zanimajo, in se jim ni treba več zanašati na anekdotične in nesistematične dokaze (Haegeland, 2006).
Že samo oblikovanje in objava meril uspešnosti lahko povzroči implicitne in
posredne (finančne in ne-finančne) spodbude za ravnatelje in učitelje (Glenn in de
Groof, 2005). Poleg tega lahko sistem odgovornosti javnega sektorja vključuje tudi
eksplicitne sankcije in nagrade, tako za ustanove kakor tudi za njihovo zaposlene.
Vlada – z objavo podatkov o uspešnosti šol in morda s povezovanjem nagrad z
41
uspešnostjo – lahko pripravi učitelje in šolske administratorje do tega, da vložijo
več napora v izboljševanje uspešnosti (Bourque, 2005). Da bi lahko analizirali
vrsto in učinkovitost spodbud, ustvarjenih s pomočjo razvoja in uporabe modelov dodane vrednosti v izobraževalnih sistemih, je potrebno analizirati spodbude,
oblikovane za učitelje in ravnatelje. Pri modeliranju dodane vrednosti je šola enota
odgovornosti, zato so izboljšave pri učenju usmerjene v izboljšave šole kot organizacije. Vendar pa je treba priznati, da je vpliv na izobraževanje v organizacijah v
prvi vrsti dosežen s pomočjo vpliva na učitelje v razredu (OECD, 2005). Četudi so
šole tiste enote, katerih rezultati se merijo, pa so spodbude ustvarjene za učitelje
in ravnatelje, bodisi za kolektive ali za posameznike. Tovrstne spodbude imajo dva
glavna učinka: učinke spodbud oblikovanih za učitelje in ravnatelje; in, mogoče
enako pomembno, razvrščanje in selekcioniranje, do katerega pride na trgu dela
v teh poklicih kot odgovor na te učinke (Lazear, 2000).
Struktura spodbud vpliva na dejanja organizacij in delavcev v javnih in zasebnih organizacijah (Ballou, 2001; Doeringer in Piore, 1985). Nikakršnega vzroka ni,
da ne bi verjeli, da bo tako tudi v izobraževalnem sektorju. Učitelji in ravnatelji
bi se morali odzvati na pozitivne in negativne spodbude, ki bi lahko vplivale na
pridobljeno učenčevo izobrazbo. Lavy (2002) prikazuje pozitivne učinke poskusa,
ki ga je izvedel izraelski izobraževalni sistem in v katerem so bili učitelji nagrajeni,
če so se testni rezultati njihovih učencev izboljšali. V skrbno oblikovani strukturi
spodbud so bili učitelji za izboljšan uspeh učencev nagrajeni z različnimi denarnimi spodbudami. Sčasoma se je oblikovanje spodbud začelo opazno odražati v
povečani uspešnosti učencev. Poleg tega so bile spodbude oblikovane tako, da so
nagrajevale učitelje učencev, ki so bili manj uspešni ali so prihajali iz manj privilegiranega okolja. Večje nagrade so bile namenjene učiteljem, ki so dosegli izboljšave pri uspešnosti relativno manj uspešnih ali neprivilegiranih učencih. Pozitivni
rezultati so bili vidni pri manj uspešnih učencih, ki so opazno napredovali. To
ilustrira možnosti, ki jih imajo oblikovalci šolske politike pri oblikovanju struktur
spodbud za doseganje večje uspešnosti učencev na področju, kjer se to šteje za
največ vredno.
Najbolj neposredne spodbude, ki jih je mogoče oblikovati z uporabo modelov
dodane vrednosti, so tiste, ki določajo dodano vrednost posameznih učiteljev in
zagotavljajo ustrezno nagrado. Modeli dodane vrednosti na ravni šol se razlikujejo
glede svojega fokusa, a še vedno prinašajo različne vrste spodbud za učitelje in
ravnatelje. Spodbude so lahko denarne ali ne-denarne in imajo lahko vrsto učinkov. Rezultati dodane vrednosti na ravni šol so lahko uporabljeni za zagotavljanje spodbud za vse učitelje na posamezni šoli, lahko pa jih razdelimo tudi tako,
da identificirajo posebno skupino učiteljev (na primer učitelje določenega predmeta). Treba je opozoriti, da se pri identificiranju spodbud iz oblikovanja modelov
dodane vrednosti na ravni šol vzpostavi dodatna kompleksna plast, kajti enote
ocenjevanja (šole) se lahko razlikujejo od cilja spodbud (učitelji). To polaga večjo
42
odgovornost na vodstvo šole, ki mora zagotoviti, da vsi učitelji in drugi zaposleni
delujejo skupaj, da bi dosegli cilje šole.
Kakor je bilo že rečeno, so lahko spodbude različnih oblik za učitelje in ravnatelje in se razlikujejo glede na raven rezultatov – namernih ali ne – sistema, ki
uporablja modeliranje dodane vrednosti. Rezultate iz razvoja sistema, ki uporablja modeliranje modelov dodane vrednosti lahko, na splošno, razdelimo na štiri
široke kategorije:
1. Neposredni denarni rezultati: Ti imajo obliko nagrad ali sankcij, ki spremenijo prejeto finančno kompenzacijo učiteljev ali ravnateljev. Primeri bi lahko vključevali denarne bonuse ali poviške, ki jih prejmejo učitelji na podlagi pozitivnega
ali visokega rezultata dodane vrednosti šole (OECD, 2007a; Figlio in Kenny, 2006).
2. Ne-denarni rezultati: ti so pretežno sestavljeni iz nagrad, kakor so dodatno strokovno izpopolnjevanje in spremembe delovnih obveznosti ter osebno
zadoščenje zaradi dela v uspešni šoli. To lahko pripelje do večjega zadovoljstva
na delovnem mestu in do prestiža, ki ga prinaša višji položaj v profesionalni skupnosti. Poudariti je treba, da so ti rezultati pogosto vidni v kombinaciji z rezultati
iz drugih treh kategorij (OECD, 2005).
3. Rezultati na delovnem mestu in v šoli: cela vrsta nagrad in sankcij, ki lahko
zadane šolo, ima lahko močan vpliv na učitelje in ravnatelje. Običajni taki primeri
lahko vplivajo na avtonomijo zelo uspešnih šol, ki so nagrajene s še več samostojnosti in neuspešne šole, ki morajo skozi preskusno obdobje in/ali pa pri njih
intervenirajo šolski inšpektorati (ali ekvivalentna nacionalna telesa). To lahko
ustvari precejšnjo spodbudo za povišanje rezultatov, tako zaradi stigme, ki jo s
sabo prinaša preskusno obdobje, kakor tudi želja po večji avtonomiji za učitelje in
ravnatelje. V najskrajnejših primerih lahko te kazni privedejo tudi do zaprtja šol in
do neprostovoljnega odpuščanja zaposlenih (Ray, 2006; van de Grift, 2007).
4. Karierni rezultati: lahko vključujejo denarne in ne-denarne rezultate. Ti se
nabirajo skozi vso kariero učiteljev in ravnateljev iz prednosti, ki jih ima delo v
zelo uspešni šoli. To je odvisno od interpretacije in uporabe informacij o dodani
vrednosti na ravni šole na trgu dela, ki bi morale imeti pozitiven vpliv na prihodnjo
plačo in možnosti za napredovanje za vse tisto osebje, ki je povezano z zelo uspešnimi šolami (Ladd in Walsh, 2002).
Ti štirje učinki lahko soobstajajo ali pa delujejo do neke mere samostojno. Ker
se lahko modeli dodane vrednosti osredotočajo na celo vrsto vidikov uspešnosti šole, so lahko strukturirani tako, da je njihov fokus na posameznem rezultatu,
odvisno od cilja sistema, z močjo spodbude odvisne od velikosti rezultatov ali
nagrad in sankcij.
43
Čeprav se precej osredotočamo na učinke različnih spodbud, raziskave kažejo,
da do enakega ali večjega učinka na organizacijsko učinkovitost lahko pride skozi
učinke razporejanja iz selekcije znotraj trga dela za učitelje in ravnatelje (Lazear,
2000). Učinki razporejanja iz selekcije delujejo za odtenek drugače kakor učinki
direktne spodbude. Učinki direktne spodbude pri sistemih, ki uporabljajo merila
za dodano vrednost, se osredotočajo na spremembe pri delu – in poučevanju –
obstoječih učiteljev, medtem ko se učinki razporejanja in sortiranja osredotočajo
na vpliv, ki ga imajo na trg dela tisti, ki se odločajo, da bodo postali učitelji in tisti,
ki zapuščajo svoj poklic. Analiza učinkov uvedbe modelov dodane vrednosti bi
morala pokrivati tako učinke neposrednih spodbud kakor tudi učinke razporejanja in sortiranja na trgu dela.
Analiza spodbujevalnih učinkov se osredotoča na spodbude za učitelje in
ravnatelje, da bi povečali rezultate dodane vrednosti učencev in šol. To ustvari
pobuda, ki si prizadeva spremeniti delovno vedenje učiteljev, da bi povečali uspešnost učencev. Ko bodo te pobude pritegnile tiste posameznike v poklic, ki verjamejo, da lahko povečajo rezultat dodane vrednosti za šolo, bo prišlo do učinka
razvrščanja in selekcije. Najbrž bi to vplivalo na sestavo novih kadrov, ki vstopajo
na trg dela učiteljev. Sočasno s tem pa bi vplivalo na sestavo zadrževanja obstoječih učiteljev, tisti učitelji pa, ki so najmanj sposobni prispevati k dodani vrednosti šol, bi z relativno večjo verjetnostjo zapustili poklic (Lazear, 2000). Te učitelje
bi nato nadomestili novi, ki bi verjeli, da lahko prispevajo k rezultatom dodane
vrednosti v svoji šoli. Teoretično bi bila velikost teh učinkov močno odvisna od
velikosti spodbud. Na primer, če bi bilo napredovanje kariere močno odvisno od
rezultatov dodane vrednosti šole in bi pri njem obstajale precejšnje denarne in
ne-denarne koristi, bi se povečali tako spodbuda kakor tudi učinki razvrščanja in
selekcije. Vendar pa se učinkovitost teh sprememb zanaša na natančne in transparentne kazalnike, na ocenjevanje uspešnosti in na to, kako so vključeni v širši
sistem ocenjevanja šol in učiteljev.
Uporaba surovih testnih rezultatov lahko prinese nehotne spodbude, če
upoštevamo nenatančno razmerje med surovimi testnimi rezultati in uspešnostjo šol. Rezultati dodane vrednosti zagotavljajo natančnejše merilo šolske
uspešnosti, ki bi izboljšalo pretok informacij na trgu dela. Zato je torej mogoče
oblikovati pobude na način, da bo njihov vpliv pospešil zaželene rezultate šolske
politike. Izvrsten primer za to je strukturiranje pobud tako, da je večji del njihovega učinka usmerjen k neprivilegiranim ali manj uspešnim učencem. Na primer,
lahko bi ustvarili pobude za bolj uspešne učitelje in ravnatelje, naj se preselijo
na šole z nižjim družbeno-ekonomskim statusom, kjer so izboljšave dodane vrednosti bolje nagrajene. Na ta način bi lahko bil sistem sposoben se upreti trendu
mnogih izobraževalnih sistemov, kjer izkušenejši učitelji verjetno delajo v šolah
z učenci, katerih družbeno-ekonomski status je višji (OECD, 2005). Le malo izobraževalnih sistemov ta čas neposredno povezuje plačo učiteljev in ravnateljev
44
z rezultati modelov dodane vrednosti. Vendar pa je treba opomniti, da je lahko
učinek sortiranja in izbiranja na trgu dela enako pomemben kakor neposredne
pobude. Njihov časovni okvir pa je lahko daljši od učinka časovnega okvirja neposrednih pobud. Za primer si predstavljajte ravnatelja, ki je bolj na začetku svoje
kariere in je ravnatelj šole v skupnosti z relativno nizkim družbeno-ekonomskim
statusom. Zdaj pa pomislite na sistem določanja modelov dodane vrednosti, ki
uporablja teste učencev pri poučevanju jezikov, naravoslovju in matematiki v
tretjem, petem in sedmem razredu. Četudi ta sistem nima neposredne zveze z
ravnateljevo plačo, je jasna karierna spodbuda, da bi izboljšal uspešnost pri teh
testih, saj je s tem povezan precejšen del njegove ali njene ravnateljske kariere. Če
je ravnatelj uspešen pri dvigu rezultata dodane vrednosti šole, lahko ta dosežek
uporabi na trgu dela. Po petih letih v šoli lahko nanj vstopi in navaja rezultate
dodane vrednosti, kar kaže na sposobnost, da dvigne uspešnost učencev v šoli
z nizkim socialno-ekonomskim statusom. Ravnatelji imajo pred svojimi tekmeci
relativno prednost in lahko zato pričakujejo, da bodo ustrezno nagrajeni za svoje
delo, do mere pač, kot trg dela za ravnatelje takšne nagrade nudi. Ta pobuda bi se
še povečala, če bi bila dodeljena dodatna sredstva za nagrajevanje ravnateljev in
učiteljev teh učencev. Vendar pa Ladd in Walsh (2002) ilustrirata, da če so merila
za uspešnost šole narobe specificirana in spodbude napačno strukturirane, lahko
pride do obrata tega vzorca in se učitelji selijo v šole, kjer poučujejo socialno bolj
privilegirane učence.
Na velikost teh spodbud vpliva struktura trga dela za učitelje in ravnatelje, ki
se od dežele do dežele zelo razlikuje. Na primer, izobraževalni sistem s fleksibilnejšim trgom dela in relativno višjo stopnjo šolske avtonomije je morda sposoben ustvariti večje karierne pobude. Drugi ključni dejavnik je obseg, v katerem
so informacije o dodani vrednosti na voljo in jih lahko uporabljajo tako delodajalci, kakor tudi delojemalci, za informirano najemanje, odpuščanje in za generalno mobilnost med šolami znotraj trga dela. Vendar pa štiri kategorije spodbud,
naštete zgoraj, ilustrirajo, da spodbude za dvig uspešnosti učencev in šol lahko
ustvarimo v šolskih sistemih, ki ne ponujajo neposrednih denarnih spodbud ali
nagrad za delovno uspešnost učiteljev. Ne-denarne pobude, povezane z delovnim mestom in napredovanjem kariere lahko pospešijo povečano uspešnost šole.
To je še posebej pomembno glede na relativno majhno število držav članic OECD,
ki učiteljem nudijo plačo, utemeljeno na uspešnosti (OECD, 2007a).
45
Spodbude in neoptimalen rezultat
Kadarkoli je ustvarjeno merilo uspešnosti, obstaja možnost za negativen ali
neoptimalen rezultat, če lahko s postopki, ali celo z rezultati, manipuliramo da
bi nepravilno ustvarili merilo pozitivne uspešnosti. Manipulacija je lahko neposreden rezultat neprimernih spodbud, ustvarjenih skozi postavljanje ciljev uspešnosti. Do takšnih spodbud lahko pride, kadar imajo merila uspešnosti velik vpliv
na akterje in se osredotočajo na vidike šolanja, ki ne odsevajo resničnega ali celostnega namena šol. Žal je to lahko zelo pogosto pri merilih uspešnosti šol, če je
merilo uspešnosti preozko definirano, na primer usmerjeno na specifičen predmet ali specifično raven uspešnosti ali pa merilo ne meri natančno uspešnosti šole.
Jasno je, da izbor preverjanj, ki je uporabljen v modelih dodane vrednosti ustvari spodbudo, da bi povečali uspešnost v teh preverjanjih. Neprimerna
spodbuda lahko potencialno pripelje do neoptimalnega rezultata, če so sredstva
namenjena povečanju uspešnosti v teh specifičnih preverjanjih na račun drugih
področij šolanja (Nichols & Berliner, 2005). Vendar pa je treba opozoriti, da je to
neoptimalen izid le takrat, kadar to ni bil nameravan cilj. Večji poudarek na preverjanjih, ki oblikujejo merila za uspešnost šol, je lahko namerna posledica in oblikovna značilnost sistema upravljanja uspešnosti. Iste spodbude se lahko pojavijo,
če je merilo uspešnosti to, da se pri preverjanjih doseže določena raven znanja.
Na primer, če je dodana vrednost izračunana za učence, ko so dosegli določeno
primerljivo stopnjo pismenosti, potem je spodbuda ustvarjena zato, da bi se osredotočila na določeno podskupino učencev na račun drugih. Zato je treba biti pri
uporabi rezultatov dodane vrednosti za identifikacijo šol kot neuspešnih ali zelo
uspešnih previden. Če specifični cilji, na primer minimalna raven pismenosti, niso
eksplicitno identificirani in niso navedene njihove posledice, se mora merilo za
uspešnost šole osredotočiti na uspešnost učencev vseh sposobnosti.
Kot je bilo povedano zgoraj, je velikost ustvarjenih spodbud odvisna od dejanj,
ki izhajajo iz merila uspešnosti. Večji, kot je učinek na šole in učitelje (npr. finančne
nagrade in kazni), večja je ustvarjena spodbuda. Poleg tega je stopnja, do katere
je mogoče z vpeljevanjem sistema spreminjati učne prakse in kurikulum, odvisna
od stopnje avtonomije, ki jo imajo šola in učitelji. Medtem ko večina izobraževalnih sistemov šolam in učiteljem daje veliko stopnjo avtonomije pri učnih praksah,
ki jih uporabljajo, jih ima veliko predpisan kurikulum (OECD, 2007a). Vendar pa
je znotraj predpisanega kurikuluma navadno prostor, kjer je šolam in učiteljem
dovoljeno poudariti določene vidike in oblikovati prakse, na primer ocenjevanje
učencev, tako da se osredotočajo na posamezna merila. Pogosto citiran primer
vpliva na merila šolske uspešnosti je »poučevanje za izpit« v sistemih, v katerih
je ogromno odvisno od rezultatov testiranj (Haney in Raczek, 1993; Kohn, 2000).
46
Dodatno vprašanje, ki se pojavlja, je nevarnost zoževanja kurikuluma. Veliko
sistemov ne vsebuje preverjanja učencev pri vseh predmetih. Izvedljivost slednjega in različne omejitve pri financiranju lahko onemogočijo tako strukturo
preverjanja učencev. Namesto tega se običajno uporablja preverjanje pri nekaj
ključnih predmetih (glej Preglednico 4.1). Zmanjšanje števila preverjenih predmetov lahko povzroči prilagoditev šolskega kurikuluma in praks poučevanja
temu, da bi dosegli višje rezultate pri predmetih, ki so fokus meritev o uspešnosti
dodane vrednosti in tako potencialno zmanjšali poudarek na celotnem naboru
predmetov, ki so učencem na voljo. Učinek zoževanja fokusa je problem pri vseh
vrstah meril uspešnosti, ne samo pri rezultatih dodane vrednosti.
Večina držav v preverjanje učencev vključi le dve ali tri predmetna področja, ki
so primerna za uporabo v modelih dodane vrednosti. Najpogosteje so to učni jezik,
matematika in naravoslovje (glej Preglednico 4.1). Ravnatelji in učitelji torej imajo
spodbudo, da se bolj osredotočajo na predmete, ki so vključeni v meritve uspešnosti. Vendar pa je pomembno opozoriti, da ni sistematičnih dokazov, da bi pri teh
predmetih prihajalo do zoževanja učne snovi (Jacob, 2002). Vendar pa je v študiji v
šolah po ZDA O’Day (2002) odkril, da testne specifikacije, uporabljene pri izjemno
pomembnih testih, v velikem številu šol postanejo specifikacije za kurikulum.
Na spodbude, ki se osredotočajo na ožje določena merila uspešnosti, ne
smemo gledati zgolj negativno. Večji poudarek na posameznem preverjanju
ima lahko pozitiven učinek, še posebej, če upoštevamo, da šole ali sistemi trpijo
zaradi neusklajenih ciljev. To je lahko še posebej res, če ima večje osredotočanje
na področjih preverjanja pozitivni sledilni učinek na ostalo poučevanje in učna
področja, ki niso vključena v meritve rezultatov. Na primer, sistem, ki spodbuja
povečanje osredotočanja na uspešnost učencev na posameznih področjih pri
matematiki, ima lahko pozitiven učinek na njihovo učenje na drugih področjih.
Do tega lahko pride iz dveh razlogov. Prvič, izboljšava na merjenem področju
matematike lahko pospeši učenje na drugih področjih matematike in pri drugih
predmetih. Drugič, večji poudarek na izboljšanju učenčevega uspeha pri matematiki lahko spodbudi druga področja v šoli, da se učijo iz te izkušnje in povečajo
učinkovitost v vsej šoli. To ima lahko »domino« učinek na uspešnost učencev na
področjih, ki niso del meritev.
Vpliv na kurikulum je lahko neposredna izbira šolske politike, vendar je treba
oceniti tako želene kakor tudi neželene učinke, da bi se izognili neželenim posledicam tovrstnih izbir. Če upoštevamo, da so lahko posledice pozitivne in negativne, se zdi primerno, da oblikovalci šolske politike nadzirajo rezultate skozi
razvoj modelov dodane vrednosti v izobraževalnem sistemu, katerega del so. To
bo nadalje dopolnilo informacije v izobraževalnem sistemu, ki bi lahko pripomogle k razvoju šol in sistema. Na tem mestu poudarjamo izbiro merilnika rezultatov,
da bi ilustrirali kako pomembna je izbira predmetnih področij, ki bodo ocenje-
47
vana, če želimo, da bodo modeli dodane vrednosti vplivali na šole. Podobna vprašanja zadevajo postopek, kako so izračunani rezultati dodane vrednosti šol skozi
večkratno preverjanje. Čeprav je mogoče rezultat dodane vrednosti izračunati za
preverjanje pri vsakem predmetu, je potrebno – če naj bo enoten rezultat dodane
vrednosti za šolo uporabljen v sistemu šolske odgovornosti – opraviti izbiro med
rezultati dodane vrednosti pri različnih predmetih. Kakor je bilo že rečeno, lahko
so izbrani specifični predmeti, če je potrebno posameznemu področju učenja
posvetiti posebno pozornost. Alternativna metoda bi bila izračunati povprečje
niza predmetov in ga uporabiti. Vendar pa v takih okoliščinah lahko povprečje
skriva razlike med predmeti (Wilson, 2004). Prav tako je treba paziti, da izbira
merila za preverjanje, ki ga bomo uporabili pri določanju modela dodane vrednosti ne zasenči potrebe po uporabi drugih meril pri odločanju o tem, kako izboljšati
šolo, in drugih ciljih šolske politike. Ta merila lahko vključujejo npr. podatke o vložkih v šolo in različna merila šolskih procesov.
Izboljševanje izbire šol izbire s pomočjo informacij o dodani
vrednosti
Učinkovitost odločitev o odgovornosti šol v veliki meri leži na točnosti in
ustreznosti merila uspešnosti, ki odloča, ali je šola odgovorna ali ne. Informacije
o dodani vrednosti morajo biti torej točne in hkrati transparentne, oboje pa se
povečuje z objavo rezultatov dodane vrednosti za šole. Te informacije lahko tudi
izboljšajo izbiro šole. Vendar je treba opozoriti, v vrsti držav izbira šole ne obstaja.
Družine nimajo pravice, da bi izbrale šolo, ki jo bo obiskoval njihov otrok. V večini
teh sistemov bo otrok preprosto hodil v lokalno šolo, ne glede na željo družine
(OECD, 2006). V drugih državah izbira obstaja, vendar z omejitvami, ki jih sistem
nalaga šolam in s sprejemnimi pogoji za posamezne šole, ki nadalje omejujejo
njihovo izbiro. Poleg tega: morda države niso postavile nobenih pravnih ali administrativnih zadržkov glede izbire šole, vendar lahko geografska bližina šol in njihova kapaciteta vpisovanja učencev omejijo obseg, do katerega svobodna izbira
šole dejansko obstaja.
Precej je bilo napisanega o izbiri šole in kako izboljšuje izobraževalne sisteme
s tem, da dopušča učencem in družinam, da si izberejo šolo, ki najbolje ustreza njihovim potrebam (Hoxby, 2003). S pomočjo tega mehanizma se izobrazba izboljšuje tako, da so učne potrebe učencev bolje izpolnjene (Levacic, 2001). Družine
šolo za svoje otroke izberejo iz različnih razlogov: geografska bližina, programi,
ki jih nudi šola, skupina vrstnikov, v katero naj bi se vključil njihov otrok in verska orientacija. To je samo nekaj razlogov, na podlagi katerih se družine odločajo.
Rezultati dodane vrednosti šole lahko prav tako postanejo pomemben dejavnik
pri odločitvi družin in učencev, katero šolo si želijo obiskovati (OECD, 2006).
48
Signali, ki jih učenci in družine pošljejo s tem, ko izberejo šolo, ki najbolje
ustreza njihovim potrebam, so ključni elementi koristi povečane izbire šol znotraj šolskega sistema. Ko se učenci in družine premikajo na tiste šole, ki bolje
zadostijo njihovim izobraževalnim potrebam, to prinaša šolam, upravljavcem in
oblikovalcem šolske politike jasne informacije o tem, katere šole starši in družine
smatrajo za najbolj učinkovite (Hoxby, 2003). Informira njihove odločitve o tem,
kako naj razporejajo sredstva, o procesih in programih, ki jih nudijo in izvajajo
šole, prispeva pa tudi k učenju na ravni sistema. Ključni vidik zagotavljanja podatkov, s pomočjo katerih se deležniki informirano odločajo za šolo, je obveščanje
o uspešnosti šole (OECD, 2006). To ima jasne implikacije za odgovornost šole do
deležnikov, lahko pa slednjim tudi pomaga, da se aktivno vključijo v izboljševanje
uspešnosti šole. Ko imajo interesne skupine enkrat dostop do zanesljivih informacij in natančnih meril za uspešnost šol, dobijo tudi moč, da z njimi sodelujejo
pri prizadevanjih za izboljšanje uspešnosti. Da pa bi bilo to mogoče, morajo znati
pravilno interpretirati informacije o dodani vrednosti. O tem bo govora v drugem
poglavju in tretjem delu tega poročila.
Uporaba informacij o preverjanju in uspešnosti šol je v različnih državah članicah OECD različna. V nekaj državah je na voljo relativno malo informacij o uspešnosti učencev pri nacionalnih preverjanjih znanja ali testiranjih. Približno v dveh
tretjinah držav članic OECD so podatki o inšpekcijah in evalvacijah dostopni širši
javnosti. Malo manj kakor polovica teh držav poroča, da se je za to odločila, da
bi izboljšala sprejemanje odločitev v sistemu izbire šol (OECD, 2007a). Od leta
2001 Švedska nacionalna agencija za izobraževanje objavlja podatke o rezultatih
posameznih šol in druge podatke (Antelius, 2006). Namen je olajšati identifikacijo
dejavnikov, ki vplivajo na šolske rezultate, in urediti ozadje diskusijam in analizi
priložnosti, postopkov in rezultatov v šolah. Švedska nacionalna agencija za izobraževanje prav tako objavlja pričakovane rezultate za posamezno šolo.4 Pričakovani
rezultati šole so ocenjeni z uporabo linearne regresijske analize.5 Ostanek, izračunan kot razlika med rezultatom šole (glede na povprečno oceno) in njenim pričakovanim rezultatom, je nato uporabljen kot kazalnik šolske uspešnosti ob upoštevanju sestave učencev v vseh šolah. Vendar pa to niso merila dodane vrednosti in
torej ne ocenjujejo doprinosa posamezne šole k napredku učenca skozi čas.
V Franciji ministrstvo za šolstvo objavlja rezultate uspešnosti šol, ki merijo
uspešnost učencev in šol pri maturi (baccalauréat). To niso merila dodane vrednosti, vendar je namen ministrstva pri vsakoletni objavi kazalcev uspešnosti licejev
(gimnazij) narediti podatke o uspešnosti nacionalnih javnih izobraževalnih storitev dostopne in dati vodjem izobraževalnih ustanov ustrezna orodja za izboljševanje učinkovitosti politik in programov (MNEHER, 2006). Objava rezultatov je
4 To velja zgolj za šole na stopnji obveznega izobraževanja.
5 Enostavni model kvadratne regresije uporablja povprečne ocene šol kot odvisno spremenljivko in spol,
tuje poreklo in izobrazbo staršev kot neodvisne spremenljivke.
49
občutljiva tema, in ne obstaja enotna definicija, kaj je »dober rezultat« za posamezen licej. Na primer, neodgovorjeno ostaja vprašanje, katere kriterije bi bilo treba
prevzeti za evalvacijo rezultatov liceja. V teh primerih bi bili lahko cilji učencev in
staršev različni. Nekateri dajejo več poudarka na opravljeno maturo z določenim
rezultatom in so za dosego tega cilja pripravljeni ponavljati leto ali se prešolati,
medtem ko si drugi želijo vse svoje izobraževanje opraviti v enem liceju. Tretji
enostavno hočejo maturirati tako hitro, kakor je le mogoče. Na splošno velja, da
ni smiselno sestaviti seznam najuspešnejših licejev, in različno število kazalnikov
ustreza različnim pričakovanjem ljudi. Zato sta bili osnovani dve vrsti smernic za
sestavljanje kazalnikov o uspešnosti licejev, ki:
–– dajejo dopolnilen pogled na rezultate licejev;
–– ponujajo relativno oceno prispevka ustanov, pri čemer upoštevajo lastnosti
njihovih učencev.
Domneva se, da so starši, zaposleni v izobraževanju na nacionalni ravni, novinarji in skupek javnih in zasebnih akterjev vsi zainteresirani za evalvacijo uspešnosti vsakega liceja (gimnazije) in prispevka, ki ga le-ta da začetni stopnji učencev,
ki se tam izobražujejo. Z vsakoletno objavo kazalnikov uspešnosti licejev ministrstvo poskuša ponuditi informacije, ki pomagajo odgovoriti na to precej občutljivo
vprašanje (MNEHER, 2006).
V Angliji so se surovi rezultati testov uporabljali za lažjo izbiro šole, preden je bil razvit ekstenziven sistem analize dodane vrednosti. Leta 1992 so
bile predstavljene Tabele uspešnosti6 za šole z namenom informirati starše o
njihovi izbrani šoli, pa tudi spodbuditi šole, naj dvignejo svoje standarde. Prve
tabele so pokazale rezultate izpitov GCSE, ki jih opravljajo 16-letniki (skupaj z enim kazalnikom za izpite A-level, ki jih opravljajo 18-letniki). Leta 1996
so bile narejene prve tabele za osnovne šole, in sicer z rezultati za nove teste
Key Stage 2, ki jih opravljajo učenci stari enajst let. Sčasoma so tabele začele
vključevati več kazalnikov, deloma kot rezultat večje količine informacij,
ki so bile na voljo na nacionalni ravni. Prvi rezultati dodane vrednosti za vse
srednje šole so bili vključeni leta 2002, rezultati za osnovne šole pa so sledili
leto za tem. Cilj tabel je bil zagotoviti konsistentne in dostopne nacionalne
podatke o uspešnosti šol, da bi zagotovili informacije staršem in javnosti
na splošno, in da bi zagotovili, da so šole odgovorne za svoje rezultate (Ray,
2006). Vsakoletna izdelava natančnih tabel je zahtevna, in zato namenoma
omejena na ozek obseg ključnih kazalnikov. Zato tabele ne prinašajo rezultatov ali dodane vrednosti za vsak predmet, ki se preverja pri izpitu Key Stage 4.
Uporabniki so za popolnejšo sliko posamezne šole napoteni na nacionalni šolski
inšpektorat. Prav tako izvejo, da so merila dodane vrednosti boljša ocena uspe6 Zdaj imenovane School and College Achievement and Attainment Tables, zaradi jasnosti pa jih bomo v
tem poročilu imenovali »Tabele uspešnosti«.
50
šnosti šol kakor surovi rezultati, ki ne upoštevajo preteklih dosežkov. Kot je bilo
rečeno zgoraj, novi profili šol vključujejo tudi merila dodane vrednosti iz »Tabel
uspešnosti«. Tabele so predstavljene in razložene v drugem poglavju.
Uporaba modelov dodane vrednosti za uspešnost šol omogoča izbiro šole, ki
je utemeljena na natančnejših merilih. Zato bi torej morala povečati učinkovitost
sistema izbire šole do te mere, da bi uspešnost šole določila izbiro najprimernejše
šole. Izboljšave in sprejemanje odločitev izvirata iz tega, da so starši bolje informirani o uspešnosti šol. Učinkovita izbira šole je lahko še olajšana, če so podatki
in rezultati dodane vrednosti na voljo za različne skupine učencev (Wilson, 2004).
Tako bi starši in učenci iz teh skupin laže izbrali šolo, ki bi izpolnjevala njihove
izobraževalne potrebe. Kakor je bilo rečeno zgoraj, lahko tisti, ki sprejemajo odločitve, uporabljajo informacije zbrane z opazovanjem šol, ki so jih družine izbrale
kot tiste, ki najbolje ustrezajo njihovim potrebam. To poveča učinkovitost sistema
na dva načina: družine lahko pošljejo svoje otroke v šolo, ki je najprimernejša
za njihove izobraževalne potrebe; šolski sistem se lahko iz teh izbir nauči in razvije šolske prakse, ki pripeljejo do povečane uspešnosti. Izbira šol ima zmanjšan
pozitivni učinek v izobraževalnem sistemu, ki nima pomembnih kazalnikov šolske uspešnosti. Starši in družine ne morejo informirano izbrati, šole in oblikovalci
šolske politike ne morejo uvesti sprememb za povečanje uspešnosti kot odgovor
na spreminjajoči se vzorec zahtev, ki so utemeljene na natančnih merilih za uspešnost šol, in šole ne morejo biti ustrezno nagrajene za svojo uspešnost.
Zagotavljanje informacij dodane vrednosti lahko spodbudi kulturo sprejemanja odločitev na podlagi podatkov, kar spodbuja izboljševanje šol. Tovrstno sprejemanje odločitev bi omogočilo učinkovite odzive na spremembe pri zahtevah
šolskega izobraževanja. Koristi lahko, če zagotovimo več kakor eno merilo uspešnosti za informiranje o izbiri šole. Zagotavljanje podatkov o dodani vrednosti
skupaj s »surovimi« testnimi rezultati staršem in družinam prinaša dodatne informacije, s katerimi si pomagajo pri svoji odločitvi o izbiri šole. Pri odločanju, katera
šola najbolje ustreza njihovim potrebam, so družine lahko enako zainteresirane za
celostno uspešnost učencev v šolah, kakor za razlike pri merilih dodane vrednosti
uspešnosti šole. Prizadevanja, da bi izobrazili družine in javnost, kako interpretirati
merila dodane vrednosti in to, kako se razlikujejo od surovih rezultatov dosežkov, se bodo izkazala za koristna pri sistemih izbire šole. Pobude za informiranje
in izobraževanje uporabnikov podatkov o dodani vrednosti se v številnih državah
smatrajo za ključne. O njih govorimo v tretjem delu tega poročila, ki obravnava
vpeljevanje modelov dodane vrednosti.
51
Sklep
Ključna področja politike izboljševanja šol, odgovornosti šol in izbora šol so
tukaj predstavljena ločeno, vendar jih je pogosto mogoče šteti za dopolnjujoče se
cilje, še posebej, če upoštevamo rast stopnje šolske avtonomije v vrsti sistemov.
Najbrž večja stopnja natančnosti, dosežena z uporabo ocen dodane vrednosti v
vlogi meril šolske uspešnosti, poveča vpliv učinkovitosti decentralizacijskih spodbud v šolskem sistemu. Ko decentralizacija premakne odgovornost sprejemanja
odločitev na raven šol, uporaba informacij z upoštevanjem dodane vrednosti
omogoča, da so odločitve sprejete na podlagi informacij. To lahko da šolam moč,
da uspešneje razporejajo sredstva in spreminjajo izobraževanje, ki ga nudijo, da
bi dosegli boljše rezultate z dodano vrednostjo. Vendar pa tovrstno sprejemanje
odločitev zahteva stopnjo šolske avtonomije, ki šolam dovoljuje spremembo izobraževanja, ki ga nudijo, da bi lažje izpolnili zahteve učencev in staršev v sistemu,
ki poudarja večjo izbiro šol.
V nekaterih izobraževalnih sistemih so decentralizacija izobraževalnega sistema, sistem izbire šol in mehanizmi financiranja šol kombinirani, da bi s tem šole
spodbudili, naj tekmujejo za učence in posledično za več proračunskih sredstev.
Razvoj modelov dodane vrednosti bi povečal učinkovitost tega sistema. Decentralizacija omogoča šolam, da se odzovejo na spremembe pri zahtevah v šolski
izobrazbi in s tem pritegnejo večje število učencev (Sandstrom in Bergstrom,
2005). Za vsakega dodatnega učenca, ki ga pritegne, je šola upravičena do dodatnih sredstev iz centralne administrativne enote, kajti financiranje je zagotovljeno
glede na število učencev. To se zanaša na sistem izbire šol, ki staršem in družinam
omogoča, da izberejo šolo, ki najbolj ustreza njihovim potrebam. Tovrstne izbire
pomenijo, da morajo biti na voljo informacije, na podlagi katerih lahko družine
utemeljijo svojo odločitev. Ker modeli dodane vrednosti zagotavljajo natančnejša
merila šolske uspešnosti, bi se odločanje izboljšalo in učenci bi izbrali tiste šole, ki
imajo višji rezultat dodane vrednosti. Te šole bi bile nato ustrezno nagrajene za
večjo uspešnost na področju dodane vrednosti. Povečana učinkovitost uporabe
informacij dodane vrednosti za promocijo izbire šol tako izboljša učinkovitost
dodeljevanja sredstev v sistemu šolskega izobraževanja.
52
2.Predstavitev in interpretacija modelov dodane
vrednosti
Kakor je bilo definirano v uvodu, so modeli dodane vrednosti statistični
modeli, ki ocenjujejo prispevek šol k napredku učencev pri dogovorjenih ali predpisanih izobraževalnih ciljih (npr. kognitivni dosežki) in se jih izmeri vsaj dvakrat
v določenem časovnem obdobju. Modeli dodane vrednosti lahko prinesejo primerljive rezultate, ki ne kažejo absolutnih meril napredka, ampak merijo relativne
prispevke šol k temu, kar se je učenec nauči, kadar se učenje meri s spremembami
v testnih rezultatih skozi čas. Rezultati modelov dodane vrednosti se spreminjajo
glede na uporabljen model; predstavitev rezultatov lahko strukturiramo, tako
da spremenimo enoto ali raven analize, da bi bila ustrezna izbranemu namenu
ali ciljni publiki. Merila dodane vrednosti lahko izračunamo in predstavimo za
posameznega učenca, predmetno področje, razredne stopnje in šole. Prav tako
je mogoče izračunati in predstaviti merila dodane vrednosti za regionalno ali
lokalno rabo. Vendar pa je treba opozoriti, da skupni rezultati dodane vrednosti,
ki predstavljajo eno mero za skupino šol, lahko pripeljejo do problemov pri interpretaciji, če je namen analizirati aspekte uspešnosti šol in obstaja različnost pri
uspešnosti šol znotraj izbrane regije ali lokalnih področij.
V tem poglavju govorimo o tem, kako lahko modele dodane vrednosti predstavimo tako, da bodo pomagali pri učinkoviti interpretaciji, ki podpira želene cilje
šolske politike. To vključuje analizo prednosti in potencialnih tveganj v klasifikaciji šolske uspešnosti (npr. zelo uspešne in manj uspešne šole). Predstavljenih je
več primerov, kako je lahko informacija o dodani vrednosti predstavljena tako,
da pomaga pri natančni interpretaciji. Ti primeri ilustrirajo prednosti razvoja izčrpnega sistema, pri katerem so uporabljeni rezultati dodane vrednosti, na primer,
za vzpostavitev meril in standardov kot temeljev za ukrepanje pri podpiranju
ciljev šolske politike.
Modele dodane vrednosti lahko uporabimo tudi za klasifikacijo šol v uspešne
in neuspešne (in tiste vmes). Seveda takšne klasifikacije niso nujne; informacije
o dodani vrednosti lahko presojamo in uporabimo, ne da bi šole razporedili v
posamezne kategorije. Za upravljavce, oblikovalce šolske politike in deležnike je
namreč lahko političen problem, da bi šole označili za slabe ali neuspešne, zato je
53
pomembno, da so tovrstne ocene utemeljene na statističnih in veljavnih konceptualnih kriterijih (npr. rezultat dodane vrednosti, ki bistveno odstopa od sredine)
in niso arbitrarne. Gre za pomembno odločitev, ki lahko bistveno vpliva na šole in,
odvisno od strukture šolskega sistema, na raven njihovega financiranja in njihov
razvoj. Težave upravljavcem in oblikovalcem šolske politike lahko povzročijo različni pritiski. Po eni strani je morda potrebno klasifikacijo narediti časovno učinkovito, tudi zato, da bo mogoče uvesti ustrezne ukrepe, ki bi odstranili probleme,
kakor tudi zato, da bi se s težavami manj uspešnih učencev in šol čim prej spopadli.
V teh primerih je treba podatke o dodani vrednosti spremeniti v smiselne aktivnosti, tako da bi, na primer, šole, katerih rezultati dodane vrednosti so dve leti zaporedoma statistično bistveno nižji od povprečja, označili kot manj uspešne šole, to
pa bi hitro vodilo v evalvacijo šol in v investicijo dodatnih sredstev v poučevanje
njihovih manj uspešnih učencev. Po drugi strani ima lahko delo v šoli, ki je bila
kvalificirana kot neuspešna, negativne posledice na ravnatelje, učitelje, učence
in druge interesne skupine. Obseg in vpliv teh negativnih učinkov je odvisen od
strukture sistema, v katerem je klasifikacija narejena in dejanj, ki iz tovrstne klasifikacije izhajajo. Gre torej za precejšen pritisk, da bi zagotovili natančna merila, s
katerimi bi bila klasifikacija šol v manj in zelo uspešne poštena in natančna.
V šestem poglavju se pojavlja vrsta statističnih in metodoloških vprašanj, ki
jih je treba upoštevati pri razvoju modelov dodane vrednosti in interpretaciji njihovih rezultatov. Ta vprašanja vključujejo potencial za različne napake pri meritvah in potencialne vire za pristranskost pri ocenah. Taka in podobna vprašanja
je potrebno imeti v mislih pri težavah v zvezi s klasifikacijo šol kot neuspešnih
ali zelo uspešnih. Statistična svarila o katerih govorimo pri interpretaciji takšnih
klasifikacij, pomenijo, da je lažje identificirati, kdaj ne označiti šole kot neuspešno ali manj uspešno, kot kdaj je primerno to storiti s pomočjo modelov dodane
vrednosti. To težavo je potrebno uravnotežiti z zahtevo, da morajo biti rezultati
modelov dodane vrednosti uporabljeni kot temelj za klasifikacijo šol in nato uvajanje zahtevanih dejanj. Stabilnost rezultatov iz leta v leto je obdelana tudi v sedmem poglavju (tretjem delu) tega poročila. Diskusija vključuje priporočila, naj bo
triletno drseče povprečje rezultatov dodane vrednosti uporabljeno kakor glavni
indikator dodane vrednosti za šole pri aplikaciji in predstavitvi rezultatov.
Pomembno je, da poudarek diskusije o statističnih in metodoloških vprašanjih
ne ostane zgolj pri opozorilih v zvezi z modeli dodane vrednosti, ali da oblikovalci politik niso preveč previdni pri klasifikaciji šol v kategorijo tistih, ki zahtevajo
posebne ukrepe, saj lahko to potencialno spodkoplje razloge za vpeljevanje sistema modelov dodane vrednosti. Uporaba modelov dodane vrednosti za ustvarjanje sistema za izboljšanje šol ali odgovornosti šol zahteva, da so šole preverjene
in da temu sledijo ustrezne odločitve. Te odločitve bi morale biti, kot del splošnih
ciljev smernic šolske politike, usklajene s ciljem, da bi izboljšali šolski sistem. Če se
pred administratorji ali oblikovalci šolske politike pojavi preveč ovir preden je šola
54
lahko klasificirana, lahko to prepreči sprožitev potrebnih akcij. Na primer, zamislite
si sistem, v katerem šole, ki so klasificirane kot neuspešne, prejmejo dodatne evalvacije in pomoč. Ko je šola enkrat klasificirana kot neuspešna, pride ocenjevalec
s šolskega inšpektorata, šola pa se loti samoevalvacije, da bi analizirala vzroke za
neuspeh. Odvisno od izsledkov tega dodatnega ocenjevanja lahko prejme dodatno pomoč ali sredstva, organizira profesionalni in organizacijski razvoj in razvije
sistem spremljanja za sledenje prihodnje uspešnosti. Zadržki ali odpor do klasifikacije slabše uspešnosti bi tako tudi preprečili apliciranje pobud za izboljšavo
uspešnosti teh šol in učencev.
Predstavitev informacij dodane vrednosti
Predstavitev informacij dodane vrednosti in rezultatov dodane vrednosti šol
mora upoštevati, kako je najbolje predstaviti statistična vprašanja, ki so lahko
kompleksna, občinstvu, ki se ne ukvarja s statistiko. Tretji del tega poročila poudarja pomembnost izobraževanja in usposabljanja deležnikov pri vpeljevanju
modelov dodane vrednosti. Prav tako je pomembno, da je predstavitev informacij
o dodani vrednosti za deležnike jasna in transparenta, da bi lahko kar najbolje
izkoristili prednosti vpeljevanja modelov dodane vrednosti. Kakor prikazujejo primeri spodaj, lahko naredimo veliko korakov, da bi olajšali probleme interpretacije
in pospešili učinkovito razumevanje tega, kaj predstavljajo rezultati dodane vrednosti in njihovo uporabo pri pospeševanju izraženih ciljev šolske politike. Da bi
dosegli te cilje, potrebujemo jasnost, in spomniti se je treba, da so pri tem lahko
– kljub kompleksnosti, ki je lastna modeliranju dodane vrednosti – učinkovite
poenostavljene predstavitve modelov dodane vrednosti in povezane informacije.
Rezultati dodane vrednosti so numerični in so lahko predstavljeni v številnih
oblikah, na primer na kontinuirani lestvici ali kot rezultat, ki je nad ali pod pričakovanim izidom uspešnosti za šolo. Odvisno od strukture baze podatkov in vrst
izvedenih analiz, lahko ocene dodane vrednosti šole izračunamo po predmetih,
razredih in karakteristikah učencev. Relativni položaj različnih šol lahko služi kot
koristno izhodišče za razprave o razvoju šol. Tovrstne razprave lahko upoštevajo
tudi druge lastnosti šol, na primer profil učiteljev, mobilnost učencev, in še posebej probleme v skupnosti. Kakor je razvidno iz njihove uporabe v različnih izobraževalnih sistemih, za predstavitev in uporabo informacij o dodani vrednosti
obstaja vrsta možnosti.
Ko se je sistem s časom razvijal, je bilo v Angliji izračunanih kar nekaj različnih modelov dodane vrednosti. Različni modeli so bili uporabljeni tudi za analizo
posameznih vidikov šolskega sistema. Kontekstualizirani model dodane vrednosti je kompleksnejši model, ki je v uporabi v Angliji in kontrolira vpliv različnih
družbenoekonomskih lastnosti pri spremembah uspešnosti učenca. Vključuje
tudi vrsto drugih karakteristik, ki vplivajo na napredek učenca in so izven nadzora
55
šole, na primer mesec učenčevega rojstva (glej Preglednico 4.2 za več informacij).
To je analizirano skupaj z metodo mediane, ki je bila oblikovana in uporabljena,
da bi poenostavljeno ilustrirala izračune rezultatov dodane vrednosti za posamezno šolo. Primer za metodo je spodaj. V Angliji se uporablja za ilustracijo osnov
modelov dodane vrednosti in razlaga, kako naj bi jih interpretirali, da jih bodo
šole zlahka uporabile. Šolski rezultati dodane vrednosti po metodi mediane so bili
objavljeni v obliki preglednic, ki so prikazovale srednji rezultat za vsako predhodno točko dosežka. To je bilo prirejeno za izračun šolskih rezultatov, ki so izpeljani
kot povprečje za vsako šolo iz razlik med dejanskim rezultatom vsakega učenca in
nacionalnim srednjim rezultatom za učence z njihovim prejšnjim dosežkom.
Key Stage 4 rezultat
Metoda mediane je bila oblikovana zaradi svoje preprostosti in jasnosti, in
zato, ker jo je bilo mogoče zlahka integrirati v produkcijski ciklus za tabele uspešnosti, ki so jih, in jih še vedno, uporabljajo v Angliji. Metoda tudi dopušča šolam,
da lahko izračunajo svoje lastne rezultate s pomočjo informacij o pričakovanem
nacionalnem rezultatu. Raje kot da bi uporabljali regresijski model, ta metoda
temelji na sredinskih črtah, ki jih šole poznajo iz prejšnjega razvoja na tem področju. V tem sistemu lahko šola pogleda v pretekle dosežke vsakega učenca in jih
primerja s sredinsko črto, pri čemer je razlika prispevek dodane vrednosti učenca
k dodani vrednosti šole. Slika 2.1 prikazuje primer izračuna z uporabo sredinske
črte. En učenec je dosegel 50 točk več od »pričakovanega« na testu Key Stage 4,
glede na svoj prejšnji dosežek na Key Stage 2. Drug učenec je dosegel 50 točk
manj od pričakovanega. Celotna vsota vertikalnih distanc do sredinske črte, razdeljena s celotnim številom učencev, je rezultat dodane vrednosti za šolo.
500
450
400
350
300
250
200
150
100
50
0
X – 50
+ 50 X
0–15 17–18
19
21
23–24
25
27
29–30
Key Stage 2 rezultat
Slika 2.1. Primer izračuna sredinske črte dodane vrednosti za Anglijo
56
31
33+
Šole lahko tako z lahkoto izračunajo svoje lastne rezultate z dodano vrednostjo glede na »pričakovane rezultate« na podlagi nacionalne sredinske črte. Tudi
uporaba navadnega, enostavnega regresijskega modela najmanjših kvadratov, ki
prinaša formulo za izračun »pričakovanih« rezultatov, je primerna za šole za izračun in preverjanje rezultatov. Glavni razlog za uporabo metode mediane v Angliji
je, da je preprosta za razlago in razumevanje: metode, ki ilustrirajo rezultate tipičnega učenca s pomočjo regresijske enačbe, za šole in uporabnike, ki nimajo statističnih znanj, niso preveč prijazne. Informacije o dodani vrednosti so predstavljene v preglednicah uspešnosti šol in so bile razvite in objavljene tako na spletu,
kakor tudi v brošurah za posamezna okrožja. Tabele uspešnosti vključujejo omejen obseg statistike o šolah. Podatki o dodani vrednosti so predstavljeni skupaj z
dejstvi o splošnih dosežkih in kontekstu šole. Slika 2.2 kaže, kako bodo rezultati z
vključeno dodano vrednostjo za leto 2005, temelječi samo na sredinski metodi in
predhodnim dosežkom, predstavljeni za vzorčno srednjo šolo.7 Rezultat z dodano
vrednostjo je vključen vzporedno s surovimi rezultati in določenimi kontekstualnimi informacijami. Tukaj rezultati pri izpitih Key Stage 2-4 (rezultat 989,8) pomenijo, da so učenci v tej šoli v povprečju dosegli 10,2 točke dodane vrednosti manj
od povprečja učenca za vsak predhodni nivo dosežka.
7 Glej http://www.dfes.gov.uk/performancetables/schools_05.html
57
Dorothy Stringer High School
School
5 or more
Grades A*−C
55 % 59 %
Brighton
and Hove
LA
64 % 69 %
2002 2003 2004 2005
England
55 %
52 % 53 % 54 % 56 %
2002 2003 2004 2005
2002 2003 2004 2005
46 % 48 % 50 %
Slika 2.2. Posnetki zaslonov, ki prikazujejo dodano vrednost na spletni strani tabel
uspešnosti
Vir: Department for Children, Schools and Families, Združeno kraljestvo (2008).
Uporaba šolskih tabel uspešnosti se je razmahnila z razvojem RAISEonline,
interaktivne programske opreme, ki omogoča analizo podatkov o napredku posamezne šole ali učenca. Program je izvrsten primer, kako so lahko predstavljeni
rezultati dodane vrednosti in druge informacije, da bi spodbudili analizo tako na
šolski, kakor tudi na sistemski ravni. Predstavitev informacij o dodani vrednosti in
uporaba interaktivnega vmesnika v Angliji je bila ključna pri spodbujanju uporabe
podatkov na ravni šole in pri spodbujanju deležnikov naj uporabljajo podatke, da
bi pospešili cilje šolske politike. Ključni cilji vpeljave RAISEonline so bili: omogočiti
šolam, da bolj poglobljeno analizirajo podatke o uspešnosti kot del procesa samoevalvacije šole; zagotavljanje skupnega kompleta analiz za šole, lokalne oblasti,
šolske inšpektorje in School improvement partners (SIP – partnerje za izboljšavo
šol); in za boljšo podporo učenju in poučevanju (Ray, 2006). Osnovnim in srednjim
šolam je na voljo precejšnja količina informacij, interaktivni elementi programske opreme pa omogočajo uporabnikom, da se poglobijo v podatke in tako bolje
analizirajo uspešnost učencev in šol s stališča dodane vrednosti. Ključne lastnosti
RAISEonline vključujejo:
–– poročila in analize ki pokrivajo dosežke in napredek učencev v Key Stages
1, 2, 3 in 4, z interaktivnimi funkcijami, ki omogočajo raziskavo hipotez o
napredku učencev;
58
–– kontekstualne informacije o šoli, vključno s primerjavami s šolami na nacionalni ravni;
–– analiza na ravni vprašanj, ki dopušča šolam, da raziskujejo uspeh učencev na
določenih področjih kurikuluma;
–– postavljanje ciljev, ki podpirajo šolo v procesu spremljanja, spodbujajo in
podpirajo napredek učencev; in
–– orodje za upravljanje s podatki, ki zagotavlja uvoz in urejanje podatkov na
ravni učencev in ustvarjanje polj po definiciji šole in učnih skupin.
Dostop do vseh teh informacij je mogoč preko spletne strani RAISEonline;
ravnatelji dobijo posebno uporabniško ime in geslo, kar zagotavlja, da lahko le
oni dostopajo do informacij o šoli, ki jo vodijo (Ray, 2006). Primer predstavitve
informacij z upoštevanjem dodane vrednosti, ki jih lahko uporabijo šole, so na
sliki 2.3. Primer prinaša kontekstualizirane informacije dodane vrednosti za angleško srednjo šolo. Informacije so predstavljene tako v grafični obliki, kakor v obliki
tabel, da bi olajšale interpretacijo rezultatov šole v primerjavi s prejšnjo uspešnostjo. Kakor je razvidno iz diagramov, je imela ta šola kontekstualizirane rezultate
dodane vrednosti pod nacionalnim povprečjem za vsako od treh predstavljenih
let. Za ilustracijo je nacionalno povprečje postavljeno pri rezultatu 1.000. Izkazalo
se je, da postaviti povprečen rezultat na vrednost nič ni primerno, saj bi to pomenilo, da bi šole, ki bi se odrezale slabše od povprečja dobile negativen rezultat, in
občutek je bil, da bi imele konotacije negativnega rezultata nasprotni učinek na
deležnike. Poleg tega bi lahko prisotnost negativnih rezultatov zapletla interpretacijo, saj bi jih bilo mogoče interpretirati, kakor da kažejo padec v splošni uspešnosti učencev (Ray, 2006). Rezultati dodane vrednosti za šole so relativni glede
na uspešnost vseh šol in tako torej rezultat dodane vrednosti, ki je negativen ne
pomeni nujno, da se je celotna uspešnost učencev zmanjšala. Da bi se izognili
temu napačnemu tolmačenju je bil povprečen rezultat dodane vrednosti določen
pri 1.000. Ta srednja šola je imela v letu 2006 kontekstualiziran rezultat dodane
vrednosti 994,5 za vse predmete. To je bilo pod nacionalnim povprečjem, vendar
boljše od njihovega kontekstualiziranega rezultata dodane vrednosti 980,9 iz leta
2005.
59
School Contextual value added overall: 2006
Percentile rank: 67
CVA
Percentile rank (%)
School Contextual value added overall: 2005
Percentile rank: 90
CVA
Percentile rank (%)
School Contextual value added overall: 2004
Percentile rank: 86
CVA
Percentile rank (%)
60
English 2006
Percentile rank: 47
CVA
Percentile rank (%)
Mathematics 2006
Percentile rank: 48
CVA
Percentile rank (%)
Slika 2.3. Primer konteksualiziranih informacij dodane vrednosti za angleško
srednjo šolo
Vir: Department for Children, Schools and Families, Združeno kraljestvo.
61
Diskusija o izboljšavah šol v prvem poglavju je osvetlila možnosti, da bi šole
analizirale rezultate dodane vrednosti in uspešnosti med šolami. Kakor je ilustrirano v zgornji preglednici, je bil kontekstualiziran rezultat dodane vrednosti za
vse predmete leta 2006 (994,5) pod rezultatom pri angleščini (1.000,3) in matematiki (1.000,2), ki sta bila oba tik nad nacionalnim povprečjem. Čeprav tega ne bi
smeli vzeti kot dokončen dokaz za slab uspeh pri drugih predmetih nakazuje, da
je treba pregledati uspešnost na teh področjih. Nadaljnja analiza specifičnih informacij dodane vrednosti bi lahko osvetlila vzroke za te razlike in notranja evalvacija
bi lahko dala koristen vpogled za izboljšave v šoli na teh področjih.
Kakor je povedano v tretjem poglavju, RAISEonline omogoča šolam, da
izvajajo vrsto analiz lastne uspešnosti, vključno z analizo uspešnosti posameznih učencev. Šole lahko primerjajo spremembe v kontekstualiziranih rezultatih
dodane vrednosti svojih učencev z njihovimi surovimi rezultati. Ta primerjava se
lahko uporabi tudi na sistemski ravni, da bi z njo analizirali razmerje med kontekstualiziranim napredkom dodane vrednosti, ki so ga naredile šole in surovimi
rezultati učencev. Na sliki 2.4 je prikazan primer z uporabo RAISEonline programske opreme. Te številke kažejo, da je mogoče identificirati šole, katerih kontekstualizirani rezultati z upoštevanjem dodane vrednosti so se dvignili, ne da bi se pri
tem dvignili tudi surovi rezultati. Te šole so bile morda leta 2006 bolj učinkovite
in jim uspeva ohranjati standarde z učenci, ki so manj sposobni. Različne vrste
izboljšanja/poslabšanja je mogoče kategorizirati glede na možne spremembe
v predhodnih dosežkih (navzgor/navzdol/nespremenjeno) in dodani vrednosti
(navzgor/navzdol/nespremenjeno). Bryk et al. (1998) razpravljajo o tem kot o različnih »profilih produktivnosti razredov« in nadalje ilustrirajo kako je podrobnejša
primerjava med šolami, kakor tudi longitudinalna primerjava za posamezno šolo,
lahko močna spodbuda za šolsko osebje.
62
Change in CVA vs Change in Raw KS4 APS 2005−2006
100
80
60
Change in Raw
40
20
0
−150
−100
−50
0
50
100
−20
−40
−60
−80
−100
Change in CVA
Not among the top 300 improvers
Top 300 improvers
Slika 2.4. Kontekstualizirane spremembe dodane vrednosti v primerjavi s
spremembami surovih dosežkov
Vir: Ray, A. (2007).
Identificiranje pomembnih sprememb v uspešnosti šol
Pomembno je, da lahko uporabniki identificirajo, ali so se s časom zgodile statistično bistvene spremembe. Rezultati dodane vrednosti, ki so bistveno nad ali pod
povprečjem vseh šol, zagotavljajo solidno osnovo za klasifikacijo šol v zelo uspešne
ali neuspešne. V primeru, ki je predstavljen na sliki 2.3 je bilo med letoma 2004 in
2005 opaziti izrazito negativno spremembo. To je očitno, če pogledamo uspešnost
pri vseh predmetih in uspešnost pri angleščini in matematiki. Poleg tega je bil objavljen 95 % interval zaupanja, ki kaže razporeditev rezultatov znotraj njega. Za leto
2006 95 % interval kaže razpon 9.4 točke nad in pod kontekstualiziranim rezultatom
dodane vrednosti, ki je bil 994.5 (985.1–1003.9). Ker zgornja meja intervala zaupanja
presega nacionalno povprečje 1.000, se kontekstualizirani rezultat šole statistično
ne razlikuje od povprečja. Na Poljskem je razvoj modelov dodane vrednosti pripeljal
do diskusije, ali naj objavijo intervale zaupanja okrog rezultatov dodane vrednosti
šol. Menili so, da ima objava intervala zaupanja – s čimer bi imela dodana vrednost
obliko intervalnega približka – dve ključni prednosti. Prvič, manj enostavno bi bilo
mogoče oblikovati razvrstitve šol, ki bi jih lahko imeli za negativno posledico modelov dodane vrednosti. Drugič, pomagalo bi, da bi bile informacije o dodani vrednosti uporabljene ne samo kot metoda samoevalvacije in razvoja šole, ampak tudi kot
metoda za evalvacijo izobraževalnih politik in programov na lokalni ali regionalni
ravni (Jakubowski, 2007). Na Norveškem so se za objavo intervala zaupanja odločili iz
podobnih razlogov (Hægeland, 2006).
63
Seveda uporaba intervalov zaupanja zahteva več komunikacije in usposabljanja za deležnike. Hkrati z objavo tabel uspešnosti šol v Angliji je RAISEonline objavil smernice, kako uporabljati in interpretirati merila dodane vrednosti. Na primer,
spletna stran je leta 2005 vključevala sporočilo, ki ga navajamo spodaj. Namenjeno je bilo v pomoč pri interpretaciji in izobraževanju deležnikov o povečani
veljavnosti uporabe rezultatov dodane vrednosti v primerjavi s surovimi testnimi
rezultati. Referenca na statistično »pomembnost« je potrebna, kajti rezultatov
dodane vrednosti ne pospremijo v vseh primerih intervali zaupanja: spletna stran
včasih ponuja smernice o razponu rezultatov, ki jih je mogoče imeti za »tipične«,
odvisno od velikosti šole.
Merila dodane vrednosti so v teh preglednicah najboljši kazalniki celotne
učinkovitosti šol. Vendar pa je pomen, ki ga je mogoče pripisati vsakemu posameznemu merilu dodane vrednosti, med drugim odvisen od števila učencev,
vključenih v izračun dodane vrednosti. Manjše, kot je število učencev, manj
lahko zaupamo merilu dodane vrednosti kot kazalniku ali je učinkovitost šole
bistveno nad ali pod povprečjem.
Tovrstne trditve si prizadevajo informirati deležnike, kako interpretirati rezultate z upoštevano dodano vrednostjo in kako jih uporabiti za bolj informirane
odločitve (npr. za namen izboljševanja šol, če jih uporabljajo ravnatelji in učitelji,
ali za pomoč pri izbiri šole, če do spletne strani dostopajo starši). Tovrstne izjave
tudi prinašajo jasno izražene omejitve uporabe rezultatov z upoštevano dodano
vrednostjo. To lahko pomaga oblikovalcem politik pri uporabi šolskih rezultatov
in pri zmanjševanju nekaterih skrbi, ki jih imajo deležniki v izobraževanju o tem,
kako se podatki lahko uporabijo, še posebej za namen odgovornosti šol.
Ustvarjanje standardov in zgledov z informacijami o dodani
vrednosti
Premik v javni in vladni skrbi, stran od zgolj kontrole nad sredstvi in vsebino
izobraževanja proti fokusu na rezultate, je v mnogih državah pripeljal do oblikovanja standardov dela izobraževalnih ustanov. Pristopi k postavljanju standardov,
ki jim sledijo države, segajo od definicije širokih izobraževalnih ciljev in polj pristojnosti, do formulacije natančnih pričakovanj uspešnosti v dobro definiranih
področjih posameznih predmetov. Nekatere države so šle preko vzpostavljanja
izobraževalnih standardov kot zgolj merilcev in so vpeljale merila zgledovanja
uspešnosti, ki jih morajo doseči učenci določene starosti ali razreda. Prav v tem
kontekstu pa imajo merila dodane vrednosti lahko še posebej pomembno vlogo.
Da bi izzvali specifične odzive, uporaba modelov dodane vrednosti zahteva, da
so šole preverjene ali v odnosu druga do druge, ali v skladu z vnaprej določenim
standardom. Če upoštevamo rast učencev, lahko standard definiramo neposredno v terminih povprečne rasti, ki presega vnaprej definiran prag. Drug pristop
64
je postaviti cilje za vsakega učenca glede na njegov/njen trenutni status, položaj
glede na trenutne standarde dosežkov in, morda, zgodovinske podatke o razporeditvi napredka za podobne učence v preteklih letih. Na primer, eden od indikatorjev uspešnosti šole bi temeljil na primerjavi dejanskega in napovedanega
napredka učenca, kar bi spodbudilo šolsko osebje, da pomagajo vsem učencem
(različice te sheme se nahajajo v McCall et al. (2004) in Doran in Izumi (2004)). V
drugih primerih je mogoče rast na različnih področjih lestvice ocenjevati drugače.
Hill et al. (2005) opisuje metodologijo za gradnjo »vrednostnih tabel«, ki zaobjamejo prepričanja oblikovalcev politike o napredku učencev, in jih je mogoče
uporabiti za vzpostavitev standardov uspešnosti. Mogoče je vpeljati vrsto alternativnih pristopov k rasti, vendar ti, glede na naravo projekcij rasti, pogosto padejo
izven opredeljenih modelov dodane vrednosti.
Ko je standard za vsak kriterij enkrat določen, lahko oblikujemo matriko odločanja, ki vodi posamezna dejanja. Predpostavljajte, na primer, da sta pragova za
(ne)zadovoljiv in izjemen uspeh postavljena glede na vsakega od treh kriterijev
(trenutni status, sprememba v času ali kombinacija obeh) in da je analiza izvedena
zgolj za celotno šolo. Kombinacija standardov uspešnosti prinese devet ločenih
kategorij, pri čemer rezultat dodane vrednosti šolo postavi v eno od njih. Matrika
odločanja predpisuje tretma, ki ga sprožijo rezultati v vsaki kategoriji. Na primer,
šole so lahko nagrajene, če dosežejo izjemno raven pri vseh treh kriterijih dve leti
zapovrstjo. Po drugi strani so šole, ki v določenem letu ne dosežejo zadovoljive
ravni pri dveh ali več kriterijih, lahko predmet zunanje revizije.
Primeri zgoraj ilustrirajo, kako so lahko rezultati dodane vrednosti temelj za
ukrepanje. V sistemih šolskega razvoja in izboljševanja je smiselno vnaprej opredeliti tovrstne ukrepe in kriterije za njihovo uporabo. Vnaprej določena meja, je
lahko uporabljena kot točka sprožitve za ukrepanje, na primer za samoevalvacijo
šole ali inšpekcijo s strani šolskega inšpektorata, kakor se dogaja na Nizozemskem
(van de Grift, 2007). Da bi oblikovali takšno shemo, moramo analizirati distribucijo
rezultatov dodane vrednosti v vsakem šolskem izobraževalnem sistemu. Tovrstna
analiza v Angliji ilustrira, kako je mogoče kategorizirati rezultate dodane vrednosti. Oblikovanih je bilo pet kategorij, kjer bi bilo šole mogoče prepoznati na poti k
izboljšanju, če bi:
–– imele enega od največjih povečanj pri rezultatu dodane vrednosti (npr. najvišjih 100 ali najvišjih 10 %);
–– dosegle statistično pomembno spremembo (pri 95 % ravni zaupanja);
–– se bolje pomikale med različnimi deli razporeditve (npr. od »nizkega« (spodnji kvartil) do »povprečnega« (srednja polovica));
–– se premikale med različnimi deli razporeditve, definiranih v terminih standardne deviacije od povprečja, ali iz »precej pod« do »precej nad«;
–– se popravile nad vnaprej definiran prag.
65
Te kategorije so lahko še posebej koristne pri razvrščanju šol, za izvajanje
ustreznih politik in programov in za ocenjevanje celostne uspešnosti šol in sistema. Opravljena je bila analiza na vrsti šol, ki so naredile statistično opazen preskok v svoji uspešnosti med letoma 2005 in 2006 (kakor v drugi alineji). Primerjava
med rezultati dodane vrednosti leta 2005 in leta 2006 uporabljenim kontekstualiziranim modelom dodane vrednosti v Angliji je predstavljena v preglednici 2.1.
Preglednica uporablja informacije iz RAISEonline o tem, ali je kontekstualizirani
rezultat dodane vrednosti med letoma 2005 in 2006 opazno narasel ali upadel. Na
tej spletni strani informacije, ki so statistično pomembne v zvezi z rezultati dodane
vrednosti za šolo, izraženimi v točkah, predstavi tudi v grafični obliki. Priložene
so razpredelnice, ki prikazujejo kontekstualizirane rezultate dodane vrednosti za
zaporedna leta, z intervalom zaupanja okoli kontekstualiziranih rezultatov dodane
vrednosti, zato da se izognemo prepodrobni interpretaciji majhnih sprememb.
Model primerja rezultate pri starosti učencev 16 let s prejšnjim dosežkom pri
11 letih in upošteva razpon kontekstualnih podatkov. Uporablja večnivojski model,
ki »skrči« mero dodane vrednosti v manjših šolah, kar ima prednost, da zmanjša
nestabilnost v modelu. Prvi stolpec je rezultat za celoten model dodane vrednosti,
ki temelji na povprečnem številu doseženih točk pri vseh predmetih. Druga dva
stolpca sta modela za rezultate pri angleščini in matematiki (in za vnos uporabljata isti niz kontekstualiziranih spremenljivk). To ilustrira delež šol, v katerih v
danem letu pride do pomembnih sprememb in daje informacije za načrtovanje
politik in programov, uresničenih kot odgovor na te spremembe. Primerjava omogoča, da se sprejme bolj informirano odločitev o razporeditvi sredstev in poskrbi
za celostno podobo tega, kako so rezultati dodane vrednosti lahko uporabljeni
pri razvrščaju šol po uspešnosti. Ko oblikujemo kategorije uspešnosti, je koristno,
če med pilotno fazo vpeljevanja analiziramo število šol, ki bodo kategorizirane v
vsako klasifikacijo uspešnosti.
Preglednica 2.1. Število šol glede na medletno opazno spremembo med letoma
2005 in 2006
Key Stage 4 kontekstualizirani rezultati dodane vrednosti
Dodana vrednost pri
vseh predmetih
Dodana vrednost pri
angleščini
Dodana vrednost
pri matematiki
Pomembno povečanje
v primerjavi z 2005
318
696
452
Pomembno zmanjšanje
v primerjavi z 2005
430
481
422
Ni opazne spremembe
v primerjavi z 2005
2337
1908
2211
27
27
27
3112
3112
3112
Ni podatka
Skupno število šol
66
Preglednica prikazuje, da pri treh četrtinah šol ni bilo bistvene spremembe v
dodani vrednosti za vse predmete v letih 2005 in 2006, pri angleščini pa je bilo
očitno samo pri 60 % šol. Več šol se je statistično bistveno izboljšalo (22 %), kakor
se jih je statistično bistveno poslabšalo pri svojih kontekstualiziranih rezultatih dodane vrednosti (15 %). Večje medletne spremembe so bile prav tako bolj
očitne pri angleščini kakor pri matematiki. To se ujema z izsledki v Angliji za surove
rezultate dosežkov in z rezultati dodane vrednosti v Sloveniji in na Poljskem, ki so
pokazali več stabilnosti pri rezultatih dodane vrednosti pri matematiki in naravoslovju kakor pri jezikih in družboslovju.
Jasno je, da taka interpretacija kontekstualiziranih rezultatov dodane vrednosti prinaša otipljiv temelj, s pomočjo katerega lahko sprožimo, na primer, dejanja
za izboljšavo šole. To je pomembno, če pomislimo, da sistemi vodenja uspešnosti,
ki so bili vpeljani v nekaterih izobraževalnih sistemih, še posebej tisti, utemeljeni
na surovih testnih rezultatih, lahko prinesejo manj natančna merila in so tako
manj zmožni razlikovati med statistično pomembnimi razlikami v uspešnosti šol
(Lada in Walsh, 2002). Prav tako je treba upoštevati, da se ta analiza osredotoča
na medletne spremembe. Kakor je obravnavano v drugem in tretjem delu, to
poročilo poudarja prednosti triletnega gibljivega povprečja rezultatov dodane
vrednosti šol, da bi lahko primerno kontrolirali naključno nestabilnost pri ocenah
dodane vrednosti za šole.
Predstavitev v medijih
Glede na vpliv, ki ga imajo lahko mediji tako na razvoj izobraževalnih programov in politik, kakor tudi na to, kako so ti sprejeti, je pomembno določiti, katera
vrsta medijske pokritosti je posvečena informacijam o dodani vrednosti in kako
naj se s to pokritostjo upravlja, da bi uspešno vpeljali sisteme določanja modelov
dodane vrednosti. V sistemih, kjer družine lahko po izbiri pošljejo otroke v specifične šole, objava rezultatov modelov dodane vrednosti pomaga pri učinkoviti
izbiri šole.
Objava rezultatov prav tako lahko vpliva na učitelje in ravnatelje in je pogosto integralen del sistema odgovornosti šol. To je lahko še posebej očitno, če so
rezultati objavljeni v obliki razvrščanja šol, na kateri je utemeljen sistem nagrad in
sankcij, pa tudi, če lestvica pritegne veliko medijske pozornosti.
V nekaterih državah starši za rezultate dodane vrednosti prvič izvejo iz
medijev. V Angliji mediji uspešnosti šol in objavi njihovih rezultatov posvečajo
precej pozornosti. Precej je tudi prizadevanj, da bi popravili interpretacijo rezultatov dodane vrednosti. Za primer, slika 2.5 je odlomek iz časopisa The Guardian
(19/1/06), ki je, skupaj z drugimi »resnimi« časopisi, rezultate šol za vsako okrožje
objavil po abecednem redu (četudi je treba opozoriti, da je naslov seznama
67
»Primerjalna preglednica«). Tovrstni časopisni članki objavljajo tudi legendo, kako
tolmačiti številke, ki temelji na informacijah, ki so objavljene na spletni strani
Performance Tables (tabele uspešnosti). Časopis The Times (19/1/06) je objavil
primerjalno tabelo razvrščenih šol (slika 2.6), ki prikazuje šole z najvišjo dodano
vrednosti za Key Stage 2–4 (veliko je bilo majhnih zasebnih – tako imenovanih
»neodvisnih« – šol, ki imajo lahko, kakor je bilo že povedano zgoraj, več variacij pri
rezultatih dodane vrednosti). To lahko razumemo kot pomemben napredek od
objav primerjalnih tabel, ki so temeljile na surovih rezultatih in prikazuje napredek, ki ga je mogoče narediti pri predstavitvah meril uspešnosti šole z uporabo
določanja modelov dodane vrednosti.
League tables
Average A-level point score
Number of A-level students
Value added KS2-KS4
Average GCSE point score
% achieving A*-C at GCSE
No of GCSE students
School/college
Barking and Dagenham
All Saints RC
Barking Abbey
Dagenham Park
Eastbrook
Eastbury
Robert Clack
Sydney Russell
The Warren
Barking College
182
272
202
261
252
254
248
251
88
53
41
42
39
68
45
35
515.8
349.7
290.6
318.4
315.4
428.3
306.1
291.2
1036
985.5
973.4
971.1
973.5
987.6
961.9
938.1
64236.9
125233.3
19109.5
47171.3
50193.6
68225.7
34214.7
57207.4
67130.1
Slika 2.5. Izsek iz časnika The Guardian (19/1/2006), ki prikazuje dodano vrednost in
druge podatke
Vir: Copyright Guardian News & Media Ltd 2006. Temelji na Ray, A. (2006).
68
MOST VALUE ADDED
Islamlyah School, Blackburn
Parsons Mead School, Ashtead
Selly Park Tech College for Girls, B’ham
Tayylbah Girl’s School, London
Casterton School, Carnforth
Gloucestershire Islamic Secondary for Girls
Pattison College, Coventry
Wellington College, Crowthorne
Bryanston School, Blandford Forum
King’s School, Bruton
Feversham College, Bradford
St Teresa’s School, Dorking
Ibstock Place School, London
Queen Margaret’s School, York
Jamia Al-Hudaa Residential, Nottingham
Taunton School, Taunton
St James’s School, Malvern
Manor House School, Leatherhead
St Edmund’s School, Canterbury
Wychwood School, Oxford
Kassim Darwish Gmr for Boys, Manchester
St Mary’s School Ascot, Ascot
Royal School Hampstead, London
Stonar School, Melksham
Tonbridge School, Tonbridge
Bowbrook House School, Pershore
Red House School, Stockton-on-Tees
St Paul’s School, London
Leicester Islamic Academy, Leicester
Abu Bakr Girl’s School, Walsall
St Antony’s Leweston School, Sherborne
Al-Mahad-Al-Islam School, Sheffield
Cranieigh School; Cranieigh
Denstone College, Uttoxeter
Manchester Islamic High Scool for Girls
Guru Nanak Sikh VA School, Hayes
Bedford School, Bedford
Queenswood School, Hatfield
The Towers Convent School, Steyning
Tormead School, Guilldford
St Mary’s School, Shaftesbury
Rye St Antony School, Oxford
St Nicholas’ School, Fleet
Dean Clese School, Cheltenham
Cuicheth Hall School, Altrincham
Eastbourne College, Eastbourne
Wimbledon High School, London
Babington House School, Chislehurst
Pipers Corner School, High Wycombe
Wycombe Abbey School, High Wycombe
Pupils
Value
added
% Pupils
5+A*-C
29
22
130
17
44
20
15
132
128
55
36
56
55
61
18
95
30
35
69
22
21
54
16
42
142
14
44
160
46
32
40
13
124
75
51
61
133
65
33
85
54
41
29
89
10
111
89
17
62
86
1088,2
1081,5
1077,6
1076,1
1076,8
1075,5
1075,3
1073,9
1073,3
1073,1
1072,8
1071,7
1071,7
1071,5
1070,5
1070,0
1069,9
1069,2
1069,0
1066,5
1066,5
1066,3
1065,8
1065,3
1065,0
1063,9
1063,7
1063,1
1063,1
1063,0
1062,9
1062,9
1062,6
1062,3
1062,3
1062,2
1061,9
1061,8
1061,3
1061,2
1061,1
1061,1
1061,1
1061,0
1060,8
1060,4
1060,2
1060,2
1059,9
1059,9
83
91
84
100
100
59
93
89
92
82
75
86
96
88
45
91
73
97
92
74
95
100
93
89
93
67
93
99
93
44
87
23
98
92
88
95
92
89
100
99
91
98
100
84
95
94
100
93
97
100
Slika 2.6. Odlomek iz časnika The Times (19/1/2006), ki prikazuje »primerjalno
tabelo« z dodano vrednostjo
Vir: Ray, A. (2006).
Kakor je bilo prikazano zgoraj, si lahko uspešno prizadevamo za zmanjšanje
izključnega osredotočanja na surove rezultate testov. Poleg tega je mogoče statistična vprašanja poudariti v diskusijah o objavi in grafični predstavitvi rezultatov
dodane vrednosti. Vsaka debata o intervalu zaupanja okoli rezultatov dodane vrednosti šole bi morala vključevati diskusijo o implikacijah, ki jih bo to imelo za primerjalne tabele. Obstajalo je prepričanje, da bo objava intervala zaupanja zmanjšala obseg, v katerem bi bilo mogoče primerjalne tabele napačno interpretirati.
Vendar pa se je izkazalo, da ko se enkrat oblikuje točkovna ocena ali so predstavljeni rezultati dodane vrednosti za šolo, vedno obstaja možnost, da bodo oblikovane primerjalne tabele. Na primer, razvoj kontekstualiziranega določanja modelov dodane vrednosti v Angliji se odraža v medijskem poročanju. Spletna stran BBC
69
UK omogoča uporabnikom, da si ogledajo najnovejše primerjalne tabele angleških
šol. Okvir 2.1 spodaj kaže predstavitev rezultatov za določeno srednjo šolo v Londonu. Vidimo lahko, da je veliko poudarka na kontekstualiziranih rezultatih dodane
vrednosti te šole za leto 2007 in to je prvo merilo uspešnosti šole, ki ga spletna
stran poudarja. Prav tako je na voljo izčrpen opis tega, kako je treba interpretirati
kontekstualizirane rezultate dodane vrednosti. Opis vključuje naslednje:
Rezultati vključujejo kompleksen rezultat dodane vrednosti (CVA) za Key
Stage 2 do 4, oblikovan za prikaz napredka otrok.
To naredijo tako, da na nacionalni ravni primerjajo njihove dosežke z dosežki
tistih učencev, ki so imeli pri 10 ali 11 letih leta 2002 podoben predhodni
dosežek.
CVA vključuje devet dejavnikov, ki priznano vplivajo na dosežke učencev,
vendar šola nima nadzora nad njimi:
Spol
Posebne izobraževalne potrebe
Narodnost
Pravica do brezplačne šolske prehrane
Prvi jezik
Mobilnost
Starost
V skrbništvu
IDACI (merilo statusa, ocenjenega na podlagi poštne številke)
S pomočjo CVA napovedujemo dosežek posameznega otroka glede na
dejanske dosežke drugih otrok s podobnimi predhodnimi dosežki in podobnim poreklom.
Ideja je, da je njihova dejanska uspešnost – ali so bili bolj ali manj uspešni od
drugih – odvisna od vpliva šole.
Individualni rezultati učencev so združeni v povprečje in dajejo rezultat šole
kot celote, na kar je rezultat preračunan, kar končno da številko, ki bazira
okoli 1000.
Vir: BBC News (2007)
Okvir 2.1. Opis kontekstualizirane dodane vrednosti (CVA) v angleških medijih
70
Te podatke je originalno objavilo ministrstvo Združenega kraljestva, ki je poudarilo pomembnost kontekstualiziranih rezultatov dodane vrednosti pri merjenju
uspeha šol in poudarilo nevarnosti tega, da bi se zanašali zgolj na surove rezultate testov. Ministrstvo je pojasnilo, da bo uvedba kontekstualiziranih rezultatov
dodane vrednosti prinesla večjo poštenost in pravičnost pri objavi rezultatov
uspešnosti šole. To je koristno za šolo, ki je kot primer prikazana na sliki 2.7 spodaj
in je imela nadpovprečen kontekstualiziran rezultat dodane vrednosti. Posebej
pomembno je, da ta šola po drugih merilih v svojem okrožju ni bila uvrščena tako
visoko, na primer pri merilih, kakor so uspešnost učencev pri zaključnem spričevalu za srednjo šolo, kar kaže, da je šola izobraževala vedno večji delež učencev iz
nižjih družbeno-ekonomskih okoliščin, kar je znižalo celosten rezultat šole. Poudarek na kontekstualizirane rezultate dodane vrednosti je predstavil bolj ugodno/
pozitivno podobo te šole, kakor bi se zgodilo, če bi bil poudarek zgolj na surovih
testnih rezultatih, ali, v tem primeru, ocene, ki so jih učenci dosegli pri pridobivanju zaključnega spričevala srednje šole (General Certificate of Secondary Education).
Slika 2.7. Rezultati dodane vrednosti angleške šole, dosegljivi na spletni strani BBC,
2008
Vir: BBC News (2008).
71
V drugih državah, ki prav tako objavljajo podatke o uspešnosti šol, se mediji
razvrstitvi šol ne posvečajo toliko kakor v Združenem kraljestvu. Za nekatere
države je objava rezultatov običajen pojav in ne zbuja pozornosti medijev. V
nasprotju pa objava podatkov v flamski skupnosti v Belgiji ni običajna. Obstajalo
je precejšnje zanimanje medijev za rezultate šol in mediji so prevzeli iniciativo in
objavili dele poročil inšpektorata, ki so bili dostopni na zahtevo. Delno kot reakcijo na to objavo in na medijsko pozornost, je leta 2007 nastala nova pobuda za
objavo poročil šolskega inšpektorata na spletni strani (http://www.ond.vlaanderen.be/doorlichtingsverslagen/). Težko je določiti, zakaj objava šolskih rezultatov
v neki državi ne zbudi medijske pozornosti, ki vlada v drugih državah. Mogoče
je domnevati, da so institucionalni in kulturni dejavniki pomembni, prav tako
kot je pomembna zgodovina uporabe meril uspešnosti. Cilji sistema in metod,
s katerimi je vpeljan, so prav tako lahko pomemben dejavnik. Rezultati dodane
vrednosti, ki so uporabljeni v sistemu šolske odgovornosti s potencialno velikimi
posledicami za šolske ravnatelje, učitelje in družine, lahko povzročijo močnejšo
reakcijo, kakor sistem, ki je osredotočen na izboljšavo šol od znotraj. To osvetli in
poudari prednosti jasnega sporočila o tem, kako bodo rezultati dodane vrednosti
za šolo uporabljeni in kaj jih sestavlja. Ta vprašanja so nadalje obdelana v tretjem
delu tega poročila.
72
3.Uporaba modelov dodane vrednosti za notranjo
izboljšavo šol
Pri razvoju modelov dodane vrednosti bi moral biti cilj modelov pozitiven
vpliv na nivoju šol, da bi tako povečali njihovo uspešnost in učinkovitost izobraževalnega sistema na splošno. Vpliv na ravni šol se bo razlikoval glede na nameravano uporabo informacij dodane vrednosti in okvira, v katerem je bilo razvito
modeliranje dodane vrednosti. To poglavje je zgrajeno na razpravi o predstavitvi
in interpretaciji modelov dodane vrednosti v drugem poglavju. Tukaj se osredotočamo na ilustracijo, kako informacije o dodani vrednosti lahko analiziramo znotraj
šol, na ravni regije ali sistema za namen izboljševanja šol. Tako kakor pri večini
tega poročila, je ponavljajoča se tema razvoj odločanja na osnovi podatkov znotraj šol, ki delujejo kot učne organizacije in so gonilo sistemskih izboljšav. Ta vprašanja so razložena preden so podani primeri uporabe modelov dodane vrednosti.
Razprava se osredotoča na primere iz Anglije in iz ameriške zvezne države Tennessee, ki sta bili obe smatrani kot odlična primera, kako lahko uporabimo sisteme
modelov dodane vrednosti za spodbujanje izboljšav v šolah.
Šole kot izobraževalne organizacije
Informacije modelov dodane vrednosti je mogoče uporabiti za različne
namene izboljšave šol, vendar le, če jih uporabljajo akterji, ki lahko vplivajo na
procese in/ali rezultate. V izobraževalnem sistemu so najpomembnejši akterji učitelji in ravnatelji. Zato je nujno zagotoviti, da so sposobni učinkovito interpretirati
in reagirati na informacije o dodani vrednosti. Ker je šola enota delovanja, je vsaj
v začetku, fokus glede meril odgovornosti in razvoja, na ravni šole. Nagonsko je
jasno, da bodo iniciative na ravni šole verjetno prinesle več koristi tistim šolam, ki
so najbolj sposobne uporabiti informacije, da bi razvile in vpeljale merila odgovornosti in razvoja (Caldwell in Spinks, 1998). In če upoštevamo, da je organizacijska enota učitelj v razredu in ne šola, tisti, ki ima največji vpliv na učence in
njihovo učenje, je nujno, da se učinki meril odgovornosti in razvoja razporedijo
med učitelje in njihova dejanja v razredu. Zaradi tega je nujno, da so informacije
učinkovito prenesene učiteljem in ravnateljem in da te informacije nepretrgoma
krožijo skozi šolo, da bi se izboljšave v njej nadaljevale (Senge, 2000). Da bi do
tega prišlo, je treba prepoznati, da so šole kompleksni organizacijski sistemi, ki
73
lahko uporabljajo informacije za svoje izboljševanje. Obstajajo kompleksnosti pri
pridobivanju, razširjanju in uporabi informacij, in več ovir, ki lahko zavrejo učinkovito uporabo informacij za razvoj šol (O’Day, 2002). Če so informacije o dodani
vrednosti uporabljene v sistemu z močnimi merili odgovornosti, potem obstaja
velika verjetnost, da se bodo tokovi informacij popačili. Prisotnost ostrih sankcij,
ki jih je mogoče naložiti šolam in učiteljem lahko ustvarijo spodbudo, da bi popačili informacije kot obliko samozaščite zaradi slabih rezultatov/pred slabimi rezultati (Lazear, 2000). Takšno vedenje se lahko razširi tako, da popači intervencijo, ki
izhaja iz tega procesa. Na primer: če se šoli določi restriktivno ali kazensko poskusno obdobje, v okviru katerega se zahteva dodatne informacije o procesih v šoli
in o uspešnosti učencev je lahko proces oviran zaradi sprevračanja in zadrževanja
informacij učiteljev in ravnateljev. To lahko resno omeji program razvoja šole in
zadrži učenje na sistemski ravni.
Upoštevaje te potencialne probleme je pomembno opomniti, da modeli
dodane vrednosti premagajo veliko popačenj, ki jih povezujemo z drugimi
meritvami uspešnosti šole. Kazalniki uspešnosti, ki napredka učenca ne merijo
natančno, pogosto trpijo zaradi neželenih posledic, na primer tega, da šole izbirajo
samo zelo uspešne učence za napredovanje v višje razrede in silijo manj uspešne,
naj šolanje opustijo (Meyer, 1997). Do tovrstne selektivnosti pride, ker je z uporabo
teh meril šola neposredno korelirana s prirojenimi sposobnostmi učencev, zato je
zanjo bistveno, kateri učenci pišejo test. Pri določanju modelov dodane vrednosti
pa je fokus na napredku učenca, kar zmanjša mnoge tovrstne pobude. Uspešnost
šole je presojana s pomočjo točnih meril za napredek in uspešnost učencev, zato
je tendenca, da bi ohranili samo zelo uspešne učence zavržena (Wilson, 2004).
Razširjanje informacij iz modela dodane vrednosti bi moralo biti razvito tako,
da bi upoštevalo kompleksnost informacij in strukturo njihovega pretoka v šolah.
V tem smislu je pomembno, da na šole gledamo kot na organizacijske enote, ki
delujejo znotraj širšega sistema, ki jim zagotavlja sredstva, hkrati pa jim neprestano
določa tudi omejitve. O’Day (2002: p. 294) trdi, da bodo »sistemi odgovornosti
poskrbeli za spremembo do te mere, da bodo generirali in osredotočali pozornost
na informacije, ki so relevantne za učenje in poučevanje, motivirali posameznike
in šole, naj uporabljajo te informacije in povečajo napore, da bi izboljšali svojo
prakso, zgradili bazo znanja, potrebnega za uporabo in interpretacijo novih informacij za izboljšave praks in razporeditev sredstev za vse navedeno zgoraj.« Vrste
šol, ki bi bile, podobno kakor pri drugih organizacijah, najbolje opremljene za prenos odgovornosti, temelječe na šoli, na posamezne učitelje v razredu, so tiste, ki
imajo višjo stopnjo kolegialnega sodelovanja in zaupanja, in torej učinkovitejši
pretok informacij. To vrsto šolske kulture je bolj verjetno najti v tistih šolah, ki že
poudarjajo kolektivno odgovornost za učenje učencev, kar je sorazmerno s sodelovanjem in zaupanjem. Večje koristi od odgovornosti in razvoja meril se bodo
torej nabrale v šolah s temi pozitivnimi organizacijskimi lastnostmi. Žal pa so neu-
74
spešne šole pogosto tiste z nizko ravnjo kolegialnega sodelovanja in zaupanja, in
s skrhanim občutkom kolektivne odgovornosti za učenje. Torej obstaja nevarnost,
da bodo cilji uporabe modeliranja dodane vrednosti manj verjetno doseženi prav
v tistih šolah, ki najpogosteje potrebujejo usmerjene in učinkovite iniciative za
izboljšavo šol. Veliko šol deluje s precej avtonomije, ki jo imajo posamezni učitelji v
zvezi s svojo prakso poučevanja (OECD, 2004). Ta stopnja avtonomije lahko deluje
v organizacijskih kontekstih visokega kolegialnega sodelovanja, vendar pa lahko
deluje tudi kakor pregrada za pretok informacij in poveča kompleksnost vpeljevanja sprememb v šolsko okolje. To lahko pomaga razložiti, zakaj se nekatere šole
dobro odzovejo na intervencije, ki izhajajo iz rezultatov modelov dodane vrednosti, medtem ko druge lahko daljše obdobje dosegajo slabe rezultate, četudi so
deležne enakih intervencij, ki so drugim šolam koristile (O’Day, 2002). Nujno je
premagati tovrstne negativne organizacijske prepreke, da bi lahko učinkovito
razširili in interpretirali modele dodane vrednosti, nato pa oblikovali in vpeljali
potrebne iniciative za izboljševanje šol, ki bodo temeljile na teh informacijah.
Prizadevanja, da bi izboljšali organizacijske vidike šol, so vedno bolj v središču večih držav članic OECD (OECD, 2005, 2008). To vključuje tudi prizadevanja
za skrb za razvoj učinkovitega kolegialnega sodelovanja in za osredotočanje na
razvoj v vseh šolah. Ta prizadevanja bi lahko olajšala učinkovito uporabo informacij, ki izhajajo iz modelov dodane vrednosti, poleg osnovne koristi pri izboljšanju
komunikacije in zaupanja med kolegi in ustvarjanja občutka kolektivne odgovornosti za učenje učencev. Poleg specifičnega usposabljanja za interpretacijo informacij dodane vrednosti, se lahko razvijejo programi, ki bodo olajšali učinkovito
komunikacijo med učitelji, ravnatelji in osebjem. Ti bi morali prepoznati kompleksnost tako samih modelov dodane vrednosti, interpretacije rezultatov in njihovega organizacijskega konteksta šol, da bomo dosegli cilj razvoja in povečanja
odgovornosti.
V nekaterih izobraževalnih sistemih se šolam določi poskusna doba ali pa
morajo bolj intenzivno sodelovati s šolskimi inšpektorati ali drugimi zunanjimi
agencijami, če so bile pri meritvah neuspešne (OECD, 2007a). Te sisteme imamo
lahko za bolj intervencionistične v njihovih prizadevanjih, da bi izboljšali rezultate
šol, od sistemov, ki se osredotočijo na bolj administrativno odgovornost. Intervencijam bi koristil večji poudarek na organizacijskih dejavnikih, ki ne bi koristili
samo šoli, ampak bi tudi olajšali razširjanje in uporabo informacij, zbranih modelov dodane vrednosti. Intervencije, ki jim uspe od šol zbrati informacije, in raziskati
vzroke za visoko ali nizko uspešnost, imajo lahko večji vpliv na uspešnost šole, in,
na dolgi rok, na uspešnost sistema.
75
Analiza profilov dodane vrednosti šol
Analizi informacij dodane vrednosti za namene izboljšave šol bo koristila analiza podatkov na ravni učencev in pregledovanje po značilnostih učencev. To bo
posameznim šolam omogočilo, da si sestavijo ali analizirajo lasten »profil dodane
vrednosti«. Na primer, predstavljajte si, da so vsi osmošolci v lokalnem okolju ali
administrativni enoti razporejeni v kvintile, in sicer glede na svojo predhodno
uspešnost. Model dodane vrednosti je mogoče prilagoditi, tako da se prilega le
podatkom, povezanim z učenci v posameznem kvintilu. Uporaba te analize v vsakem kvintilu prinese petkomponentni profil dodane vrednosti za vsako šolo. Profil
tega tipa za eno šolo je predstavljen na sliki 3.1. Gre za primer sistema določanja
modelov dodane vrednosti, ki je v uporabi v zvezni državi Tennessee v ZDA, ki je
tudi tema naslednjega razdelka tega poglavja.
Slika 3.1. Primer profila dodane vrednosti za šole z uporabo sistema TVAAS – matematika
Vir: Reel, M. (2006).
Najprej opazimo, da so učenci v šoli – vsaj glede na pretekle dosežke – relativno uspešnejši od vrstnikov v okrožju. Še več, za vsak kvintil, razen za najnižjega
76
je ocenjena dodana vrednost za šolo pozitivna in presega oceno, temelječo na
treh predhodnih letih. Za ravnatelja šole je to dobrodošel profil, četudi je šibek
rezultat v najnižjem kvintilu zaskrbljujoč in potrebuje podrobnejšo raziskavo.
Po pogovoru z učitelji in pregledu šolskih dokumentov, ravnatelj odkrije, da to
skupino sestavljajo učenci s posebnimi potrebami, ki se formalno izobražujejo
po individualiziranih učnih programih (Individualised Education Plans –IEPs)
in učenci, ki imajo zabeležene nizke dosežke pri matematiki, čeprav ne spadajo
očitno med učence s posebnimi potrebami. Nezadovoljiv napredek, ki se pojavi
pri modeliranju dodane vrednosti je omejen samo na slednje. Ravnatelj tudi izve,
da so bili ti učenci načrtno grupirani skupaj, zato da se večini učiteljev ne bi bilo
treba ukvarjati z izzivom, kako poučevati razred, v katerem so učenci s širokim
razponom sposobnosti. Opremljen s temi informacijami se lahko ravnatelj sestane
s svetovalcem kurikuluma za matematiko in odgovornimi učitelji, da bi se z njimi
pogovoril o možnih strategijah za izboljšanje stopnje napredka za manj uspešne
učence.
Ukrepi, izvedeni, da bi izboljšali specifičen vidik uspešnosti šole, imajo lahko
pozitivne »domino« (flow-on) učinke na druga področja v šoli, ki imajo nerealizirane dosežke učinkovitosti (Mante in O’Brien, 2002). Na primer, predpostavljajte,
da analiza informacij o dodani vrednosti pokaže, da velik del slabega uspeha v
šoli izhaja iz težav pri poučevanju učencev, ki doma govorijo jezik, ki ni učni jezik.
Nadaljnja analiza rezultatov dodane vrednosti za posamezne učence kaže, da so
ti učenci na splošno bistveno manj uspešni od večine učencev v različnih šolah na
isti stopnji. Po pogovoru s šolskim inšpektorjem ali relevantnim upravljavcem, se
pridobi informacije o dodani vrednosti iz drugih šol, kar pomaga identificirati šole,
kjer imajo uspešne prakse za delo z učenci, katerih domači jezik se razlikuje od
učnega. Nato so lahko organizirana učna omrežja z učitelji in ravnatelji relevantnih
šol, kar bi dovolilo osebju šole, da se uči iz izkušenj drugih in deli najboljše prakse
na tem in drugih področjih. Učitelji in ravnatelji bodo morda cenili dejstvo, da njihova šola ni edina s težavami, kar lahko zmanjša občutek neuspeha, ki ga meritve
surovih rezultatov lahko vcepijo in okrepijo, da je nepretrgano učenje potrebno
in mogoče, tako znotraj šol, kakor tudi skozi celoten šolski sistem. Izobraževalna
mreža bi imela koristi od uporabe podatkov o dodani vrednosti, s katerimi bi osvetlili razlike pri stopnjah napredka med skupinami učencev znotraj šol in med njimi.
Na sistemski ravni analiza rezultatov šole vzporedno z rezultati drugih šol lahko
pokaže vzorec, ki je značilen za določeno etnično skupino in izpostavi uspešnost
te skupine kot trajen problem. Nato se lahko odločijo, da je treba več sredstev
posvetiti izobraževanju teh učencev in sredstva usmerjati v šole, ki potrebujejo
dodatno usposabljanje in sredstva za poučevanje teh učencev. Pravzaprav so razlike pri uspešnosti različnih etničnih skupin od večinskega prebivalstva očitne v
vrsti držav. Zato vrsta držav v svoje modeliranje vključuje spremenljivko »država
porekla« namesto preproste spremenljivke »priseljenec« ali podobne, ki preverja,
ali je jezik doma za učenca isti kakor učni jezik.
77
Uporaba modelov dodane vrednosti kot pomoč pobudam za
izboljšanje šol
V ZDA je zgodovina uporabe modelov dodane vrednosti od države do države
različna. Že nekaj časa je v uporabi tako za odgovornost in izboljšavo šol v zveznih
državah Južna Karolina in Florida. Po drugi strani pa zvezna država Tennessee in
mesti Dallas (Teksas) in Milwaukee (Wisconsin), kakor tudi precej šolskih odborov,
obširno uporablja modele dodane vrednosti za izboljševanje šol, ne da bi model
neposredno povezali s šolsko odgovornostjo (Braun, 2006a). Ker ima Tennessee
dobro utečen program razvoja šol in visoko rafiniran sistem poročanja, se naslednji razdelek osredotoča na to, kako šolska okrožja v Tennesseeju uporabljajo
modele dodane vrednosti, da bi ilustrirali potencial analize dodane vrednosti.8
Tennessee je bil prva zvezna država, ki je formalno prevzela analizo dodane vrednosti kot del iniciative za razvoj šol. Navdušena nad delom Williama Sandersa, ki
je bil takrat profesor na Univerzi v Tennesseeju, je država leta 1993 sprejela zakon,
ki je od šol in šolskih okolišev zahteval, naj zbirajo in posredujejo podatke o učencih profesorju Sandersu. To mu je omogočilo, da je opravil izračune svojega modela
dodane vrednosti, ki je bil poimenovan Tennessee Value-added Assessment System
(TVAAS).9 Zakonodaja je eksplicitno prepovedovala uporabo rezultatov modelov
dodane vrednosti za odgovornost šol ali učiteljev. Uporabljali naj bi jih izključno za
razvoj šol in, še več, vsak okoliš se je lahko sam odločil, ali bodo TVAAS uporabili.
Vnos v TVAAS temelji na uspešnosti učencev na testiranju Tennessee Comprehensive Assessment Program (TCAP), ki je sestavljen iz serije izbirnih (multiple-choice)
testov. Testi, ki so organizirani spomladi, prinašajo tako normativno kot kriterijsko
interpretacijo. Za vsako kombinacijo predmet-ocena se generira poročilo na ravni
okrožja, šole in posameznega učenca.
Od vsega začetka je bilo jasno, da bo imel TVAAS zaželen učinek samo, če se
bodo šolski strokovnjaki v vsej državi udeležili uvajalnega procesa in usposabljanja. Statistične analize so kompleksne in večina ne-statistikov nanje čisto upravičeno gleda kot na »črne skrinjice«. Šolnike je bilo treba najprej prepričati, da
so rezultati, ki jih je sistem tako dobil, pomembni in pošteni. Nato so morali biti
ustrezno usposobljeni, da bi pravilno interpretirali rezultate – za to so bila oblikovana posebna poročila, ki so olajšala postopek in spodbudila učinkovito rabo.
Končno, podpora je morala priti z ministrstva za šolstvo zvezne države, zato da so
se vodilni v šolah prepričali, da vse skupaj ni zgolj muha enodnevnica in da se ne
bodo znašli v položaju »plavaj ali utoni«, takoj ko bo začetni vnos končan.
8 Opozoriti je treba, da Tennessee uporablja določanje modelov dodane vrednosti tudi zato, da bi dobil
ocene dodane vrednosti učiteljev, vendar ta uporaba ne sodi v okvir tega poročila.
9 Ta sistem se zdaj imenuje Education Value Added Assessment System (EVAAS) in ga vodi professor Sanders s kolegi pod okriljem družbe v zasebni lasti. Skrajšan opis za EVAAS je na voljo v Braun (2006b).
78
Vpeljava modela TVAAS si je med vodstvi šol v več kakor petnajstih letih uporabe pridobila veliko podpore. Izobraževanje za šolske strokovnjake je nepretrgano, saj v izobraževalni sistem države vstopajo novi in novi ljudje. Predstavitve
in pripadajoče besedilo v tem razdelku so namenjeni temu, da bralec dobi vzorec
sistema. Predstavitev po vsej državi je bila proces v treh fazah, ki je vključeval na
tisoče nadzornikov kurikuluma, ravnateljev, regionalnih direktorjev in uslužbencev pristojnega ministrstva. Prva faza je bila informativna, oblikovana z namenom, da bi poskrbela za splošen uvod v TVAAS in v strukturo poročil, ki jih sistem generira. Druga faza je bila začetna uvajalna faza, ki je vključevala pregled
modela TVAAS, pa tudi vodeno analizo in interpretacijo lokalnih podatkov. Ta faza
se je tudi močno posvetila strategijam za informiranje staršev in širše skupnosti o
modelu TVAAS. Tretja faza je nadaljevala s fazo vpeljevanja, pri čemer so bili TVAAS
in drugi informacijski viri integrirani v postopek sprejemanja odločitev na podlagi
podatkov, kar je neposredno zadevalo dejanja osebja v šoli in razporejanje sredstev. Neposredni cilj je bil pospešiti razvoj kulture kontinuiranega izboljševanja
šole, ki bi temeljilo na čvrstem empiričnem temelju, ki bi informacije – vsaj delno
– dobil od rezultatov TVAAS. Seveda je bil končni cilj izboljšati dosežke učencev
in zato je bilo potrebno spremljati in oceniti celo vrsto kazalnikov. Da bi prikazali, kako sistem deluje, je spodaj predstavljenih več odlomkov iz knjižnice poročil
TVAAS, skupaj z razlago. TVAAS vodi longitudinalen model dodane vrednosti, ki
pokriva več predmetov, natančneje štirih (branje/jezik, matematika, naravoslovje
in družbene vede) od tretjega do osmega razreda. Analize se izvajajo za vsako
šolsko okrožje in šolska poročila prinašajo rezultate za tekoče leto, dve prejšnji leti,
pa tudi triletno povprečje.
Slika 3.2 vsebuje del poročila TVAAS za matematiko na višji stopnji osnovne
šole (middle school), kamor spadajo učenci od petega do osmega razreda. V zgornjem delu so ocenjeni učinki šole izraženi v enotah normalne krivulje (normal
curve equivalent –NCE) in jih spremljajo ocene njihove standardne napake. Za
lažje branje je vsaka celica barvno kodirana glede na to, ali je ocenjeni učinek šole
večji od standarda rasti (nič) – siva (B), ne več kakor ena standardna napaka pod
ničlo – temno siva (LB), ali več kakor ena standardna napaka pod ničlo –črno (BL).
V zadnjem primeru so celice označene G*, če je ocenjeni šolski učinek več kakor
dve standardni napaki pod ničlo. Na primer, v šestem razredu (2006) je ocenjeni
šolski učinek 3,6 merskih enot glede na lestvico z ocenjeno standardno napako
0,8. zato je v poročilu pobarvana modro. Pomembno si je zapomniti, da je to predvidevanje empirična Bayesova cenilka, tako da se je neposredna ocena srednjega
dosežka šole »skrčila« proti povprečju za okrožje, količina krčenja pa je odvisna od
relativne natančnosti te cene (glej šesto poglavje za nadaljnjo debato o krčenju
pri ocenah dodane vrednosti).
79
2006 TVAAS šolsko poročilo za
TCAP CRT- matematika
Ocenjeno srednje NCE povečanje za šolo
srednje NCE povečanje
skozi razrede relativno na
razred
5
6
7
8
standard rasti
0,0
0,0
0,0
0,0
3-letno povprečje
v državi
2,4
1,7
1,6
1,5
2004 srednje NCE
povečanje
3,2 B
–2,3 G*
–2,7 G*
–0,6
–2,2
standardna
napaka
0,8
0,8
0,8
0,5
0,5
standard
rasti
država
2005 srednje NCE
povečanje
1,0 B
6,2 B
–2,4 G*
2,1 B
1,7
–0,1
standardna
napaka
1,2
0,8
0,7
0,8
0,4
0,4
2006 srednje NCE
povečanje
–0,1 LB
3,6 B
1,0 B
2,2 B
1,7
–0,1
standardna
napaka
1,2
0,8
0,8
0,7
0,4
0,4
3-letno povprečno
NCE povečanje
4,3 B
–1,2 G*
0,5 B
0,9
–0,6
standardna
napaka
0,5
0,4
0,4
0,2
0,2
Ocena srednjega NCE rezultata za šolo
razred
5
6
7
8
temeljno leto za
državo (1998)
50
50
50
50
državno 3-letno
povprečje
54,8
54,1
53,3
53,5
sredina 2003
48,4
52,8
51,4
sredina 2004
53,2
46,1
50,1
sredina 2005
49,3
49,3
50,6
48,2
sredina 2006
49,6
56,3
50,4
52,9
B – ocenjeno srednje NCE povečanje enako ali večje od standarda rasti.
LB – ocenjeno srednje NCE povečanje pod standardom rasti, ampak manjše od ene
standardne napake.
BL – ocenjeno srednje NCE povečanje pod standardno rastjo vsaj eno, a manj kakor dve
standardni napaki.
G* – ocenjeno srednje NCE povečanje vsaj dve standardni napaki pod standardom rasti.
Slika 3.2. Primer iz šolskega poročila TVAAS
Vir: Reel, M. (2006).
80
Matrična struktura pospeši primerjave med razredi/letniki znotraj posameznega šolskega leta (horizontalno) in znotraj razreda skozi leta (vertikalno). Za
to šolo se zdi, da se sčasoma na splošno izboljšuje z vsakim razredom, najboljše
rezultate pa ima v šestem razredu. Na skrajni desni razpredelnice so rezultati šole
(skozi povprečja razredov) primerjani tako s tistimi za standard rasti in za državo.
Spodnji razdelek slike 3.2 prevaja rezultate šole v srednje NCE rezultate. To gledalcu dopušča, da na dokumente šole pogleda z dveh različnih vidikov. V šestem
razredu (2006) je srednji NCE 56,3, kar ustreza povprečnemu dosežku, ki je marginalno večji od državnega triletnega povprečja 54,1. V drugih razredih za leto 2006
je srednji NCE šole marginalno nižji od ustreznega triletnega povprečja v državi.
(Bodite pozorni na to, da je primerjava s šolami izven okrožja vedno narejena na
podlagi stopnje dosežkov in nikoli v okviru ocen dodane vrednosti.)
Uporaba modelov dodane vrednosti za projekcije uspešnosti
S kombiniranjem opazovanih krivulj učencev z ocenjenim profilom dodane
vrednosti šole je mogoče napovedati (projektirati) učenčev prihodnji uspeh.
Namen tovrstnih napovedi je, da omogoči šolam in administratorjem, da določijo
– glede na pričakovano stopnjo rasti posamezne skupine učencev – kateri delež
učencev bo dosegel zaželene standarde v enem ali več letih. To olajša načrtovanje
in razporejanje sredstev in osvetli področja v nizki in visoki kategoriji uspešnosti
učencev in šol. Poleg tega, če predvidevani rezultati niso doseženi, šola dobi jasen
kazalnik ciljne dodane vrednosti, h kateri mora stremeti, da bi dosegli želeno stopnjo uspeha (Doran in Izumi, 2004; McCall, Kingsbury in Olson, 2004; Hill et al.,
2005; Wright, Sanders in Rivers, 2006).
Postavljanje (kratkoročnih) ciljev v šolah je pomemben del procesa izboljševanja šol v Angliji. Cilji so postavljeni glede na rezultate testov, in ne toliko dodane
vrednosti (če bi to naredili, bi pomenilo, da cilji niso jasni, kajti rezultati dodane
vrednosti so izračunani glede na nacionalno povprečje, torej je statistično nemogoče, da bi se vse šole popravile), vendar metoda dodane vrednosti, ki upošteva
prejšnje dosežke učencev, podpira vzpostavljanje ciljev uspešnosti. Poskrbljeno
je, da se spodbuja vzpostavljanje ciljev za učence, šole in lokalne oblasti, ki niso
zgolj enostavne ekstrapolacije pretekle uspešnosti. Za to obstaja več načinov, najpogostejši je, da se priskrbi informacije, ki bodo pomagale k takemu rezultatu,
kot bi ga bilo pričakovati, če bi šola, na primer, izboljšala svojo dodano vrednost
do ravni primerljivih pol (glede na pretekle dosežke), ki pa imajo trenutno večjo
dodano vrednost.
V vključevanje več kontekstualnih spremenljivk v modele dodane vrednosti za
vzpostavljanje ciljev je vpletena tudi šolska politika. Obstaja tveganje, da bodo
81
vanj vključena nizka pričakovanja za učence, ki trenutno na splošno slabše napredujejo (npr. učenci iz nižjih družbeno-ekonomskih okolij). Po drugi strani pa bi
lahko šolam, ki imajo visoke prejšnje dosežke in le malo učencev iz nižjih družbeno-ekonomskih okolij, zastavili bolj ambiciozne cilje, če bi bili kontekstualni
podatki vključeni v oblikovanje modelov. Na Norveškem kontekstualne spremenljivke niso vključene v objavljene modele dodane vrednosti, kajti smatra se, da
bi lahko napačno predstavile namen programa in celo še bolj utrdile obstoječe
neenakosti.
Nekoliko drugače pristop vključuje dejavnik premikanja iz ene kategorije v
drugo v časovnem obdobju enega ali več šolskih let. Na grobo rečeno, zanimanje
se osredotoča na to, kako uspešna je bila šola pri pomoči učencem pri premikanju
iz nižjih kategorij v višje. Relevantni podatki so kar najbolj priročno razporejeni v
obliki matrike, kjer vrstice predstavljajo kategorije v začetnem letu in stolpci kategorije v zaključnem letu. Število kategorij v obeh letih ni nujno enako. Različni
indici, ki povzemajo krivulje učencev so lahko predlagani in razlika med indeksom
vrednosti šole in indeksom vrednosti skupine šol je merilo dodane vrednosti šole
(za podrobnejšo razlago glej Betebenner, 2007; Braun, Qu in Trapani, 2008).
Slika 3.3 predstavlja poročilo o projekciji (Projection Report), ki temelji na
TVAAS. Prikazuje krivuljo za neuspešnega učenca sedmega razreda. Kombiniranje
dokumentov učenca z dodano vrednostjo, ki jo šola daje učencem v najnižjem
kvintilu, nam da projekcijo učenčeve uspešnosti v osmem razredu in pri algebri I
prihodnje leto. Očitno se pričakuje, da bo učenec v osmem razredu svoj relativni
položaj izboljšal na 22. percentil, četudi bo to še vedno pod pragom zadostnega
znanja (24. percentil). Do naslednjega leta pa se od učenca pričakuje, da bo dosegel 30. percentil, kar bi ga postavilo v pozitivno kategorijo. Ocenjena verjetnost,
da bo do devetega razreda dosegel zadostno stopnjo znanja je 63,2 %.
Te projekcije, zbrane po skupinah učencev, bodo igrale pomembno vlogo v
poročilih, ki jih bo država poslala zvezni vladi kot del sistema šolske odgovornosti.
Vendar pa je lahko tudi zelo uporabno interno gradivo za razvoj šole. Če projekcija
za veliko število učencev kaže, da bodo padli pod standard zadostnega znanja,
je to za šolo zgodnji opozorilni znak, da se mora odločno spopasti z znaki (pedagoške ali druge narave), ki zavirajo napredek učencev. Celo v danem trenutku pa
projekcije niso nobeno zagotovilo. Šola mora trdo delati, da bi zadržala svojo pozitivno dodano vrednost in spremljati prihodnjo uspešnost učencev, da bi tako preverila, ali so projekcije natančne, kar se tiče verjetnosti. Jasno je, da tovrstno delo
zahteva usposabljanje in podporo vodstva šol, pa tudi infrastrukturo, ki podpira
analize.
82
Expressed in State %-iles
2001
CAP)
CAP)
CAP)
CAP)
CAP)
CAP)
I)
(8 - T
(7 - T
(6 - T
(5 - T
(3 - T
(4 - T
(Alg
2008
2005
GATE
2004
2003
2002
Student’s Observed %-ile
Student’s Projected Gateway (Algebra I) %-ile
Gateway Algebra I (Proficient)
Slika 3.3. Primer projekcijskega poročila TVAAS
Vir: Reel, M. (2006).
Sposobnost uporabe modelov dodane vrednosti kot zgodnjega opozorilnega
signala je pomembna, če pomislimo na druge podatke. Podatki o uspehu učencev,
na primer, stopnja učencev, ki ostanejo v šoli (retention rate) in število učencev, ki
napreduje v višji razred/na višjo stopnjo izobraževanja imata inherenten časovni
zamik med padajočo uspešnostjo in identifikacijo tega problema skozi podatke.
Modeliranje dodane vrednosti prinaša podatke, ki so bolj odzivni na čas, kajti stopnji ostajanja v izobraževanju in napredovanja sta manj občutljivi na spremembe
v uspešnosti šole. Podatki o dodani vrednosti, utemeljeni na ocenah učencev v
več letih, bi prinesli bolj pravočasne informacije, ki bi omogočile hitrejše določanje potencialnih problemov. To bi pospešilo sprejemanje ukrepov, s katerimi bi se
lotili teh problemov.
Alternativna predstavitev podobnega vprašanja je predstavljena na sliki 3.4,
ki ilustrira, kako projekcije uspešnosti lahko predstavijo in uporabijo posamezne
šole. Slika prikazuje rezultate osmošolcev, ki so se prvič učili algebro. Prikazani so
srednji rezultat za tekoče leto, dve prejšnji leti, pa tudi triletno povprečje. »Srednji
predvideni rezultat« (stolpec 6) vključuje izračun, ki temelji na krivuljah rezultatov
učencev do vključno sedmega razreda in njihov predvideni napredek, če bodo
vpisani v tipično šolo v šolskem okrožju. Tako je leta 2006 doseženi srednji rezul-
83
tat 583,0 presegel predvideni srednji rezultat 571,8 za 11,2 točke. Ustrezna (empirična Bayes) ocena dodane vrednosti šole je 10,2. To šolo uvršča na 81. percentil
med šolami v okrožju glede na dodano vrednost. Pomembno je opozoriti, da je bil
predviden rezultat za leto 2006 13 točk nižji, kakor v letu 2004, ko je bila ocenjena
dodana vrednost šole –4,7, kar jo je uvrščalo na 36. percentil med šolami v okrožju
za tisto leto. To kaže, da so spremembe v strukturi učencev v šoli znižale predviden
rezultat in spet poudarja, kako pomembno je uporabljati modele dodane vrednosti v nasprotju z osredotočanjem na surove testne rezultate.
Slika 3.4. Primer šolskega poročila TVAAS (algebra)
Vir: Reel, M. (2006).
84
Usmerjena uporaba modelov dodane vrednosti
Diskusija o uporabi modelov dodane vrednosti je osvetlila prednosti osredotočenja na posamezne skupine šol, učencev ali celo posameznih šolskih politik in programov. Za oblikovalce politik v številnih državah OECD je razvoj usmerjenih politik,
namenjenih posameznim skupinam neuspešnih ali zelo uspešnih šol in učencev,
prednostna naloga (OECD, 2007c). Rezultati dodane vrednosti so lahko uporabljeni
za identifikacijo posameznih šol, v katerih je potrebno razviti ustrezne programe in
spremljati, kakšen vpliv imajo. Uporaba meril dodane vrednosti namesto surovih
testnih rezultatov ima več prednosti. S pomočjo surovih testnih rezultatov je mogoče
prepoznati neuspešne učence in šole, v katere so vpisani. Vendar teh informacij ne
moremo uporabiti za analizo napredka učencev. Na primer, ali so bili ti učenci, ki
morda prihajajo iz nizkih družbeno-ekonomskih okolij vedno neuspešni? Katere šole
(in morda tudi programi) imajo najvišjo dodano vrednost za te učence in kaj se lahko
naučimo iz njihovega uspeha? To so ključna vprašanja o pravičnosti v šolskih sistemih. Naravnost se spoprimejo z vprašanjem ali so neuspešni učenci obsojeni na dno
razvrstitvene lestvice ali pa so sposobni doseči visoko stopnjo znanja.
Analiza podatkov dodane vrednosti omogoča učiteljem, ravnateljem in oblikovalcem politik, da se posvetijo podrobnostim v podatkih o šibkejših učencih,
da bi bolje razumeli njihove učne krivulje. Na primer, v Angliji oblikovalci šolske
politike analizirajo podatke za učence na specifični stopnji uspešnosti. Mogoče
je narediti razliko med učenci, ki se sčasoma izboljšujejo, učenci, ki so obtičali
na ravni, ki ni zelo uspešna in učenci, ki so pri meritvah dodane vrednosti dejansko neuspešni (Ray, 2006). To so pomembne razlike, saj ne prinašajo zgolj znatnih informacij o učenju in izobraževanju teh učencev, ampak lahko vodijo tudi
razvijanje ustreznih odzivov šolske politike in programov, ki bi jim lahko najbolj
koristili. Ko se programi že izvajajo, nadaljnja analiza rezultatov dodane vrednosti
s posledičnimi podatki ocenjevanja olajša spremljanje učinkovitosti teh programov. To prav tako v veliki meri ne bi bilo mogoče pri analizi surovih podatkov
o dosežkih. Podatkovna baza TVAAS, ki podpira analizo dodane vrednosti prav
tako omogoča spremljanje uspešnosti posameznega učenca. Slika 3.5 predstavlja
šestletno krivuljo določenega učenca, poleg nje pa srednjo krivuljo šole in okrožja
(sistema). Kazalniki stopnje uspešnosti kažejo, da je učenec presegel prag uspešnosti za oceno »odlično« od 5. razreda naprej. Hkrati pa je občuten padec pri relativni razvrstitvi med 7. in 8. razredom vzrok za skrb. Pregled krivulj drugih učencev,
s podobnimi rezultati, lahko razkrijejo vzorec za posamezne predmete in znotraj
šole, kar lahko razkrije bolj sistematične probleme in ponuja mogoče odgovore na
težave, ki jih imajo posamezni učenci.
85
110
100
Expressed in State %-iles
90
80
70
60
50
40
30
20
2001 (3)
2002 (4)
2003 (5)
2004 (6)
2005 (7)
2006 (8)
Year (Grade or Subject Tested)
Student %-ile
School %-ile
System %-ile
Performance Levels
NP - Not Proficient
P - Proficient
AD - Advanced
Slika 3.5 Primer primerjalnih krivulj uspešnosti TVAAS
Vir: Reel, M. (2006). Opomba: učenčevo ime izbrisano.
Včasih obstaja interes, da bi ocenili učinke, ki jih ima šola na podskupine
šolskih ustanov, ki so prispevale k celotni analizi dodane vrednosti. Na primer,
denimo, da bi si želeli primerjati vidne uspehe dveh skupin šol, od katerih vsaka
uporablja drugačen izobraževalni program. Najenostavnejša strategija bi bila ekstrahirati ocenjene učinke šole, ki smo jih pridobili v popolni analizi. Vendar pa, če ti
dve skupini predstavljata relativno majhen del širšega študentskega telesa, bi bilo
morda zaželeno opraviti novo analizo dodane vrednosti zgolj za obe skupini šol.
Vprašanje je, ali je taka pomožna analiza vedno potrebna. Haegeland et al. (2005)
so opravili študijo, v kateri so primerjali ta dva pristopa na norveških podatkih in
poročali, da so razlike zanemarljive. Čeprav je to le en izsledek, je mogoče domnevati, da je to res tudi na splošno. Ne smemo pa pozabiti, da so variance, povezane s
predvidenimi učinki šole lahko precej heterogene, in da je potrebno biti previden
pri sestavljanju primernih testnih statistik za želeno primerjavo.
V Angliji so skupinam šol namenjeni različni programi (npr. program za strokovne šole Specialist Schools programme, štipendija za šole Leadership Incentive
86
Grant (Ray, 2006)). Rezultati dodane vrednosti so lahko uporabljeni kot informacija za spremljanje tovrstnih pobud, ki jih predlaga šolska politika. Poleg zagotavljanja informacij o celotni dodani vrednosti, rezultati dodane vrednosti za posamezno šolo kažejo tudi, koliko razlik je med šolami, ki udejanjajo iste smernice.
Četudi dodana vrednost ni neposredno uporabljana pri financiranju šol, je bila že
uporabljena kot način za izbiro posameznih šol. Na primer, nekatere šole so bile
označene kot »zelo uspešne« in so jim bile dodeljene dodatne odgovornosti pri
pomoči šibkejšim lokalnim šolam ali pa sodelovanje v drugih projektih.10 Šole, ki
so tako identificirane, dobijo dodatna sredstva, zato da bi pomagale sosednjim
šolam in se osredotočile na posebne dejavnosti, na primer poklicno usposabljanje
ali na učence s posebnimi učnimi potrebami. Kriteriji, ki jih morajo izpolnjevati,
temeljijo na merilih dodane vrednosti pri različnih Key Stages v zadnjih treh letih.
Da bi šolsko politiko lahko primerno usmerili, je potreben razvoj kompleksnejših modelov dodane vrednosti s spremenljivkami, ki ustrezajo relevantnim
omenjenim skupinam ali podskupinam šol ali učencev. Drugo poglavje prikazuje,
da je enostavne modele lažje predstaviti in razložiti interesnim skupinam. Med
željo po predstavitvi čimbolj komunikativnega modela in po razvoju modela, ki
je čimbolj statistično čvrst, vendar tudi kompleksen, je torej potreben nekakšen
kompromis. Ker so te analize pogosto namenjene za interno, ne pa tudi eksterno
rabo, nimamo takih težav, ko želimo razložiti vsebino kompleksnejšega modela.
Analize posameznih programov za oblikovalce politik in upravljavce nimajo istih
zahtev za razširjanje in predstavitve, kakor jih imajo rezultati dodane vrednosti za
politiko izbire šol, ki pomaga staršem in družinam pri njihovi odločitvi glede izbire
šole. O povečani kompleksnosti statističnih analiz je laže razpravljati v obliki, ki je
za tovrstne analize primerna (torej poročilo ali obvestilo), namesto da bi analizo v
obliki tabel predstavili širši javnosti.
Da bi še bolje spoznali specifične podskupine šol je mogoče opraviti bolj
podrobno analizo. To lahko naredimo zato, da bi izvedeli več o teh šolah, pa
tudi zato, da bi zagotovili, da pri enostavnejšem modelu ni nobenih problemov
z napačnimi specifikacijami. Na primer, če je šola klasificirana kot neuspešna,
potem lahko s kompleksnejšim modelom preverimo, ali niso rezultati šole morda
posledica uporabe enostavnega modela. To »dvojno preverjanje« lahko pomaga
tudi pri sporočanju natančnosti postopkov deležnikom. Analiza, ki uporablja
kompleksnejše modele dodane vrednosti je morda bolj pomembna za šole, pri
katerih rezultati kažejo večjo nestabilnost, kadar so pridobljeni z enostavnejšim
modelom dodane vrednosti. Še enkrat, prednost tega bi bila, da izvemo več o teh
šolah, kakor tudi, da preverimo, ali je pomanjkanje stabilnosti mogoče nadzorovati z alternativnimi specifikacijami.
10 Za več informacij glejte razdelek »High Performing Specialist Schools« na:
http://www.standards.dfes.gov.uk/specialistschools/
87
Analiza kompleksnejših modelov, ki vključujejo več kontekstualnih spremenljivk,
je lahko koristna za specifične analize kontekstualnih faktorjev, ki vplivajo na napredek pri uspešnosti učencev. To strogo vzeto morda niso modeli dodane vrednosti,
ampak bolj regresijski modeli, ki vključujejo šolske in kontekstualne spremenljivke
na prvi stopnji modela dodane vrednosti. Očitno je, da obstaja precej možnosti za
izvedbo bolj kompleksnih ocen, tako dodane vrednosti, kakor tudi multivariatnih, s
katerimi lahko analiziramo posamezne probleme v sistemu šolske izobrazbe.
Uporaba modelov dodane vrednosti za izboljšanje sistema
evalvacije šole
Uspeh iniciativ za uresničevanje ciljev šolske politike za odgovornost šol,
izbiro šol in njihovo izboljševanje se skriva v učinkovitih evalvacijah uspešnosti
šol. Osrednje sporočilo tega poročila je, da modeliranje dodane vrednosti prinaša
natančnejša merila uspešnosti šol kakor meritve, ki temeljijo na surovih rezultatih.
Vseeno pa to poročilo trdi, da bi tovrstna merila morala dopolnjevati obstoječe
metode evalvacije šol. Kombiniranje informacij o dodani vrednosti s komplementarnimi informacijami o vnosih in procesih v šolah olajšuje učinkovito sprejemanje
odločitev na podlagi podatkov v celotnem šolskem sistemu. Tovrstno sprejemanje odločitev bi se nato lahko razširilo na diskusije med učitelji in ravnatelji o vprašanjih na ravni šole, na primer ozračje v šoli, politike in programi na ravni šole, ki bi
lahko prinesli pomembne informacije tem, ali so določena dejanja potrebna, da bi
se lotili zadev, ki bi lahko pripeljale do nizkih rezultatov dodane vrednosti.
Iniciative za izboljšave šol zahtevajo evalvacijo trenutnega/obstoječega stanja,
da bi lahko določili področja, ki potrebujejo izboljšave in področja primerov dobre
prakse. V vrsti držav sistem evalvacije šol torej ni zgolj še ena oblika odgovornosti
šole, ampak bolj še en mehanizem za razvoj in pospeševanje iniciativ za izboljšave v šolah. Na Portugalskem je uporaba meril uspešnosti del širšega sistema
evalvacije šol. Program, Integrirana evalvacija šol, želi prispevati k zagotavljanju
kakovosti v izobraževanju, in sicer tako, da išče prednosti in pomanjkljivosti pri
delovanju šol in šolskem sistemu na splošno. Najpomembnejši cilji programa so:
vrednotiti učenje in kakovost izkušnje šole za učence; prepoznati močne plati in
pomanjkljivosti pri uspešnosti šole; vpeljati v šole proces samoevalvacije; zbrati
informacije in okarakterizirati uspešnost izobraževalnega sistema; in uravnavati
delovanje izobraževalnega sistema (IGE, 2001). Prizadevanja za dosego vsakega
od teh ciljev bi imela veliko koristi od uporabe modelov dodane vrednosti.
V Angliji podatki o dodani vrednosti za tabele uspešnosti na ravni šole vključujejo omejen obseg statističnih podatkov o šolah: podatki o dodani vrednosti so
predstavljeni poleg dejstev o celostnih dosežkih in kontekstualnih informacijah
o šolah. Za potrebe izboljševanja šol in inšpekcije pa se uporabljajo širša merila
dodane vrednosti, diagrami in drugi podatki, in sicer s pomočjo programskega
88
paketa RAISEonline, ki je bil predstavljen v drugem poglavju. Istega leta kot so bile
prvič uporabljene primerjalne tabele, je bil z ustanovitvijo Nacionalnega šolskega
inšpektorata spremenjen tudi sistem šolske inšpekcije. To inšpekcijsko telo pregleduje vse državne šole, in lokalne oblasti v Angliji in njihovi inšpektorji imajo dostop
do podatkov o dosežkih šole, ki so objavljeni v obliki Poročil o uspešnosti in ocenjevanju (Performance And Assessment (PANDA) Reports).11 Podatki v teh poročilih
torej igrajo pomembno vlogo v sistemu odgovornosti šol, saj so del baze podatkov, ki jo uporabljajo inšpektorji, ko presojajo uspešnost šole. Inšpekcijska poročila
Nacionalnega šolskega inšpektorata so objavljena in šole so ocenjene kot izjemne,
dobre, zadostne in nezadostne; šole, uvrščene v zadnjo kategorijo, lahko doletijo
»posebni ukrepi« ali pa dobijo Opozorilo o izboljšanju.12 Oba rezultata dodane vrednosti šole in drugi tipi analize dodane vrednosti so že bili uporabljeni drugod: pri
objavljanju informacij za starše in šole; za izbiranje šol za posebne namene; in kot
del pristopa k postavljanju ciljev. RAISEonline ponuja bolj obširen nabor podatkov kakor Tabele uspešnosti, vključno z dodano vrednostjo za širši razpon meritev
rezultatov in za podskupine učencev znotraj šole. Glavni cilj RAISEonline je zagotoviti vsem šolam brezplačno programsko opremo, ki jim omogoča, da analizirajo
svoje lastne podatke in jih primerjajo z nacionalnimi vzorci in z rezultati ter dodano
vrednostjo, ki jo dosegajo zelo uspešne šole. Šole uporabljajo RAISEonline kot del
samoevalvacije in procesa postavljanja ciljev, ki se ju lotevajo s pomočjo Partnerjev
za izboljšavo šole (School Improvement Partners). Podatki so na voljo tudi šolskim
inšpektorjem, ki jih uporabljajo pri ocenjevanju, do katere mere se šola bodisi izboljšuje, ali pa ima možnost za izboljšave. Statistike/podatki niso na voljo širši javnosti.
Nizozemski inšpektorat opravlja pregled svojega dela, da bi ocenil in izboljšal
delo šol. Medtem ko je kompleksen program evalvacije šol še vedno ključnega
pomena, pa velja tudi, da se je koristno osredotočiti na specifična področja, da bi
vodili evalvacije šol in razporejanje sredstev in dvignili uspešnost šol. To je pripeljalo do fokusa na kazalnike rezultatov šol in na kazalnike šolske organizacije in
ukrepov. Prav tako je bilo identificiranih pet ključnih rezultatov:
–– v treh letih so srednji rezultati šole ob koncu obdobja več kakor pol standardne deviacije nižji od ravni, ki jo pričakujemo od populacije učencev,
ki obiskujejo šolo;
–– več kakor 10 % učencev je neuspešnih/šibkih pri aritmetiki in branju;
–– več kakor 5 % učencev v šoli ponavlja razred;
–– več kakor 2 % učencev je prestavljenih v posebno osnovnošolsko izobraževanje ali posebej oblikovane strokovne centre; in
–– na šoli vsaj enkrat na mesec pride do incidenta s telesnim nasiljem.
11 nekoč Pre-inspection Context and School Indicator (PICSI) Report.
12 poročila o inšpekcijah so dostopna na: http://www.ofsted.gov.uk/reports/.
89
Nedavna študija je pokazala, da ima 24 % osnovnih šol enega od teh kazalnikov in da torej potrebujejo dodatna sredstva in inšpekcije. V tej fazi pomanjkanje podatkov preprečuje, da bi se lotili analize za šole po vsej Nizozemski, vendar
menijo, da bi to izjemno pomagalo inšpektoratu pri določanju šol, glede na večjo
natančnost meril dodane vrednosti in inherentnih prednosti pri meritvah, če pride
do izboljšanj pri teh neuspešnih učencih. Dopolnjevanje teh kazalnikov rezultatov
šol je osredotočanje na osem procesov poučevanja in učenja: na kurikulum; na čas
poučevanja; na naravo poučevanja; na prilagajanje poučevanja, da bi premostili
razlike med učenci; na ozračje v šoli; na pozornost posvečena potrebam šibkejših
učencev; in mehanizem nadzora kakovosti, ki deluje v šoli. Ta vprašanja so bolj
natančno predstavljena v okviru 3.1.
Samo zase niti eno od vprašanj ali standardov, ki jih je določil nizozemski
inšpektorat, ne prinaša enotnega indikatorja uspešnosti šole. Namesto tega so,
kakor v mnogih drugih državah, kombinirani številni indikatorji, ki nato prinašajo
profil šole, ki ga je mogoče uporabiti za evalvacijo šol in razvoj iniciativ za njihove izboljšave. V takih okoliščinah lahko rezultati dodane vrednosti igrajo koristno vlogo kot »kvantitativno sidro« za razvoj in analizo profila šole. Na ta način
uporaba modelov dodane vrednosti omogoča, da se zgradi natančnejši okvir za
evalvacije. Seveda bo posamezna sprejeta strategija odvisna od namena evalvacije šole, pa tudi od razpona in narave meril, uporabljenih pri izdelavi profila šole.
Vključevanje meril dodane vrednosti v širši profil šole prinaša popolnejšo sliko šolske uspešnosti in, potencialno, uspešnosti različnih aspektov znotraj posamezne
šole. To ima »domino« učinek na kakovost iniciativ za izboljšanje šol. Inšpekcije
lahko potrdijo sklepe, ki so izpeljani iz analiz rezultatov dodane vrednosti in povečajo količino informacij o primerni intervenciji. To je posebej pomembno, glede
na to, da so rezultati modelov dodane vrednosti zgolj kazalniki in da je treba informacije podpreti z bolj podrobnimi informacijami o šoli in procesih poučevanja, da
bi lahko določili ustrezno akcijo ali intervencijo.
90
V prizadevanjih, da bi bolje usmerili sistem ocenjevanja šol, ki prispevajo k spodbudam za izboljšave, je nizozemski inšpektorat določil osem ključnih organizacijskih in procesnih standardov za
šole, ki bodisi merijo bodisi vplivajo na procese učenja in poučevanja. To so:
Standard
Kazalnik
1
Kurikulum obsega cilje
uspešnosti in je na voljo
vsem učencem v celoti.
Uporabljene metode in gradiva pokrivajo predvidene
dosežke pri nizozemščini in aritmetiki/matematiki.
Kurikulum za nizozemščino in matematiko je v celoti na
voljo vsem učencem do vključno 8. razreda.
2.
Čas poučevanja je porabljen
učinkovito.
Preprečuje se nepotrebna izguba časa, namenjenega
poučevanju.
3.
Učitelji razlagajo jasno,
učinkovito organizirajo
učne ure in skrbijo, da
učenci sodelujejo pri
nalogah.
Učitelji stvari jasno razložijo.
Učitelji učinkovito oblikujejo učne ure.
Učitelji skrbijo, da učenci sodelujejo pri svojih nalogah.
4.
Učitelj prilagodi kurikulum,
čas poučevanja, razlago in
čas, namenjen usvajanju
učne snovi, tako da
upošteva razlike med
učenci.
Učitelj prilagodi kurikulum, pri čemer upošteva razlike
med učenci.
Učitelj prilagodi čas za poučevanje in učenje, pri čemer
upošteva razlike med učenci.
Učitelj prilagodi razlago, pri čemer upošteva razlike med
učenci.
Učitelj prilagodi čas, namenjen usvajanju učne snovi , pri
čemer upošteva razlike med učenci.
5.
Ozračje v šoli je varno
in ljudje drug drugega
spoštujejo.
Učitelji zagotavljajo, da učenci drug z drugim ravnajo
spoštljivo.
Šola zagotavlja varnost učencev in osebja.
6.
Učitelji sistematično
spremljajo napredek svojih
učencev.
Šola uporablja kohezijski sistem orodij in postopkov, s
katerimi spremlja izobraževalno uspešnost in razvoj svojih
učencev.
Učitelji sistematično spremljajo napredek učencev.
7.
Učitelji nudijo dovolj
pomoči in podpore
učencem, ki so v nevarnosti,
da ne bodo napredovali.
V zvezi z učenci s posebnimi potrebami učitelji
sistematično izpostavljajo aktualne probleme.
Šola sistematično nudi podporo.
Šola preverja učinke podpore, ki jo zagotavlja.
8.
Vodstvo šole spremlja
kakovost izobraževanja.
Vsako leto šola sistematično evalvira kakovost rezultatov.
Vsako leto šola sistematično evalvira kakovost organizacije
procesa učenja in poučevanja.
Šola sistematično izvaja dejavnosti za izboljšanje kakovosti.
Šola zagotavlja kakovost organizacije procesa učenja in
poučevanja.
Evalvacija teh standardov bi hkrati dopolnila informacije o dodani vrednosti, da bi zagotovila
bolj kompleksno oceno šole, in omogočila analizo razmerja med standardi in rezultati dodane
vrednosti tako znotraj posamezne šole kakor tudi med šolami. Tovrstna analiza bi omogočila
učenje znotraj šole, kako se lahko ta področja izboljšajo in dvignejo uspešnost učenca in šole.
Prav tako bi olajšala izboljšave na nizozemskem inšpektoratu, saj bi lahko razvil svoje postopke
ocenjevanja teh področij, če bi poznal poteze, ki so močneje povezane z višjimi rezultati dodane
vrednosti.
Okvir 3.1. Osredotočanje na specifične procese poučevanja in učenja pri šolskih
inšpekcijah na Nizozemskem
91
Informacije o dodani vrednosti lahko zraven tega uporabimo, da bi povečali
učinkovitost sistema evalvacije šol in institucij, kakršne so šolski inšpektorati, ki so
pogosto v središču takih sistemov. Učinkovitost je mogoče izboljšati skozi izboljšano usmerjanje posameznih šolskih inšpekcij in tudi skozi izboljšano razporejanje sredstev, ki se osredotoča na šole, kjer je evalvacijska orodja najbolj potrebno
uporabiti.
Analiza informacij dodane vrednosti lahko identificira ključna področja, na
katera je potrebno usmeriti evalvacijo šole, da bi povečali celostno učinkovitost
in da bi omogočili bolj podrobno evalvacijo ključih področij šolskega uspeha. Preden si ogledajo šolo, inšpektorji dobijo informacije o dodani vrednosti šole po
predmetnih sklopih, razredih in za vsakega učenca. Analiza omogoča tistim, ki
izvajajo evalvacijo, da se osredotočajo na ključna vprašanja. Pomemben element
povečane učinkovitosti v Angliji je obsežna in izčrpna narava RAISEOnline. To
interaktivno programsko orodje omogoča šolam in inšpektorjem, da analizirajo
informacije o dodani vrednosti, da bi, na primer, identificirali rezultate dodane
vrednosti učencev pri posameznih predmetih in v posameznih razredih/letnikih
in bolje razumeli, kje je šola uspešna in kje se mora izboljšati.
Določanje modelov dodane vrednosti ne vključuje meritev finančnih vložkov
in zato ne more ponuditi oblike analize, ki bi ugotavljala, kaj je stroškovno koristno. Analiza diferencialnih vplivov različnih vnosov v šolsko izobraževanje torej
ne more biti del modelov dodane vrednosti. Ker pa prinašajo natančnejše meritve rezultatov, je mogoče izpeljati bolj obširne analize, kakšen vpliv imajo različne
razporeditve sredstev. Poleg tega so lahko informacije, pridobljene za vsako leto
in za vsak predmet še posebej relevantne, če se rezultati dodane vrednosti osredotočijo na posamezen predmet ali pokažejo, da je pri posameznem predmetu
uspešnost učencev nizka ali visoka v primerjavi z drugimi predmeti. Na primer,
če rezultati dodane vrednosti pokažejo, da so pri učnem jeziku in naravoslovju
učenci uspešnejši, kakor pri matematiki, je lahko to znamenje, da je potrebnih več
podatkov na ravni predmeta. V nekaterih državah je precej običajno, da obstajajo
evalvacije za posamezen predmet in ne za celotno šolo, in v situacijah, kakršna je
opisana zgoraj, bi utegnile biti še posebej koristne (OECD, 2007a).
Večja sredstva je mogoče razporediti tistim šolam oziroma področjem, ki imajo
slabe rezultate dodane vrednosti. Šolski inšpektorati bi lahko sistem naključnih
inšpekcij dopolnili z inšpekcijami, ki jih določa rezultat dodane vrednosti. Komponenta naključnosti zagotavlja, da je katera koli šola še vedno lahko kadar koli
predmet evalvacije, medtem ko komponenta, določena z rezultati dodane vrednosti posamezne šole inšpekcije usmerja v šole, ki ne napredujejo z zaželeno
hitrostjo. Porast učinkovitosti se lahko še poveča, če posamezen rezultat dodane
vrednosti, na primer tak, ki bo šolo potisnil v kategorijo neuspešnih, avtomatično
sproži obisk šolske inšpekcije.
92
Evalvacija šolskih procesov je v svoji naravi subjektivna in dopolnjuje informacije o dodani vrednosti. Kakovost subjektivnih evalvacij šolskih in učnih praks je
mogoče oceniti in nato izboljšati s pomočjo modelov dodane vrednosti. Natančno
merilo uspešnosti šole omogoča nadaljnji razvoj subjektivnih evalvacij tega, »kar
deluje«, saj je to temelj šolskih evalvacij. Kakor je ilustrirano zgoraj, so številne
organizacijske in učne prakse ocenjene v evalvacijah šol in s strani šolskih inšpektoratov. Te prakse so pogosto ocenjene glede na to, kar se ocenjuje za »dobro prakso«. Predvidevati bi bilo mogoče, da se definicija dobre prakse s časom razvija,
kakor se razvija razumevanje o učinkovitem poučevanju in šolanju. Relevantno
se zdi vključiti nekakšno obliko meritev rezultatov v te odločitve. Ker so ocene
dodane vrednosti bolj natančne meritve uspešnosti šol, lahko rezultati prispevajo
v organizacijski razvoj tako šolskih inšpektoratov kakor tudi vodenja evalvacij šol.
Kar se danes šteje za »dobro prakso« v šolah, je mogoče analizirati zraven njihovega rezultata dodane vrednosti, da bi ocenili veljavnost tovrstnih sodb.
93
Uvajanje sistema določanja modelov dodane vrednosti:
ključni koraki faze uvajanja
To poročilo identificira vrsto ciljev za razvoj modelov dodane vrednosti in ilustrira potencialno uporabo v različnih aplikacijah in programih. Naslednji razdelek
osvetljuje glavne korake, ki jih je treba storiti v fazi vpeljevanja. Ti koraki so bolj
natančno razdelani v tretjem delu tega poročila, vendar so tukaj predstavljeni, da
bi povdarili pomembnost povezovanja ciljev in uporabe informacij dodane vrednosti s potrebo po uspešni implementaciji. Prav tako to poglavje povdarja način,
na katerega se v fazi implementacije naslavlja veliko tehničnih vprašanj. Koraki,
o katerih teče beseda spodaj, niso mišljeni kot izčrpen seznam in podrobnosti o
vsaki aktivnosti so natančneje razložene v nadaljevanju tega poročila. Tukaj zgolj
omogočajo oblikovalcem politike hitro in lahko razumevanje procesa, ki ga zahteva vpeljevanje sistema modelov dodane vrednosti. Prav tako jih lahko uporabimo za pomoč pri razvoju in pregledu vpeljevanja sistema modelov dodane vrednosti.
1. faza: Določanje ciljev politike in meril uspešnosti šol
•• eksplicitno identificirati cilje šolske politike za vpeljevanje sistema dodane
vrednosti. To vključuje specifikacijo ciljnih uporabnikov dodane vrednosti in
to, kako so lahko rezultati dodane vrednosti šol interpretirani, da bi dosegali
cilje politike.
To bi moralo obsegati:
–– Ali bodo rezultati dodane vrednosti šol klasificirani v kategorije uspešnosti. Če bodo rezultati dodane vrednosti uporabljeni za to, da bodo
klasificirali šole v zelo uspešne ali neuspešne, je potrebno določiti,
kako bo ta klasifikacija določena, kako se povezujejo s specifičnimi
vnaprej določenimi statističnimi in/ali veljavnimi konceptualnimi
kriteriji. Potrebno je identificirati cilje oblikovanja teh klasifikacij,
vključno z dejanji, ki jih bo treba narediti, ko bo šola enkrat postavljena v določeno kategorijo. Nato je pomembno identificirati, kako
bodo klasifikacijo sporočili šoli in ali bo sporočena javnosti.
95
–– Če naj bodo informacije dodane vrednosti ekstenzivno uporabljane
interno kot orodje za razvoj spodbud za izboljševanje šole, bo to vplivalo na druge odločitve (na primer izbiro podatkov in modelov) in
prinaša koristi pri zgodnjem planiranju, financiranju in oblikovanju
pilotnega programa, da bi evalvirali te cilje.
–– Če bodo informacije o dodani vrednosti objavljene, lahko obliko,
v kateri bodo objavljene dodatno razvijemo v pilotni fazi, vendar
morajo biti okviri za objavo vzpostavljeni, da jih lahko ocenjujemo
med pilotnim procesom.
–– Kako bodo uporabljene informacije o dodani vrednosti znotraj obstoječih ocenjevalnih struktur in mehanizmov, skozi katere evalvacija šol
že poteka (npr. šolski inšpektorati ali primerljive ustanove).
•• Pri določanju meril dodane vrednosti, na katerih je utemeljena uspešnost
šole, je treba upoštevati kategorizacijo meril uspešnosti in ali bo pri določanju modelov dodane vrednosti uporabljena kontinuirana, kategorična ali
dihotomna spremenljivka. To bi moralo biti vezano na dejanja, ki izhajajo iz
rezultatov dodane vrednosti šol in iz spodbud, ki nastajajo znotraj njih.
•• Treba bi bilo izvesti pregled obstoječe strukture ocenjevanja učencev, da bi
lahko ugotovili ali je treba razviti nadaljnja ocenjevanja ali je treba obstoječo strukturo prilagoditi, da bo v skladu s cilji modelov dodane vrednosti.
•• Vzpostavljen mora biti okvir, ki bo jasno identificiral posamezna ocenjevanja
učencev, na katerih bo merjena uspešnost šole. Ta okvir bi moral omogočati:
–– identifikacijo ustreznih ocenjevanj učencev za modele dodane vrednosti znotraj obstoječe strukture ocenjevanja;
–– identifikacijo predmetov in razredov/letnikov, pri katerih mora potekati ocenjevanje;
–– identifikacijo fokusa ocenjevanja učencev (npr. minimalni standardi
pismenosti ali nepretrgane meritve uspešnosti za vse standarde);
–– premisliti je potrebno, kako lahko odločitve o vrsti izbranega ocenjevanja vplivajo na uspešnost šole in na pobude znotraj šol. Na primer,
ali je fokus na računsko pismenost preveč ozek, da bi meril uspešnost
celotnih šol in bi širše ocenjevanje bolj enakovredno razporedilo
spodbude za povečanje uspešnosti znotraj šolskega izobraževanja;
–– vrednotenje in potencialno tudi nadaljnji razvoj ocenjevalnih orodij,
da bi zagotovili, da jih lahko uporabljamo za modele dodane vrednosti. Še posebej pomembno je, da lestvica ocenjevanj omogoča smiselno interpretacijo uspešnosti in časovni preskok v merilih uspešnosti z longitudinalnimi podatki.
96
2. faza: Predstavitev in uporaba informacij o dodani vrednosti
•• Če cilji šolske politike in struktura ocenjevanja učencev podpirajo sistem
modelov dodane vrednosti, se je potrebno odločiti za najprimernejšo
metodo za predstavitev informacij o dodani vrednosti. Ta bi morala upoštevati politiko vključevanja interesnih skupin in skozi povratne informacije
iz šol v pilotnem programu izvedeti najučinkovitejši način predstavitve in
uporabe rezultatov.
•• Če
bodo rezultati dodane vrednosti šol objavljeni, mora biti določeno,
katero/a merilo/a dodane vrednosti bomo uporabili in kako jih bomo predstavili (same zase ali skupaj z drugimi podatki).
•• Smernice za interpretacijo informacij o dodani vrednosti bi morale biti razvite
in bi morale vključevati kategorizacijo rezultatov šol z vzpostavljenimi povezavami med tovrstno klasifikacijo in povezanimi politikami in programi. To
bi lahko, na primer, identificiralo, rezultati katerih šol bi lahko bili klasificirani
kot zelo uspešni ali neuspešni, in dejanja, ki iz take klasifikacije izhajajo. Če so
potrebna konkretna dejanja kot posledica rezultatov dodane vrednosti, potem
je treba poiskati »sprožilne elemente« in o njih obvestiti interesne skupine.
•• Za odgovornost posameznih šol in za namene izbire šol je potrebno določiti
posebna merila. Pri tem ima uporaba enotnega merila uspešnosti precej prednosti in analiza bi morala biti izvedena glede na vprašanja, povezana s temi
izbirami. Na primer, merilo, ki se osredotoča le na minimalno raven pismenosti
bo pozornost šol – tako pozitivno, kakor tudi negativno – usmerilo na posamezne predmete in učence s specifičnimi sposobnostmi. Usmerjanje pozornosti na posamezne predmete ima podoben učinek. Po drugi strani pa lahko
merilo dodane vrednosti, ki računa povprečje rezultatov dodane vrednosti pri
vseh predmetih, skrije posamezne diskrepance pri uspešnosti med predmeti.
•• Glede
na prednosti uporabe triletnega drsečega povprečja rezultatov
dodane vrednosti šol je potrebno razviti strategije za uporabo vmesnih
podatkov. To bi se osredotočilo na dejanja, ki izhajajo iz rezultatov dodane
vrednosti, kako so ta dejanja podprta z vmesnimi podatki in kako so vmesni rezultati objavljeni (če je to namen). Uporaba vmesnih podatkov naj bi
zagotavljala, da se vprašanja slabe uspešnosti šol ali učencev obravnavajo in
tako skrajšajo zaostanke, ki so del uporabe triletnega drsečega povprečja.
3. faza: Kakovost podatkov
•• Na voljo mora biti pregled sistemov podatkov v šolah in pregled širše infrastrukture za zbiranje in razširjanje podatkov, da bi ocenili obstoječe zmožnosti za zahteve popolnoma implementiranega sistema modelov dodane
vrednosti. Tovrsten pregled lahko vključuje oceno zmožnosti za uporabo
informacij dodane vrednosti na ravni šol in s strani drugih ustanov (npr. šolskih inšpektoratov ali primerljivih ustanov).
97
•• Po opravljenem pregledu obstoječih informacijskih sistemov in strukture
ocenjevanja učencev je morda potrebno vzpostaviti bolj celovito bazo
podatkov, da bi lahko izpolnili zahteve modelov dodane vrednosti. Podatkovne zahteve za sistem modelov dodane vrednosti morajo biti določene in
(če je potrebno) morata biti vzpostavljena ustrezno obsežna zbirka podatkov in informacijski sistem. Ta sistem je lahko še naprej ocenjevan skozi pilotni program.
•• Treba je določiti vzorec učencev, ki bo vključen v modeliranje dodane vrednosti. To se pretežno osredotoča na identificiranje šol in učencev, ki jih je
potrebno identificirati in, če je to potrebno, izločiti iz glavnega vzorca. Na
primer, v vrsti sistemov so šole in učenci s posebnimi potrebami izključeni iz
glavnega vzorca (čeprav se je še vedno mogoče veliko naučiti z izračunavanjem njihove dodane vrednosti). Naslednje vprašanje je zagotavljanje, da je
na voljo ustrezno sledenje učencem, da bi bilo mogoče identificirati mobilnost med šolami in med predhodnimi ter tekočimi obdobji ocenjevanja. V izobraževalnih sistemih z eksplicitnim sledenjem učencev (npr. med splošnimi in
poklicnimi izobraževalnimi usmeritvami) je prav tako treba zabeležiti, če se
učenec premakne iz ene usmeritve v drugo, kajti to lahko vpliva na izračun
dodane vrednosti in je pogosto povezan s problemi manjkajočih vrednosti.
Ta vprašanja je potrebno pregledati in nadalje razviti v pilotski fazi implementacijskega procesa. Takšen pregled bi vključeval analizo dodane vrednosti
uspešnosti specifičnih podskupin populacije, da bi lahko ocenili ali naj bodo
vključeni rezultati dodanih vrednosti šol v glavni vzorec pri ocenjevanju.
•• Treba je izvesti analizo o uporabi specifičnih socialno-ekonomskih kontekstualnih karakteristik modelov dodane vrednosti. To je odvisno od celostnih ciljev sistema in uporabljenega modela, na katerega prav tako vpliva
število in pogostost ocenjevanja učencev in celotna razporeditev uspešnosti po šolah.
•• Treba je določiti, ali bodo zahtevani podatki in informacijski sistem podpirali zgolj določanje modelov dodane vrednosti, ali tudi institucije (pretežno
šole), ki bodo uporabljale informacije, da bi udejanjile specificirane politike
in programe. Morda je potreben bolj obsežen sistem baz podatkov in informacij, da bi podprl dodatne uporabnike in razvoj programa.
4. faza: Izbira primernega modela dodane vrednosti
•• Za oceno veljavnosti posameznih modelov dodane vrednosti je mogoče
uporabiti pilotni program. Številne modele dodane vrednosti je potrebno
oceniti na podlagi pridobljenih podatkov v pilotni fazi (kjer je mogoče,
uporabiti podatke iz že obstoječih ocenjevanj učencev). Pilotna faza je nato
lahko uporabljena za presojo prednosti in pomanjkljivosti posameznih
modelov dodane vrednosti in izbiro najustreznejšega modela.
98
•• Pri izbiri modela je pomembno identificirati, kako bodo cilji šolske politike
in priporočena uporaba šolskih rezultatov dodane vrednosti usmerjali izbiro
modela. Določeni cilji politike so lahko bolje doseženi v specifičnem modelu
in te cilje je treba artikulirati preden se začnejo analizirati drugi modeli. To
vključuje identifikacijo oblike odvisnih spremenljivk, kako bodo informacije
o dodani vrednosti uporabljene in ali bodo oblikovane kategorije uspešnosti šole.
•• Potrebno je identificirati statistične in metodološke kriterije po katerih so
analizirani modeli dodane vrednosti. Analiza, ki poteka s pilotnimi podatki v
fazi vpeljevanja, se koncentrira na:
–– varianco v vsakem modelu dodane vrednosti. To je potrebno analizirati, da se oceni primernost posameznega modela. Mogoče je, da
je določen model bolj ustrezen, če lahko odkrije večje število šol, ki
so statistično drugačne od povprečja ali vnaprej določenih kriterijev;
–– uporabo družbeno-ekonomskih kontekstualnih podatkov in vlog, ki
jih različne komponente igrajo pri analizi dodane vrednosti. Analize
je potrebno izvesti, da bi ocenili vpliv, ki ga ima vključitev oziroma
izključitev posameznih lastnosti na rezultate dodane vrednosti posamezne šole in na oceno dodane vrednosti;
–– potencialno pristranskost v modelu, ki ga je potrebno analizirati (in
potencial, da jo lahko znižamo) v pilotni fazi vpeljevanja. Pomen
manjkajočih podatkov je lahko analiziran in primerjave z obstoječimi
podatki in analizami se lahko izkažejo za koristne;
–– domneve, ki zadevajo manjkajoče podatke. Te lahko ovrednotimo
glede na rezultate, ki jih dobimo v pilotni zbirki podatkov. Nato je
potrebno razviti postopke, ki bodo zmanjšali frekvenco manjkajočih
podatkov;
–– ocene dodane vrednosti za majhne šole. Te lahko testiramo in pripravimo priporočila tako za analizo, kakor tudi za predstavitev rezultatov
šole;
–– stabilnost rezultatov dodane vrednosti za šole in kako nanjo vpliva
klasifikacija uspešnosti šole in izbira specifičnega modela dodane
vrednosti. Pri tovrstnih analizah je pomembno upoštevati ne samo
celostno raven stabilnosti, ampak tudi spremembe pri posameznih
šolskih rezultatih. Nato lahko izvedemo analize vzrokov za takšno
nestabilnost in identificiramo, ali so določene šole bolj dojemljive za
nestabilnost pri svojih rezultatih.
•• Pomembno je analizirati vpliv različnih modelov pod predpisanimi cilji šolske politike in nameravane uporabe podatkov. To pomeni, da je pomembno
analizirati vpliv, ki ga ima izbrani model na različne šole ob upoštevanju
nameravane uporabe teh rezultatov. Takšna analiza se ne bi smela osredo-
99
točati samo na celoten model (npr. na to, kako dobro se prilega), ampak tudi
na njegov vpliv na posamezne šole. To ustvari temelje za priporočila o preferenčnem modelu dodane vrednosti v pilotnem poročilu.
5. faza: Komunikacija in strategije sodelovanja interesnih skupin
•• Razviti je potrebno strategijo za komunikacijo in vključevanje interesnih
skupin, ki bi slednje naredila za del razvoja sistema modelov dodane vrednosti. Lahko razvijemo komunikacijsko strategijo, ki jasno artikulira cilje in
razloge za sistem modelov dodane vrednosti, ki ga izvajamo in za uporabo
in interpretacijo rezultatov dodane vrednosti šole.
•• Osredotočanje na komunikacijsko strategijo mora biti usklajeno s cilji politike. Merila, katera uspešnost šole bo presojana morajo biti jasno opisana in
posledice za posamezne ravni šolske uspešnosti artikulirane.
•• Za analizo na ravni šole je potrebno razviti ustrezno infrastrukturo in smernice in za ravnatelje in učitelje je potrebno oblikovati informacijske pakete,
ki bodo pojasnili, kako interpretirati informacije o dodani vrednosti in kako
jih lahko uporabimo za namene izboljševanja šol. Podobne informacije
lahko pripravimo tudi za starše in za medije.
6. faza: Usposabljanje
•• Programi usposabljanj bi morali biti razviti z mislijo na specifične uporabnike. Usposabljanje za ravnatelje in učitelje bi se lahko osredotočilo na to,
kako so rezultati dodane vrednosti izvedeni in kako jih lahko v šolah uporabimo zato, da bi šole izboljšali. To lahko vključuje usposabljanje v statistični
analizi in v uporabljanju zahtevanega informacijskega sistema. Povratne
informacije s strani interesnih skupin med pilotnim programom bi morale
olajšati nadaljnje »brušenje« programov za usposabljanje in osvetliti, katera
področja so pomembna za učitelje in ravnatelje.
•• Usposabljanje za starše in družine bi moralo obsegati interpretacijo rezultatov dodane vrednosti, ki so predstavljeni javnosti, da bi olajšali izbiro šole.
Objava šolskih rezultatov lahko sproži obliko odgovornosti staršev. Paketi za
usposabljanje in informacije se lahko dajo na voljo, da je vsem jasno, kako
so rezultati izračunani in kaj pomenijo glede uspešnosti šole in izobrazbe, ki
so je deležni učenci. Tovrstno izobraževanje je lahko na voljo medijskim in
pedagoškim strokovnjakom.
100
7. faza: Pilotni program
•• Pilotni program naj bo strukturiran tako, da oblikovalcem politike dovoljuje
presojo in nadaljnji razvoj vseh vidikov sistema modelov dodane vrednosti
in ustreznih politik in programov, ki obkrožajo uporabo informacij o dodani
vrednosti. To vključuje:
–– operativne in implementativne zadeve, ki segajo od uvajanja ocenjevanja učencev do zbiranja, analize in razširjanja podatkov in drugih informacij o dodani vrednosti. Čeprav je pilotni program pogosto izveden na vzorcu šol, bodo nekateri izobraževalni sistemi imeli
dostop do popolnih podatkov. Če je mogoče, je koristno sistem preizkusiti na obsežnih serijah podatkov, da bi ocenili zahtevano infrastrukturo, še posebej, če je le-ta oblikovana in zgrajena med pilotno
fazo. Ocene dodane vrednosti na obsežnem naboru podatkov bi tudi
olajšala analizo izbire modela.
–– Čeprav to ni glavna tema tega poročila, lahko pilotni program analizira primernost uporabljenega ocenjevanja učencev.
–– Ocene, izvedene med pilotnim programom, omogočajo potrebno
analizo, za izbiro najustreznejše specifikacije modela dodane vrednosti, tako da presojajo različne modele v primerjavi z vnaprej določenimi kriteriji.
–– Če je dogovorjeno, da bodo rezultati dodane vrednosti spremenjeni
v specifične kategorije uspešnosti, je mogoče oceniti primernost klasifikacijske sheme. Če je potrebno izbrati specifične kategorije (npr.
neuspešne šole) na podlagi specifičnih kriterijev, potem lahko število
šol, ki padejo v vsako kategorijo uspešnosti, ocenimo z modelom
dodane vrednosti, o katerem premišljujemo.
–– Pregled strategij za komunikacijo z interesnimi skupinami in njihovo
vključevanje, skozi obstoječe načine znotraj šol. Ravnatelji, učitelji in
druge interesne skupine morajo biti v tak pregled vključene, da bi ocenile učinkovitost različnih načinov in še nadalje razvile strategije komunikacije in vključevanja. Sodelovanje teh skupin bi prav tako pomagalo
oblikovalcem politik pri določanju ključnih vprašanj, saj bi bile interesne skupine vključene v sistem spremljanja dejanskega vpeljevanja.
•• Pri izvajanju pilotnega programa morajo biti odločitve o velikosti in karakteristikah vzorca šol usklajene s cilji politike vpeljevanja celotnega sistema
modelov dodane vrednosti. To zahteva identifikacijo ustreznih področij prioritet, na primer šol v neprivilegiranih skupnostih, in pripravo primernega
okvirja za vzorčenje.
101
•• Pilotni program mora biti uporabljen za ocenjevanje dejanj, povezanih z
rezultati modelov dodane vrednosti. Dejanja vključujejo klasifikacijo šol v
kategorije uspešnosti, zagotavljanje nagrad in sankcij, razvoj specifičnih
iniciativ in dodatnih evalvacij, ki jih je potrebno opraviti. Treba je tudi določiti, kako so te dejavnosti vpeljane, z identificiranimi »sprožilnimi momenti«
(tj. specifičnimi rezultati dodane vrednosti), če je to primerno in z začrtanimi
ustreznimi odzivi.
•• Pilotni program mora vsebovati poročilo ali serijo priporočil, utemeljenih
na izsledkih in izkušnjah izvajanja pilotnega programa. To osvetli vprašanja,
ki se jim je treba posvetiti pred dejansko vpeljavo. Tovrstno poročilo lahko
vključuje tudi rezultate analize najustreznejšega modela dodane vrednosti
in oceno vpliva na ključne interesne skupine. Oblikovati je potrebno tudi
ključna področja, ki morajo biti fokus spremljanja kakovosti, uporabljenega
v času dejanskega uvajanja sistema modelov dodane vrednosti.
8. faza: Nepretrgan razvoj
•• Treba je vzpostaviti primerno financiran sistem spremljanja kakovosti, ki se
osredotoča na zbrane podatke, zmožnosti uporabljenega informacijskega
sistema, sprejeto modeliranje dodane vrednosti, politike in programe, za
katere mora skrbeti in na vpliv na interesne skupine.
•• Takšen sistem spremljanja kakovosti ne bi analiziral samo rezultatov modelov dodane vrednosti, ampak tudi rezultate posameznih šol in s tem skrbel,
da bi model še vedno podpiral zaželene cilje šolske politike. Prav tako bi
sistem poudarjal specifične rezultate šol (na primer tistih, ki so bile skozi leta
manj stabilne) in analiziral različna vzorčenja in podatke. Morda bi poudarjal
tudi težave pri ocenjevanju, ki bi se jih bilo treba lotiti.
•• Na podlagi analiz se nepretrgoma razvija model(e) dodane vrednosti, ki so
v uporabi. S tem se izboljša »prileganje« specifikacij, in jih prilagodi kakršnimkoli spremembam v podatkih ali ciljih šolske politike. Če se spremeni
temeljni model dodane vrednosti, je potrebno analizirati vpliv, ki ga to ima
na šole.
102
2. del
NAČRTOVANJE modelov dodane
vrednosti
103
Uvod
V tem poročilu je izraz modeliranje dodane vrednosti uporabljen za označevanje razreda statističnih modelov, s katerimi ocenjujemo relativni prispevek
šol k napredku učencev glede na izražene ali predpisane izobraževalne cilje (npr.
kognitivne dosežke), izmerjene vsaj dvakrat v določenem časovnem obdobju.
Če je tak napredek želen rezultat šolanja, lahko modele dodane vrednosti uporabimo na različne načine; uporabijo jih lahko ministrstvo in njegove službe, pa tudi
šolski upravljavci. Na voljo je veliko različnih modelov dodane vrednosti, vsak od
njih pa ima svoje prednosti in pomankljivosti. Drugi del tega poročila identificira
ključna vprašanja pri načrtovanju modelov dodane vrednosti in nato predstavi
opise nekaterih pogostejših modelov. Nato predstavi različne statistične in metodološke modele: to naj bi oblikovalcem šolske politike in upravljavcem pomagalo
načrtovati modele dodane vrednosti in izbrati najprimernejšega za razvoj šole.
Tako bi lahko spremljali, kako šola napreduje proti ciljem, specificiranim v izobraževalnem sistemu.
Rekli smo že, da to poročilo ohranja razliko med modeli dodane vrednosti in
kontekstualiziranimi modeli dosežkov: modeli dodane vrednosti kot osnovo za
upoštevanje razlik v dosežkih učencev med šolami vedno uporabljajo vsaj eno
merilo relevantnih predhodnih akademskih dosežkov, kontekstualizirani modeli
dosežkov pa ne. Drugi del predstavlja nekatere empirične rezultate, ki zadevajo
prednosti vključevanja predhodnih testnih podatkov v oceno učinkovitosti šol. Na
žalost še ni splošnega strinjanja o opredelitvi statističnih modelov, ki bi jih lahko
zares poimenovali »dodana vrednost«. Predstavljajte si, da sta za vsakega učenca
na voljo dva testna rezultata (na primer rezultata pri matematiki v dveh zaporednih razredih). Če so rezultati izraženi na skupni lestvici, lahko izračunamo razliko (individualni napredek). Na povprečni napredek vpisanih učencev lahko gledamo kot na merilo dodane vrednosti šole. Poleg tega lahko razliko v povprečnih
napredkih različnih šol ali razliko med povprečnim napredkom posamezne šole in
sredino povprečnih razlik vseh šol obravnavamo kot merilo relativne uspešnosti
šole. Statistične lastnosti takšnih modelov so problematične, ker so prilagoditve,
narejene za variacije med šolami pri vpisu učencev, šibke. Zato se z njimi ne bomo
več ukvarjali, vendar pa se mora bralec zavedati, da literatura te modele obravnava kot modele napredka/rasti (gain/growth models).
105
Kaj so osnove analize dodane vrednosti? Prvič, podatki o testnih rezultatih
velikega števila šol so zbrani in organizirani v skladu z zahtevami uporabljenega
modela. Baza za vsakega učenca vsebuje vsaj naslednje podatke: šole, ki jih je
obiskoval; rezultate standardiziranih testov ob vsaj dveh zaporednih priložnostih;
demografske podatke in druge podatke o učenčevem okolju.13 Ko je model uporabljen na podatkih, je rezultat niz številk, ena za vsako šolo. Vloga teh številk je
podobna vlogi, ki jo imajo ostanki pri enostavni regresiji. To pomeni, da predstavljajo tisti del izida šole (tj. povprečen rezultat učencev), ki se ga ne da pojasniti
z različnimi neodvisnimi spremenljivkami, vključenimi v model. Kakor ostanki se
tudi te številke izenačijo pri ničli. Številka, vezana na posamezno šolo, je začasno
interpretirana kot merilo relativne uspešnosti šole; to pomeni, da jo je treba razumeti kot oceno razlike med prispevkom šole k znanju svojih učencev in povprečnim prispevkom vseh šol k znanju učencev, s katerih so bili pridobljeni podatki.
Te številke so torej ocene dodane vrednosti šole. Predstavljajte si, na primer, da se
analiza osredotoči na uspešnost učencev pri posameznem preizkusu znanja. Po
dogovoru je ostanek ali ocena dodane vrednosti za povprečno šolo nič. Pozitiven
izračun dodane vrednosti torej pomeni, da so šole, ki so jo dosegle, očitno prispevale več od povprečja, negativen pa ravno obratno. V zadnjem primeru pa je še
vedno mogoče, celo verjetno, da so učenci v časovnem obdobju, ki je del študije,
v takšni šoli vseeno dosegli napredek.
V zgornjih primerih je pomembno vedeti, da je ocena dodane vrednosti šole
odvisna od vseh šol, ki so vključene v študijo: ocene dodane vrednosti so definirane relativno. Model torej poskuša pojasniti razlike med rezultati v različnih
šolah v povezavi z razlikami v lastnostih učencev različnih šol. Ocenjeni model in
njegov uspeh pri razlaganju variance v rezultatih bo določen na podlagi šolskih
podatkov, ki bodo uporabljeni. Uporaba drugega niza šol bi pripeljala do drugače ocenjenega modela. Razlika med rezultatom šole in tistim, ki bi ga lahko
napovedali iz ocenjenega modela (torej povprečnim rezultatom), je označena
kot dodana vrednost šole, saj gre za del rezultata, ki ga meritve značilnosti učencev ne pojasnijo. Kakor je nakazano v prejšnjem odstavku, so ocene dodane vrednosti, definirane tako, preprosto ostanki regresijskega modela in tako predvidoma relativno definirani. Ideja, da je kazalnik uspešnosti šole definiran glede
na vse šole, je v nasprotju s kazalniki, ki temeljijo na dosežkih in so praviloma
absolutno definirani. To ni pomankljivost, vendar se je treba tega zavedati, ko
interpretiramo rezultate dodane vrednosti. Pri številnih aplikacijah se zanimanje
osredotoči na tiste šole, katerih ocenjeni prispevki so bistveno različni od povprečja (torej močno pozitivni ali močno negativni). Zato lahko večina modelov
dodane vrednosti tudi generira predvideno standardno napako ocene dodane
vrednosti šole. Razmerje med oceno dodane vrednosti in njeno standardno
13 Čeprav večina modelov dodane vrednosti uporablja podatke poleg testnih dosežkov tudi kontekstualne rezultate, ne pozabite, da nekateri niso taki. Najpomembnejši med njimi je model EVAAS.
106
napako lahko uporabimo, da bi določili, ali je ocena šole statistično opazno različna od povprečja. Seveda mora biti za doseganje ciljev šolske politike statistična pomembnost upoštevana v povezavi s praktičnim pomenom.
Ocene dodane vrednosti šol je mogoče izračunati ločeno za vsak razred oziroma letnik, in če je tako, so še posebej koristne za namene diagnosticiranja. Če pa
bi radi naredili povzetek, sestavljeni kazalnik dodane vrednosti šole izračunamo
s pomočjo povprečja ocen dodane vrednosti za različne razrede/letnike v šoli.
Četudi gre za priročno merilo, priporočamo, da na podlagi tovrstnih zbirnih statistik ne primerjamo šol, ki nimajo enakega števila razrednih stopenj/letnikov, saj se
lahko statistične lastnosti ocen dodane vrednosti od razreda do razreda zelo spreminjajo. Četudi ocene dodane vrednosti navadno imenujemo »(ocenjeni) učinki
šole«, je treba imeti v mislih, da se ti ocenjeni učinki šole celo v najidealnejših okoliščinah lahko zgolj približajo »resničnim« šolskim prispevkom k testnim dosežkom učencev (o tem podrobneje spodaj). Pojem »učinek« je vzet iz statistične
literature in na splošno ne implicira vzročnega prispevka. Enako pomembno: statistične analize same po sebi ne morejo razkriti razlogov za (očitne) razlike v uspešnosti šol. Tovrstne razlage zahtevajo obiske na lokaciji in nabor bistveno bogatejših kvalitativnih podatkov o aktivnostih učenja in poučevanja v šoli. In končno,
šole imajo poleg dvigovanja testnih rezultatov še veliko drugih ciljev. V skladu s
tem mora evalvacija šole upoštevati širok razpon kazalnikov, ki sicer vključujejo
meritve dodane vrednosti, utemeljene na testih, vendar niso omejeni samo nanje.
Kakor je bilo nakazano na začetku, so modeli dodane vrednosti namenjeni ocenjevanju prispevka šol k procesu učenja. Beseda »prispevek« označuje del, ki ga šola
igra pri uresničevanju zaželenega rezultata (torej izboljšanja testnih rezultatov kot
merila za učni napredek učenca), pri čemer ustrezno upošteva tudi vlogo drugih
dejavnikov, ki so z njim povezani. Od tod namen, da bi ocene modela dodane vrednosti obogatili z vzročno interpretacijo. Razliko pri ocenjenih prispevkih dveh šol
torej navadno interpretiramo kot odsev razlike v njuni učinkovitosti pri promoviranju učenja. Razumljivo je, da hočejo oblikovalci politik take vzročne sklepe izvajati
na podlagi statistične analize. Če bi resnično izolirali prispevek šole, bi imeli čvrsto
podlago za dejanja različnih vrst. Glede na to, kakšne podatke imamo navadno na
voljo, in glede na realno stanje omejenega razporejanja učencev v šole, pa bi bili
lahko vzročni sklepi problematični. Običajno se na vzročnost sklepa iz podatkov velikih naključnih eksperimentov, podobnih tistim, ki jih tipično izvajajo v kmetijstvu
ali medicini. V najpreprostejši obliki obstajata dve skupini: kontrolna in poskusna.
Posamezne enote so naključno določene v eno od obeh skupin. Enote v prvi skupini
dobijo standardno zdravljenje (ali placebo), medtem ko enote v drugi skupini dobijo
usmerjen tretma. Razlika med povprečnimi rezultati obeh skupin je merilo relativne
učinkovitosti usmerjenega tretmaja v primerjavi s standardnim. Uporaba načela
naključnosti in velikih vzorcev zmanjšuje verjetnost, da bi bila velika razlika v rezultatih posledica kombinacije naključnih nihanj in aktivnosti neopazovanih dejavnikov.
107
Modeli dodane vrednosti so poskus, da bi zajeli prednosti naključnega eksperimenta, ne da bi ga izvedli. V izobraževalnih okoljih so učenci le redko naključno
razporejeni v šole, najbolj odločilni pri vpisu pa sta strošek in lokacija. Tako na
šolske podatke pogosteje gledamo kot na rezultat observacijske študije in ne
toliko statističnega eksperimenta. Zato je lahko preprosta primerjava šol in njihovih povprečnih rezultatov – ali celo povprečnih mer napredka – zavajajoča. Kakor
bomo prikazali spodaj, večina modelov dodane vrednosti uporablja bolj sofisticiran pristop, in sicer poroča o dosežkih, ki so bili prilagojeni glede na razlike v
vrsti lastnosti učencev. Te prilagoditve naj bi upoštevale razlike med populacijami
učencev po šolah, ki morda vplivajo na te dosežke. Namen je izolirati relativni prispevek same šole (njenega osebja, politik, sredstev) k znanju učencev.
Pravilna uporaba modelov dodane vrednosti leži na razumevanju razlike med
statističnim opisom in vzročnostjo (Rubin, Stuart in Zanutto, 2004). Prestavljajte
si, na primer, da je povprečni dosežek učencev šole Alfa v enem letu 8 točk, tistih
iz šole Beta pa 12 točk. To je opis. Vendar pa kot rezultat uporabe določenega
modela dodane vrednosti pridobimo oceno »učinka šole«, za katerega je predlagano, naj ga obravnavamo kot kazalnik uspešnosti šole. Predvidevajmo na primer,
da je učinek, povezan s s šolo Alfa, 2, učinek, povezan s šolo Beta, pa 5 (ne pozabite, da bo ocena učinka šole tipično numerično različna od preprostega povprečnega dosežka v šoli). Želena interpretacija teh učinkov je, da bi bil povprečni dosežek učencev šole Alfa 5–2 = 3, torej tri točke višji, če bi bili namesto tega vpisani
v šolo Beta. To pomeni, da je treba pri rezultatih analize dodane vrednoti vedno
upoštevati tudi vzročnost.
Vendar pa je prehod z opisovanja na statistično inferenco poln težav, saj učenci
šole Alfa niso bili vpisani v šolo Beta. Še več, učenci, vpisani v šoli Alfa in Beta,
vanju niso bili določeni naključno, ampak so se vanju vpisali zaradi celega spektra individualnih izbir. Tako pogoji za naključni eksperiment tukaj niso izpolnjeni.
Interpretacija razlik v ocenjenih šolskih efektih kot razlik pri učinkovitosti šole
zahteva predpostavko, da je model upošteval vse relevantne razlike med učenci
v obeh šolah. Če obstajajo neopazovani dejavniki, ki vplivajo tako na izbiro šole
kakor tudi na dosežek, potem je lahko neposredna vzročna interpretacija problematična, kajti ni se primerno lotila problema nasprotnih dejstev. Prav integralna
vloga nasprotnih dejstev je tista, ki razlikuje vzročno inferenco od enostavnega
opisa – in jo dela toliko bolj zapleteno.
V bistvu lahko v teh okoliščinah razlikujemo vsaj dve vrsti vzročnosti (Raudenbush in Willms, 1995; Raudenbush, 2004). Prvi, tako imenovani učinek vrste A, je
tesno povezan s tistim, ki smo ga opisali zgoraj in je relevanten v situacijah, kjer
so starši zainteresirani za izbiro šole, v kateri bi šlo njihovim otrokom kar najbolje.
Verodostojen odgovor dobijo tako, da v vsaki šoli poiščejo otroke, ki so podobni
njihovemu, in nato ugotovijo, katera skupina je uspešnejša. Razlika v uspešnosti
108
bi bil v tem primeru učinek vrste A. Čeprav je zapažena večja uspešnost lahko
delno posledica neopazovanih razlik med obema skupinama, ni razloga, da ne bi
imeli raje očitno učinkovitejše šole. Vendar pa učinek vrste A ni primerno orodje
za evalvacijo razvoja šole ali šolske odgovornosti. Povprečna razlika v uspešnosti
med šolami je namreč morda posledica kombinacije razlik v kontekstih, v katerih
delujejo šole, in razlik v šolskih praksah. Raudenbush in Willms (1995) definirata
»kontekst šole« kot tiste dejavnike, na katere imajo pedagogi le malo vpliva, na
primer demografsko sestavo šole in okolje skupnosti, v kateri šola deluje. »Šolsko prakso« definirata kot agregat pedagoških strategij, organizacijskih struktur
in dejavnosti vodenja na šoli, kar načeloma lahko nadzoruje šolsko osebje. Četudi
so starši lahko precej indiferentni do relativnih prispevkov obeh komponent, Raudenbush in Willms (1995) trdita, da upravljavci in oblikovalci šolske politike želijo
razločiti prispevke šolskega konteksta in šolskih praks k dosežkom učencev in izolirati razliko v uspešnosti zaradi razlike v šolskih praksah. To bi sestavljalo učinek
vrste B.
Poleg dvoumnosti glede tega, kaj naj bi bilo klasificirano kot šolska praksa,
Raudenbush in Willms (1995) odkrivata, da je iz standardnih podatkov šolskega
sistema tako rekoč nemogoče dobiti nepristranske ocene učinkov vrste B. Celo
učinke vrste A je mogoče v celoti oceniti le v idealnih okoliščinah, za katere pa
je močno neverjetno, da se bodo v realnosti pojavile (za nadaljnjo diskusijo o
vprašanju pridobivanja nepristranskih ocen prispevka šole k znanju učencev glej
McCaffrey et al., 2003; Braun, 2005a; van de Grift, 2007). Čeprav lahko te težave
nekoliko jemljejo pogum, je treba opozoriti, da je kakršen koli empirični kazalnik
uspešnosti šole zmotljiv, saj je lahko podvržen tako spremenljivosti kakor tudi pristranskosti. Dejansko je bila analiza dodane vrednosti bolj strogo presojana kakor
drugi pristop, na primer inšpekcijskih obiskov ipd. Zato je, če je primerno vpeljana
in interpretirana, analiza dodane vrednosti generator kazalnika na ravni šole, ki
skupaj z drugimi kazalniki prinese informativno podobo tega, kako deluje šola.
Ker imajo ocene dodane vrednosti drugačno empirično bazo kakor večina drugih
kazalnikov, so lahko še posebej dragocen dodatek portfelju pregleda šolske uspešnosti. Analiza dodane vrednosti lahko služi kot prva faza večfaznega postopka,
v katerem je, na primer, pregledan odnos med ocenami dodane vrednosti in različnimi značilnostmi šol, da bi z njegovo pomočjo identificirali koristne ali presenetljive vzorce. Upoštevati moramo tudi naslednje: uporabnost ocen dodane
vrednosti je bistveno večja od meril uspešnosti šole, utemeljenih na primerjavah
surovih testnih rezultatov, ki jih uporabljajo nekatere države članice OECD (OECD,
2007a), ali celo rezultatov kontekstualiziranih modelov dosežkov, poudarjenih pri
toliko postopkih sprejemanja odločitev, ki zadevajo uspešnost šol. Naše zagovarjanje meril dodane vrednosti v tem poročilu osvetljuje večjo kredibilnost ocen
dodane vrednosti. Vseeno pa je treba prediskutirati nevarnosti in predpostavke, ki
veljajo pri uporabi modelov dodane vrednosti, da bi pospešili cilje izobraževalne
politike.
109
110
4.Premislek ob oblikovanju
Ne glede na to, ali gre za statistični model ali za hišo, je oblika določenega
izdelka odvisna od njegovega namena in s tem povezanimi omejitvami. Tej zmesi
moramo dodati tudi oblikovalčeve izkušnje s podobnimi ali sorodnimi izdelki. V
kontekstu modelov dodane vrednosti nastopa vrsta ključnih dejavnikov, ki vplivajo na oblikovanje, med njimi so: kakovost podatkov, celovitost in obseg podatkov, filozofija statističnih prilagoditev, tehnična kompleksnost, preglednost in
stroški. O vsakem izmed njih bomo spregovorili v nadaljevanju.
1. Kakovost ocenjevanja učencev in testnih podatkov. Ker modeli dodane
vrednosti delujejo na podlagi podatkov, pridobljenih z ocenjevanjem učencev,
moramo pozornost posvetiti predvsem naravi in kakovosti teh podatkov, zlasti
temu ali podatki primerno odsevajo znanje in zmožnosti učencev glede na zastavljene kurikularne cilje. To je bistvo veljavnosti testnih rezultatov, ki bi ga morali
obravnavati na več načinov. Štiri najbolj relevantna vprašanja so: ali test izraža
vse (ali vsaj vse najpomembnejše) kurikularne cilje; ali vsi učenci izpit opravljajo v
primerljivih razmerah; ali so rezultati testa dovolj natančni, da podpirajo predvidene sklepe; ali drži, da na rezultate testov niso vplivali neprimerni dejavniki in/
ali korupcija. Če so odgovori na ta vprašanja pritrdilni, lahko razmislimo o uporabi
modelov dodane vrednosti.
2. Celovitost podatkov in njihov obseg. Postopke za pretvorbo neobdelanih
testnih podatkov v uporabne podatkovne datoteke in tudi celovitost podatkov
moramo pazljivo ovrednotiti. Za določanje modelov dodane vrednosti navadno
potrebujemo dokumentacijo o učencih za dve ali več let. V longitudinalnih podatkovnih datotekah določeni rezultati včasih manjkajo, in sicer zaradi nepopolnega
ujemanja dokumentov, odsotnosti učencev od pouka ter zaradi pri- in odseljevanja. Na splošno pa velja, da je verodostojnost rezultatov toliko manjša, kolikor
večji je delež manjkajočih podatkov. Poleg tega nekateri modeli dodane vrednosti
uporabljajo testne podatke več subjektov in/ali pomožne podatke, ki izhajajo iz
karakteristik učencev (npr. spola, rasne/etnične pripadnosti, socialno-ekonomskega statusa). Tudi v teh primerih je treba ovrednotiti celovitost in popolnost
podatkov.
111
3. Filozofija prilagoditev. Modeli dodane vrednosti se razlikujejo glede
na vključenost prilagoditev zaradi karakteristik učencev. Takšne prilagoditve
so v nekaterih razredih modelov glavni temelj za obravnavo ocen kot vzročnih
prispevkov šol. Pri prilagoditvah moramo paziti na izbor karakteristik, saj lahko
zaradi napak pri merjenju uporabljanih karakteristik pride do pristranskosti, in
sicer ko prilagoditev zaradi karakteristik, na katere je utegnila vplivati politika šole,
povzroči neželeno pristranskost pri oceni uspešnosti šole. Primeri takšnih karakteristik so odnos učencev do šole ali povprečna tedenska količina domačih nalog.
Pri drugih razredih modelov pa vsak učenec deluje tudi lastno »izhodišče«, zato
modeli ne vsebujejo eksplicitnih prilagoditev. Namesto tega izkoriščajo kovariacijo v testnih podatkih, zbranih za več predmetov prek več let, ali pa vključujejo
učence v modele s fiksnim učinkom. Te različice bomo podrobneje opisali v nadaljevanju.
4. Tehnična kompleksnost. Modeli dodane vrednosti se raztezajo od preprostih regresijskih modelov do izjemno sofisticiranih modelov, ki zahtevajo bogate
podatkovne baze in najsodobnejše izračunske postopke. Na splošno bi lahko rekli,
da so pri oceni uspešnosti šole boljši kompleksnejši modeli, saj v večji meri izločijo neželene dejavnike, čeprav to še ostaja predmet razprave. Ponavadi sta slabi
strani kompleksnejših modelov večje zahteve po osebju in daljši čas za vzpostavitev in preverbo ustreznosti sistema. Kompleksnejši modeli navadno zahtevajo
izčrpnejše podatke (leta in predmete), zato prav dostopnost podatkov omejuje
kompleksnost možnih modelov. Oteženo poročanje o delovanju in uporabi kompleksnejših modelov lahko poleg tega zmanjša preglednost sistema in poveča
probleme pri pridobivanju podpore interesnih skupin.
5. Preglednost. Čeprav ideja »dodane vrednosti« pritegne že zaradi občutka,
je lahko njena vpeljava v šolsko okolje kontroverzna, zlasti če nekatere interesne
skupine nanjo gledajo sumničavo. Številne sume lahko preženemo, če je delovanje modela razmeroma preprosto razložiti v netehničnem jeziku. Če pa je po drugi
strani model dodane vrednosti predstavljen kot »črna skrinjica«, njegovo notranje
delovanje pa je dostopno zgolj elitni skupini tehnokratov, bo najbrž težje doseči
njegovo splošno sprejemljivost. Preprostejši modeli so navadno preglednejši in
zato utegnejo biti bolj priljubljeni v vsakdanjem delu šole, četudi so tehnično
manj zaželeni.
6. Stroški. Največ stroškov povzroči zbiranje podatkov in vzpostavitev uporabne baze podatkov. Sredstva za prvo navadno črpamo iz izobraževalnega proračuna, saj rezultate testov uporabljamo za akademske cilje. Stroški vzpostavitve
in vzdrževanja ustrezne podatkovne baze so lahko kljub temu znatni, prav tako
pa tudi stroški za vpeljavo novega sistema kazalcev uspešnosti šole, med katerimi
je lahko tudi stik z deležniki (in njihovo usposabljanje). Dejanski stroški delovanja
modela, izvajanje sekundarnih analiz in izdelovanje poročil, so razmeroma skro-
112
mni, zlasti po letu ali dveh delovanja. Vendar pa se bosta ocena stroškov in njihov
obseg od države do države močno razlikovala. O vprašanjih, ki vplivajo na stroške
in izvedbo sistemov, pri katerih uporabljamo modele dodane vrednosti, bomo
razpravljali v III. delu tega poročila, ki se osredotoča na vprašanja izvedbe.
Prvi dve vprašanji sta temeljna gradnika razvoja sistema modelov dodane vrednosti. Obravnavali ju bomo v nadaljevanju, in sicer v kontekstu identificiranja
ključnih vprašanj, s katerimi se upravljavci in oblikovalci šolskih politik soočajo pri
izgradnji učinkovite baze podatkov za oblikovanje modela dodane vrednosti. O
tretjem in četrtem vprašanju bomo nato spregovorili tam, kjer se dotikamo statističnih in metodoloških ozirov. Toda zaradi pomena teh vprašanj o njih razpravljamo tudi v drugih delih tega poročila, še zlasti v petem in šestem poglavju, v
katerih predstavljamo različne tipe modelov dodane vrednosti. Peto in šesto zgoraj navedeno vprašanje v tem poročilu obravnavamo kot vprašanji prezentacije in
implementacije.
Podatki o ocenjevanju učencev
To poročilo se ne ustavlja pri razvoju orodij za ocenjevanje, ki so v uporabi
pri modelih dodane vrednosti, pač pa se osredotoča na razvijanje in uporabo teh
modelov. O ocenjevanju v izobraževanju in ključnih odločitvah, ki so potrebne
pri razvoju orodij za ocenjevanje, je na razpolago obširna literatura. Ta opisuje
različne metode, po katerih lahko ocenimo zmožnost mišljenja na splošno in
kompetence, vezane na določen predmet. To poročilo literature sicer ne ocenjuje, vendar pa se nadaljnja razprava ukvarja tudi z nekaterimi odločitvami v
zvezi z okvirom ocenjevanja, ki lahko vpliva na razvoj modela dodane vrednosti,
pa tudi s tem, kako rezultate uporabljajo šole, upravljavci in oblikovalci šolskih
politik. Razpravljamo tudi o okvirih ocenjevanja učencev, ki so v rabi v različnih
sodelujočih državah, in sicer za ilustracijo različnih pristopov k tem vprašanjem.
Jasno je, da večina izobraževalnih sistemov okvirov za ocenjevanje učencev ni
razvila izrecno zaradi potrebnih podatkov za oblikovanje modelov dodane vrednosti. Bolj bo držalo, da so se modeli dodane vrednosti razvili, da bi koristno
uporabili podatke, zbrane prek obstoječega ocenjevanja učencev. Oblikovalcem
šolskih politik in upravljavcem bi morala razprava o oblikovanju okvirov ocenjevanja ponuditi informacije za razvoj ocenjevanj, ki bi okrepile uporabnost sistema modelov dodane vrednosti.
V številnih državah sta se razvoju in uvajanju nacionalnega kurikuluma pridružila tudi razvoj okvira za ocenjevanje in niz pripadajočih ocenjevanj. Rezultati
slednjih lahko služijo kot prispevek k različnim tipom določanja modelov dodane
vrednosti. Modele dodane vrednosti je mogoče uporabiti tudi na podatkih, pridobljenih s pomočjo standardiziranih testov različnih šolskih oblasti, pristojnih
za kurikulume. Vendar pa sta razvoj teh testov in interpretacija rezultatov mode-
113
liranja dodane vrednosti bolj zapletena. Pri oblikovanju standardiziranih testov
se lahko pojavijo problemi pristranskosti, če je ocena bolj usklajena s samo enim
kurikulumom. Težave se pojavijo tudi pri vrednotenju prispevka šol k učenčevemu
napredku, utemeljenem na podatkih, pridobljenih iz ocene, ki ni tesno povezana
s kurikulumom, ki naj bi ga šola izvajala ali v izvajanje katerega usmerja svoja
sredstva. Interpretiranje rezultatov modelov dodane vrednosti v takšnem kontekstu je lahko problematično. V številnih federalno urejenih državah je kurikulum
zasnovan na poddržavni ravni in se zato lahko od regije do regije precej razlikuje.
V izogib takšnim težavam bi bilo zatorej pametno modele dodane vrednosti uporabiti ločeno v okviru vsake poddržavne šolske oblasti, pristojne za kurikulum. Od
uporabe modelov dodane vrednosti za nadzorovanje in informiranje sistemskega
razvoja na tisti administrativni ravni, kjer se sprejemajo glavne odločitve, imamo
lahko tudi politične in institucionalne koristi. Seveda bodo premisleki o tem variirali od države do države glede na naravo nacionalnega sistema in tudi glede na
hierarhično strukturo odločanja na področju izobraževanja.
Konstruktna veljavnost
Rezultati testov so neobdelano gradivo za analizo dodane vrednosti in njihove lastnosti so seveda ključne tudi za kakovost iz tega izhajajočih ocen učinkov šol. Številne analize slonijo na domnevi, da so ti rezultati »dovolj dobri« – pri
čemer ne pojasnijo natančneje, kaj naj bi ta termin pravzaprav pomenil, niti ne
izvedejo nobene empirične raziskave o tem, kaj te rezultate pravzaprav določa.
Morda domneva o primernosti temelji na dejstvu, da rezultate testov v večini primerov uporabljamo predvsem za to, da na njihovi podlagi sprejemamo odločitve
o učencih in šele na drugem mestu za študije o učinkovitosti šol. Kljub temu pa
je vsekakor primerno, da pregledamo zaželene karakteristike podatkov, pridobljenih iz rezultatov testov v kontekstu analize dodane vrednosti. Kot je nakazala razprava z začetka tega poglavja, je treba vzpostaviti veljavnost in zanesljivost testov za ocenjevanje akademskih dosežkov. Glavne grožnje veljavnosti so
pomanjkljivosti pri opisu konstrukta in visoka raven zanj nebistvene variance
(Messick, 1989).
Največjo skrb glede prve grožnje povzročajo slabo zasnovani testi, ki se dotikajo samo nekaterih učnih ciljev ali pa vsebujejo neustrezne tematske poudarke.
To se navadno zgodi zaradi pomanjkanja strokovnega znanja sestavljavcev testov
in/ali finančnih preprek, ki omejujejo vrste nalog v testih. Veliko standardiziranih testov zaradi zmanjšanja stroškov za ocenjevalce vsebuje samo vprašanja
zaprtega tipa. Takšen format onemogoča ustrezno preizkušanje nekaterih zahtevnejših učnih ciljev, s čimer je povezana tudi skrb glede občutljivosti testne
sekvence na navodila. Kar pomeni, da bo, če so testi usklajeni s spreminjajočim
se kurikulumom, verjetno prišlo do »spremembe v konstruktu« (“construct shift”)
114
ob napredovanju učencev v višje razrede. To je povsem primerno za sklepanje o
zmožnostih učencev na vsaki stopnji, vendar pa lahko pripelje do pristranskosti
pri ocenah o dodani vrednosti, če so točkovne lestvice za različna leta vertikalno
povezane. Za nadaljnjo razpravo glej Martineau (2006).
V zvezi z drugo grožnjo je treba posebno skrb posvetiti znatnim odstopanjem
od standardizirane izvedbe, slabo sestavljenim ali dvoumnim nalogam in problemom, kakršen je slaba zanesljivost. Vprašanja, ki od učenca zahtevajo pisne odgovore in ki jih morajo ovrednotiti človeški ocenjevalci, lahko prispevajo k nezanesljivosti, če točkovalni postopki niso dobro izpeljani ali pa so slabo nadzorovani.
Na srečo lahko takšne tehnične težave razrešimo s pomočjo izobraževanja in prakse. Učinkovita izvedba bi morala vodstvu šol zagotoviti, da so rezultati učencev
pri reševanju testov razumno merilo za njihove akademske dosežke. Sicer lahko
šole, katerih učinek na videz ne dosega standardov, za to okrivijo test, iz analiz pa
so lahko izpeljani nepravilni sklepi, ki lahko na številnih ravneh pripeljejo do manj
optimalnih odločitev. Potencialna težava so tudi manipulacije testov posameznih
šol za višjo dodano vrednost. To je še zlasti škodljiv primer za konstrukt nebistvene
variance. Te probleme lahko nekoliko ublažimo s pomočjo strukture okvira ocenjevanj učencev in njihove vloge v odgovornosti šole in programih za izboljšanje
šole. O nastanku spodbud, ki bi utegnile voditi do takšnih neoptimalnih izidov,
razpravljamo v prvem delu.
Med preverjanjem kakovosti testov moramo biti pozorni tudi na vprašanji,
ali in kako so pripravljena različna orodja za ocenjevanje, ki jih uporabljamo več
zaporednih let. Če vsako leto uporabimo enako (ali v bistvu enako) obliko, potem
je verjetno, da se bo njena učinkovitost sčasoma zmanjšala in se bo uspešnost
pri reševanju testov povečala, ne da bi to pomenilo tudi dejansko večje znanje
(Koretz, 2005). Takšna »inflacija testnih rezultatov« spodkopava verodostojnost
analiz dodane vrednosti, še zlasti, če zajame več šol. Če pa vsako leto ustvarimo
različne oblike, potem moramo vsako novo obliko uskladiti s prejšnjo, da bi tako
obdržali primerljivost lestvice (Kolen in Brennan, 2004). Tudi večja napaka pri izenačevanju (equating error), ki vsebuje oboje, varianco merjenja in pristranskost,
kompromitira ocene dodane vrednosti. In končno, longitudinalne analize dodane
vrednosti ponavadi uporabljajo testne točkovne lestvice, ki so vertikalno povezane prek več stopenj (Harris et al., 2004). Različne strategije za vertikalno povezovanje prinašajo točkovne lestvice z različnimi lastnostmi, te pa imajo nato lahko
velik vpliv na ocene dodane vrednosti (Patz, 2007).
Gledano še bolj splošno obsega veljavnost testa oboje, konstruktno in posledično veljavnost (Messick, 1989). Slednja se nanaša na primernost sklepov in ukrepanja na podlagi rezultatov. Pomembnost rezultatov ni vprašljiva, prej je bistvo v
tem, ali lahko njihovo uporabo upravičimo glede na kontekst in namen. Tako so
lahko rezultati testov veljavni za določen namen, ne pa tudi za drugega. Veljavno-
115
sti ne moremo meriti »na vse ali nič«: pri njej gre za stopnje. Toda če imamo resne
pomisleke v povezavi ali s konstruktivno ali konsekvenčno veljavnostjo, potem se
ni priporočljivo lotevati analize dodane vrednosti, vsaj dokler se nismo s pomisleki
razumno soočili.
Merska napaka
Naslednja značilnost testnih rezultatov je zanesljivost, ki je merilo za ponovljivost meritvenega procesa. Zanesljivost je količina brez dimenzije (tj. ni izražena
v merskih enotah), njena vrednost pa niha med 0 in 1. Visoka zanesljivost (torej
takšna, katere vrednost je blizu 1) pomeni, da bi učenci dosegli zelo podobne
rezultate, če bi reševali drug test, po strukturi in formatu vzporeden testu, ki so
ga dejansko reševali. Če pa bi prišlo pri procesu testiranja do močnega »šuma«,
je posledica manjša zanesljivost. Nekatere lastnosti testa za določanje njegove
zanesljivosti so vidiki oblikovanja (kot na primer dolžina testa, format nalog) in
kakovost točkovanja odgovorov pri nalogah odprtega tipa. Nizka zanesljivost
ogroža veljavnost, saj pomeni, da bi bili rezultati analize dodane vrednosti lahko
ob ponovitvi testa bistveno drugačni.
Zanesljivost je sumarični pokazatelj enega vidika kakovosti testa. Termin,
tesno povezan z njo, je merska napaka, ki je izražena v enotah točkovne lestvice,
uporabljamo pa jo za določanje količine negotovosti, povezane z opazovanimi
testnimi rezultati. Preprosto povedano: visoka zanesljivost pomeni majhno mersko napako. Predstavljanje ponovljivosti testnih rezultatov v obliki merske napake
ima določene prednosti. Za veliko testov je mogoče izračunati mersko napako v
povezavi z vsako posamezno točko na merski lestvici. Navadno je merska napaka
najmanjša na sredini lestvice, kjer je običajno večina rezultatov učencev, največja pa je na njenih skrajnih koncih. Ta pojav je neposreden rezultat načina oblike
testov in njihovega razvoja. Problemi se lahko v teku merjenja uspešnosti učencev
še poglobijo, saj čas lahko privede do nadaljnjih napak v merjenju pri usklajevanju
različnih ocen učencev (Doran in Jiang, 2006). Standardna predpostavka pri regresijskih modelih je, da je vsaka opazovana vrednost kriterija izvedena iz razporeditve z enako varianco. Če merska napaka ni enaka po vsej merilni lestvici (homoskedastična), je lahko problematično, ko so kot kriterij uporabljeni testni rezultati.
Rezultat neupoštevanja heteroskedastičnosti so lahko pristranske ocene. Na tej
točki je le malo znanega o razmerju med neenotno mersko napako in posledično
pristranskostjo. Za nadaljnjo razpravo glej McCaffrey et al. (2003: 103).
Merska napaka lahko povzroči probleme tudi ob uporabi rezultatov testov
za kontrolne spremenljivke pri regresijskem modelu. Običajno se predpostavlja,
da pri kontrolnih spremenljivkah ni napak. Vemo, da takrat, ko so testni rezultati
uporabljeni kot kontrolne spremenljivke, merska napaka pri ocenah ustreznih
116
regresijskih koeficientov povzroči pristranskost navzdol. Na podlagi podatkov iz
dveh držav ZDA sta Ladd in Walsh (2002) raziskala njeno razsežnost. Uporabila sta
standardne linearne regresijske modele, ki so vključevali testne rezultate preteklega leta in nobenih karakteristik učencev, za ocenjevanje šol pa so jih uporabljali
v Severni in Južni Karolini. Ugotovila sta, da so ocene učinkov za šole, v katerih
se šolajo manj sposobni učenci (glede na njihovo uspešnost v prejšnjem letu),
bistveno znižane, za šole, ki izobražujejo sposobnejše učence, pa bistveno povišane. To pomeni, da so rezultati analize dodane vrednosti škodili šolam, v katerih se šolajo šibkejši učenci, in koristili tistim, ki jih obiskujejo v znanju močnejši
učenci. Nadalje sta pokazala tudi, kako lahko to pristranskost bistveno zmanjšamo z dostopnostjo do rezultatov testov prejšnjih let, ki jih lahko uporabimo kot
instrumentalne spremenljivke. Če ti niso na razpolago, bi morali uporabiti druge
primerne in dostopne karakteristike učencev. O tem nadalje razpravljamo v 6.
poglavju.
Distribucijske značilnosti testnih rezultatov so relevantne tudi za implementacijo in interpretacijo analize dodane vrednosti. Standardna predpostavka je, da so
rezultati porazdeljeni glede na Gaussovo (normalno) krivuljo, vsaj glede na druge
spremenljivke (karakteristike učencev) v modelu. Blaga odstopanja od te predpostavke niso razlog za skrb. Vendar pa bi bili lahko problematični znatni učinki »tal«
ali »stropa«. Če je test na določeni stopnji posebej lahek za veliko število učencev,
vpisanih v podmnožico šol, potem bo porazdelitev njihovih testnih rezultatov
poudarjeno pomaknjena k spodnjemu koncu. Ocene dodane vrednosti za te šole
bodo odstopale navzdol v primerjavi z rezultati, ki bi jih dobili, če bi test učencem
predstavljal zadosten izziv.
Lestvičenje testnih rezultatov
Čeprav se to poročilo ne osredotoča na oblikovanje ocen učencev in testov,
menimo, da je vprašanje lestvičenja testnih rezultatov preveč pomembno, da ga
ne bi omenili. Neobdelane rezultate testov se za poročilo in sekundarno analizo
navadno pretvori v drugačno lestvico. Zaradi takšnih pretvorb se lahko zdi, da
so rezultati testov od leta do leta primerljivi. Vendar pa je resnična primerljivost
odvisna od pazljive implementacije testnih specifikacij in, če je treba, prilagoditve
rezultatov prek posebnega procesa, imenovanega izenačevanje (testov). Resna
odstopanja primerljivosti v posameznih letih za študente niso nujno posebej problematična, če jih med seboj primerjamo samo znotraj enake skupine. Vendar pa
je to lahko pomembno za analizo dodane vrednosti, saj pomeni, da se porazdelitev ocen napredka iz leta v leto spreminja (Harris et al., 2004). Če oceno o učinkih
šole pridobimo iz analize podatkov več kohort, lahko taka variacija povzroči za
konstrukt nebistveno varianco.
117
V nekaterih okoljih se zaključni testi izvajajo v vsakem razredu, neobdelani
rezultati testov različnih razredov so »vertikalno povezani«, tako da podajo eno
samo lestvico, ki se razteza prek vseh razredov. Za izvajanje te vertikalne povezave je na voljo več različnih postopkov: vsak od njih oblikuje lestvico z različnimi lastnostmi, to pa lahko pripelje do različnih ocen o učinkih šol (Patz, 2007).
Čeprav oblikovanje takšne lestvice za uporabo številnih modelov dodane vrednosti ni nujno, so vertikalno povezani testni rezultati pogosto uporabljeni kot vnosi
za analizo dodane vrednosti. V takih primerih morajo biti uporabniki pozorni na
značilnosti vertikalne lestvice in na možne vplive na ocene modelov dodane vrednosti. Izogibajo naj se temu, da bi lestvico obravnavali kot intervalno lestvico
(tj. takšno, pri kateri imajo rezultatske razlike enak pomen vzdolž vse lestvice).
Mikavna možnost je le redko upravičena, priporočljiva je konservativnejša drža.
Rezultati ocenjevanja, izraženi na ordinalni lestvici
Do sedaj smo predpostavljali, da so rezultati testov izraženi na lestvici, katere
vrednosti so dovolj razčlenjene, da smo jo lahko obravnavali, kot da bi bila dejansko nepretrgana. Ponekod pa so končni rezultati izraženi v grobih lestvicah, ki
obsegajo komaj dve urejeni kategoriji. Odgovorni lahko vzpostavijo dva standarda, ki označujeta »kompetenco« in »dosežke višje stopnje«. Vsak standard je
predstavljen s točkovanjem ali točko reza na izvirni lestvici. Učenci so nato, glede
na svoj rezultat, razvrščeni v eno od treh kategorij (»nekompetentni«, »kompetentni«, »napredni«). Čeprav v takih primerih ne bi smeli uporabljati konvencionalnega določanja modelov dodane vrednosti, pa je vseeno mogoče izvesti analizo dodane vrednosti. Če sta kategoriji samo dve, bi namesto običajnih modelov
lahko uporabili logistično regresijo ali modele inverzne kumulativne porazdelitvene funkcije. Če je kategorij več, potem lahko uporabimo politomne logistične
regresijske modele ali urejene modele inverzne kumulativne porazdelitvene funkcije. Za ilustracijo takšnega tipa modelov glej Fielding, Yang in Goldstein (2003).
Vprašanja veljavnosti in zanesljivosti so pomembna tudi za podatke ordinalne
lestvice. Če so kategorije določene z obliko postopka za določanje standardov,
potem je treba ovrednotiti veljavnost postopka (Hambleton in Pitoniak, 2006).
Če kategorije ustrezajo stopnjam na razvojni lestvici, potem moramo ovrednotiti
teoretsko in empirično podlago lestvice. V obeh primerih je zanesljivost povezana
z verjetnostjo, da je učenec uvrščen v ustrezno kategorijo. Uvrstitev v napačno
kategorijo je merska napaka takšne vrste, da zaradi nje lahko pride do pristranskosti v oceni. Večja ko je merska napaka (in manjša zanesljivost), manj verodostojne
so ocene dodane vrednosti šole.
Večina sodelujočih držav sistem dodane vrednosti, utemeljen na določenih
ocenah, uvede, da bi se pozornost vodstev šol, učiteljev in učencev usmerila na
118
vedno večjo uspešnost po teh merilih in na znanje učencev v ustreznih akademskih disciplinah. Tako je treba pazljivo izbrati predmete in stopnje, pa tudi pozorno
premisliti o naravi ocen, saj bo vse to zelo verjetno vplivalo na ravnanje interesnih
skupin. Še zlasti pomanjkljivosti v ocenjevanju bi lahko vodile k višjim rezultatom
učencev, ki ne bi bili povezani z zaželenimi izboljšavami v njihovem dejanskem
znanju. To bi bil primer pomanjkljive posledične veljavnosti. Odločitve o tem, kako
naj se uspešnost učencev uporabi za evalvacijo šole, lahko spremeni spodbude in
potemtakem tudi ravnanje šolskih ravnateljev in učiteljev (Burgess et al., 2005).
Navadno so rezultati učencev pretvorjeni ali strnjeni v kazalce uspešnosti, ki služijo kot informacije v procesu odločanja. Ključna je razlika med diskretnimi in zveznimi kazalniki uspešnosti. Če šolo ocenjujemo na podlagi diskretnega kazalnika,
obstaja naravna spodbuda usmeriti sredstva k izboljšanju tega kazalnika. Če se
analiza dodane vrednosti na primer osredotoča na delež otrok, ki dosegajo ali presegajo določeno raven znanja branja, to šole spodbuja k temu, da se osredotočajo
na učence, ki ne dosegajo ravni pismenosti, vendar bi jo ob primerni pomoči verjetno dosegli. Po drugi strani pa je v tem primeru spodbuda šoli, da bi izboljšala
rezultate učencev, ki že presegajo to raven, ali da bi se osredotočila na učence, ki
so globoko pod njo, veliko manjša. Nasprotno pa analiza dodane vrednosti, ki se
osredotoča na zvezne kazalnike, spodbuja enakomernejšo porazdelitev naporov,
čeprav je mogoče, da so učenci na mestih, za katere se zdi, da bi lahko največ
pridobili, deležni večje pozornosti. Lažje se izboljša uspešnost učencev z dobrimi
rezultati kot tistih s slabimi. Ne le da lahko to povzroči izkrivljanje v okviru šol, temveč so zato lahko težavnejše tudi primerjave med različnimi šolami. To pomeni, da
bi šole z večjim deležem učencev iz privilegiranih okolij (kakor koli je to izmerjeno)
lahko prejele višje rezultate dodane vrednosti, ker bi njihovi učenci na splošno
lahko bolj napredovali. V takšnem primeru in če bi bile učiteljem s šol z višjimi
rezultati dodane vrednosti priznane posebne ugodnosti, bi bila to jasna spodbuda učiteljem, naj se preselijo na šole z večjim deležem učencev iz privilegiranih
okolij.
Seveda je mogoče z uporabo diferencialnega uteževanja pri napredovanju
po rezultatski lestvici vpeljati izravnalno silo. Višjo težo lahko denimo pripišemo
tistim izboljšavam, do katerih pride na nižjem delu lestvice, v nasprotju s tistimi,
ki se zgodijo na višjem. Ker je verjetneje, da se bodo učenci z nižjim socialno-ekonomskim statusom znašli na spodnjem delu lestvice, bi taka shema uteževanja
lahko pomenila dodatno spodbudo za voditelje šol in učitelje za osredotočenje na
dvig uspešnosti teh učencev, za najučinkovitejše učitelje pa celo selitev na te šole.
S temi vprašanji se ukvarjamo v I. delu, ki ilustrira takšne sisteme in implikacije
različnih struktur spodbud.
119
Struktura ocenjevanja učencev v sodelujočih državah
Številne odločitve v zvezi z oblikovanjem in uporabo modelov dodane vrednosti so odvisne od narave dostopnih podatkov o ocenjevanju. O podatkih o
ocenjevanju, zbranih v vsaki državi, razpravljamo spodaj, da bi ilustrirali razlike
med državami pa tudi strategije, ki te podatke lahko izboljšajo in tako povečajo
koristnost politike analiz dodane vrednosti. V nekaterih državah je izbira ocen, ki
jih lahko uporabimo za analize dodane vrednosti, v bistvu določena s strukturo
izobraževalnega sistema. Če je šolski sistem organiziran v osnovni in srednji sektor
in šole pripadajo bodisi prvemu bodisi drugemu, lahko analize dodane vrednosti
temeljijo le na ocenah, podeljenih v časovnem razponu, sorazmernem s časom, ki
bi ga učenci navadno preživeli ali v osnovni ali v srednji šoli. Z vidika analiz dodane
vrednosti je problematično, če eno ocenjevanje poteka sredi učenčevega osnovnega izobraževanja, drugo pa sredi njegovega srednjega izobraževanja. Preglednica 4.1 podrobno predstavlja ocenjevanje učencev v sodelujočih državah, ki bi
ga lahko uporabili pri analizah dodane vrednosti, in ilustrira razlike med državami
v ocenjevanih predmetih. Opozoriti moramo, da je pomanjkanje primerljivosti
ocen v nekaterih državah ovira za izvedbo analize dodane vrednosti.
Preglednica 4.1. Ocenjevanje učencev v sodelujočih državah, ki bi bilo lahko
uporabljeno za določanje modelov dodane vrednosti
država
Belgija (Fl.)
Češka*
Danska
Anglija
120
Starost, razred
Predmeti
1.–6. razred
Matematika, učni jezik
1.–6. razred
Matematika, branje, črkovanje/pravopis
6. razred (zadnje leto ISCED 1)
Matematika, branje, narava (del okoljskih
študij), francoščina, družba
8. razred
Prečna kurikularna področja (»učimo se učiti«,
iskanje in procesiranje podatkov), biologija,
francoščina, družba
13 let (državna Maturita
– mala matura)
Češčina, tuj jezik ali eden izmed naslednjih
predmetov: matematika, družbene vede,
znanost ali tehnologija
5., 9. razred
Češčina, matematika, tuj jezik, učne spretnosti
2., 4., 6., 7., 8. razred
Branje, matematika, angleščina, naravoslovje
9. in 10. razred
Vsi obvezni predmeti (ocene učiteljev)
Višja srednja šola
Branje, matematika, angleščina, naravoslovje
Key stage 1: 2. razred
Branje, pisanje, matematika
Key stage 2: 6. razred
Branje, pisanje, matematika, naravoslovje
Key stage 3: 9. razred
Angleščina, matematika, naravoslovje
Key stage 4: 11. razred
Širok nabor predmetov, večinoma se lahko
učencu upošteva najboljših 8 rezultatov
država
Francija
Norveška
Poljska
Portugalska
Slovenija
Španija
Švedska
Starost, razred
Predmeti
Nacionalno preverjanje znanja
(bakalaureat ob zaključku višje
srednje šole)
Pokrije 15 predmetov za vsakega učenca
5. in 8. razred
Nacionalni test pri matematiki, branju
v angleščini (branje)
10. razred
Eksterno preverjanje znanja (matematika,
norveščina ali angleščina)
11., 12. in 13. razred
Vsi obvezni predmeti (ocena učiteljev) Izpiti
in ocene učiteljev pri različnih predmetih
6. razred (zaključni izpit
osnovne šole)
Test zmožnosti pri več predmetih
9. razred (zaključni izpit
nižje srednje šole)
Humanistika, matematika, naravoslovje
12. razred (zaključni izpit višje
srednje šole)
Matura (obvezna poljščina, ocenjevanje
pri vrsti drugih predmetov)
4. in 9. razred
Matematika, portugalščina
12. razred
Vsi predmeti, potrebni za spričevalo
in vpis v terciarno izobraževanje
6. razred
Materinščina, matematika, prvi tuji jezik
9. razred
Materinščina, matematika, prvi tuji jezik,
en obvezen predmet (določi ministrstvo)
Višja srednja šola (13. razred)
Poklicna: materinščina, matematika ali prvi
tuji jezik, dva šolska strokovna predmeta
Višja srednja šola (13. razred)
Splošna: materinščina, matematika, prvi tuji
jezik, dva izbirna pedmeta, izbrana med
tridesetimi, ki so na voljo
4. (osnovna šola)
8. (nižja srednja šola)
Matematika, učni jezik: družboslovje z
državljansko vzgojo, naravoslovje, informacijska in komunikacijska tehnologija, drugo**
9. razred, zaključne ocene
Ocena pri 16 predmetih
5. razred, standardiziran test
Angleščina, matematika, švedščina
9. razred, standardiziran test
Angleščina, matematika, švedščina
Višja srednja šola, zaključne
ocene
Povprečje, izraženo v točkah, vsi predmeti za
vsakega učenca (30–35 predmetov)
Višja srednja šola – standardiziran test
Angleščina, matematika, švedščina
* Zbiranje podatkov trenutno v pilotni fazi. Zbiranje podatkov v 13. razredu bo leta 2010 spremenjeno v državno maturo; za 5. in 9. razred se ne bo nadaljevalo.
** Matematika in učni jezik ocenjevana vsako leto, drugi predmeti manj pogosto.
Ob zbranih podatkih o ocenah učencev prihaja do precejšnjih razlik v starosti
in stopnji oz. letu. Ko tehtamo podatke o ocenah učencev, ki bi jih lahko uporabili
za analizo dodane vrednosti, merilo izida, prek katerega je mogoče izmeriti učinke
šole na napredek učencev, oblikuje starost, pri kateri so učenci ocenjeni. Ocenjevanje se v nekaterih državah osredotoča na osnovno izobraževanje, v drugih pa
121
na nižje in višje srednje izobraževanje. Države, kot sta Belgija (flamska skupnost)
in Češka, svoje ocenjevanje osredotočajo na nižje razrede, kar omogoča uporabo
določanja modelov dodane vrednosti v razvoju sektorja osnovnega izobraževanja. Po drugi strani pa struktura okvirov ocenjevanja študentov v državah, kot so
Norveška, Poljska, Portugalska, Slovenija in Švedska, večinoma omogoča razvoj
določanja modelov dodane vrednosti v sektorju srednjega izobraževanja. Na Danskem ocenjevanje tako matematike kot branja poteka tako med osnovnim kot
nižjim srednjim izobraževanjem, dodatno ocenjevanje naravoslovja in angleščine
pa zgolj med nižjim srednjim izobraževanjem. Razpon predmetov, vključenih v
okvir ocenjevanja učencev, odseva prioritete nacionalnega sistema in vpliva na
uporabo in interpretacijo modelov dodane vrednosti. Če v določenih letih ocenjujemo le matematiko, bomo merili samo dodano vrednost matematike. Za širše
zasnovan kazalec dodane vrednosti je seveda treba pridobiti ocene učencev širšega razpona predmetov. Na splošno učence ocenjujemo v večjem številu predmetov med srednjim izobraževanjem, zlasti med višjim srednjim izobraževanjem,
ko lahko za določanje modelov dodane vrednosti (glede na tip modela dodane
vrednosti, ki ga uporabljamo) uporabimo rezultate preverjanja znanja pri vseh
predmetih (npr. državno preverjanje znanja). Na nižjih stopnjah se ocenjevanje
osredotoča na le nekaj področij. Za večino držav so to matematika, naravoslovje in
uradni jezik ali učni jezik (s poudarkom na branju in/ali pisanju v tem jeziku).
Pogostost ocenjevanja po državah je zelo različna. Sistem ocenjevanja v nekaterih državah v tem hipu ne omogoča analiz dodane vrednosti, kot jih opredeljujemo v tem poročilu. Naša definicija poudarja, da je za merjenje dodane vrednosti
potrebna predhodna ocena. Še več, ocene morajo biti tudi primerljive na način, ki
omogoča želene sklepe o povezanosti različnih dejavnikov z napredkom učencev.
Države, kot sta Anglija in Danska, so razvile okvire ocenjevanja učencev, ki povezujejo izobraževalne sektorje osnovnih in srednjih šol. V Angliji so identificirali ključne
stopnje napredovanja učencev skozi šolanje, pri čemer ocenjevanje poteka 2., 6., 9.
in 11. leto. Flamska skupnost v Belgiji je med sodelujočimi državami edini primer, ki
ima letne podatke o ocenjevanju učencev, pa četudi samo na ravni osnovne šole.
Letno testiranje lahko nekoliko zaobide nekatere statistične in metodološke probleme določanja modela dodane vrednosti, o katerih razpravljamo v nadaljevanju
tega poročila, in bi moralo povečati uporabnost rezultatov.
Pogostnost ocenjevanja vpliva na izbiro modela dodane vrednosti, ki naj bi ga
uporabili, pa tudi na to, ali naj uporabimo karakteristike o okolju, iz katerega izhajajo učenci. Te odločitve pa nadalje vplivajo na interpretacijo rezultatov modela.
Odločitve o pogostnosti ocenjevanja so odvisne od narave kurikuluma in od prioritet glede spremljanja napredka učencev na različnih točkah njihovega šolanja.
Za države, ki se pripravljajo na razvijanje okvira ocenjevanja učencev in uporabo
modelov dodane vrednosti, utegne biti spremljanje napredka učencev s pomočjo
pogostejših ocenjevanj prednost.
122
Kot bomo razpravljali v 6. poglavju, povečanje števila merjenj preteklih dosežkov lahko močno poveča točnost in verodostojnost analiz dodane vrednosti.
Spodbujanje pogostejšega ocenjevanja učencev je mikavno, a ob pomisleku, da
bi dodatno ocenjevanje šole po nepotrebnem obremenilo in zmanjšalo količino
efektivnega časa za poučevanje. Testi namreč ne le odjedajo čas pouku, temveč
narekujejo tudi organizacijske zahteve za dejavnosti pred in po ocenjevanju. Oblikovalci šolske politike lahko pretehtajo koristi pogostejšega ocenjevanja na eni
strani in administrativnih bremen in finančnih stroškov na drugi. Poleg tega so
lahko testi za učence dodaten pritisk, kar ima prav tako lahko negativne posledice.
To je razvidno iz Preglednice 4.1, ki kaže, da v večini šolskih izobraževalnih sistemov učence ocenjujejo le na nekaterih letnih stopnjah in le v izbranih predmetih
oziroma učnih področjih.
Že v prvem delu smo povedali, da uporaba rezultatov testov za ključne odločitve lahko ustvari spodbude, ki na uspešnost učencev pri tem ocenjevanju
vplivajo neoptimalno, ena takih nezaželenih posledic je praksa »učenja za test«.
Obstaja tudi vrsta dokumentiranih primerov, da je mogoče – in da se je dejansko že zgodilo – da so različni šolski kazalci in ključni testi zmanipulirani tako, da
podajo neoptimalne rezultate (Nichols & Berliner, 2005). Drugačni problemi pa
lahko nastanejo, če je mogoče rezultate dodane vrednosti šole še bolj neposredno prikrojiti. Zamislite si scenarij z uporabo dveh ocenjevanj za oceno dodane
vrednosti šole, prvo ocenjevanje izvedemo 3., drugo pa 6. leto. Seveda dodana
vrednost šole zraste, če je med ocenjevanjema večja pozitivna razlika. Kot posledica se pojavi težnja, da bi skušali hkrati dvigniti rezultate učencev v 6. letu in
zmanjšati rezultate (istih učencev) 3. leto. To je mogoče doseči z nasvetom učencem, naj ocenjevanja 3. leto ne jemljejo tako resno, kot bi ga sicer, ali celo tako, da
jih spodbudimo, naj se zavestno ne potrudijo. Med radikalnejšimi dejanji bi bilo
lahko tudi tako strukturiranje kurikuluma, da učenci ne bi bili ustrezno pripravljeni
za ocenjevanje v 3. letu. Vendar pa lahko razvijemo strategije za zmanjševanje verjetnost takšnih neoptimalnih prizadevanj. Učinku popačene spodbude se lahko
zoperstavimo s postavljenimi cilji uspešnosti za ocenjevanje v 3. letu. Obstajati
bi morala spodbuda, ki bi vse šole navedla k prizadevanjem za dvig uspešnosti
učencev pri vsakem ocenjevanju in tako usklajevanjem svojih interesov z interesi
učencev. Ta cilj se najlaže doseže, če je vsako ocenjevanje hkrati predhodno in
končno. Pomislite na letni ocenjevalni okvir v belgijski flamski skupnosti, kjer ima
vsako ocenjevanje (razen tisto v 1. letu) dvojno vlogo. Tako je ocenjevanje v 3. letu
končno merilo uspešnosti analize dodane vrednosti za 2. in 3. leto (ali za 1. in 3.
leto), hkrati pa tudi predhodno merilo uspešnosti za analizo dodane vrednosti v
3. in 4. ali poznejših letih. Zaradi te dvojne vloge je spodbuda za zmanjšanje uspešnost ocenjevanja v 3. letu bistveno šibkejša. Če bi oblikovalci šolske politike bolj
poudarjali raven dodane vrednosti za določeno leto, bi prišlo do izjeme.
123
Šole lahko spodbudimo, naj uspešnost učencev ob prvem ocenjevanju dvignejo s tem, da to ocenjevanje postane del splošnih administrativnih procedur ali
šolske izobraževalne politike oziroma programa. Uspešnost učencev pri začetnem
ali predhodnem ocenjevanju bi lahko povezali s sistemom šolskih inšpekcij in
postopki evalvacije šol. Merila ocenjevanja bi bila lahko vključena tudi v širši okvir
šolskih meril, s pomočjo katerih je olajšana učinkovita izbira šole. Kot povedano
že v I. delu, so javno objavljena merila pogosto pozitivna spodbuda za dvig uspešnost učencev. Poleg razmisleka o usklajevanju spodbud, bi morali izvesti tudi
ustrezne postopke za zagotavljanje pravičnega ocenjevanja brez napak. Izvajanje
testov bi moralo biti standardizirano, ocenjevanje testov pa visoko zanesljivo in
na nobeni stopnji procesa ne bi smelo dopuščati nedovoljenega spreminjanja ali
manipulacije. To bo prineslo večje zaupanje v izide ocenjevanj in kasnejše analize
dodane vrednosti. Opozoriti bi morali tudi na to, da nekatere države uporabljajo
standardizirano zunanje preverjanje znanja, druge pa se zanašajo na šolske teste.
Nekatere, na primer Anglija, včasih uporabijo oba načina ocenjevanja, čeprav vse
sposobnosti na Key Stage 4 ocenijo zunanji ocenjevalci. Na stopnjah Key Stage
2 in 3 pa podatke pridobijo tako od zunanjih ocenjevanj kot od učitelja. Podatki
zunanjega ocenjevanja so uporabljeni, ker veljajo za verodostojnejše in primerljivejše, poleg tega pa naj bi bile boljše tudi njihove psihometrične lastnosti. Na Key
Stage 1 ni bilo zunanjega ocenjevanja in pojavili so se pomisleki glede robustnosti
podatkov (glej Tymms in Dean, 2004). Od leta 2005 vsi rezultati Key Stage 1 (pridobljeni od sedemletnih učencev) temeljijo na ocenah učiteljev. Čeprav bi to lahko
dopustilo možnosti za pristranskost (v nasprotju s standardiziranim ocenjevanjem), pa je po drugi strani mogoče, da so ti podatki veljavnejši, saj učitelji črpajo
iz širšega nabora pokazateljev v širšem časovnem razponu, ne pa iz enega samega
testa, izvedenega ob eni sami priložnosti. Toda učiteljeve evalvacije je treba podvreči zunanjemu nadzoru in tako zagotoviti njihovo primerljivost in veljavnost.
Filozofija statističnih prilagoditev in uporaba kontekstualnih
značilnosti
Večina modelov dodane vrednosti za pridobitev ocene o učinku šole uporablja regresijske prilagoditve rezultatom testov. Namen prilagoditve je »izravnati
teren«, torej iz primerjave med šolami odpraviti neželene učinke sistematskih
razlik v populaciji vpisanih učencev. Upamo, da bomo s tem dosegli, da bo analiza dodane vrednosti pri »izolaciji« prispevkov posameznih šol k akademskemu
napredku svojih učencev uspešnejša kot v primeru, ko šole primerjamo zgolj na
podlagi dosežkov učencev. Čeprav je ta strategija razumna in pogosto uporabljena, je pomembno upoštevati, da mora biti statistična prilagoditev izvedena
pazljivo in ob upoštevanju mogočih negativnih posledic. S tem v mislih lahko v
naslednjih odstavkih najdete poenostavljeno razlago, ki ilustrira dobre plati in
pasti postopka.
124
Slika 4.1. Grafični prikaz procesa statistične prilagoditve
Predpostavimo, da je cilj oceniti relativno uspešnost šole. Krog (na sliki 4.1
označen s »T«) predstavlja pravo vrednost parametra. Ocena, ki jo pridobimo s
primerjavo brez prilagoditve, je predstavljena z večstranskim likom (označenim
»E«). V tem primeru je ocena prevelika. Površino likov torej uporabljamo, da bi
ponazorili njihovo velikost. E je lahko večji od T, ker so učenci bolj privilegirani kot
učenci povprečne šole. Ker vemo, da šole učencem niso naključno pripisane (ali
obratno), si pomagamo s statistično prilagoditvijo merjenih karakteristik učencev,
da bi tako ustvarili enakomernejše igrišče. Vsaka prilagoditev naj bi modificirala E
in ga približala T-ju. Na sliki 4.1 je učinek prilagoditve predstavljen z likom v E-ju, ki
se lahko prekriva s T-jem ali pa tudi ne.
Prva prilagoditev (označena z »A«) zmanjšuje površino E-ja. Nova ocena, E-A,
je T-ju že bliže kot E-ju. Bodite pozorni na to, da se A rahlo prekriva s T-jem, kar
pomeni, da je nekaj približka izničilo tudi majhen delež prave diference. Vendar
pa je nova ocena še vedno prevelika. Nadaljnji prilagoditvi (označeni z »B« in »C«)
dasta oceno E-A-B-C, ki je T-ju še bližja. V primeru C-ja pa pride do znatnega prekrivanja s T-jem, kar pomeni, da je prišlo do pretirane prilagoditve. Nazadnje je
prilagoditev D odstranila velik delež T-ja, hkrati pa zelo majhen delež E-ja zunaj
območja T. To pomeni, da je bila prilagoditev občutno prevelika. Nastala ocena,
E-A-B-C-D, bi utegnila biti bliže T-ju, vendar pa bi bila hkrati lahko manjša in ne
večja od T-ja. Nadaljnja prilagoditev, po učinku podobna D-ju, bi utegnila podati
oceno, ki bi bila manj natančna kot prejšnje. Iz prikazanega je razvidno, da je treba
statistične prilagoditve izvajati skrbno.
125
Pri določanju modelov dodane vrednosti moramo za izolacijo prispevka posamezne šole pogosto oceniti razmerje med dosežki učencev in različnimi socialnoekonomskimi in drugimi kontekstualnimi spremenljivkami. Čeprav se moramo pri
izoliranju mnogovrstnih vplivov na uspešnost učencev dotakniti več vprašanj v
zvezi z merjenjem, bi bilo za oblikovalce šolske politike lahko koristno, če bi analizirali tako obseg odnosa med uspešnostjo učencev in specifičnimi kontekstualnimi karakteristikami kot, v nekaterih primerih, rezultate analize dodane vrednosti
za posamezne skupine učencev. Analiza teh podatkov lahko prinese dragocene
podatke za razvoj šolske politike na najrazličnejših področjih, vključno s pravičnim
financiranjem šol.
Pomen kontekstualnih značilnosti
OECD-jev program PISA ne proizvaja meril dodane vrednosti in je tesneje
povezan s tem, kar smo v tem poročilu klasificirali kot kontekstualizirane modele
dosežkov. Zadnje ugotovitve programa PISA potrjujejo že obstoječe dokaze, da
je socialno-ekonomski status učencev eden največjih napovednikov uspešnosti
šole, ki uporablja takšno določanje modelov (OECD, 2007a). Te ugotovitve so tudi
v skladu z razpoložljivo literaturo, ki dokumentira statistično povezavo med spremenljivkami posameznika in okolja, iz katerega izhaja družina, na eni strani ter izobrazbo mladine na drugi (OECD, 2007d; Haveman in Wolfe, 1995). Ta povezava se je
poleg tega razširila še na karakteristike soseske ali skupnosti in vrstnikov (Ginther,
Haveman in Wolfe, 2000; Brooks-Gunn et al., 1993; Corcoran et al., 1992; Mayer,
1996). Te analize ocenjujejo tesnost odnosa med različnimi dejavniki in enim
samim merilom uspešnosti oziroma rezultata. Med temi dejavniki so lahko: značilnosti okolja, iz katerega posameznik izhaja, več socialno-ekonomskih kontekstualnih lastnosti in tudi značilnosti šole. Kot smo v uvodu v to poročilo že razpravljali, je
ključna značilnost modelov dodane vrednosti upoštevanje primerljive predhodne
ravni dosežkov, zaradi česar se natančneje izolira prispevek šole k učenčevemu
napredku. Ko je v regresijski model vključena tudi predhodna raven dosežkov, je
prirastni prispevek kontekstualnih karakteristik, ki naj bi razložil razlike v rezultatih
učencev, pogosto močno znižan. Ballou, Sanders in Wright (2004) navajajo, da ima,
ko je na voljo obsežna zbirka predhodnih in sočasnih merjenj uspešnosti, prilagoditev zaradi demografskih karakteristik učencev kar najmanjši učinek na oceno
učinkov šole. Poleg tega in kljub temu da se McCaffrey et al. (2003, 2004) na splošno zavzemajo za vključevanje socialno-ekonomskega statusa kot spremenljivke
okolja, od koder izhaja učenec, zaključujejo, da upoštevanje socialno-ekonomskih
in demografskih dejavnikov na ravni učencev brez upoštevanja predhodnih dosežkov ni dovolj, da bi v vseh šolskih sistemih odstranili učinke karakteristik okolja, iz
katerega učenci izhajajo, še zlasti pa ne v tistih, ki jih obiskuje heterogena populacija učencev. Oblikovalci šolske politike bi morali biti previdni pri interpretiranju
meril uspešnosti šole iz kontekstualiziranih modelov dosežkov.
126
Pri oblikovanju modelov dodane vrednosti morajo oblikovalci šolske politike in
upravljavci skrbno pretehtati uporabo socialno-ekonomskih kontekstualnih karakteristik. Tisti, ki so bolje seznanjeni s kontekstualiziranimi modeli dosežkov, dobro
poznajo pomen socialno-ekonomskih karakteristik kot napovednikov za dosežke
učencev. Zato bi utegnila biti zgornja razprava o manjši vlogi teh karakteristik pri
določanju modelov dodane vrednosti nekoliko presenetljiva. Analiza norveških
in portugalskih podatkov kaže, da je uporaba kontekstualnih karakteristik precej
pomembnejša pri kontekstualiziranih modelih dosežkov kot pri modelih dodane
vrednosti. Hægeland in Kirkebøen (2008) sta preskrbela empirični prikaz, kako na
ocene uspešnosti šole vpliva izbira vključenosti socialno-ekonomskih kontekstualiziranih spremenljivk v modele kontekstualnih dosežkov kakor tudi modele dodane
vrednosti. Avtorja opažata, da prilagoditev zaradi predhodnih dosežkov učencev
in prilagoditev zaradi socialno-ekonomskega statusa učencev nista medsebojno
izključujoča pri ocenjevanju uspešnosti šole. Očitno je tudi, da se lahko vloga kontekstualnih dejavnikov razlikuje od države do države in glede na tip uporabljenega
modela. Vendar pa je izsledke norveške študije o vplivu socialno-ekonomskih karakteristik na ocene dodane vrednosti potrdila tudi portugalska longitudinalna študija. Analiza norveških podatkov osvetljuje kontekstualne spremenljivke v modelih dodane vrednosti in prikazuje razliko do kontekstualnih modelov dosežkov v
tej točki. Študija je primerjala rezultate štirih različnih specifikacij in kot kontrolne
spremenljivke vključevala vedno večje število socialno-ekonomskih podatkov. Primerjava rezultatov je pokazala, da je dodajanje socialno-ekonomskih karakteristik
povečalo pojasnjeno varianco v rezultatih učencev in zmanjšalo razpršenost distribucije kazalcev uspešnosti šole pri modeliranju kontekstualiziranih dosežkov. To
se ujema tudi z literaturo, ki ugotavlja, da so socialno-ekonomske karakteristike
soodnosne z uspešnostjo učencev in da niso enakomerno razporejene po šolah.
Vendar pa rezultati Hægelanda in Kirkebøena kažejo, da so pri njunem določanju modelov dodane vrednosti učinki vključevanja dodatnih spremenljivk socialno-ekonomskega statusa omejeni, in sicer zaradi navzočnosti ravni predhodne
uspešnosti. Pokazala sta, da je preprost model dodane vrednosti, ki poleg ravni
predhodne uspešnosti vsebuje zgolj osnovne demografske informacije (spol in
letnico rojstva), povedal več kot najbolj izčrpen kontekstualiziran model dosežkov.
Upoštevanje dodatnih socialno-ekonomskih karakteristik pri tem modelu dodane
vrednosti je imelo le manjši učinek na njegovo pojasnjevalno moč in na ocene
uspešnosti šole. Po drugi strani pa je imelo vključevanje dodatnih ravni predhodne
uspešnosti večji vpliv na napovedno moč modela.
Dodajanje socialno-ekonomskih karakteristik modelu dodane vrednosti
bi lahko bilo kljub zgornjim ugotovitvam za določene šole. Glede na norveške
podatke je bil največji učinek za posamezno šolo, če je bil v model dodane vrednosti vključen celoten vektor socialno-ekonomskih kontekstualnih karakteristik,
enak polovici standardne deviacije distribucije ocene uspešnosti šole. Ta rezultat
poudarja, kako pomembno je, da pri razvijanju sistema modelov dodane vredno-
127
sti izvedemo tudi analizo občutljivosti, in to ne le za celotne parametre modela,
temveč tudi za posamezne ocene šol. Znatne spremembe v ocenah dodane vrednosti bi morale spodbuditi nadaljnje preučevanje, saj bi prav lahko šlo za znak
problematičnosti podatkov. V idealnih okoliščinah bi morali takšne analize uvesti
v pilotni fazi izvedbenega procesa.
Čeprav je analiza norveških podatkov sugestivna, pa iz nje ne moremo izvajati
splošnih zaključkov. Posledice vpeljevanja (več) socialno-ekonomskih kontekstualnih spremenljivk v (kontekstualizirane) modele dodane vrednosti in vključevanja več socialno-ekonomskih kontekstualnih spremenljivk v kontekstualizirani
model dosežkov bi bile lahko različne na različnih ravneh, v različnih letih in različnih državah. Če so socialno-ekonomske značilnosti povezane zgolj z začetno ravnijo uspešnosti, ne pa tudi s stopnjo rasti, potem ne bi bilo nobene koristi, če bi te
karakteristike vključili v modele dodane vrednosti. Po drugi strani pa bi se vendarle
izkazale za koristne, če bi bile povezane z rastjo uspešnosti učencev. V nekaterih
državah članicah OECD tako vključitev »letnice rojstva« v model dodane vrednosti
zajame učinek »ponavljanja« oziroma zaostanka, kar je fenomen, negativno povezan s socialno-ekonomskim statusom (OECD, 2007c). Mogoče je tudi, da bi vključitev »letnice rojstva« zaobjela učinek starostne razlike ob vstopu v izobraževalni
sistem. S tem, ko na podatkih PISA 2000 Ferrão (2007a) uporabi kontekstualizirani
model dosežkov (modeli komponent variance), pokaže, da »ponavljanje« razloži
45 % spremenljivosti uspešnosti portugalskih učencev pri matematiki (kakor jo
je izmerila PISA). Z izobraževalnega stališča je vključitev spremenljivke »letnica
rojstva« kot kovariate v modelu dodane vrednosti lahko kontroverzna in bi se ji
morala ustrezno posvetiti vsaka država posebej.
Analiza portugalskih podatkov (reprezentativnih za regijo Cova de Beira) je
glede učinka vključitve različnih socialno-ekonomskih karakteristik v modele
dodane vrednosti (Ferrão, 2008) prišla do podobnih izsledkov kot norveška analiza. Uporabila je podatke, zbrane začetek in konec šolskega leta 2005/06, in sicer
za učence, vpisane v 1., 3., 5., 7. in 8. razrede. Odzivna spremenljivka so bili rezultati iz matematike na standardiziranem testu, izenačeni14 s predhodnimi dosežki
iz matematike (Ferrão et al., 2006). Med analiziranimi socialno-ekonomskimi
karakteristikami so bile tiste, ki so merile stopnjo izobrazbe staršev in upravičenost učencev do brezplačnih šolskih obrokov in knjig. Upravičenost do brezplačnih šolskih obrokov je običajno merilo, uporabljeno pri podobnem ocenjevanju,
ki je vključevalo socialno-ekonomske kontekstualne karakteristike (glej Goldstein
et al., 2008; Braun, 2005a; Ballou, Sanders in Wright, 2004; McCaffrey et al., 2004;
Sammons et al., 1994; Thomas in Mortimore, 1996). Osrednje vprašanje je bila
občutljivost ocen dodane vrednosti šol na različne operacionalizacije (z eno spremenljivko) konstruktov socialno-ekonomskih statusov. Rezultati so pokazali kore14 Izenačenje s pomočjo skupnih nalog.
128
lacijo skoraj 0,90, kar je nakazovalo, da bi primerljive rezultate lahko dala tudi uporaba preprostih alternativnih približkov (Ferrão, 2007a). Vendar pa je pomembno
opozoriti, da so rangiranja nekaterih šol sčasoma podvržena znatnim premikom.
Čeprav so te ugotovitve nekoliko opogumljajoče, bi morali delo nadaljevati s poudarkom na drugih običajno uporabljenih karakteristikah, pri čemer bi morali biti
pozorni na uporabo večjega števila spremenljivk.
Ko tehtamo uporabo socialno-ekonomskih značilnosti moramo upoštevati
tudi pogostnost in razpon ocenjevanja učencev. Če so učenci pogosto ocenjevani v številnih predmetih, število rezultatov testov pa je temu ustrezno veliko,
potem je v modelih dodane vrednosti prispevek spremeljivke okolja, iz katerega
izhaja učenec, močno zmanjšan. Če pa so ocenjevanja redkejša in so med ocenami učencev večji razmiki, je potencialni prispevek spremenljivk okolja večji. Če
na primer učencev, ki smo jih ocenili v 3. letu, ne ocenimo znova do 6. leta, potem
bi kontekstualne spremenljivke, kakršna je socialno-ekonomski status, utegnile
biti močno povezane s stopnjo napredka učencev v tem triletnem obdobju. Če
pustimo ob strani tehnične ozire, bi bilo v model dodane vrednosti priporočljivo
vključiti tudi socialno-ekonomske značilnosti, da bi tako pridobili zaupanje deležnikov. Lahko bi predstavili rezultate za različne modele, in sicer takšne, ki teh značilnosti ne vsebujejo, takšne, ki vsebujejo le nekatere od njih, in nazadnje takšne,
ki zaobsegajo vse dosegljive socialno-ekonomske in druge značilnosti okolja, iz
katerega izvirajo učenci. Pomen takega pristopa bo odvisen od načrtovane uporabe ocen o dodani vrednosti šole. Pomisleki ključnih interesnih skupin bi utegnili
biti večji, če je uveljavljen močan šolski in/ali učiteljski sistem odgovornosti, kot bi
bili, če bi ocene dodane vrednosti uporabljali zgolj za izboljšanje šole.
Katere socialno-ekonomske značilnosti?
Koristno je, če se spomnimo, da ocene učinkov šole, pridobljene s pomočjo
modelov dodane vrednosti, predstavljajo kombinacijo prispevkov dejavnosti šol
in šolske politike skupaj z vplivom interakcij med učenci ter učinkom učencev na
šolsko klimo, držo do akademskega okolja in drugih spremenljivk na šolski ravni.
Ker prilagoditve zaradi značilnosti posameznikov in šol ne zaobjamejo docela
vpliva vrstnikov, ocenjena raven uspešnosti šole ni nepristranska ocena prispevka
šole k znanju učencev. Pozorni moramo biti tudi na to, da je interpretacija ravni
šolske uspešnosti odvisna od tega, katere spremenljivke uporabimo za prilagoditev. Vsaka skupina spremenljivk implicitno »izravna igrišče«, na katerem primerjamo šole. Ko namreč navajamo, da nam ocene ravni uspešnosti šole podajo relativno razvrstitev šol po uspešnosti, pri čemer so vse »druge stvari« izenačene, je
ravno prilagoditev tista, ki določi, kaj so te »druge stvari«. Ne smemo pozabiti, da
je glavni namen za vključitev pojasnjevalnih spremenljivk zmanjšanje pristranskosti v ocenah uspešnosti šole. Za izpolnitev tega cilja morajo biti te spremenljivke
129
povezane z rezultatom in diferencialno razporejene med šolami. Tesnejše kot je
razmerje in večje kot so razlike med šolami, večji bo želeni učinek prilagoditve. V
vsakem primeru bo vključitev teh spremenljivk na splošno povečala natančnost
napovedi.
Med značilnostmi učencev, ki jih navadno uporabljamo v procesu prilagoditve, so spol, rasa/etnična pripadnost in raven izobrazbe staršev. Te značilnosti so
običajno povezane s šolskim uspehom (OECD, 2007b; Lissitz et al., 2006). Če so te
značilnosti neenakomerno porazdeljene med šolami, potem njihovo neupoštevanje
lahko pripelje do pristranskih ocen dodane vrednosti šol. To pomeni, da bodo, če ne
uporabimo nobene prilagoditve, tiste šole, v katerih so v povprečju vpisani učenci
z »ugodnejšimi« značilnostmi v prednosti glede na šole, v katere so v povprečju
vpisani učenci z ne tako »ugodnimi« značilnostmi. Analiza obstoječih podatkov in
podatkov, zbranih med pilotnim programom, bi morala razkriti ustrezne kontekstualne značilnosti, ki bi jih bilo treba upoštevati pri modelih dodane vrednosti. Pri tem
se moramo zavedati, da vključitev (številnih) ravni predhodne uspešnosti navadno
oslabi odnos med trenutnimi rezultati testov in socialno-ekonomskimi značilnostmi.
Vključitev nekaterih značilnosti v model bi bila lahko obenem dragocena za sprejem
v javnosti, lahko pa vpliva tudi na rezultate dodane vrednosti za posamezne šole.
Uspešnost procesa prilagoditve je odvisna tako od ustreznosti modela kot od razpona in kakovosti spremenljivk, uporabljenih za prilagoditev. V zvezi s prvo postavko
je prilagoditev navadno izvedena s prilagajanjem linearnega regresijskega modela.
Če je odnos močno nelinearen, potem je model slabo določen in bodo ocene
dodane vrednosti pristranske. Problem se včasih lahko ublaži, če vključimo interakcije med napovedniki. Mogoče je, na primer, da je pri določenih skupinah imigrantov
v uspešnosti zaznati razliko med spoloma, ki je večja in celo drugače usmerjena kot
tista, ki jo lahko opazimo v večinski skupini. Standardni linearni regresijski model bi
bil napačen in iz njega izhajajoče ocene dodane vrednosti pristranske. Pristranskost
bi bila lahko še zlasti problematična, če so člani manjšinske skupine skoncentrirani le
v določenih šolah, kar bi bilo v številnih sistemih precej verjetno.
V zvezi z drugo postavko pa so zaradi omejitev pri zbiranju podatkov za analizo
navadno dostopne le majhne skupine značilnosti učencev. Če obstajajo nemerjene
značilnosti, ki so neodvisno povezane z rezultatom, potem je model prilagoditve
napačen in bodo iz njega izhajajoče ocene znova do določene mere pristranske.
Poleg tega je kakovost podatkov vedno vredna pozornosti, kajti če je slaba, lahko
pripelje tako do povečanja variance kot do večje pristranskosti ocene učinkov šole.
Do netočnosti lahko pride, ko podatke pridobivamo od učencev samih, še zlasti
mlajših. Podatki, pridobljeni od staršev, so lahko problematični, če so vprašalniki
dvoumni ali če starši ne znajo dobro jezika. Celo v administrativnih podatkih, ki jih
pridobimo iz šolskih arhivov, lahko naletimo na napake.
130
Prednost pri uporabi modelov dodane vrednosti je, da omogočajo kvantitativno oceno o teži določene neugodnosti, povezane s posamezno karakteristiko
(npr. etnično pripadnostjo, dohodki, ravnijo izobrazbe staršev), v odnosu do
napredka učencev, ne le v odnosu do dosežkov učencev v nekem določenem trenutku. Vzorci, ki se v teh odnosih sčasoma izrišejo, so pomembni za oblikovanje
šolske politike. Na primer: ali obstajajo določene neugodnosti, ali te trajajo ves
čas učenčevega šolskega izobraževanja in ali se vpliv takšnih neugodnosti sčasoma poveča ali zmanjša? Pazljiva uporaba rezultatov modelov dodane vrednosti
omogoča tudi identificiranje šol, ki so uspešnejše pri dvigovanju uspešnosti neprivilegiranih učencev. To lahko pripelje do razširjanja »dobre prakse« med šolami,
seveda če obstajajo kanali, ki lajšajo takšen pretok informacij.
Analiza, ki sta jo izvedla Hægeland in Kirkebøen (2008), je med drugim pokazala, da ima Norveška po mednarodnih standardih za analizo na voljo veliko skupino kontekstualnih podatkov o učencih. Jasno je, da se raven dostopnosti podatkov od države do države razlikuje in ponavadi prav dostopnost podatkov omejuje
kontekstualne značilnosti, ki jih lahko vključimo v različne modele. Po drugi strani
pa dostopnost predhodnih ravni akademskih dosežkov lahko zmanjša potrebo
po veliki skupini kontekstualnih spremenljivk. Večina držav zbira takšne ali drugačne demografske informacije učencev in jih vključuje v svoje modele dodane
vrednosti. Preglednica 4.2 podrobneje prikazuje razpon zbranih kontekstualnih
podatkov, ki so na voljo za določanje modelov dodane vrednosti po posameznih
sodelujočih državah. Starost učencev, spol in spremenljivka, ki govori o imigrantskem statusu in/ali etnični pripadnosti, so glavne individualne demografske značilnosti v različnih državah.
Rezultati številnih držav ilustrirajo pomen vključitve merila starosti učencev
(Ray, 2006; Hægeland et al., 2005). Celo ko izločimo zrelejše učence ali tiste, ki razred
ali letnik ponavljajo, lahko v nekaterih sistemih starost učencev na določeni stopnji ali v letniku variira do enega leta. Za starost je bilo dokazano, da je statistično
pomembno povezana z napredkom učencev in tako tudi z oceno dodane vrednosti
šole. Beleženje starosti se od države do države razlikuje, kar deloma odraža tudi razlike v metodah zbiranja podatkov. V nekaterih državah je med vpisnimi podatki ob
vstopu v šolo tudi datum rojstva učencev, v drugih pa manko tega podatka pomeni,
da obstajajo bodisi drugi administrativni viri ali pa da te podatke (natančno starost
ali starostni razpon) pridobivajo neposredno od učencev samih.
Spol učencev je značilnost, ki jo uporablja večina analiz dodane vrednosti po
sodelujočih državah. Ta značilnost redko vpliva na rezultate dodane vrednosti šol,
saj je porazdelitev učencev moškega in ženskega spola po šolah navadno enakomerna (seveda z očitno izjemo šol, namenjenih samo enemu spolu). Vendar pa bi
lahko bil spol pomemben za podrobnejšo analizo informacij dodane vrednosti,
ki pospešujejo iniciative za izboljšanje šol. V zadnjih letih je bilo veliko pozornosti
131
usmerjene na razlike v uspešnosti učencev in učenk, saj so bile na številnih področjih in po številnih merilih učenke uspešnejše in so dosegale višjo raven znanja
kot učenci. Vendar pa bi razsežnost in morda tudi smer pričakovanega učinka
spremenljivke spola lahko variirala glede na merjenje. V nekaterih državah primerjave uspešnosti kažejo, da so fantje uspešnejši na predmetnih področjih, kot
sta matematika in naravoslovje, dekleta pa pri branju in pisanju (OECD, 2007a;
2007b). Takšne razlike med spoloma ne vplivajo nujno na ocene dodane vrednosti. Vendar pa bi bilo lahko koristno, da bi analizo dodane vrednosti pri posameznih predmetih izvedli ločeno glede na spol, saj bi rezultati lahko nakazali potrebo
po specifični politiki in programih, ki bi se s takimi razlikami spopadli.
Imigrantski status in/ali etnično pripadnost se identificira drugače od države
do države; odseva razlike v etnični sestavi, ciljih šolske politike in dostopnih podatkih. V nekaterih državah je v določanje modelov lahko vključena ena sama spremenljivka, ki odraža imigrantski status. V drugih so vključene določene etnične
skupine ali regije, od koder so učenci imigrirali, saj so nekatere skupine v primerjavi z večino razmeroma neprivilegirane. Rezultati analize dodane vrednosti za
določene skupine učencev bi lahko nakazovali potrebo, da bi populacijo učencev
še bolj razpršili. Analiza ene same spremenljivke, ki identificira imigrantski status,
bi na primer lahko podala bimodalno distribucijo ali distribucijo rezultatov v posameznih grozdih. To bi lahko nakazovalo, da posamezne etnične ali imigrantske
skupine različno hitro napredujejo in da k njihovemu napredku tudi šole različno
prispevajo. Obstaja nekaj dokazov, da lahko takšni vzorci vztrajajo in se sčasoma
celo povečajo (Borjas, 1995, 2001). Dodatna analiza bi lahko pokazala, katere
skupine bi morali identificirati ločeno. V takšnih situacijah preprosta meritev imigrantskega statusa ne bo v celoti zaobjela neugodnega položaja, s katerim se
soočajo različne imigrantske skupine in potemtakem ne bo zelo uporabna za iniciative šolske politike. V nekaterih primerih bi se interakcijske spremenljivke lahko
izkazale za uporabne, še zlasti, če je z določenimi etničnimi skupinami povezana
znatna ekonomska heterogenost. Da bi zaobsegli takšne spremembe, je potrebna
fleksibilnost tako pri zbiranju podatkov kot pri informacijski tehnologiji, ki jo za
zbiranje podatkov uporabljamo. Upravljavci in oblikovalci šolske politike to fleksibilnost zahtevajo zato, da bi bolje specificirali modele dodane vrednosti in prišli
do boljših rezultatov, pa tudi za ad hoc zbirke podatkov, potrebne za določene
cilje šolske politike, kakor na primer za programe, usmerjene k določenim regijam ali skupinam učencem. V nekaterih državah skrb vzbujajo jezikovne ovire,
ki ovirajo napredek učencev, še zlasti, ko se jezik poučevanja razlikuje od jezika,
ki ga učenci govorijo doma, oziroma od njihovega prvega jezika. Te prepreke so
izjemno pomembne (tako z izobraževalnega kot političnega vidika), ko ti učenci
izkazujejo slabši uspeh na številnih predmetnih področjih.
132
Preglednica 4.2 razporeja kontekstualne spremenljivke v ločene kategorije.
Ta kategorizacija je bila narejena v ilustrativne namene in se ne nanaša nujno na
nobeno določeno državo. Večina držav za lažje določanje modelov zbira podatke
o stopnji učnih težav učencev, ravni izobrazbe v družini, ravni ekonomskih sredstev in socialnih transferjih. Slednje bi lahko imeli tudi za merilo ekonomskih
sredstev. Nekatere države zbirajo tudi značilnosti, povezane z družinsko strukturo
učencev, za katere je bilo izkazano, da vplivajo na rezultate, na primer zakonski
stan staršev, ali učenca vzgajajo zunaj družinskega kroga, velikost družine (Amato
in Keith, 1991). Pomembno je opozoriti, da so nekatere značilnosti fiksne in se
v času učenčevega šolanja ne spreminjajo, druge pa se sčasoma lahko spremenijo. Zbiranje podatkov in sistem hranjenja morata biti dovolj fleksibilna, da lahko
zaobjameta obe vrsti značilnosti.
Socialno-ekonomske značilnosti, zbrane po državah, se osredotočajo na
raven izobrazbe staršev in družinski dohodek. V nekaterih državah so vključene
tudi značilnosti, ki kažejo, ali učenci in/ali njihove družine prejemajo socialne
transferje, kakršna je podpora za izobraževanje ali podpora gospodinjstvom.
To so lahko nadaljnji pokazatelji ravni ekonomskih sredstev učencev in njihovih
družin. V flamski skupnosti v Belgiji zbirajo vrsto podatkov za seznam učencev
»v ranljivem položaju« (Being at Risk). Tudi Norveška vključuje merila, ki zadevajo
družinsko premoženje in pojavnost nezaposlenosti staršev v desetih letih pred
ocenjevanjem.
Večina držav zbira tudi značilnosti, ki identificirajo učence z učnimi težavami.
Tipologija učnih potreb se od države do države razlikuje in je navadno usklajena
z obstoječim zbiranjem podatkov v izobraževalnem sistemu. Čeprav ne veljajo
za pokazatelja glede specifičnih učnih potreb učencev, so podatki o tem, ali je
učenec v šoli ponavljal razred, v številnih državah vključeni. To je lahko še posebej pomembno, če učenec ponavlja razred, v katerem se izvaja ocenjevanje, ali
pa razred med trenutnim ocenjevanjem in predhodnimi ocenjevanji. Ocene prispevka šole na učenčev napredek med dvema ocenjevanjema bi bile zaradi razlike v številu učnih let lahko pristranske.
133
134
Starost, spol,
kraj rojstva
Starost,
spol, etnična
pripadnost
Anglija
Starost, spol,
država rojstva
učenca in staršev,
starost pri
prihodu v državo
Belgija (Fl.)
Češka
Demografski
podatki
Država
Angleščina kot
(učenčev) prvi
jezik
Jezik, ki ga
učenec govori
doma z materjo,
migrantska
zgodovina
Imigrantski
status
Učenec, označen
kot učenec s
posebnimi učnimi
potrebami
Učenec s
posebnimi učnimi
potrebami
Znane učne
težave, že
ponavljal razred
Učne težave
Učenec ne živi v
domačem okolju
(ampak npr. v reji
ali zavodu), kot
pomemben faktor
tveganja za učenca
(BAR – being at risk)
Družinska
struktura
Najvišja stopnja
izobrazbe staršev
Materina stopnja
izobrazbe
Izobrazba v
družini
Prihodek
soseščine – indeks
pomanjkanja,
vezan na poštno
številko
Poklic staršev
Ekonomska
sredstva
Pravica do
brezplačne šolske
prehrane (odvisno
od prihodka
družine)
Štipendija,
denarna
nadomestila za
gospodinjstvo,
gospodinjstvo,
odvisno od
socialne pomoči,
je visok faktor
BAR
Socialni
transferji
Preglednica 4.2. Kontekstualni podatki, zbrani v sodelujočih državah, ki bi bili lahko potencialno koristni pri modelih dodane vrednosti
135
Starost, spol
Portugalska
Starost, spol,
stopnja šolanja,
končana pred
pričakovano
starostjo
Norveška
Starost, spol
Starost, spol, kraj
rojstva
Francija
Poljska
Demografski
podatki
Država
Pogovorni jezik
doma
Rojen izven
Norveške,
država/regija
izvora, starost pri
imigriranju
Nacionalnost,
kraj rojstva
Imigrantski
status
Ocene,
ponavljanje
razreda, posebne
učne potrebe
disleksija
Razred, predmet
Učne težave
Število bratov in
sester
Zakonski stan
staršev, starost
staršev ob rojstvu
prvega otroka,
število (pol-) bratov
in sester, vrstni red
rojstev
Družinska
struktura
Izobrazba staršev
(klasifikacija
ISCED)
Najvišja
dosežena stopnja
izobrazbe staršev
Izobrazba v
družini
Poklic staršev,
dostop do
računalnika in
interneta doma
Družinski
prihodki,
družinsko
premoženje
(utemeljeno na
obdavčljivem
premoženju
družine)
Poklic staršev
(glede na
4 poklicne
kategorije),
velikost družine
Ekonomska
sredstva
Upravičenost
učenca do
podpore (odvisna
od družinskih
prihodkov)
Stopnja
nezaposlenosti
staršev v minulih
desetih letih
Prejeta finančna
pomoč
Socialni
transferji
136
Demografski
podatki
Starost, spol,
Starost, spol,
Starost, spol, kraj
rojstva, etnična
pripadnost
Država
Slovenija
Španija
Švedska
Imigrantska
zgodovina
učenca in staršev,
leto imigracije/
prihoda
Država rojstva
učenca in
staršev, starost
pri imigriranju,
pogovorni jezik
doma
Imigrantski
status
Učenci s
posebnimi učnimi
potrebami, že
ponavljali razred
Posebne učne
potrebe
Učne težave
Vprašalnik o
družinski strukturi
Družinska
struktura
Najvišja
dosežena
izobrazba staršev
Izobrazba staršev
Izobrazba v
družini
Prihodek
gospodinjstva
Poklic staršev,
kulturne in druge
dobrine doma
Ekonomska
sredstva
Socialni transferji
za gospodinjstvo
Štipendije
Socialni
transferji
Podatki na ravni šole
Razprava se je do te točke osredotočala na prilagoditve značilnosti učencev. Prilagoditev pa je mogoča tudi na ravni šole ali kontekstualnih značilnosti.15
Takšne značilnosti bi lahko bile skupki spremenljivk o učencih (npr. povprečni
rezultati testov) ali tiste, ki so definirane na ravni šole (npr. rasna/etnična sestava
šolske populacije, socialno-ekonomski status skupnosti). Čeprav je takšne spremenljivke precej lahko vključiti v model, ostaja nevarnost prevelikih prilagoditev.
Če je kontekstualna spremenljivka povezana z resnično uspešnostjo šole, potem
prilagoditev zaradi te spremenljivke povzroči pristranskost pri oceni učinkov šole.
Ko se odločamo, ali bomo izvedli takšne prilagoditve, je potrebna previdnost.
V nekaterih državah je kot spremenljivka vključen tudi tip šole, čeprav ne
označuje drugega kot to, ali gre za javno ali zasebno šolo, saj slednje niso vedno
vključene v analize dodane vrednosti. Dodatne informacije bi bile lahko na voljo
tudi o količini sredstev, ki jih ima na voljo šola, in do neke mere tudi o šolskih procesih. Vključevanje spremenljivk na šolski ravni bi bilo lahko zlasti koristno za tiste,
ki jih zanima razvoj šole. Analize, ki se osredotočajo na določene tipe šol ali na
posamezne skupine učencev (npr. na učence s posebnimi učnimi potrebami), se
lahko izkažejo za uporabnejše, če so za prilagoditev rezultatov učencev vključene
tako kontekstualne spremenljivke kot tiste, ki zadevajo šolo. Eden od primerov je
evalvacija programov, ki se ne izvajajo na vseh šolah. V nekaterih okoljih bi bilo
za podrobnejšo analizo dodane vrednosti učiteljev mogoče vključiti tudi podatke
glede razreda. Primer tega je flamska skupnost v Belgiji, kjer zbirajo informacije o:
uporabi posameznih učbenikov; spolu in izkušnjah učitelja; računalnikih v razredu;
uporabi računalnikov in interneta med učnimi urami; času poučevanja za določeno temo. Takšne analize lahko zlahka uporabimo tudi pri bolj ciljno usmerjenih
analizah dodane vrednosti. Analize, ki ocene dodane vrednosti napovedujejo na
podlagi šolske prakse, da bi dognale, ali lahko razložijo znatno varianco v ocenah
dodane vrednosti, so lahko učinkovite sekundarne analize in oblikovalcem šolske
politike ponujajo še eno možnost.
Ustrezno je treba poskrbeti za zagotovitev celovitosti vseh podatkov, ne glede
na to, ali so del širšega administrativnega zbiranja podatkov ali pa se skupaj z
drugimi podatki zbirajo namensko, za uporabo pri analizi dodane vrednosti. Ray
(2006) opozarja, da vodstva šol nekatere spremenljivke na ravni šole manipulirajo. Za nekatere modele lahko učinek spremembe spremenljivke na dodano vrednost šole izračunamo vnaprej in od tod izvira nagib, da bi vrednost spremenili
v zaželeno smer. V kontekstualiziranem določanju modelov dodane vrednosti, ki
ga uporabljajo v Angliji, je na primer tako, da nespremenjen višji delež učencev, ki
niso klasificirani glede na svojo etnično pripadnost, veča dodano vrednost. Nepo15 Te prilagoditve niso mogoče pri modelih, ki vsebujejo fiksne učinke šole.
137
znavanje etične pripadnosti ali manko poročanja o njej, bi zato bilo v interesu šole.
Ray razumno opozarja, da bi morali biti izbrani modeli oblikovani tako, da bi kar
najbolj zmanjšali sprevržene spodbude. Za zmanjšanje verjetnosti potvarjanja
podatkov bi v idealnem primeru morali takšne podatke zbirati zunaj okvira ocenjevanja učencev in v sistemu, v katerega šolski upravljavci niso vpleteni.
138
5.Ilustrativni modeli dodane vrednosti
V tem poglavju predstavljamo vrsto različnih modelov dodane vrednosti, da
bi tako prikazali nekaj primerov, ki jih je mogoče uporabiti v izobraževalnih sistemih. Cilj poglavja ni predstaviti popoln seznam ali oceniti različne vrste modelov
dodane vrednosti, saj to ne spada več v obseg in namen tega poročila. Predstavljene vrste modelov prej ilustrirajo, kako se med seboj razlikujejo in kako posamezne probleme obdelamo s pomočjo različnih modelov. Oblikovne poteze,
razložene v četrtem poglavju, na te modele vplivajo različno in vsak od modelov
ima glede na celoten niz vprašanj, ki jih z njimi obdelujemo tako prednosti kakor
tudi slabosti. Obdelali bomo pet splošnih kategorij modelov dodane vrednosti:
modele linearne regresije; modele variančnih komponent; večnivojske modele
s fiksnimi učinki; multivariatne modele odziva z naključnimi učinki; povedali pa
bomo tudi nekaj malega o analizi krivulje napredka. Modele dodane vrednosti
lahko uporabljamo za oceno letnih in kumulativnih učinkov šole, vendar je učinek šole v vzorčno predstavljenih modelih v tem poglavju merjen kot letni in ne
kumulativni učinek.
Predstavitev različnih modelov naj bi vplivala na sprejemanje bolj informiranih odločitev o izbiri najprimernejšega modela glede na metodološka vprašanja,
o katerih je govora v šestem poglavju. Prav tako je treba opozoriti, da to poročilo ne priporoča enega modela v nasprotju z drugim(i). Prej kaže, kako so lahko
posamezni modeli primernejši glede na različne cilje šolske politike in omejitev, v
okviru katerih je treba izvesti analize. Kljub temu pa je v času razvoja sistema analize dodane vrednosti nujno, da raziščemo različne modele in ocenimo njihovo
relativno primernost glede na kriterije, ki jih moramo upoštevati.
Modeli dodane vrednosti na osnovi linearne regresije
Prva serija modelov uporablja enostavno linearno regresijo, s katero korigira
končni rezultat testa glede na kombinacijo predhodnih testnih rezultatov učenca
in njegovih oziroma kontekstualnih značilnosti. Ena oblika modela je:
139
yij (2) = a 0 + a1yij (1) + b1X1ij +  + bp X pij + eij
(1)
kjer predstavlja
i indeks učenca v šoli j,
yij(2) = končni testni rezultat,
yij(1) = predhodni testni rezultat,
{X } označuje niz značilnosti učenca in družine,
a 0 , a1 , b1 , … bp označujejo niz regresivnih koeficientov,
eij označuje neodvisne in normalno razporejene odklone z enotno varianco
Označimo napovedano vrednost za učenca i v šoli j z y^ ij (2) , izhajajoč iz prilagajanja enačbe (1) celotnemu nizu podatkov. Ocenjeno dodano vrednost za šolo
j nato izračunamo kot povprečje odklonov dejanskih vrednosti od napovedanih
rezultatov za učence šole j:
{
avei yij (2) − y^ij (2)
}
Torej, če učenci v šoli j dosežejo višje povprečne rezultate na zaključnem
testu (v primerjavi z učenci iz drugih šol s podobnimi napovedanimi vrednostmi),
potem je pripadajoči odklon verjetno pozitiven in šoli prinaša pozitivno ocenjeno
dodano vrednost. Obstaja mnogo različic osnovnega modela. Še posebej lahko jih
prilagodimo, če imamo na voljo testne rezultate prejšnjega leta ali iz drugih predmetov. Za druge primere glejte Ladda in Walsha (2002) in Jakubowskega (2007).
Da bi ta metoda omogočala konsistentne ocene, vključeni dejavniki (spremenljivke) ne smejo korelirati z napako, ki lahko poleg idiosinkratične napake vključuje tudi učinek šole. Poleg tega model ne upošteva nivojske strukture napake,
kar pa storijo nekateri v nadaljevanju prikazani modeli.
Modeli variančnih komponent ali modeli z naključnimi učinki
Drug tip modelov je sestavljen iz dveh regresijskih enačb: regresije na ravni
učencev, kakor v (1) zgoraj; in regresije na ravni šol, ki modelira (opisuje) variacijo
korigiranih konstant šol, ocenjenih iz regresij na ravni učencev. Tehnična prednost
teh tako imenovanih hierarhičnih (ali večnivojskih) modelov je, da upoštevajo
grupiranje učencev znotraj šol, kar prinese bolj natančne ocene negotovosti, ki jih
je treba upoštevati pri ocenah dodane vrednosti šol.
Tipična formulacija takšnega modela je:
yij (2) = a 0 j + a1yij (1) + b1X1ij + … + bp X pij + εij
a 0 j = A + δ0 j
140
kjer
εij  N (o, σ
δ0 j
(2)
)
 N (0, τ 2 )
2
Za vsak rezidual v obeh enačbah se predvideva, da je neodvisen od vseh drugih. Druga enačba sloni na predpostavki, da so korigirane regresijske konstante
šol {a0j} naključno razporejene okoli glavne aritmetične sredine (A) in odkloni
od te sredine so ocene dodane vrednosti šol. Najbolj zanimive so šole z velikimi
odstopanji (pozitivnimi ali negativnimi). Ta vrsta modelov se uporablja pri določanju modelov s »kontekstualizrano dodano vrednostjo«, ki so ga uvedli v Angliji,
čeprav so dejanske ocene dodane vrednosti šol pridobljene skozi nadaljnje analize in izračune. Model, ki je v uporabi v Angliji, je razložen spodaj.
Tem vrstam modelov pogosto rečemo modeli z »naključnimi učinki«, saj so
parametri uporabljeni zato, da bi ujeli prispevek šole k uspešnosti učencev, obravnavani kot naključne spremenljivke. Posledično na predvideni učinek za posamezno šolo vplivajo podatki z vseh drugih šol, pa tudi šole same. Končne ocene se
včasih imenujejo »skrčene« ocene, ker jih je običajno mogoče prikazati kot tehtano povprečje ocene po metodi najmanjših kvadratov za šolo in ocene, povezane s podatki za vse šole. Specifična kombinacija je odvisna tako od modela,
kakor tudi od podatkov, ki so na voljo. Skrčene ocene so pristranske, vendar je njihov srednji kvadrat napake tipično manjši od napake, ki jo imajo ocene po metodi
najmanjših kvadratov.
Pri večnivojskem modeliranju je varianca reziduala razdeljena na dve ravni:
učenca (raven 1) in šole (raven 2). To sta »naključna učinka« v modelu. Znotraj
izobraževalnega sistema je mogoče imeti tudi druge ravni. V šolah, na primer,
so učenci razporejeni v razrede, a če ni nobenih nacionalnih podatkov o učnih
skupinah, te ravni ni mogoče vključiti v model. Reziduali prve ravni kažejo razlike
v uspehih učencev glede na njihovo šolo (znotraj šole). Reziduali ravni 2 kažejo
uspeh šole glede na pričakovane nacionalne rezultate, na podlagi vključenih
neodvisnih spremenljivk v modelu (spremenljivk). Ti reziduali ravni 2 so rezultati
dodane vrednosti šole.
Zelo podoben model je model variančnih komponent (glej Raudenbush in
Willms 1995: str. 321) z različnim nizom vključenih dejavnikov na prvi in/ali drugi
ravni, odvisno od vrste učinka šole (tip A ali tip B), ki se ga namerava v analizi oceniti. Model je:
yij = µ + βW (x ij − x j ) + βb x j + u 0 j + εij (3)
141
pri čemer je yij testni rezultat za učenca i v šoli y; xij je predhodni dosežek učenca;
x j je vzorčni srednji predhodni dosežek za šolo j; u0j je naključna komponenta na
ravni šole, imenovana tudi naključni učinek ali dodana vrednost šole j, za katero se
2
predvideva, da ima sredino nič in varianco σ u 0 ; in eij naključna komponenta na
ravni učencev, za katero se podobno predvideva neodvisno in normalno porazdelitev s sredino nič in varianco σ2ε . Fiksni parametri µ , βW , βb prestavljajo povprečen testni rezultat, regresijski koeficient ocenjen znotraj posamezne šole, ki
povezuje prejšnje dosežke učencev s končnimi testnimi rezultati in naklon regresijske premice ocenjen med šolami.
Antelius (2006: str. 4) ilustrira, kako lahko uporabimo model variančnih komponent za izračunavanje dodane vrednosti v srednjih šolah na Švedskem. Ocene,
pridobljene ob zaključku obveznega izobraževanja, odražajo predhodno znanje
učencev in njihovo izobraževalno preteklost, medtem ko ocene, pridobljene v
srednji šoli prikazujejo raven znanja, ki so ga učenci pridobili pri obveznih predmetih (matematiki, naravoslovju, švedščini, angleščini, družboslovju, umetniških
dejavnostih, telesni vzgoji ter zdravstveni in verski vzgoji). Meritve vsake šole so
predstavljene za obdobje treh let, da bi se prepričali, ali se ta vrednost s časom
spreminja ali ne (Antelius, 2006).
Na Portugalskem so za regijo Cova da Beira primerjali analize treh različnih
modelov variančnih komponent, ki so vključevali reprezentativni vzorec učencev
iz osnovne ter nižje in višje srednje šole (Vicente, 2007). Drugačen niz napovednih
spremenljivk je bil vključen v vsak model: ničti model; tradicionalni model dodane
vrednosti (TVA), ki je vključeval družbeno-ekonomski položaj učencev in njihove
prejšnje dosežke; poleg tega je ta model vključeval tudi druge spremenljivke, na
primer spol učencev, ali so bili klasificirani kot učenci s posebnimi potrebami, ali
so obiskovali vrtec, vrsta razreda v osnovni šoli in ponavljanje razreda (TVA+).
Korelacija med ocenami dodane vrednosti, pridobljenima iz ničtega modela in
modela TVA je varirala od 0,61 do 0,94, odvisno od razreda. Nasprotno pa so bile, z
izjemo rezultatov v tretjem razredu, vrednosti korelacij med ocenama TVA in TVA+
enake ali večje od 0,96. Ferrão in Goldstein (2008) sta v teh ocenah evalvirala tudi
vpliv napake pri meritvah.
Modeli dodane vrednosti s fiksnimi učinki
Nekoliko drugačen pristop uporabljajo tako imenovani modeli s fiksnimi
učinki. Kakor pove že ime, ti modeli predstavljajo prispevek šole kot fiksen parameter, v nasprotju z modeli z naključnimi učinki, pri katerih predpostavljamo,
da so prispevki šole naključne spremenljivke z enotno distribucijo. Pri modelih z
naključnimi učinki lahko korelacije med vključenimi spremenljivkami in naključnimi učinki v oceno učinkov šole vnesejo pristranskost. Te težave pri modelih s
fiksnimi učinki ni in to je njihova največja prednost. Po drugi strani pa lahko oce-
142
njeni učinki šole iz leta v leto precej variirajo, ker ne uporabljajo »krčenja«. Enostavna verzija tovrstnega modela je predstavljena spodaj:
yij (2) = a 0 + a1yij (1) + ∑ bkij X kij + θj + εij (4)
k
kjer je
qj = učinek šole j.
Hægeland in Kirkebøen (2008) za analizo dodane vrednosti šol na Norveškem
uporabljata model s fiksnimi učinki. Priskrbela sta empirično ilustracijo tega, kako
na ocene uspešnosti šole vpliva izbira, katere socio-ekonomske kontekstualne
spremenljivke so vključene v kontekstualne modele dosežkov ali v modele dodane
vrednosti. Avtorja opozarjata, da se korekciji za preteklo uspešnost učencev in za
njihov družbeno-ekonomski status medsebojno ne izključujeta kot pristopa za
oceno uspešnosti šole. Očitno je tudi, da je lahko vloga kontekstualnih dejavnikov
v različnih državah in različnih uporabljenih modelih različna.
Dallaški model
Znan model, ki kombinira lastnosti različnih vrst modelov, je dvostopenjski
model, ki ga uporabljajo v Dallasu (Teksas) in ga predstavljata Webster in Mendro
(1997; glej tudi Webster (2005)). Vloga prve stopnje je bila korekcija spremenljivk
v testnih rezultatih učencev (sedanjih, pa tudi prejšnjih), ki se pojavljajo v drugi
stopnji. Korekcija se je izvedla za vrsto relevantnih lastnosti učencev. Druga stopnja
predstavlja regresijo korigiranega testnega rezultata glede na predhodni testni
rezultat v hierarhičnem linearnem modelu, ki je upošteval grupiranje učencev
znotraj šol. Poleg tega je model vključil spremenljivke na ravni šole, kar je obogatilo statistične lastnosti končnih ocen o dodani vrednosti šole.
Natančneje,
yij = b0 + b1X1ij + … + bp X pi j + εij (5)
kjer predstavlja
i indeks učenca v šoli j,
y sedanji ali pretekli testni rezultat,
{X } označuje niz lastnosti učenca, ki vključujejo narodnost/jezik, spol,
stopnjo revščine učenca, interakcijo prvega ali drugega reda med temi
lastnostmi, pa tudi vrsto indikatorjev o socialno-ekonomskem položaju v
soseski,
143
{b } označuje niz regresijskih koeficientov,
eij označuje neodvisne, normalno distribuirane odklone z enotno varianco za
vse učence.
Torej so koeficienti enačbe (5) ocenjeni za vsako možno izbiro y. Tipično je
uporabljena metoda najmanjših kvadratov. Vendar pri analizi niso najpomembnejši ocenjeni koeficienti, ampak odkloni dejanskih vrednosti od regresijske analize. Za vsako regresijsko premico so odkloni standardizirani. Predpostavljajmo, da
uporabljamo ~ za označevanje standardiziranega odklona.
Faza 2 uporablja dvostopenjski model. Raven 1 ima naslednjo obliko:
1
2
Z ij = c0 j + c1 j P ij + c2 j P ij + δij (6)
in raven 2 dobi obliko:
m
c0 j = G00 + ∑ G0kWkj + u 0 j
k =1
m
c1 j = G10 + ∑ G1kWkj
k =1
m
c2 j = G20 + ∑ G2kWkj
k =1
(7)
Na ravni 1 predstavlja:
i indeks učenca v šoli j,
Z ij označuje učenčev trenutni korigirani testni rezultat,
1
2
P ij in P ij označujeta učenčeve pretekle korigirane testne rezultate,
{c } označujejo niz regresijskih koeficientov,
dij označuje neodvisne, normalno porazdeljene odklone z enotno varianco
za vse učence.
Ne pozabite, da se izraz »korekcija« nanaša na rezultate analize na ravni 1.
Načeloma bi bilo mogoče uporabiti več kot dve predhodni meritvi predhodnih
dosežkov.
144
Na ravni 2:
{W } označuje niz m karakteristik šole, vključno z različnimi kazalniki demografske sestave šole, več kazalniki socialno-ekonomskega statusa njene
skupnosti, šolske mobilnosti in prenatrpanosti,
{G } označuje matriko regresijskih koeficientov,
u 0 j označuje šoli lasten odklon njihove regresijske konstante na ravni 1 od
splošne linearne regresijske premice, ki povezuje regresijsko konstanto
šole z lastnostmi šole.
Model druge faze, ki je podoben modelu z naključnimi učinki, se izračuna z
uporabo programov za večnivojsko modeliranje. Ocenjen učinek šole je tudi tu
ocena parametra u 0 j , korigirana za oceno negotovosti. To se včasih imenuje
tudi postopek ocenjevanja s pomočjo metode empiričnega Bayesa, saj je enak
oceni u 0 j dobljeni na podlagi regresije najmanjših kvadratov skrčeni napram
ocenjeni regresijski ravnini, pri čemer je stopnja krčenja obratno sorazmerna relativni natančnosti posamezne ocene (za uvod v metodologijo empiričnega Bayesa
glej Braun (2006b)). Celotni indeks uspešnosti za posamezno šolo je sestavljen
kot tehtano povprečje ocenjenih učinkov šole v različnih programih in razredih. V
Dallasu je uteži vnaprej določila posebej oblikovana skupina predstavnikov deležnikov, imenovana Accountability Task Force.
V Angliji so, da bi deležnikom olajšali učinkovito interpretacijo, uporabili
poenostavljeno verzijo večnivojskega modela. Primer tovrstnih prizadevanj je
odločitev, da ne bodo vključili nobenih pojasnjevalnih spremenljivk za naključne
komponente modela. Taka odločitev poenostavi model, vendar predpostavlja, da
je dodana vrednost med posameznimi učenci znotraj šole tako uniformna, da jo
je mogoče ilustrirati z enim samim rezultatom dodane vrednosti. Kompleksnejši
pristop bi bil, če bi predpostavljali, da znotraj šole obstajajo variacije, in bi za
vsako šolo oblikovali razpon meril. Pomembna lastnost večnivojskega modeliranja je uporaba »krčenja«, pri katerem so rezultati dodane vrednosti majhnih šol
navadno bližje nacionalnemu povprečju; to pomeni manjšo verjetnost, da bodo
ekstremni rezultati dodane vrednosti za te šole zabeleženi. Model lahko ostane
relativno preprost: v teoriji bi lahko imel več ravni analize in več pojasnjevalnih
spremenljivk, tako pri »fiksnih«, kakor tudi pri »naključnih« parametrih modela.
145
Multivariatni modeli odziva z naključnimi učinki
Model EVAAS (Education Value-Added Assessment System) je primer multivariatnega, longitudinalnega modela z mešanimi učinki; to pomeni, da so
zbrani podatki učencev pri več predmetih skozi več razredov/letnikov. Ker se
model EVAAS skozi čas nekoliko posodablja, javno dostopen opis ni na voljo in je
nedavno potekal takole:
Naj predstavlja
i indeks učenca,
j indeks tranzicije,
ni šolo, ki jo obiskuje učenec i.
Potem bo bivariatni model oblike:
(yij , zij ) = (µj , γ j ) + ∑ (θnik , ϕnik ) + (εij , δij ) ; (j
= 1, 2, 3) (8)
k ≤j
kjer predstavlja
yij rezultat učenca pri branju;
z ij rezultat učenca pri matematiki;
µj povprečni rezultat pri branju za celotno populacijo;
γj
povprečni rezultat pri matematiki za celotno populacijo;
θnik učinek šole pri branju;
ϕnik učinek šole pri matematiki; in
eij in dij člena naključne napake pri branju oziroma matematiki.
Za parametra {µ} in {γ } predvidevamo, da sta fiksna, medtem ko za parametra {q } in {j} predvidevamo, da sta naključna in med seboj neodvisna.
(
)
Naj bo εi = (εi 1, εi 2 , εi 3 ) in δi = (δi 1, δi 2 , δi 3 ) in predvidevajmo, da εi , δi
sledita multivariatni normalni porazdelitvi z vektorjem srednjih vrednosti nič in
nestrukturirano pozitivno definitivno kovariančno matriko. Ker sta kondicionalni
na druge parametre v modelu, se za εi , δi predpostavlja, da sta pri vseh učencih neodvisni. Domneva skupne normalnosti členov napake je za večnivojsko
modeliranje te vrste kritičnega pomena, da bi izničila vpliv sovariranja ali nenaključnega dodeljevanja.
(
)
Modelu v plasteh včasih rečemo vztrajnostni model, ker so učinki šole pri eni
tranziciji preneseni na naslednje. Tipično je matrica varianc-kovarianc za kom-
146
ponente napak na ravni učencev puščena nestrukturirana. Predvideva se, da bo
skupna vsem učencem v kohorti, od kohorte do kohorte pa bo lahko različna.
Posledično je lahko število parametrov veliko in za natančno oceno je potrebna
precejšnja količina podatkov.
Pomembno se je zavedati, da so zahteve glede baz podatkov in računalniške
podpore pri tem modelu precejšnje. Model EVAAS je vpeljan na prilagojeni programski opremi in zgoraj opisani model je bil uporabljen za analizo podatkov iz
več kakor stotih šolskih okrožij v več kakor desetletju. Pred kratkim je bil modificiran, vendar opisi še niso na voljo javnosti. Kompleksnejša verzija modela EVAAS se
uporablja, da bi ocenili vpliv učitelja. Modela za šole in učitelje bi morala, in tudi
potekata vzporedno, vendar je v literaturi za zdaj le malo objavljenega o tem, kako
bi lahko v končni fazi oba niza predvidenih učinkov uporabili skupaj.
Primarna prednost modela EVAAS je, da – ker se osredotoča na napredek
učencev skozi serijo ocenjevanj – ne daje nobene očitne prednosti šolam, na
katere se učenci vpišejo z relativno visokimi rezultati. Druga prednost je, da
ni potrebno zavreči kartotek učencev, v katerih manjkajo podatki. Manjkajoči
podatki so obravnavani rutinsko. Nedavne študije podpirajo robustnost ocen,
pridobljenih s pomočjo modela EVAAS ob odstopanju od predpostavk o naravi
manjkajočih podatkov (Lockwood in McCaffrey, 2007). Očitna razlika med dallaškim modelom in modelom EVAAS je, da slednji ne vključuje niti študentskih niti
šolskih kontekstualnih spremenljivk. Ker dallaški model uporablja podatke iz
samo dveh časovnih točk, se mora zanašati na korigiranje kovariance s pomočjo
dodatih kontekstualnih spremenljivk, da bi bile njegove primerjave med šolami
bolj poštene. Nadalje, upoštevanje navodil smernic šolske politike in sprejemljivost za deležnike sta lahko dodatna vzgiba za vključevanje značilnosti učencev
v model prve faze. Po drugi strani pa Sanders et al. (1997) trdijo, da z uporabo
multivariatnih longitudinalnih podatkov vsak učenec deluje kot sam svoj »blok«
in to odpravi potrebo po vključevanju tovrstnih podatkov v model (Sanders et
al., 1997; Ballou, Sanders in Wright, 2004). Četudi je zagotovo res, da enostavni
rezultati napredka šibkeje korelirajo s karakteristikami učencev od trenutnih
rezultatov, Sandersova izjava ni matematična gotovost, in zahteva nadaljnjo
raziskavo.
V ta namen so Ballou, Sanders in Wright (2004) pokazali, kako je mogoče
dodatne kontekstualne spremenljivke učencev vključiti v EVAAS model za učitelje, ne da bi pri tem vnesli pristranskost v ocenjene učinke učiteljev (označene kot
EVAAS-C.). Z obema modeloma so obdelali podatke šolskega okrožja in ugotovili, da so učinki učiteljev pri obeh modelih precej podobni. Z drugimi besedami,
ocene modela EVAAS so se izkazale kot stabilne tudi ob vključitvi dodatnih kontekstualnih spremenljivk učencev. Odprto vprašanje ostaja, ali je mogoče te izsledke
posplošiti tudi na druge situacije in ocene učinkov šole.
147
Za nekatere je dejstvo, da EVAAS ne uporablja dodatnih kontekstualnih spremenljivk učencev, prednost, ker nič ne sugerira, da se pričakovanja do študentov
razlikujejo glede na njihovo poreklo. Po drugi strani pa lahko v nekaterih situacijah ne-statistični pomisleki vodijo do izbire modela EVAAS-C namesto EVAAS.
Ne smemo pozabiti, da je prilagajanje dodatnih spremenljivk učencev v modelih,
manj obsežnih kakor EVAAS, lahko sistematično pristransko do ocen uspešnosti
šole. Na primer, če so dodatne spremenljivke učencev v korelaciji z uspešnostjo
šole (npr. višja stopnja izobrazbe staršev korelira z bolj kvalificiranimi učitelji v
šoli), potem bo prilagoditev za omenjeno spremenljivko imela za posledico podcenitev uspešnosti šole.
Goldstein (1987) ponuja še en primer modela multivariatnega odziva, ki
dovoljuje presečno klasifikacijo (cross-classification) učencev s strani tako njihove osnovne, kakor tudi srednje šole. Rezultati modela presečne klasifikacije
sugerirajo, da je rezultat dodane vrednosti srednje šole pod vplivom posamezne
osnovne šole, v katero je hodil njihov dijak. Še en primer je mogoče najti v delu
Ponisciaka in Bryka (2005). Na podlagi prejšnjih raziskav, ki jih je opravil Konzorcij za raziskave v šolah v Chicagu (Consortium on Chicago School Research),
sta predstavila model prečne klasifikacije s tremi faktorji, ki sta ga poimenovala
HCM3. Model je izkoristil longitudinalne zapise o učencu pri posameznem predmetu. Za vsak predmet so bile izpeljane ločene analize. Učenci so bili prečno klasificirani glede na razred in glede na šolo, v kateri so izdelali posamezen razred.
Kakor pokažeta avtorja, je njun »model kombinacija dveh preprostejših modelov
– dvostopenjskega modela za napredek učenca pri dosežkih v času in dvostopenjskega modela za vrednost, ki jo učenčevemu znanju skozi čas dodata vsaka šola in
razred« (Ponisciak in Bryk, 2005: 44).
Četudi je končna verzija modela precej kompleksna, je osnovna ideja enostavna.
Za vsakega učenca se predvideva, da ima linearno latentno krivuljo napredka.
Naklon te krivulje v posameznem letu in razredu je odklonjen, pozitivno ali negativno, zaradi kombiniranih učinkov razreda in šole tisto leto. Šteje se, da je odklon
stalen; da torej vztraja skozi naslednje ocenjevanje in naprej. Bodite pozorni na to,
da ta model predvideva, da lahko lestvico testnih rezultatov obravnavamo, kakor da
je intervalna lestvica; to predvidevanje je v najboljšem primeru približek.
Analiza krivulje napredka
Nekaj pozornosti je treba nameniti tudi analizi krivulje napredka, ki uporablja
longitudinalne podatke z več kakor dvema opazovanjema uspešnosti učenca, da
bi ocenila prispevek šole k povečanju te uspešnosti. Krivulja napredka (uspešnosti)
je predstavljena s krivuljo rasti merila uspešnosti (ali drugega rezultata) skozi čas.
Ko ocenjuje krivulje napredka, model zgladi opazovana merila, da bi ocenil nepretrgane krivulje, ki naj bi bile vzrok opaženim rezultatom. Model krivulje napredka
148
predvideva, da obstaja latentna krivulja rasti, ki je v času meritev povzročila rezultate
(prav zato so včasih imenovani »modeli latentne krivulje rasti«). Pri analizi individualne krivulje napredka, vsaka krivulja napredka za vsak predmet predstavlja razvoj
skozi čas. Pri linearni krivulji napredka sta ocenjena dva parametra, in sicer parameter na začetni ravni rasti (presečišče ali status) in parameter stopnje napredka
(rast ali naklon). Oba parametra se od posameznika do posameznika spreminjata,
kar pomeni, da je za vsakega posameznika krivulja napredka ocenjena s specifično začetno ravnijo in specifično stopnjo spremembe. Obstaja »osnovni model
napredka« za kohorto, ki v posameznem letu vstopa v posamezen razred:
E [yit ] = c0i + c1it (9)
tukaj predstavlja
i indeks učenca in t indeks ocen,
E pričakovani rezultat,
y testni rezultat,
c0 in c1 začetno raven in naklon napredka.
Predvidevamo lahko, da je par (c0, c1) naključno razdeljen med učenci v
kohorti. Enačba (10) predstavlja krivuljo latentnega napredka za učenca i v odsotnosti učinkov razreda in šole. Zdaj pa naj vt označuje odmik od naklona po
razredu in šoli, v katera je bil učenec vpisan v razredu/letniku t. V tem primeru
t
E [yit ] = c0i + tc1i + ∑ nk (10)
k =1
Zadnji termin na desni, vsota, predstavlja kumulativni prispevek učinkov
razreda in šole na ocene t. Za {v } (učinke šole) predvidevamo, da so po šolskih
razredih znotraj šol razporejeni naključno in neodvisni od tega, na kateri ravni so
učenci.
Dodatno kompleksnost prinese še ukvarjanje z realnostmi delujočega šolskega
sistema. Na primer, v sistemu lahko pride do sekularnih sprememb, ki doletijo vse
učence, ki so se vpisali v določenem letu in so vpisani v določen razred. Predvideva
se, da tovrstne spremembe premaknejo sredino za kohorto tega letnika/razreda.
Poleg tega je vpeljan naključni učinek za vsako šolo, da bi pojasnil učinke selekcije,
ki so posledica tega, da učenci niso naključno razporejeni v šole. Model je mogoče
tudi razširiti, da bo vključil spremembe v učinkih razreda in šole skozi čas. Za nadaljnje podrobnosti si oglejte Ponisciaka in Bryka (2005). Citirana referenca vključuje
razširjeno analizo podatkov iz čikaškega sistema javnih šol pa tudi primerjavo
rezultatov HCM3 s tistimi iz enostavnejših modelov. Choi in Seltzer (2005) sta predlagala zelo podoben model, ki uporablja regresijo latentnih spremenljivk. Glejte
tudi oceno, ki so jo opravili Choi, Goldschmidt in Yamashiro (2005).
149
Ker so modeli krivulje napredka vrsta večnivojskih modelov (merila gnezdena
pri učencih), je dovolj enostavno vključiti dodatno raven, na primer šolsko raven
(učenci gnezdeni v šole), da bi ocenili odklone šol. Ti odkloni odražajo prispevek
šole k statusu in napredku svojih učencev skozi čas in jih zato lahko uporabimo
kot rezultate dodane vrednosti šol. Modeli napredka so intuitivno privlačni in o
njih lahko razmišljamo v izobraževalnih sistemih, ki imajo veliko število merjenj
uspešnosti učencev (modeliranje krivulje napredka ni primerno za situacije, kjer
sta na voljo samo dve meritvi uspešnosti učencev). Modeli se močno zanašajo
na nize longitudinalnih podatkov, upoštevati pa je potrebno tudi vprašanja, kot
so mobilnost učencev in ponavljanje razredov (o teh vprašanjih bolj podrobno v
šestem poglavju).
Sklep
To poglavje je prikazalo nekaj ključnih primerov modelov dodane vrednosti
in spregovorilo o njihovih statističnih lastnostih, ilustriralo prednosti in pomankljivosti njihove uporabe v specifičnih okoliščinah. Vsak model ima različne zahteve po podatkih in zato je vpeljava vsakega zvezana z različnimi stroški. Različni
modeli so tudi lahko bolj primerni za posamezne politične in analitične cilje, zato
je nemogoče vnaprej zatrditi, da obstaja »resnični« ali »najboljši« model za vse
izobraževalne sisteme. Treba je sprožiti analizo, ki bo pokazala, koliko vsakega
modela je mogoče uporabiti, da bi izpolnili zahtevane cilje in izpolnili želene statistične kriterije v času obdobja vpeljevanja sistema modelov dodane vrednosti.
Šesto poglavje naprej razpravlja o kriterijih, ki bi pospešili razumevanje statističnih značilnosti različnih modelov dodane vrednosti, da bi oblikovalci politik in upravljavci lahko informirano odločali o izbiri modela, ko vpeljujejo model
dodane vrednosti.
150
6.Izbira modela: statistična in metodološka vprašanja
Cilj tega poglavja je pomagati upravljavcem in oblikovalcem šolske politike pri
odločanju glede ustreznega modela dodane vrednosti, ki bi ga uporabili v svojem
izobraževalnem sistemu. Odločitev, ali bodo uporabili modele dodane vrednosti,
in če, katere, vključuje veliko tehničnih in netehničnih dejavnikov. Nekaj ključnih
vprašanj o oblikovanju je bilo omenjenih v četrtem in petem poglavju. To poglavje
je usmerjeno predvsem na statistična in metodološka vprašanja, ki so pomembna,
saj z njihovo pomočjo pojasnimo prednosti in omejitve različnih modelov v različnih kontekstih. Celo če jih presojamo po izključno tehničnih kriterijih, je komaj
kakšen – če sploh – primer, pri katerem obstaja en sam »najboljši model« za vsako
situacijo. Četudi so tehnične analize le redko dokončne, pa prispevajo k informiranemu sprejemanju odločitev. Še več, če je vpeljan model dodane vrednosti, poznavanje njegovih prednosti in pomanjkljivosti zmanjša tveganje za neustrezne interpretacije in neprimerno uporabo ocenjenih šolskih rezultatov dodane vrednosti.
Razmisliti je treba o treh glavnih statističnih vprašanjih. Prvo vprašanje je varianca ocen, vključno z njeno medčasovno zanesljivostjo, ki je lahko še posebej
kompleksen problem zaradi težavnosti razlikovanja resničnih sprememb v uspešnosti šole od različnih šumov. Drugo vprašanje je pristranskost in robustnost
odmika od temeljnih predpostavk. In končno je tu še vprašanje, do katere mere so
si med seboj podobne ocene dodane vrednosti, ki so rezultat različnih modelov.
V tretjem delu poročila je razprava o praktični uporabi tovrstnih kriterijev pri izbiri
najprimernejšega modela v pilotni fazi procesa vpeljevanja. Gradivo v poročilu bi
moralo oblikovalcem šolske politike omogočiti uporabo ustrezne ocene in pridobitev zaupanja deležnikov pri uporabi ocen dodane vrednosti.
Preden nadaljujemo z glavno nalogo tega poglavja, bi se bilo vredno spomniti
razloga za ukvarjanje s tem nizom kompleksnih vprašanj. S stališča šolske politike
je izjemno pomembno prepoznati tako izjemno uspešne kakor tudi izjemno neuspešne šole. Tovrstne, na podatkih temelječe kazalnike lahko v povezavi z drugimi
kazalniki uporabljamo za različne namene, na primer za evalvacijo, izboljševanje
ali informiranje javnosti. Seveda je mogoče uporabiti longitudinalne podatke o
rezultatih testov (združene), da bi lahko kredibilno sodili kakovost šol, vendar pa
je zgraditi pravilen sistem vrednotenja kar velik izziv.
151
Aplikacija modela dodane vrednosti na določen niz podatkov je namenjena
pridobivanju ocene prispevka šol k napredku učencev. Namen modela je poskus
izolacije prispevka same šole (njenega osebja, politike in sredstev) k znanju učencev. Z drugimi besedami, uporaba tovrstnih modelov je namenjena posnemanju
(kolikor je najbolj mogoče) situacije naključnega eksperimenta. To je velik izziv
in statistična merila, o katerih se je treba pogovoriti, so osnova za odločanje o
možnostih za približevanje cilju z uporabo določenega modela v določenem okolju. Izobraževalne ustanove si bodo izbrale različne modele glede na njihove cilje,
uporabljene vzorce in kontekstualne podatke ter naravo ocenjevanja učencev.
Praktično gledano, modela ne bi smeli izbrati brez obsežnega pilotnega testiranja, analiz in posvetovanj z različnimi deležniki. Ta vprašanja so dodatno obdelana
v tretjem delu.
Statistični kriterij: varianca in medčasovna zanesljivost
Uporaba modela dodane vrednosti tipično povzroči niz predvidenih učinkov
šole, skupaj z ocenami varianc teh predvidevanj. (Ocenjena) varianca učinka šole
je merilo negotovosti, ki sodi k oceni. Stopnja variance je v veliki meri določena z
uporabljenim modelom dodane vrednosti in s količino razpoložljivih podatkov, še
posebej s številom podatkov, ki jih je mogoče dobiti od šole. Ocene variance so
pomembne, nenazadnje zato, ker so protiutež naravni nagnjenosti k pretiranemu
interpretiranju majhnih razlik med učinki šol. Uporabljene so lahko tudi za gradnjo intervalov zaupanja okoli ocenjenih učinkov šole.
Zaželeno bi bilo, da bi bile variance čim manjše, kar bi pripeljalo do ozkega
intervala zaupanja. Kadar so intervali zaupanja majhni v primerjavi z razlikami
med rezultati uspešnosti v ocenjenih šolah, je zelo lahko identificirati »ekstremne«
šole. To pomeni, da bodo šole, katerih resnični učinki so občutno višji (ali nižji) od
povprečja, tipično povezane z ocenami, ki so relativno natančne in bodo presojane kot statistično bistveno različne od povprečja. Veliko napora je zato vloženega v poskus zmanjšanja ravni varianc pri ocenah uspešnosti šol, kar navadno
vključuje pridobivanje relevantnejših podatkov (npr. daljših sekvenc testnih rezultatov ali testne podatke iz več predmetov) pa tudi izbiro modela, ki učinkoviteje
izrabi razpoložljive podatke.
Ključni element pri izbiri ustreznega modela dodane vrednosti je stabilnost
rezultatov skozi čas. Če rezultati dodane vrednosti šole bistveno nihajo in, še
pomembneje, nihajo na očitno naključen način, potem je težko verjeti, da smo
pridobili natančne ocene prispevkov šol k rasti uspešnosti učencev. Zmanjšanje
zaupanja pa bi lahko imelo resne posledice za različne deležnike v izobraževalnem sistemu, še posebej za tiste, ki bi lahko občutili breme kaznovalnega sistema
šolske odgovornosti. Stabilnost šolskih rezultatov bi bilo torej treba analizirati v
razvoju modeliranja dodane vrednosti in v rednem spremljanju sistema. Vendar
152
pa je, če upoštevamo, da so posamezne spremembe v rezultatih dodane vrednosti šol skozi čas pričakovane in zaželene, težko presoditi, ali je nestabilnost posledica resničnih sprememb v uspešnosti šole ali samo naključno nihanje.
Medletne korelacije ocen dodane vrednosti šol so odvisne od velikosti šole,
vrste uporabljenega modela, števila vključenih kontekstualnih spremenljivk, števila let od prejšnjega pridobivanja ocen in rezultatov ter področja, ki ga primerjava pokriva (vseh šol v državi ali le manjšega vzorca). Kadar se učinki šole izračunavajo letno, je mogoče odkriti precejšnja nihanja. Kane in Staiger (2002) sta ta
pojav opazovala v Severni Karolini. Nekatere šole so videti nenavadne na podlagi
sprememb v podatkih, ki so uporabljeni v modelu dodane vrednosti, za druge
pa je težko reči, če je dvig ali padec v dodani vrednosti »pristen«. Za ugotavljanje
verjetnosti spremembe lahko uporabimo podrobnejše podatke (npr. iz modelov
za predmete ali podskupine znotraj šole).
Kot primer je bila opravljena analiza angleških podatkov o stabilnosti dodane
vrednosti šol, kjer so bili kontekstualizirani rezultati dodane vrednosti primerjani
s stabilnostjo surovih rezultatov šole (Ray, 2007). Preglednica 6.1 prikazuje povprečno absolutno spremembo pri vsaki od meritev in standardno deviacijo teh
sprememb. Vse statistike so predstavljene v enakih enotah: točkah preverjanja
znanja Key Stage 4. Surovi rezultati so med letoma 2005 in 2006 narasli, medtem
ko so se dodana vrednost in kontekstualizirani rezultati dodane vrednosti v povprečju malo spremenili, ker gre za relativna merila. Pomembno je, da so si standardne deviacije teh sprememb po velikosti podobne. Rezultati kažejo, da stabilnost
dodane vrednosti ni nujno absolutno nižja, kljub temu da sta dodana vrednost in
kontekstualizirana dodana vrednost gledano relativno bolj spremenljivi od surovih rezultatov (npr. kot izmerjeni korelaciji med letoma 2005 in 2006). V bistvu je
stabilnost v tem primeru za dodano vrednost in za kontekstualizirane rezultate
dodane vrednosti nekoliko višja kot za surove rezultate, pri čemer ocena dodane
vrednosti prinese najstabilnejšo meritev.
Preglednica 6.1. Absolutne spremembe pri kontekstualizirani dodani vrednosti
(CVA), dodani vrednosti (VA) in surovih rezultatih (APS): Summary Statistics, Key
Stage 4, 2005-2006 (Združeno kraljestvo).
Povprečna
sprememba
Standardni
odklon
Sprememba
25. percentila
Mediana
spremembe
Sprememba
75. percentila
Sprememba v
surovih APS
5,4
14,9
–4,1
4,9
14,2
Sprememba v VA
–0,1
12,3
–7,9
–0,4
7,3
Sprememba v CVA
–0,3
13,4
–8,1
–0,4
7,5
Vir: Ray, A. (2007)
153
Trije dejavniki, ki niso variacije v dejanski uspešnosti šole, vendar vplivajo na
rezultate dodane vrednosti skozi čas, so: spremembe v uporabljenih ocenjevalnih
orodjih, spremembe pri spremljevalnih podatkih (navadno kontekstualnih podatkih) in večja nestalnost pri rezultatih majhnih šol. Značilnosti testnih rezultatov so
lahko zaradi nezadostnega nadzora pri razvoju, težav pri poenotenju testov ali celo
načrtovanih sprememb vsako leto drugačni. Prav tako lahko pride do sprememb
pri številu, pomenu in kakovosti spremenljivk, uporabljenih za prilagajanje. Običajno zdravilo, ki ga priporoča to poročilo, je uporaba triletnih drsečih povprečij
za sporočene rezultate dodane vrednosti šol, kar navadno izravna naključna nihanja in zagotavlja stabilnejše merilo. Cena, ki jo za to plačamo, pa je nekoliko težja
prepoznava dejanskih sprememb v učinkovitosti šole. Triletno drseče povprečje
je mogoče uporabiti pri rezultatih katerega koli modela dodane vrednosti. Spomnite se samo, da tako imenovani modeli naključnih učinkov kažejo pomembno
značilnost; namreč, da se dodane vrednosti šole »krčijo« proti skupnemu povprečju, pri čemer je količina krčenja v obratnem sorazmerju z relativno količino
informacij o šoli. Pri ocenah za majhne šole je precej krčenja, kar sicer prispeva k
stabilnosti, vendar pa otežuje prepoznavanje šol, ki so bistveno drugačne od povprečja. V nekem smislu je to verzija že znane zamenjave med napakama vrste I in
II. Treba pa je opozoriti, da se pogledi na primernosti uporabe skrčenih ostankov v
kontekstu sistema za zagotavljanje rezultatov dodane vrednosti za šole razlikujejo
(Kreft in De Leeuw, 1998: 52).
Spremembe v testih lahko povečajo ali zmanjšajo število uspešno opravljenih
testov ali višino ocen. Če se modeli nanašajo na vertikalno izenačevanje za oblikovanje rezultatov rasti ali »napredovalno statistiko«, bi to lahko povzročilo nestabilnost šolskih kazalnikov.16 Celo pri rezultatih dodane vrednosti, ki šole preprosto
primerjajo med seboj in ustvarjajo ocene, zbrane okoli povprečja, bi lahko prišlo
do nestabilnosti, če bi spremembe v testih dajale posameznim šolam prednost
pred drugimi. Če bi se število pozitivnih ocen dvignilo pri poklicnem predmetu, ki
je del meritve rezultata dodane vrednosti in bi se tega predmeta učili predvsem
učenci v določenih šolah, bi te šole lahko dosegle višje rezultate dodane vrednosti
kakor v preteklih letih.
S tem je povezano vprašanje robustnosti rezultatov dodane vrednosti za različne podatke. Predstavljajte si, da obstajata dva različna testa za isti predmet,
vsak od njiju je v uporabi že vrsto let. Če za oba niza podatkov uporabimo enak
model dodane vrednosti, kako podobni so rezultati? Sass in Harris (2007) sta v
svoji raziskavi ocenjevanja učinkov učiteljev uporabila rezultate s Floride in dobila
kvalitativno različne rezultate. To ne preseneča, saj so bili testi zgrajeni z uporabo
različnih okvirov in so imeli drugačne psihometrične značilnosti. Vseeno pa so bili
16 Angleški primer je enostavna statistika, o kateri se trenutno razpravlja (vendar še ni v uporabi): število
učencev v šoli, ki znotraj Key Stagea napredujejo dve ali več stopenj po nacionalnem kurikulumu.
154
izsledki opomnik, da imata narava in kakovost testnih podatkov materialni učinek
na izid in analizo. Nadaljnje informacije v tej smeri lahko najdete v Fielding et al.
(2003) in Lockwood et al. (2007).
Kadar model dodane vrednosti vključuje kontekstualne podatke, lahko tudi
diskontinuiteta privede do nestabilnosti. Denimo, če v Angliji posamezna lokalna
upravna enota spremeni merila za pravico do brezplačne šolske prehrane, lahko
to v tistem letu vpliva na kontekstualizirane rezultate dodane vrednosti v vseh
šolah na njenem področju. V svoji primerjavi stabilnosti kontekstualiziranih rezultatov dodane vrednosti s surovimi rezultati so Thomas et al. (2007) ilustrirali, da
so na surovih rezultatih temelječe korelacije bistveno višje. Rezultati dodane vrednosti so se izkazali za manj stabilne od surovih rezultatov, ker so slednji redno
predmet dejavnikov, ki jih rezultati dodane vrednosti ne upoštevajo. Na primer,
rezultati šole so skozi čas lahko relativno nizki, ker šola vpisuje učence z nizkimi
predhodnimi rezultati iz deprivilegirane skupine; če rezultat dodane vrednosti
meri variacijo odklona pri rezultatih po upoštevanju teh dejavnikov, je možnost za
nestabilnost rezultatov večja. Vendar pa je treba opozoriti, da so kljub nestabilnosti rezultati dodane vrednosti verjetno pravičnejše merilo učinkovitosti omenjene
šole.
Ocene za majhne šole bodo predmet večje variabilnosti pri vzorčenju. Medletne razlike pri učinkih šol glede na vzorčne velikosti šol kažejo značilen vzorec z
večjo disperzijo, povezano z manjšimi velikostmi vzorcev, in zanemarljivo disperzijo, povezano z večjimi vzorci. Splošneje povedano, ker so ocene učinkov šole
deviacije od celostnega povprečja, je rezultat šole prav tako odvisen od (prilagojenega) napredka v testnih rezultatih v drugih šolah. Tudi ti se lahko iz leta v
leto spreminjajo. V večini izobraževalnih sistemov so majhne šole značilnejše za
osnovnošolsko izobraževanje kot za srednješolsko. V skladu s tem bodo ocene
dodane vrednosti za osnovne šole verjetneje kazale večjo relativno nestabilnost,
zaradi česar bo težje izolirati stalne »neuspešneže«. Ray (2007) je preučil vrsto
osnovnih šol, ki bi jih verjetno imenovali neuspešne, in sicer na podlagi podatkov, zbranih v Angliji v treh letih. Od 16.200 preučenih osnovnih šol jih je imel le
majhen del (424 osnovnih šol) vsa tri zaporedna leta oceno dodane vrednosti več
kakor eno standardno deviacijo pod povprečjem. To ni bilo izračunano z uporabo
kontekstualiziranih rezultatov dodane vrednosti, ampak je temeljilo na srednji
metodi (torej brez kakršnega koli krčenja). Za povečanje članstva v skupini, ki se
kvalificira kot neuspešna na podlagi svoje »nizke« dodane vrednosti v vsakem od
treh let, bi morala biti definicija »nizkega« manj stroga (npr. 0,75 standardne deviacije pod povprečjem v vseh treh letih). Jasno je, da bi lahko za izravnavo nekaterih nestabilnosti postavili kriterije, utemeljene na triletnem povprečju. Druga
možnost bi bila izločitev šol, manjših od določene velikosti, skupaj s splošnim
opozorilom uporabniku o natančnosti presojanja letnih sprememb pri rezultatih
dodane vrednosti. Izravnavanje preko let in/ali izločevanje majhnih šol vključuje
155
kompromis med ocenjenimi učinki šole, ki so manj prizadeti zaradi naključnih
variacij, in odkrivanjem dejanskih sprememb pri učinkih šol v poznejšem obdobju. Pri razpravi v ekspertni skupini, oblikovani za razvoj tega poročila, je prevladalo splošno mnenje, da so šole z letnimi kohortami, manjšimi od 20–30 učencev,
bolj nagnjene k manj stabilnim rezultatom. Vendar pa je bilo jasno povedano, da
so lahko velikosti šol v različnih državah zelo različne in da je treba v vsako odločitev, ki zadeva izključitev šol iz vzorčenja ali analize, vključiti praktične pomisleke.
Dodatne poizvedbe o stabilnosti rezultatov dodane vrednosti šol naj bodo vodilo
glede njihove vključitve v vzorec.
Statistični kriterij: pristranskost
Uporabnost modela dodane vrednosti je odvisna tudi od količine nastale
pristranskosti v ocenah. Pristranskost je mera sistematične netočnosti. Cenilka je
pristranska, če se njena povprečna vrednost v številnih ponovitvah študije ne približa »resnični« vrednosti. Tipično se pristranskost ne zmanjša s preprostim dodajanjem več podatkov iste vrste, ki so že v modelu. V tem poročilu je pristranskost
fundamentalno različna od variance, saj se lahko slednja običajno zmanjša, če
povečamo količino podatkov za analizo.
Prav tako je pristranskost težje kvalificirati kot varianco, saj na nek način leži
»izven« modela. Predstavljajte si, da je v nekaterih okrožjih običajno obiskovanje
zasebnih inštrukcij pred preverjanji znanja. Če so inštrukcije kvalitetno zasnovane,
bodo učenci akademsko napredovali in to se bo predvidoma poznalo pri preverjanju. Če bodo ti testni rezultati uporabljeni za analizo dodane vrednosti, bodo
šole, ki jih obiskujejo ti učenci, videti uspešnejše, kot so v resnici; kar bo povzročilo popačeno, »pristransko« sliko njihove relativne uspešnosti. V tem primeru pri
oceni učinkov šole nastopi pristranskost, saj izpuščena spremenljivka (obiskovanje
inštrukcij) povzroča korelacijo med spremenljivkami šole in členom napake. Medtem ko je izračun variance utemeljen na predvidevanju pravilnosti modela, do pristranskosti navadno pride, ko predvidevanja, na katerih je model utemeljen, niso
izpolnjena. Predpostavke so lahko povezane z naravo podatkov (na primer izpust
relevantnih spremenljivk), strukturo modela ali z obojim. Medtem ko ocene variance za učinke šol nastajajo kot normalen del večine modelov dodane vrednosti,
ocene pristranskosti ne izdelamo nikoli. Včasih je mogoče približke pristranskosti
izračunati analitično, še pogosteje pa jih pridobimo s pomočjo simulacij, kjer se
odstopanja od predvidevanj raziskujejo sistematično.
Ocenjeni učinki so pristranski v takem obsegu, da obstaja sistematično podali nad- prilagajanje (glej razpravo v četrtem poglavju). Podatki na ravni učencev,
ki so na voljo za analizo, le redko docela predstavljajo tiste vidike izvora učencev,
ki so povezani z njihovimi akademskimi dosežki. Raven izobrazbe staršev se navadno šteje kot merilo za splošni družbeno-ekonomski status. Vendar pa bi popol-
156
noma specificiran model za družbeno-ekonomski status navadno vključeval tudi
poklic starša ali staršev, družinske prihodke in medgeneracijske transferje. Očitno
zgolj raven izobrazbe staršev ne daje pravične slike koncepta družbeno-ekonomskega statusa. Verjetno je torej, da bo model, ki vključuje zgolj stopnjo izobrazbe
staršev, na koncu premalo prilagojen. To pomeni, da bodo ocenjeni učinki šole
pri populacijah z višjim družbeno-ekonomskim statusom pristranski navzgor, pri
tistih z nižjim statusom pa navzdol.
Žal obstaja cela paleta načinov, kako lahko pristranskost zmede ocene šolske
uspešnosti. Pomislite na položaj, v katerem je delež učencev, ki so se prešolali,
od šole do šole bistveno različen. V šolah z visoko mobilno populacijo učencev
gredo lahko nezanemarljiva sredstva za prehodne učence, ki pa bodo odšli, preden bodo pisali test, ali pa v šolo še ne bodo vpisani dovolj časa, da bi jih lahko
šteli v izračun ocene. To težavo še povečuje učinek sprememb v oblikovanju razredov pri ostalih učencih. Tako se torej določena količina prizadevanj šole ne pokaže
v podatkih določenega modela, kar lahko povzroči nižjo oceno uspešnosti šole.
Če je delež prešolanih učencev visok v šolah, v katerih se (z manj razpoložljivimi
sredstvi) šola populacija zlasti iz neprivilegiranih okolij, so lahko ocene te šole pristranske navzdol. Taki in podobni scenariji kažejo, da je treba biti pri primerjanju
šol z različnimi vzorci mobilnosti zelo previden.
Naslednji možen vir pristranskosti je napaka pri meritvi. Vemo, da teoremi klasične regresijske teorije predpostavljajo, da so neodvisne spremenljivke izmerjene
brez napake. V našem primeru pa lahko tako predhodni testni rezultati kakor tudi
kontekstualne spremenljivke vsebujejo precejšnjo količino šuma, zato so regresijski koeficienti, uporabljeni za prilagoditve, pristranski proti ničli. Ladd in Walsh
(2002) pokažeta, da lahko uporaba enega samega predhodnega testnega rezultata pripelje do ocene dodane vrednosti, ki je v praksi neuporabna. Kot orodje
za testne rezultate prejšnjega leta predlagata uporabo dvakrat odloženih testnih
rezultatov (torej rezultatov izpred dveh let). Ni pa konsenza o tem, ali dvakrat
odloženi rezultati v celoti izpolnjujejo zahteve za instrumentalno spremenljivko.
Statistični kriterij: srednji kvadrat napake
V praksi niso predvidevanja nikoli v celoti zadovoljena in noben model ni
popolnoma primeren, tako je pristranskost lahko vedno prisotna. Vprašanje je
smer pristranskosti in njena magnituda (absolutna in v odnosu do magnitude
variance). Pristranskost pogosto zbuja večjo skrb kakor varianca, nenazadnje zato,
ker predstavlja subtilnejšo nevarnost uporabnosti ocen, pridobljenih v modelu
dodane vrednosti. Tradicionalno statistiki presojajo cenilko na osnovi meritve
totalne napake, imenovane srednji kvadrat napake (MSE). Primeren opis MSE je:
MSE = varianca + (pristranskost)2
157
Tako nekateri modeli sprejmejo majhno količino pristranskosti, da bi s tem
dovolj znižali varianco in dobili manjšo MSE. To je strategija modelov dodane
vrednosti, ki prispevke šole modelirajo kot naključne učinke. Prinašajo ocenjene
učinke šole, ki so skrčeni proti povprečju (uvajajo pristranskost), vendar so variance ocen bistveno zmanjšane v primerjavi s tistimi, ki ne temeljijo na podatkih,
ki jih šole delijo med seboj. Prve imajo navadno nižjo MSE od drugih. Alternativen pristop k upravljanju vprašanj prilagajanja pa je uporaba modelov, pri katerih
so učenci in šole obravnavani kot fiksen učinek, kar odstrani problem koreliranih
napak in podobnega. Če pa je število učencev v šoli veliko, nastopijo zaradi velikega števila učencev in šol računska vprašanja, ki lahko privedejo do večje negotovosti pri obdelovanih ocenah dodane vrednosti šole, in sicer zaradi velikega števila parametrov, ki jih je potrebno oceniti. Ocene fiksnih učinkov so konsistentne,
a tudi precej variabilne, ker ne prihaja do »izposoje informacij« med šolami kot pri
modelu naključnih učinkov. To je kompromis med pristranskostjo in varianco, ki
sta pri modelih naključnih učinkov, ni pa ju v modelih fiksnih učinkov. Lockwood
in McCaffrey (2007) sta raziskovala statistične lastnosti naključnih učinkov. Pokazala sta, da je lahko ob zadostnih podatkih o preteklih dosežkih pristranskost, ki jo
prinese korelacija med napakami, tipičnimi za učenca, in (naključnimi) učinki šole,
dovolj majhna, da jo lahko zanemarimo. Ti modeli prinašajo ocene, skrčene proti
sredini, ki povzroča nekaj pristranskosti, vendar tudi zmanjša varianco; zaradi
nizke končne MSE so ti modeli bolj priljubljeni. Vendar se je potrebno vedno
zavedati kompromisa, do katerega pride, kadar uporabljamo model naključnih
učinkov, kajti izposojanje informacij povzroča ocene, ki so na račun pristranskosti
manj variabilne (torej natančnejše).
Manjkajoči podatki
Do tukaj je poročilo upoštevalo tri statistične kriterije s predpostavko, da je
baza podatkov za analizo popolna. V praksi je tovrstna okoliščina redka, delno tudi
zato, ker je za modele dodane vrednosti potrebnih veliko podatkov, zahtevajo
namreč zapise o učencih in njihovih testnih rezultatih pri enem ali več predmetih
za dve leti in več. Veliko modelov zahteva značilnosti učencev in tudi druge kontekstualne podatke. V večini okolij bo nekaj dokumentacije o učencih nepopolne,
najbolj pa je zaskrbljujoča situacija, pri kateri v bazi podatkov sploh ni posameznih v šolo vpisanih učencev. Preden nadaljujemo z analizo, moramo zato opraviti
nekaj evalvacij kakovosti podatkov. O tem bo več govora v tretjem delu.
Precejšnja količina manjkajočih podatkov, predvsem podatkov o testnih
rezultatih, je vzrok za zaskrbljenost, in sicer glede vprašanj v zvezi z varianco in
še posebej pristranskostjo. Zagotovo obstajajo legitimni razlogi za manjkajoče
podatke. Med temi so odhod učencev iz šole ali okolja/regije ali njihovo sodelovanje pri drugačni vrsti presoje (še posebej v sistemih, kjer imajo izrazite izobra-
158
ževalne smeri). Po drugi strani pa so lahko učenci na dan testa manjkali, možnosti
za ponovno pisanje pa ni bilo. Vprašanje, s katerim se zdaj ukvarjamo, se torej
prenese na spraševanje o tem, ali so značilnosti učencev pri toliko manjkajočih
podatkih konsistentne s predpostavkami modela.
Za začetek pomislite na prvo situacijo, v kateri model dodane vrednosti zahteva testne rezultate iz dveh zaporednih priložnosti, pa tudi nekatere značilnosti
učencev. Če vsi zapisi učencev vsebujejo pretekli rezultat, pri nekaterih pa manjka
sedanji, je treba narediti nekaj za izboljšavo položaja. Lahko preprosto izbrišemo
zapise z manjkajočimi podatki in analizo izvedeno na nizu popolnih zapisov. Žal
bo to verjetno povzročilo pristranske ocene, razen če manjkajoči podatki manjkajo
naključno. Predpostavka, da manjkajoči podatki manjkajo popolnoma naključno
pomeni, da je njihova distribucija enaka distribuciji opazovanih rezultatov (McCaffrey et al., 2003: str. 82). Ta domneva v šolskem sistemu le težko zdrži. Ne zdrži, na
primer, če pri učencih z neprimernimi značilnostmi (na primer povezanimi z nižjimi
dosežki) testni rezultati ob enakih ostalih pogojih manjkajo pogosteje. To bi bilo
še posebej pomembno pri razlikah v stopnjah retencije tako pri šolanju, ki je višje
od obvezne stopnje, kakor tudi pri različnih predmetih. V tem primeru bi bile šole z
višjim deležem tovrstnih učencev in, tipično, višjim deležem izbrisanih zapisov, pri
analizi privilegirane. To je oblika pristranskosti.
Kompleksnejši modeli (npr. EVAAS) lahko sprejmejo popolne in nepopolne
zapise. Nepopolni zapisi ne bodo povzročili pristranskosti, če so manjkajoči
podatki naključni. Predpostavka, da podatki manjkajo naključno (MAR), je šibkejša od predpostavke, da podatki manjkajo popolnoma naključno (MCAR). To
pomeni, da se (odvisno od značilnosti učencev in testnih rezultatov vključenih
v model) za distribucijo manjkajočih rezultatov predpostavlja, da je enaka distribuciji opazovanih rezultatov: v modelu skupine učencev z enakimi lastnostmi in
testnimi rezultati, manjkajoči rezultati niso sistematično različni od nemanjkajočih rezultatov. Z drugimi besedami, postopek generiranja vzorca manjkajočih vrednosti in izidi testnih rezultatov so drug od drugega neodvisni (Rubin, 1976; Little
in Rubin, 1987).
Celo predpostavka, da podatki manjkajo naključno, lahko ne drži. Pade v primeru, če bodo od učencev z vnaprej določenimi značilnostmi šibkejši učenci (torej
tisti z manj izrazitimi testnimi krivuljami) bolj verjetno ostali doma na dan preverjanja znanja. Odsotni so lahko, ker si to izberejo sami ali pa so k temu celo spodbujani. Seveda bo predpostavka manjkajočih po naključju le težko popolnoma zadovoljena. Vprašanje je torej, kako robustni so ocenjeni učinki šole na odstopanja od
predpostavke o manjkajočih po naključju. Nedavna študija (McCaffrey et al., 2004)
predlaga, da je pod določenimi pogoji za posamezne modele stopnja robustnosti
precejšnja. Z drugimi besedami, pristranskost v ocenah z manjkajočimi podatki je
relativno majhna.
159
Te dobre novice pa je potrebno previdno interpretirati. Prvič: robustnost
je delno posledica obsežnih podatkov v teh modelih. To pomeni, da je učinek
odklona od predpostavke »manjkajoč-po-naključju« ublažen zaradi prispevkov ekstenzivnih informacij, ki jih uporablja model. Drugič, manjkajoči podatki
peljejo do večje variance pri ocenah v primerjavi s tistimi, ki bi jih dobili, če bi
uporabili popolne podatke. Tako bodo omembe vredne količine manjkajočih
podatkov zmanjšale uporabnost ocen, če bo glavni cilj identifikacija šol, ki so
bistveno drugačne od povprečja. Če imajo dejansko manj uspešne šole bolj verjetno nepopolne baze podatkov, potem bodo z uporabo modelov naključnih
učinkov bolj verjetno izkusile večje krčenje in jih bo težje statistično ločiti od
povprečja.
Izbira modela v analizi dodane vrednosti
Pri uvajanju modela dodane vrednosti je priporočljivo (če je mogoče) primerjati značilnosti ocen dodane vrednosti šol, ki jih dobimo s specifikacijami različnih
modelov. S praktičnega stališča se je najpomembneje vprašati, do katere mere
različni modeli dodane vrednosti prinašajo podobne rezultate − ali izbira modela
empirično povzroča kakšno razliko. Jakubowski (2007) se je lotil študije s podatki
iz Poljske in Slovenije, da bi primerjal različne modele dodane vrednosti glede na
stabilnost rezultatov. Ti modeli so bili pogosto uporabljani pri raziskavah dodane
vrednosti in nekateri od njih so bili operativno implementirani. Tukaj niso opisani, saj so obdelani v literaturi o večnivojskih (hierarhičnih linearnih ali mešanih)
modelih in modelih dodane vrednosti za vrednotenje šol (glej Goldstein, 1997,
1999; Raudenbush in Bryk, 2002; Snijders in Bosker, 1999).
V obeh državah so podatki vključevali rezultate posameznih učencev z izpitov ob koncu osnovne in srednje šole, razlikovali pa so se starost učencev in tudi
predmeti, ki so bili testirani. Pomembno je upoštevati, da sta si državi bistveno
različni glede na število prebivalstva, organizacijo šolstva ter številne družbene
in ekonomske značilnosti. Prvi model je bil preprost model linearne regresije z
odkloni ostanka od regresijske premice, uporabljenimi za izračun dodane vrednosti šol. Drugi model je bil model linearne regresije fiksnih učinkov. Tretji model je
bil model naključnih učinkov s predpostavko, da so učinki šole neodvisno in normalno distribuirani. Četrti model, je bil model naključnega naklona (ali naključnega koeficienta); pri njem je veljalo, da sta tako regresijska konstanta (učinki šole)
kakor tudi naklon vstopnih rezultatov naključno razporejena in smeta biti med
šolami različna.
Ključno je bilo spoznanje, da so korelacije med različnimi nizi ocen dodane
vrednosti zelo visoke (Jakubowski, 2007). Zaradi praktičnosti je bilo presojeno,
da so enostavnejši modeli v okoliščinah, kjer sta enostavnost in dostopnost za
oblikovalce šolske politike pomembnejši od teoretične optimalnosti, primernejši
160
od bolj zapletenih. Prav tako so bile ocene z modelom naključnega naklona zelo
podobne tistim, ki so jih dali enostavni modeli. Dopuščanje variacij pri naklonu
regresijskih premic samo po sebi ni prineslo bistveno drugačnih rezultatov. To
ne pomeni, da je izbira modela nepomembna, in prav tako ne, da bi morali dati
enostavnim modelom vedno prednost in da bodo vedno prinesli podobne rezultate. Primer prej ilustrira, da različne ocene dodane vrednosti ne prinesejo nujno
bistveno različnih rezultatov in da je treba razlike testirati in analizirati. Primerjava ocen različnih modelov dodane vrednosti glede na niz vnaprej določenih
kriterijev in ciljev bi morala omogočiti prepoznavanje primernega modela. Vendar pa splošne korelacije pri pregledovanju tovrstnih primerjav morda niso tako
pomembne kakor konsistentnost rezultatov dodane vrednosti šole na obeh koncih distribucije. Pri primerjavi različnih modelov bi morali upoštevati stroške in
koristi vsakega modela. Četudi kompleksnejši modeli morda prinesejo superiorne
statistične lastnosti, kakor je na primer določena neobčutljivost proti manjkajočim podatkom in selekcijski pristranskosti, pa so zaradi preglednosti in, predvsem
v državah s slabo centralizirano zbirko podatkov, zaradi potrebovanih podatkov
tudi dražji.
Obstaja še vrsta drugih relevantnih študij. Gray et al. (1995) so izračunali
rezultate dodane vrednosti za skupino srednjih šol med letoma 1990 in 1991 ter
letoma 1991 in 1992 in odkrili visoko korelacijo, med 0,94 in 0,96. Avtorji verjamejo, da njihovi izsledki skupaj z zgodnejšimi raziskavami kažejo na »precejšnjo
medletno stabilnost pri učinkovitosti šol« (str. 97). V novejši študiji 63 srednjih šol
v Lancashiru so Thomas, Peng in Gray (2007) našli korelacije pri kontekstualizirani
dodani vrednosti za sosednja leta v razponu od 0,80 do 0,89. Primerljive analize
sta izvedla tudi Ponisciak in Bryk (2005), ki sta med metodami odkrila zmerne
korelacije. V ZDA so Tekwe et al. (2004) opravili študijo, v kateri so primerjali ocenjene učinke šol v štirih modelih, ki uporabljajo podatke iz 3., 4., in 5. razreda 22
šol okrožja na Floridi. Modeli so segali od enostavnih do kompleksnih. Korelacije
med ocenami modelov so tipično presegale 0,90, razen tistih, ki so vključevale
kompleksen večnivojski model, kjer so presegale 0,70. Avtorji so sklenili, da uporaba kompleksnejših modelov namesto enostavnih modelov ne prinaša nobenih
bistvenih prednosti. Kot odgovor na analizo Tekweja in drugih (2004) je Wright
(2004) izvedel simulacijo, ki je za različne parametre uporabljala načrtovanje faktorjev (factorial design): število učencev, vzorce pridobivanja in stopnjo, do katere
bi lahko manjkajoče vrednosti povzročile pristranskost rezultatov dodane vrednosti šole. Primerjal je model s preprostimi rezultati z dvema kompleksnejšima, longitudinalnima modeloma. Z uporabo merila MSE je ugotovil, da so kompleksnejši
modeli bolj zaželeni zaradi svoje nižje MSE v tistih celicah načrta, ki bodo bolj verjetno predstavljale dejanske podatke. Mogoče je tudi, da bo tipična velikost ocenjene standardne napake, ki spada k ocenjenim merilom uspešnosti šole, v različnih modelih različna. Zato se lahko zgodi, da bo bolj zaželena metoda, s katero
bo mogoče od povprečja razločiti večje število šol. Vendar pa je vprašanje, ali je
161
stabilnost »razumna«, kritično odvisno od uporabe rezultatov dodane vrednosti
in definicije »neuspešnosti«. Zgoraj opisani rezultati so konsistentni z empiričnim
delom na modelu EVAAS.
Podobnost rezultatov dodane vrednosti šol ob uporabi različnih modelov
ilustrira, da izbire, ki čakajo oblikovalce šolske politike in upravljavce, niso zgolj
enostavne izbire med dobrim in slabim modelom. Večina modelov bo prinesla
podobne rezultate, če so podatki v vseh modelih enaki, če so testni podatki zanesljivi in zlasti če so v proces ocenjevanja vključena večkratna merjenja predhodnega pridobivanja podatkov. Kaže, da lahko kompleksnejši modeli (glede na
omejitve razpoložljivih podatkov) zagotovijo večjo natančnost in da so manj
dovzetni za odstopanja od temeljnih predvidevanj. Kompleksnost modelov je
lahko različna. Model lahko prinese kompleksnost z več rezultati ocenjevanja pri
več predmetih, kakor na primer pri modelu EVAAS, pri kakšnem drugem modelu
lahko na rezultate uspešnosti vpliva vrsta dodatnih dejavnikov (Ponisciak in Bryk,
2005). Povečana raven kompleksnosti v katerem koli od teh modelov (pri katerem koli kompleksnem modelu) je koristna samo, kadar ji uspe ujeti pomembne
vzorce ali vire šuma v podatkih. Pomanjkljivost pa leži v višji stopnji kompleksnosti
in potrebi po več podatkih za dobro oceno modela. Kompromise je treba analizirati v pilotni fazi vpeljevanja sistema modela dodane vrednosti, vključno z oceno
obsega dodatnih podatkov, ki so potrebni za kompleksnejše modeliranje.
V priporočilih vladi Združenega kraljestva glede uvajanja modelov dodane
vrednosti, je Fitz-Gibbonova (1997: 38) odkrila, da so »kazalniki dodane vrednosti,
ki jih je oblikoval enostaven postopek primerjave uspešnosti učencev neposredno z uspešnostjo podobnih učencev ne glede na njihovo šolo, in nato povzemanje rezultatov dodane vrednosti (rezultati rezidualov), dali kazalnike, ki so korelirali tako visoko s kazalniki iz kompleksnih modelov, da je bilo enostavne modele
lahko priporočiti.« Če upoštevamo prednosti, ki jih imamo pri poročanju deležnikom o enostavnejših modelih, taki izsledki kar kličejo k uporabi enostavnejših
ocen dodane vrednosti. Te je nato mogoče podpreti s kompleksnejšim modelom
tako za interno analizo kot tudi za spremljanje rezultatov enostavnejših modelov.
Dodatno lahko analiziramo razlike pri modeliranju različnih struktur rezultatov ocenjevanja učencev. Fielding, Yang in Goldstein (2003) so primerjali ocene
dodane vrednosti, utemeljene na večnivojskem modelu za točkovne rezultate in
večnivojskem modelu za urejene kategorije. Modela sta bila aplicirana na veliki
bazi podatkov pri preverjanju znanja za splošni certifikat o izobrazbi – višja raven
(General Certificate of Education Advanced Level) v Angliji in Walesu. Obe vrsti
modelov sta imeli dodatne spremenljivke: pretekli dosežki učencev, spol, starost,
šola, vrsta financiranja, način sprejema in izpitna komisija. Pokazano je bilo, da sta
bila pri vsakem paru modelov korelacija koeficientov in korelacija razvrstitve med
ocenami ostanka institucij in ocene dodane vrednosti večja od 0,96. Če drži, da se
162
lahko ocena dodane vrednosti za posamezno šolo od modela do modela bistveno
razlikuje, je izbira najprimernejšega modela zelo pomembna. Zato je treba pri primerjanju vplivov različnih modelov identificirati posamezne šole, ki so doživele
pomembne spremembe, poleg tega je treba poudariti, da konsistentnost odkritij
ne implicira nujno obstoja pristranskosti ali napake pri meritvi.
Sklep
Ocenjen prispevek šole k znanju učencev se lahko spremeni glede na uporabljen model dodane vrednosti. Razlike v specifikacijah lahko izvirajo iz vrste
dejavnikov, na primer iz razpona uporabljenih testnih podatkov (mdr. število let in
število predmetov), obravnave manjkajočih podatkov in uporabljene vrste prilagajanj. Zaradi teh razlik vsak model dodane vrednosti prinaša prednosti in pomanjkljivosti, ki jih je potrebno upoštevati v luči konteksta uporabe modela in narave
razpoložljivih podatkov. Kompleksnejši modeli imajo na splošno večje zahteve
po podatkih, so težji za vpeljevanje in evalvacijo in postavljajo večje izzive, ko jih
poskušamo predstaviti različnim deležnikom, vključno s širšo javnostjo. Postavlja
se naravno vprašanje: »Ali je vredno uporabljati kompleksnejše modele?« Z večjo
kompleksnostjo prihajajo dodatni stroški, zlasti če je treba zanje zbrati dodatne
podatke (kar ni redko). Prednosti povečane kompleksnosti, na primer zmanjšana
varianca, morajo biti pretehtane glede na stroške. Med oblikovalci politik obstaja
razumljiva preferenca do enostavnejših modelov dodane vrednosti, ki so lažji
(in cenejši) za vpeljevanje in primernejši za komunikacijo z deležniki. Vendar pa
bodo ocene uspešnosti šol pristranske, stroški pa na dolgi rok višji, če enostavnejši
modeli rezultirajo v več napačnih specifikacijah. Stroški in koristi bodo v posameznih izobraževalnih sistemih različni in jih bo mogoče analizirati v pilotni fazi
procesa vpeljevanja, ko se osvetli obseg kompromisov.
Glede na posamezne značilnosti vsakega izobraževalnega sistema, cilje sistema dodane vrednosti in vrste ocenjevanja učencev, na katerem sistem temelji,
ni mogoče identificirati enega samega modela dodane vrednosti, primernega za
vse izobraževalne sisteme. Namesto tega moramo analizirati različne modele in
ugotoviti prileganje posameznemu sistemu. Razprava o vprašanjih, predstavljenih v tem poglavju, ki jih je treba analizirati, da bi se bolj informirano odločali o
izbiri modela, vključuje naslednje:
•• Pri vsakem modelu dodane vrednosti bi morala biti za oceno primernosti
posameznega modela analizirana varianca. Ocenjena standardna napaka,
ki je pripeta k ocenjenim učinkom šole, je lahko od modela do modela različna. Mogoče je, da bo ena od metod bolj zaželena, ker manjša standardna
napaka pomeni, da lahko več šol brez napake ločimo od povprečja ali jih klasificiramo kot tiste, ki dosegajo vnaprej definirane cilje. Analize, ki primerjajo
modele dodane vrednosti s tem kriterijem, lahko izpeljemo v fazi vpeljeva-
163
nja. Pilotni podatki so lahko testirani za iskanje najprimernejšega modela,
tako da zmanjšajo varianco in ustvarijo rezultate, ki jih je laže interpretirati.
•• Uporaba socialno-ekonomskih kontekstualnih podatkov in vlog, ki jih različne komponente podatkov igrajo v analizi dodane vrednosti: vsi modeli
dodane vrednosti vključujejo neke vrste prilagajanje sekvenci surovih rezultatov testov posamičnega učenca. Čeprav potreba po prilagajanju naravno
izhaja iz razmišljanja, ki je v ozadju modeliranja dodane vrednosti, je prilagajanje potrebno izvesti previdno, ali pa bo lahko povzročilo precej zavajajoče
ocene. Analize je treba izvesti za ovrednotenje vpliva, ki ga ima vključevanje družbeno-ekonomskih lastnosti na rezultate dodane vrednosti šol in na
vidike celostnega modela dodane vrednosti (npr. ocenitveno moč modela
in standardno napako, povezano z ocenami šol).
•• Potencialno pristranskost v modelu je treba analizirati in v pilotni fazi uvajanja testirati možnosti za njeno zmanjševanje. Medtem ko obsega pristranskosti v ocenah ni preprosto analizirati, je lahko pripraviti približke in simulacije za oceno potencialne pristranskosti. Potencial manjkajočih podatkov
lahko raziščemo; vključevanje ali izključevanje posameznih spremenljivk
lahko osvetli specifične probleme. Primerjave z dejanskimi surovimi testnimi
rezultati še nadalje ilustrirajo potencialno pristranskost v ocenah.
•• Predvidevanja, ki se pojavijo v zvezi z manjkajočimi podatki pri specifikacijah modelov dodane vrednosti, lahko primerjamo z vzorcem manjkajočih podatkov in izračunamo ocene manjkajočih podatkov. Prav tako lahko
uvedemo postopke za zmanjševanje frekvence manjkajočih podatkov pri
implementaciji ocenjevanja učencev in drugih zbirk podatkov (npr. ustvarjanje spobud za visoko sodelovanje učencev).
•• Majhen vzorec je vedno posebno vprašanje, če pomislimo na stopnjo negotovosti, ki običajno spremlja ocenjevanje dodane vrednosti šole s pomočjo
majhnega vzorca in zmanjšano stabilnost rezultatov dodane vrednosti te
šole. Ocene dodane vrednosti za majhno šolo lahko testiramo in podamo
predloge tako za analizo kakor tudi za predstavitev rezultatov šole. Na splošno so sodelujoče države menile, da kohorte z manj kot 20 ali 30 učencev
dajejo ocene dodane vrednosti šole, ki pripeljejo k problematičnim interpretacijam rezultatov.
•• Stabilnost rezultatov dodane vrednosti šol in načini vplivanja klasifikacije
uspešnosti šole in izbire modela dodane vrednosti. Tovrstne analize, predstavljene v tem poročilu, je mogoče izvesti za ugotavljanje stopnje stabilnosti šolskih rezultatov in možnosti minimalizacije. Pri takšnih analizah
je pomembno upoštevati ne samo celotno raven stabilnosti (ali njenega
pomanjkanja), ampak tudi spremembe pri rezultatih posameznih šol. Nato
je mogoče izpeljati analize, ki bodo razkrile vzroke te nestabilnosti in ugotovile, ali so določene šole bolj nagnjene k nestabilnosti pri svojih rezultatih.
164
Ob upoštevanju potrebe po enostavnih modelih dodane vrednosti, o katerih se zlahka pogovorimo z deležniki, bi morala analiza, očrtana zgoraj, primerjati
rezultate z relativno enostavnejšimi in tudi kompleksnejšimi modeli dodane vrednosti pri ocenjevanju. Če je med modeli le malo bistvenih razlik, potem bi bilo
za predstavitev rezultatov javnosti in drugim deležnikom primerno uporabiti enostavnejše modele dodane vrednosti. To bi pospešilo učinkovito komunikacijo in
olajšalo uporabo informacij o dodani vrednosti za podporo specifičnih ciljev šolske politike. Predstavitev in rezultate enostavnejših modelov bi nato morali podpreti z ekstenzivno kontinuirano notranjo analizo, ki bi primerjala te rezultate s
tistimi, ki so bili pridobljeni iz kompleksnejših modelov dodane vrednosti. Primerjalna analiza bi zagotovila, da enostavnejši modeli proizvajajo natančne ocene,
ki niso nepoštene do posameznih šol ali skupin šol. Ko se model razvija, je treba
nepretrgoma izvajati take analize. To bi bilo še posebej pomembno v primerih, ko
se spremenijo zahteve in dostopnost podatkov.
Če se odločimo uporabiti dve ravni modeliranja, to zahteva niz dejanj, ki izboljšajo kakršne koli diskrepance v rezultatih med enostavnejšimi in bolj kompleksnimi modeli. Kakor je pokazano v tem poglavju, ni nujno, da so te diskrepance
skupne velikemu številu šol. Še več, v uvajalni fazi bi morala izbira specifičnega
modela, ki bo uporabljen in predstavljen interesnim skupinam, temeljiti na analizi,
ki kaže na minimaliziranje tovrstnih diskrepanc. Pomembno pa je, da obstaja vnaprej določen niz kriterijev za presojanje veljavnosti različnih rezultatov, še posebej,
če so rezultati dodane vrednosti uporabljeni za namene odgovornosti šol. Takšni
kriteriji bi morali identificirati vir razlik v rezultatih šole in nato omogočiti identifikacijo natančnih meril uspešnosti šole. Če so informacije o dodani vrednosti
uporabljene za izboljšavo šole, potem lahko ti postopki prinesejo dodatne dragocene informacije. V nekaterih primerih so lahko vložene v sistem izboljševanja šol.
Diskrepanca pri rezultatih šole lahko izzove razširjeno zbirko podatkov, ki pomaga
identificirati vir diskrepance. Ne glede na dejanja za posamezne šole, mora analiza
diskrepanc v rezultatih med enostavnejšimi in kompleksnejšimi modeli dodane
vrednosti prispevati k nadaljnjem razvoju sistema modelov dodane vrednosti.
To bi moralo sčasoma pomagati pri zmanjševanju števila in velikosti diskrepanc
med enostavnimi in kompleksnimi modeli. Morda bi bilo modro začeti z analizami
dodane vrednosti z enostavnejšimi modeli, kompleksnejše pa prihraniti za raziskave in jih morda vpeljali pozneje, ko bodo vse tehnične zadeve že zadovoljivo
rešene.
165
3. del
Vpeljevanje modelov dodane vrednosti
167
Uvod
Ne glede na naravo statističnih in metodoloških temeljev modeliranja dodane
vrednosti je lahko njihov vpliv na šolsko politiko, prakso in rezultate zanemarljiv,
celo negativen, če vpeljevanje ni učinkovito. To prepričanje je prisotno v mnogih
državah, ki so sodelovale pri razvoju tega projekta, in je pripeljalo do podrobnejše
analize metod vpeljevanja sistema modelov dodane vrednosti. Tretji del tega
poročila nadgrajuje diskusijo, predstavljeno v prvih dveh delih, in prinaša navodila, kako vpeljati sistem modelov dodane vrednosti v izobraževalne sisteme. Te
smernice niso dokončne, prav tako ne bo vsak njihov vidik uporaben v vseh izobraževalnih sistemih. Prej lahko trdimo, da gradijo na znanju, pridobljenem tako s
pomočjo različnih izobraževalnih sistemov kakor tudi znanju ekspertne skupine, ki
ima izkušnje z vpeljevanjem sistemov dodane vrednosti v izobraževalne sisteme.
Da bi sistem modelov dodane vrednosti lahko učinkovito vpeljali, moramo
razrešiti vrsto vprašanj. Ta sledijo tistim, ki smo se jih v tem poročilu že dotaknili
in so tukaj predstavljena v sklopu naslednjih tem, nujnih v fazah implementacije:
vzpostavljanje ciljev šolske politike in meril šolske uspešnosti, izbira ustreznega
modela dodane vrednosti, razvoj učinkovite baze podatkov, izvajanje učinkovitega pilotnega programa, spremljanje rezultatov analize dodane vrednosti, razvoj
strategije za vključevanje deležnikov in komunikacijo z njimi in temu primernih
programov usposabljanja ter predstavitev in uporaba informacij dodane vrednosti. Dopolnilo tretjemu delu je seznam s konca prvega dela – upamo, da bo izvajalce oborožil s kratkim kontrolnim seznamom najpomembnejših vprašanj vpeljevanja modelov dodane vrednosti.
169
7.Vzpostavljanje ciljev šolske politike in izbor
ustreznega modela dodane vrednosti
Analizo dodane vrednosti lahko uporabimo za pospeševanje številnih ciljev
šolske politike in programov. O tem smo podrobno govorili že v prvem delu tega
poročila. Uvajanje modelov dodane vrednosti, da bi pospešili določene cilje šolske politike, zahteva vrsto ključnih odločitev, ki jih je treba sprejeti, in korakov, ki
jih je treba storiti. Vse pa izhaja iz treh glavnih ciljev šolske politike, o katerih je
bilo govora v prvem delu tega poročila: izboljševanje šol, šolska odgovornost in
izbira šole.
Prizadevanjem za izboljšanje šole lahko uporaba informacij o dodani vrednosti izjemno pomaga, še posebej v sistemih, ki šolam omogočajo, da rezultate
dodane vrednosti uporabljajo za spodbude pri razvoju in spremljanju izboljšav
v šolah. Ključne poteze, ki vplivajo na prizadevanja pri uvajanju, se osredotočajo
na uporabo informacij o dodani vrednosti, da bi z njihovo pomočjo podpirali in
pospeševali sisteme odločanja, utemeljene na podatkih, ki lahko šolam in drugim
oblikovalcem sprejemanja odločitev dajo moč za analizo razlik v uspešnosti šol in
učencev. To lahko pomaga pri sprejemanju bolj informiranih odločitev o razporejanju sredstev, identifikaciji področij dobrih praks in tistih, ki potrebujejo izboljšave, da bi tako razvili nepretrgan sistem izboljšave šol.
Šolska odgovornost se oblikuje z uporabo rezultatov dodane vrednosti šol,
zaradi katerih so šole odgovorne za svojo uspešnost. Odgovornost se lahko pojavi
v številnih oblikah, ki so povezane s financiranjem šol, intervencijami za neuspešne šole ali posledicami pri plačilu upravljavcev, ravnateljev in učiteljev. Prav tako
se lahko razvijejo bolj implicitni sistemi odgovornosti, ki povečajo fokus na rezultate šole brez eksplicitnih povezav s sredstvi, avtonomijo in plačilom. Prvi korak
pri vpeljevanju modelov dodane vrednosti za namen šolske odgovornosti je premislek o trenutni ureditvi odgovornosti šol in možnem vplivu sprememb na interesne skupine. Ključna komponenta uspešnega vključevanja interesnih skupin je
zagotavljanje jasnosti ciljev in operacij sistema dodane vrednosti. Pri organizaciji
odgovornosti šol se pojavljajo ključna vprašanja o uporabi nagrad in sankcij ter
ravni, na kateri bodo uporabljene. To poročilo se osredotoča izključno na merila
dodane vrednosti na ravni šol, vendar so ti modeli uporabljeni tudi za spodbu-
171
janje odgovornosti posameznih učiteljev (Braun 2005b; McCaffrey et al., 2004,
McCaffrey et al., 2003), pri tem pa je pomembno, da je razmejitev med obema
jasna, saj lahko modeli pomembno vplivajo na ključne deležnike in na razvoj specifičnih ocen dodane vrednosti.
Izbira šole lahko pomaga pri razvoju izobraževalnega sistema, tako da staršem
in družinam dovoljuje, da izberejo šolo, ki najbolj ustreza njihovim potrebam. S
tem spodbuja šole, naj izobrazbo, ki jo ponujajo, razvijejo tako, da bo izpolnjevala
potrebe staršev in družin. Koristi sistema, ki spodbuja izbiro šol, temeljijo na predpostavki, da imajo starši in družine ustrezne informacije, da razlikujejo šole. Merila
dodane vrednosti so neprecenljiva, saj prinašajo bistveno izboljšana merila uspešnosti šol v primerjavi z, na primer, surovimi testnimi rezultati. Ta izboljšana merila
bi morala omogočiti boljše odločanje in torej izboljšati tudi ujemanje šol s potrebami staršev in družin. To šolam v zameno prinaša boljše informacije pri razvoju
izobraževanja, s katerim želijo pritegniti učence in starše k vpisu. Če je napredek
pri izbiri šol ključen cilj uvajanja sistema modelov dodane vrednosti, potem je
lahko koristno, če izvedemo pregled obsega, ki staršem in družinam nato dejansko pomaga pri izbiri šole. V nekaterih državah pravne in administrativne zahteve
omejujejo izbiro šol, medtem ko v drugih izbiro šol omejujejo institucionalne,
geografske in finančne ovire (OECD, 2006). V takšnih okoliščinah lahko dodatne
informacije bolj malo koristijo pri povečevanju izbire šol. Pregled teh okoliščin bi
moral prikazati pomembne kontekste za odločitve, ki so v povezavi z uporabo
informacij o dodani vrednosti.
Ključno vprašanje pri uvajanju sistema dodane vrednosti je, ali in v kakšni
obliki bodo rezultati dodane vrednosti šole objavljeni. Jasno je, da morajo biti
objavljeni v primeru razširitve izbire šol v izobraževalnem sistemu. V prvem delu
tega poročila so prikazani številni primeri, kako lahko predstavimo šolske rezultate, da bi jih prilagodili različnim namenom. Pri tem je dobro že zgodaj v procesu
vpeljevanja podrobno določiti predstavitve rezultatov. To pomaga pri razvoju
specifičnih modelov dodane vrednosti in pri uporabi rezultatov dodane vrednosti
za kategorizacijo uspešnosti šole, lahko pa tudi vpliva na vrsto vidikov razvoja sistemov izboljševanja šol in šolske odgovornosti. Odločitev o tem, kako predstaviti
rezultate dodane vrednosti šole, je treba preskusiti in nato razviti v pilotni fazi
procesa implementacije, pri čemer je nujno, da v proces vključimo tudi ključne
deležnike (NASBE, 2005).
Medtem ko je mogoče objavo ciljev šteti za predpogoj razvoja kakršne koli
šolske politike ali programa, ki spada v sistem dobrega vodenja, jasno izražanje
teh ciljev oblikuje odločitve, na primer identifikacijo ustreznega modela dodane
vrednosti, način objave rezultatov dodane vrednosti šol in komunikacijske strategije za pridobivanje podpore ključnih deležnikov. Če naj bodo informacije o
dodani vrednosti uporabljene pri evalvaciji uspešnosti šol in oblikovanju pobud
172
za njihovo izboljševanje, je pomembno premisliti, kako bodo vključene v obstoječi sistem evalvacij šol, da bi povečale njegovo učinkovitost. V večini držav članic
OECD trenutni sistem evalvacij poteka preko šolskih inšpektoratov (ali podobnih ustanov) in/ali samoevalvacije šol (OECD, 2007a). Kakor je opisano v prvem
delu, lahko za povečanje učinkov in učinkovitosti evalvacije šol uporabimo vrsto
metod. Lahko na primer razvijemo sistem, v katerem bodo rezultati dodane vrednosti sprožili specifične evalvacije šol. S tem bi se povečala učinkovitost, in sicer
tako, da bi pozornost usmerili na manj uspešne šole ali skupine učencev, za katere
menimo, da so v tveganem položaju, in bi povečali pretok informacij, ko bi bili
enkrat vzpostavljeni mehanizmi, s pomočjo katerih bi lahko zelo uspešne šole
delile podatke o svojih najboljših praksah.
Izbor spremenljivk za merjenje dodane vrednosti
Izrecno opredeljenim ciljem modelov dodane vrednosti, moramo določiti tudi
merila, po katerih bomo ocenjevali uspešnost. To zahteva identifikacijo ustreznih
orodij za ocenjevanje učencev in odvisnih spremenljivk, ki jih bomo uporabili pri
določanju modelov dodane vrednosti. Struktura teh spremenljivk mora biti neposredno povezana s cilji razvoja sistema modeliranja dodane vrednosti. Če je cilj na
primer, da bi učenci dosegli raven minimalne pismenosti in matematične pismenosti, potem lahko orodja ocenjevanja in ustrezne spremenljivke identificiramo
tako, da bodo merile uspešnost dodane vrednosti šole pri dviganju ravni znanja
učencev nad te vrednosti.
Model dodane vrednosti bi se lahko osredotočil na različne vidike uspešnosti šole. Odločitve o tem, kam bomo usmerili pozornost, vplivajo na to, kateri tip
modela bomo uporabili, in tudi na dejavnosti v zvezi s šolsko politiko in programom, ki izhaja iz uporabe modela dodane vrednosti. Odločitve o predmetnih
področjih ali letnih stopnjah, na katerih bo ocenjevanje učencev uporabljeno za
določanje modelov dodane vrednosti, so zlasti pomembne, ker začrtujejo, s katerih vidikov bomo merili uspešnost šole. Te odločitve določajo, kaj je mišljeno s
»šolo«, ko ocenjujemo rezultate dodane vrednosti, da bi spodbudili odgovornost,
izbiro ali izboljšave v njej. Če učence ocenjujemo samo pri matematiki in učnem
jeziku, potem sta definicija šole ta dva vidika, torej vidika, ki prispevata k uspešnosti v teh dveh merilih na stopnji ali v letniku, v katerem poteka ocenjevanje,
in, glede na strukturo šolskega sistema, na stopnjah ali v letnikih, ki so predhodni
ocenjevanju. Lahko bi trdili, da presojanje o uspešnosti šole na podlagi računske
pismenosti učencev na določenih stopnjah polaga pretirano težo na šolske učitelje matematike na tej stopnji. To bi bila lahko sicer zavestna odločitev šolske politike, vendar pa je treba ta vprašanja premisliti in se z njimi odprto soočiti. Razpon
testiranja učencev se med državami članicami OECD močno razlikuje. Splošno
velja, da so na nižjih stopnjah izobraževanja testirana le ključna učna področja,
na primer računska in bralna pismenost. V poznejših letih srednjega izobraže-
173
vanja pa se testiranja izvajajo pri večjem številu predmetov, vendar ne vedno s
pomočjo standardiziranih orodij za ocenjevanje. Takšne težave lahko za namene
določanja modelov premostimo, vendar pa se jih moramo pri razvijanju modelov dodane vrednosti vsekakor zavedati. V sistemih, ki rezultate dodane vrednosti
uporabljajo za namene notranjih izboljšav šole, lahko več meril dodane vrednosti
znatno poveča pojasnjevalno moč analize šolske uspešnosti in zelo pripomore k
sprejemanju odločitev. Takšnemu odločanju bi koristil širši nabor podatkov, ki bi
podrobneje opredeljeval uspešnost na različnih predmetnih področjih, podprtih
s kontekstualnimi podatki o učencih. Po drugi strani pa bi sistem, osredotočen na
izboljšanje odgovornosti šole ali izbiro šole, utegnil zahtevati osredotočenost na
eno samo merilo uspešnosti.
Diskretna in zvezna merila
V povezavi z izbiro ocenjevanj na določenih predmetnih področjih se je treba
posvetiti še enemu vprašanju: kako bomo uspešnost merili ali kategorizirali. Merjenje uspešnosti učencev je zvezno, torej se identificira prek razpona rezultatov
(kljub učinku stropa pri ocenjevanju učencev), ali pa poteka v kategorijah oziroma
dihotomno. Orodja za ocenjevanje učencev so lahko izoblikovana tudi tako, da
bolje zaznamujejo, ali učenci dosegajo vnaprej določene ravni. Zaželeno bi bilo,
da bi specificirali določene ravni uspešnosti, glede na katere bi učence na primer
razporedili v kategorije nizke, srednje ali visoke stopnje določene zmožnosti.
Rezultati dodane vrednosti šol bi potemtakem merili prispevek šole k tem vnaprej
določenim kategorijam. Dihotomna merila so lahko privlačna, če je cilj izmeriti,
kako uspešne so šole pri tem, da učence dvignejo do posamezne zmožnosti oziroma merila uspešnosti ali prek njega. Običajen primer za to bi bila minimalna
bralna in računska pismenost na določeni stopnji ali v določenem letniku. Ocenjevanje učencev je lahko docela usmerjeno na takšno merjenje ali pa podatke
ekstrapoliramo iz zveznih merjenj. To šolo spodbudi, da se osredotoči na ta vidik
uspešnosti, na kar lahko gledamo kot na pozitivno posledico. Lahko pa pride tudi
do potencialno negativnih posledic, če se tako osredotočenje zgodi na račun
učencev in njihove uspešnosti na drugih področjih (Fitz-Gibbon in Tymms, 2002).
Odločitev za osredotočenost na določena merila bi morala biti usklajena s cilji šolske politike o razvoju modelov dodane vrednosti in vključena v razvoj programa.
Osredotočanje na določene ravni uspešnosti spodbuja ravnatelje šol in učitelje k doseganju teh ravni, hkrati pa lahko tudi preusmerja pozornost na določene učence ali predmete. Za sisteme, ki nočejo poudarjati določenega merila,
bi utegnila biti najprimernejša zvezna spremenljivka, ki meri uspešnost učencev
in prek nje dodano vrednost šole. To bi šolam in drugim upravljavcem omogočilo, da analizirajo širšo razporeditev podatkov in glede na to razvijajo in spremljajo uspešnost šole ter posamezne programe in šolske politike. Zaradi tega bi
174
bile spodbude znotraj šol tudi enakomerneje razporejene in se ne bi osredotočale
zgolj na določeno raven neke zmožnosti. V nekaterih primerih lahko razvijemo
zvezna merila, rezultate pa nato zberemo v vnaprej določene kategorije ali glede
na minimalne standarde. To je koristno, če s tem razvijemo ustrezna orodja za ocenjevanje učencev.
Na odločitve o razvoju ocenjevanja učencev za določanje modelov dodane
vrednosti lahko močno vplivajo že obstoječe strukture ocenjevanj, ki utegnejo
biti v izobraževalnem sistemu že dodobra vzpostavljene. Odločiti bi se morali, ali
je treba razviti dodatna ocenjevanja, da bi z njimi dopolnili že obstoječe okvire.
Dodaten zaplet bi se lahko skrival v tem, kako zagotoviti, da nova ocenjevanja
ne bi zmotila ciljev izobraževalnega sistema. Obstoječa ocenjevanja so pogosto
odločilna za napredovanje učencev skozi proces izobraževanja in vsako dodatno
bi bilo lahko moteče za nadaljnje izobraževanje. Zato bi se morali, če razvijemo
novo obliko, obe vrsti ocenjevanja med seboj dopolnjevati.
Struktura odvisne spremenljivke vpliva na odločitve glede izbire modela, saj
določa tip modelov, med katerimi lahko izbiramo. Če je odvisna spremenljivka v
modelu dodane vrednosti dihotomna (ali pa bo za določene namene na tak način
preoblikovana), potem jo je treba identificirati že v zgodnji fazi, saj to pomembno
vpliva na izbiro modela. Dihotomne odvisne spremenljivke namreč zahtevajo drugačno določanje modelov kot zvezne odvisne spremenljivke. O takšnih modelih
smo podrobneje razpravljali v drugem delu tega poročila.
Identificiranje najboljšega modela dodane vrednosti za cilje
šolske politike
Glede na cilje šolske politike, ki motivirajo razvoj sistema modelov dodane
vrednosti, je mogoče vzpostaviti ključne faze procesa, s pomočjo katerega izberemo ustrezen model dodane vrednosti za glavno vpeljevanje. Ta proces se začenja z identifikacijo glavnih dejavnikov, ki bodo vplivali na izbiro modela: kako
bo model uporabljen in kako bodo interpretirani rezultati, da bodo dosegli cilje
šolske politike in – v povezavi s tem – kako bo strukturirano merilo uspešnosti
učencev (odvisna spremenljivka), na podlagi katerega bomo ocenjevali dodano
vrednost. Vsak model dodane vrednosti ima prednosti in pomanjkljivosti, ki jih
moramo pretehtati v kontekstu celovitih ciljev in uporabe informacij o dodani vrednosti. Druga faza procesa je identificiranje statističnih in metodoloških kriterijev
za izbiro najustreznejšega modela dodane vrednosti. Ta bo temeljila na rezultatih
ocen različnih modelov dodane vrednosti, bodisi na podlagi pilotnih podatkov
bodisi na podlagi že obstoječih podatkov, pridobljenih iz ocenjevanj, že umeščenih v izobraževalni sistem.
175
Specifikacija šolske politike in analitičnih ciljev vzpostavi okvir, s katerim lahko
ocenimo veljavnost različnih modelov dodane vrednosti. Uporaba modelov dodane
vrednosti, s katerimi bi zvišali odgovornost šole, spodbudili izboljšanje ali izbiro
šole, prednje postavlja prav posebne zahteve in predpisuje tudi obravnavo različnih
statističnih in metodoloških vprašanj. Ključen razloček je, ali bodo modeli uporabljeni zgolj interno ali pa bodo tudi objavljeni. To nas bo vodilo pri odločanju, kako
obravnavati nestabilnost rezultatov šole in mersko napako pri manjših šolah, hkrati
pa bo ponudilo tudi odgovore na večja vprašanja o dodatni analizi, ki bi jo lahko
izvedli s pomočjo kompleksnejših modelov in s pomočjo katerih bi lahko obravnavali posamezne šole, učence ali izobraževalne programe. Pomembno se je tudi
zavedati, da bi morali, ko izbiramo med različnimi modeli dodane vrednosti, izvesti
analizo o potencialnem učinku na šole, ki te modele uporabljajo. Če bomo manj
uspešne šole kategorizirali kot take, potem bi morali analizirati (zlasti v obdobju več
let, z dosegljivimi podatki, če je mogoče) tudi razlike, ki se v takšni kategorizaciji
pojavijo ob uporabi različnih modelov, ter tako identificirati različne učinke na šole
in to, kako bi se z njimi soočali med dejanskim izvajanjem.
Identificirati bi morali številne statistične in metodološke kriterije. Drugi del
tega poročila je identificiral številna od teh vprašanj in na podlagi takšnih kriterijev se je mogoče odločiti za model, ki je najbolj zaželen. Ko izbiramo kriterije,
bi morali imeti v mislih tudi krovne cilje šolske politike. Bolj bi lahko na primer
poudarili natančno ločevanje uspešnosti posameznih šol ali minimalizirali nestabilnost rezultatov šol v obdobju več let. Lahko bi se odločili, da bomo določene
šole (na primer manjše ali tiste za učence s posebnimi učnimi potrebami) izločili
iz glavne analize in tako dosegli »najboljše prileganje« izbranemu modelu. Takim
odločitvam bi koristili jasno določeni cilji šolske politike in način, na katerega bi
bile informacije o dodani vrednosti uporabljene za podlago delovanju (na primer
v določenih izobraževalnih programih).
Ključne kriterije, ki jih poudarjamo v drugem delu tega poročila, je moč vzpostaviti med fazo vpeljevanja, potem pa jih preskusiti v pilotni fazi, tako da se lahko
nedvomno odločimo za najprimernejši model dodane vrednosti. Takšni kriteriji se
osredotočajo na:
–– količino variance in pristranskosti pri različnih modelih. Različni modeli bodo
prinesli razlike pri predvidenih standardnih napakah, povezanih z rezultatom
dodane vrednosti za vsako šolo. To ima posledice za statistično pomembna
razlikovanja uspešnosti posameznih šol, kar bi bil lahko ključni cilj šolske politike modelov dodane vrednosti. To bo še zlasti pomembno, če bodo rezultati dodane vrednosti šol objavljeni in kategorizirani glede na statistično
pomembne razlike. Določen model bi bil lahko bolj zaželen, saj manjše standardne napake pomenijo, da bi lahko večje število šol natanko ločili od povprečja ali jih klasificirali kot tiste, ki dosegajo vnaprej postavljen cilj.
176
–– uporabo socialno-ekonomskih kontekstualnih podatkov v različnih modelih
dodane vrednosti. Nekateri modeli vključujejo le nekaj kontekstualnih značilnosti, medtem ko nekateri kontekstualizirani modeli dodane vrednosti
vključujejo veliko število socialno-ekonomskih meril. Število in pogostost
tekočih in predhodnih merjenj znanja vplivata na razlagalno moč upoštevanja značilnosti, kar lahko preskusimo v pilotni fazi izvedbenega procesa.
V mislih bi morali imeti tudi učinek na spodbude in to, kako prilagoditve
modela vplivajo na dejanja, ki izvirajo neposredno iz rezultatov dodane vrednosti šole. Vključitev socialno-ekonomskih značilnosti lahko vpliva tudi na
standardne napake, povezane z ocenami šol, in na to, kako se model obnese
nasproti osnovnim domnevam.
–– manjkajoče podatke in to, kako so ti upoštevani pri določanju modelov. Kot
smo razpravljali v drugem delu, so nekateri modeli dodane vrednosti primernejši, kadar imamo opravka z manjkajočimi podatki. V drugih modelih
bo učinek viden na njihovi napovedni moči ter na ravni variance in pristranskosti v rezultatih dodane vrednosti šol. Treba se bo odločiti o izpustitvi
nekaterih spremenljivk, toda da bi zmanjšali vzorec manjkajočih podatkov
z ustvarjenjem (ne)spodbud za (nizko) visoko udeležbo učencev, lahko
postopke razvijemo tudi v fazi implementacije.
–– spreminjanje rezultatov manjših šol ob uporabi različnih modelov. Meritve majhnih vzorcev v manjših šolah dajo pogosto manj natančne in manj zanesljive
rezultate, ki so v nadaljnjih letih tudi manj stabilni. Modeli, ki rezultate dodane
vrednosti manjših šol »skrčijo« na povprečje, lahko dajo uporabnejše rezultate, vendar pa je takšna raven poseganja v podatke seveda problematična. Na
splošno so sodelujoče države menile, da so kohorte z manj kot 20–30 učenci
dale ocene dodane vrednosti, ki so vodile k problematičnim interpretacijam
rezultatov. Ta problem bi morali analizirati med pilotno fazo implementacije.
–– spremembe v rezultatih dodane vrednosti šol v daljšem časovnem obdobju.
Lahko bi analizirali tudi stabilnost rezultatov šole v daljšem časovnem
obdobju in učinek na posamezne šole, na katerih potekajo meritve. To bi
bilo povezano z velikostjo variance in potencialno pristranskostjo v modelu.
Če se stabilnost rezultatov šole zdi prenizka, potem lahko za kar najboljše
zmanjšanje negativnih učinkov določimo standarde. Šole, kjer je nestabilnost
skoncentrirana, lahko izločimo iz glavne analize. Za njih uporabimo dodatna
ocenjevanja in, glede na glavne cilje šolske politike, vpeljemo ločeno odgovornost ali spodbude za izboljšanje. Standarde lahko uporabimo tudi zato,
da bi izločili šole z neobičajno veliko spremembo prek večjega števila let.
To lahko izrazimo kot delež spremembe rezultatov pri šolah na splošno, ali
zgolj pri primerljivih šolah. Uporaba triletnega drsečega povprečja pri merjenju dodane vrednosti bi zgladila spremembe v času. Poleg tega bi to lahko
ponudilo priložnost za nadaljnjo analizo šol z neobičajnimi spremembami v
rezultatu dodane vrednosti v enem samem letu.
177
O teh vprašanjih lahko presojamo, ko v pilotni fazi tehtamo modele. Takšna analiza oblikovalcem šolske politike ponuja tudi priložnost, da razčlenijo vpliv aplikacije
različnih standardov na uporabo podatkov, kakršna sta vključevanje manjkajočih
podatkov in šole z manjšimi vzorci. Razlike v takšnih standardih bi različno učinkovale v okviru različnih modelov dodane vrednosti. Da bi povečali transparentnost,
bi lahko takšne kriterije pretehtali, da bi služili kot vodila pri poznejšem odločanju.
Odločanje o teh vprašanjih ne bo stvar nedvoumne izbire, saj bi se nekateri modeli
utegnili izkazati za boljše glede na nekatere kriterije in slabše glede na druge. Zato
bi odločanje zahtevalo presojo uspešnosti vsakega posameznega modela z vidika
izbranih kriterijev. Ko se pojavijo težave, je vredno premisliti tudi o analizi razlik v
rezultatih dodane vrednosti med dvema modeloma in oceniti vpliv takšnih razlik v
okviru predpisanih ciljev šolske politike (npr. identificiranje manj uspešnih šol).
Po specifikaciji ključnih značilnosti tega, kar zahtevamo od modelov dodane
vrednosti, lahko izvedemo analizo bodisi na podlagi že obstoječih podatkov o
ocenjevanju učencev ali podatkih, pridobljenih na pilotni stopnji razvoja sistema
modelov dodane vrednosti. Ta analiza lahko ovrednoti ustreznost različnih modelov dodane vrednosti glede na cilje sistema in se dotakne vnaprej določenih statističnih in metodoloških kriterijev. Njeni rezultati bi morali predstaviti prednosti
in pomanjkljivosti različnih modelov dodane vrednosti in na njihovi podlagi priporočiti najbolj zaželeni model. Najpomembneje pa je, da bi morali identificirati
implikacije izbire modela za uporabo in aplikacijo rezultatov dodanih vrednosti
šol ter za predpisano šolsko politiko in cilje programa. To bi osvetlilo učinek na
posamezne tipe šol in naj bi razkrilo, do kakšne mere bi različni modeli lahko
zadovoljili predpisane cilje šolske politike. Da bi dosegli te cilje, je pri ocenjevanju
primernosti različnih modelov dodane vrednosti pomembno, da ne analiziramo
le modela v celoti (npr. stopnja prileganja), temveč učinek, ki ga imajo različni
modeli na posamezne šole.
Razvoj učinkovite baze podatkov
V tem razdelku razpravljamo o ključnih vidikih razvoja baze podatkov, ki podpira učinkovit razvoj in upravljanje sistema modelov dodane vrednosti. Upoštevajoč razpravo o napakah pri meritvah in napačnih specifikacijah pri modelu v
drugem delu tega poročila je treba o kakovosti uporabljenih podatkih resno premisliti in jo, če je le mogoče, v razvojni fazi tudi popraviti. Ta zahteva vpliva na
ključno vprašanje obsega niza podatkov, ki da možnosti, da zgradimo obsežnejše
sisteme podatkov za analizo dodane vrednosti in širše vidike šolskega izobraževalnega sistema. Vendar pa širjenja baze podatkov ne bi smelo spremljati zmanjšanje
kakovosti podatkov. Spodnja razprava o razvoju integrirane baze podatkov, ki bo
pomagala pri sprejemanju odločitev in razvoju šolske politike, naj bo videna v
kontekstu trenutnih zbranih podatkov v posameznem sistemu in kontekstu cene
razvoja učinkovite baze podatkov.
178
Ker so ocene dodane vrednosti lahko močno gonilo sprememb, je nujno,
da je baza podatkov kar najskrbneje sestavljena in vzdrževana, da bi preprečili
napake in pomanjkljivosti v rezultatih. Kakovost uporabljenih podatkov v modelih dodane vrednosti ima jasen učinek na zaupanje, z njo pa lahko interpretiramo
uspešnost šole. Razvoj sistemov podatkov se v različnih državah razlikuje zaradi
veliko razlogov. Razvoj učinkovite baze podatkov na ravni učencev je bil ključen
za učinkovitost sistema modeliranja dodane vrednosti v Angliji. Leta 1997 je bil
poudarjen razvoj boljše baze podatkov na ravni učencev in leta 1999 je bil uveden
edinstven identifikator za učence, ki pomaga, da se podatki usklajujejo v celotnem sistemu. Še en ključen dogodek v razvoju je bil leta 2002, in sicer premik na
letni cenzus šol na ravni učencev, ki je zbral karakteristične podatke o okoljih, iz
katerih učenci izhajajo, in so jih šole beležile zaradi administrativnih razlogov. Da
bi povečali širino in učinkovitost analize, je bilo treba te podatke vključiti v enoten
sistem, ki dovoljuje uporabnikom, da analizirajo rezultate dodane vrednosti šol
skupaj z različnimi kontekstualnimi podatki na ravni šole. S konsolidacijo podatkovnih virov v enoten izčrpen sistem podatkov se lahko poveča tudi učinkovitost.
Prvi korak v razvoju zahtevane visoko kakovostne baze podatkov je identifikacija tistih, ki jih bomo uporabili za modeliranje dodane vrednosti. Oblikovalcem
šolske politike, ki si želijo razviti sistem oblikovanja modelov dodane vrednosti, da
bi olajšali sprejemanje odločitev v zvezi z izboljšavami v šolah in cilji razvojne politike, lahko koristi, če razvijemo izčrpno bazo podatkov, ki sega preko minimalnih
podatkovnih zahtev za modele dodane vrednosti. Ključna odločitev, ki jo je treba v
tem koraku narediti, je, ali koristi izčrpnejših podatkov odtehtajo stroške razvoja in
vzdrževanja. Tak sistem bi vključeval komplementarne podatke iz različnih virov,
ki pa bi se za tiste sisteme, ki ne želijo dopolniti svojih osnovnih podatkov o ocenjevanju učencev, nato združevala in zagotavljala visoko kakovostna baza podatkov, ki bo proizvajala visoko kakovostne ocene o dodani vrednosti. Če je zahtevan
bolj izčrpen sistem podatkov, je treba odgovoriti na vprašanje, katere informacije
je potrebno zbirati. Za vključevanje v analizo dodane vrednosti in izboljševanje
razvoja šolske politike je mogoče zbirati štiri glavne vrste podatkov. Uporabljajo
se lahko za vrsto namenov za izboljšavo šol, o čemer smo bolj podrobno govorili v
prvem delu. V nadaljevanju so opisane štiri različne vrste podatkov:
Podatki o ocenjevanju učencev, ki vsebujejo vse rezultate ocenjevanja učencev
za uporabo pri modelih dodane vrednosti. To bi vključevalo tudi vse predhodne
in trenutne rezultate ocenjevanja, ki so navzkrižno primerjani z uporabo drugih
identifikatorjev učencev. Prav tako bi vključevalo kakršna koli kompozitna merila
sestavljenih rezultatov ocenjevanja (npr. povprečje rezultatov pri različnih predmetih) in specifična merila, ki se štejejo kot pomembna pri ciljih šolske politike
(npr. minimalne zahteve za pismenost). Vsi dodatni kazalniki ali spremenljivke, ki
jih je mogoče izračunati, so cilji uspešnosti ali rezultati učencev in šol, ki bi bili
lahko uporabljeni za to, da bi sprožili posamezne akcije. Ko se sčasoma razvijejo
179
baze podatkov, je morda koristno, da bi sledili učencem in tako identificirali dodatne rezultate pri izobraževanju in na trgu dela. To je potrebno za analizo dodane
vrednosti v šolah, kadar jo primerjamo z drugimi rezultati, na primer odstotkom
učencev, ki napredujejo v post-sekundarno izobraževanje, pa tudi za analizo šolskih podatkov skupaj z drugimi družbeno-ekonomskimi rezultati.
Kontekstualne informacije na ravni učenca, ki vključujejo vse individualne (npr.
starost učenca), družinske in druge značilnosti, ki se štejejo za pomembne za analizo v (kontekstualiziranem) modelu dodane vrednosti. Izbira teh lastnosti je bila
razložena v šestem poglavju in jo morata voditi dva cilja. Prvi je uporaba teh kontekstualiziranih značilnosti v modelih dodane vrednosti, še posebej pri njegovi
bolj obsežni kontekstualizirani obliki. To so lahko pomembne lastnosti, s katerimi
ujamemo učinek dejavnikov, ki vplivajo na učenčev napredek, vendar ležijo izven
nadzora šole. Vendar pa za nekatere modele dodane vrednosti niso zahtevane, saj
bolj malo prispevajo k ocenitveni moči, ki jo ima model, in bolj malo vplivajo na
rezultate šole. Drugi cilj je uporaba značilnosti, da bi raziskali dodano vrednost v
posameznih šolah ali specifičnih skupinah učencev. Na primer, lahko da obstaja
poseben interes za dodano vrednost učencev iz revnejših družbeno-ekonomskih
okolij ali učencev iz posameznih skupin priseljencev. Analiza teh podskupin zahteva ustrezne kontekstualne podatke na ravni učencev.
Da bi izmerili prispevek šol in drugih dejavnikov k napredku učencev, potrebujemo bazo podatkov, ki identificira in natančno razmeji podatke o učencih. To
zahteva, da so učenci identificirani z nekakšno obliko identifikacijske številke ali
kodo, ki je na podatkih o ocenjevanju in na vseh drugih kontekstualnih informacijah na ravni učencev. Identifikacijska številka je potrebna za identifikacijo in sledenje učencev od njihovega začetka do zaključka šolanja. Vprašanje mobilnosti
učencev je prav tako nekaj, čemur se moramo posvetiti pri določanju modelov
dodane vrednosti, tako zaradi manjkajočih vrednosti, ki jih lahko povzroči v nizu
podatkov, kakor tudi zaradi problemov pri pripisovanju rasti uspešnosti učencev
različnim šolam. Da bi omogočili natančno analizo tega vprašanja, mora obstajati sistem, ki ustrezno sledi prehajanju učencev med šolami, še posebej v času
vnaprej določenih obdobij ocenjevanja, iz katerih prihajajo podatki za analize
dodane vrednosti. V nekaterih državah je to težja naloga kakor v drugih. Nekatere države, na primer Norveška in Danska, uporabljajo obstoječe administrativne informacijske sisteme, ki sistematično vsakemu učencu pripišejo identifikacijsko številko in omogočajo učinkovito sledenje. Vzpostavljanje takega sistema
je drago in obsežno. Dodatne zaplete povzroča pristojnost različnih jurisdikcij in
ustanov. Na Poljskem so učencem najprej poskušali slediti s pomočjo podatkov,
ki jih je hranil Nacionalni izpitni center. Vendar pa so zahtevani podatki na ravni
učencev obstajali samo v podatkih, ki so jih zbrali regionalni centri. Poskus, da bi
sestavili podatke, ki so jih hranili različni regionalni centri, je spodkopal neobstoj
identifikacijske številke učenca (hranili so se samo ime, spol in datum rojstva).
180
Obveljalo je, da je to drag proces, ki zahteva veliko podatkov in sredstev, vendar
je nujen predpogoj za razvoj sistema modeliranja dodane vrednosti. Kot tak je
tudi pripeljal do sprememb v upravljanju podatkovnih sistemov, na primer do
uvedbe identifikacijskih številk za učence.
Podatki na ravni šole, ki veljajo za nujne, v mnogih sistemih vključujejo
podatke o šolskem sektorju, vrsti šole in tiste, ki kažejo, ali šola leži v specifični
regiji. Velikost šole (izmerjena s številom učencev) bi bilo prav tako mogoče identificirati, če upoštevamo nestabilnost, ki se pogosto povezuje z rezultati dodane
vrednosti majhnih šol. Prav tako je koristno zbirati informacije, ki identificirajo
ključne podatke o programih in politikah, ki olajšujejo analizo njihovega razmerja do rezultatov dodane vrednosti. Ti podatki lahko prinesejo ključno sestavino v celostnem nadzoru kakovosti v sistemu šolskega izobraževanja in olajšajo
razvoj in spremljanje specifičnih programov in politik, namenjenih rasti izboljšav
v šolah. To je mogoče narediti na šolski, okrožni ali regionalni ravni, odvisno od
narave programa. Goldhaber in Brewer (2000) sta na primer analizirala razmerje
med učiteljskimi kvalifikacijami in rezultati dodane vrednosti, ki jih prispeva učitelj. V Angliji je bila analiza izvedena interno na specifičnih programih, na primer
v specialističnih šolskih programih, ki zagotavljajo dodatno financiranje in razširjen kurikulum na posameznih področjih. Oblika modelov dodane vrednosti in
informacije, ki so jih podpirale, so omogočile razviti merila uspešnosti vpliva, ki
ga imajo ti programi.
Kontekstualne informacije na ravni šole se lahko zbira z namenom, ki je podoben fokusu kontekstualnih informacij na ravni učencev: da bi vključili karakteristike v kontekstualiziranem modelu dodane vrednosti, ki »izravna igralno polje«
za primerjalno analizo rezultatov dodane vrednosti šol. Informacije na ravni šole
lahko uporabimo namesto tistih na ravni učencev, če slednjih ni mogoče zbrati ali
je zbiranje prvih enostavnejše. Do tega pride, če administrativni podatki za šolsko
raven že obstajajo, in sicer v obsegu, ki zadostno meri kontekstualne dejavnike.
Vendar pa je potrebna pozornost pri zanesljivosti takih podatkov. V nekaterih
sistemih so v administrativnih podatkih uporabljena raznovrstna družbeno-ekonomska merila kot del programov za zagotavljanje dodatnih sredstev neprivilegiranim šolam. Ta merila ne merijo nujno ustrezno dejavnikov, ki jih je treba ujeti,
da bi izolirali učinke šole v modelih dodane vrednosti, še posebej, če prinašajo
grobe ocene družbeno-ekonomskega statusa. Manj natančna merila so lahko tudi
manj učinkovita pri zagotavljanju podatkov, ki olajšujejo analizo določenih skupin
učencev, merila na šolski ravni pa lahko izničijo potencial za analizo razlik znotraj
šol. Dodatna težava z administrativnimi podatki je potencialna pristranskost. V
nekaterih izobraževalnih sistemih administrativne podatke na šolski ravni o družbeno-ekonomskem statusu ali učnih težavah sporočajo ravnatelji ali upravljavci
šole. Če ravnatelji te meritve zagotovijo z vednostjo, da lahko vplivajo na rezultat
dodane vrednosti šole ali stopnjo sredstev, ki jih prejme šola, potem je treba na
181
zagotavljanje teh podatkov gledati skozi optiko potencialne pristranskosti. Ti problemi so očitni v vrsti izobraževalnih sistemov in lahko ustvarijo težave pri interpretaciji kontekstualiziranih modelov dodane vrednosti.
Informacije in poročila o evalvaciji šol, ki prinašajo dodatne ocenjevalne informacije o uspešnosti šol, lahko pomagajo pri interpretaciji rezultatov dodane vrednosti,
uporabi modelov dodane vrednosti za razvoj programov in pripeljejo do razvoja, ki
izboljša evalvacije šolskega sistema. Čez celotno poročilo poudarjamo, da rezultati
dodane vrednosti ne prinašajo celostne slike o uspešnosti šol. Bolj lahko zaupamo
interpretacijam rezultatov dodane vrednosti in dejanjem, ki iz njih izhajajo, če pridobimo dodatne evalvacijske informacije. Če je del izčrpnega sistema podatkov, lahko
povezovanje dodane vrednosti šol z evalvacijskimi informacijami iz šolskih inšpektoratov in samoevalvacij šol prinese dragocene vire za razvoj spodbud za izboljšave
v šolah. Dodatne informacije na ravni šol bi omogočile bolj podrobno analizo zelo
uspešnih in neuspešnih šol. Poleg tega se poveča učinkovitost pri pomoči ustanovam in ocenjevalcem šol in šolskih programov, da analizirajo informacije o dodani
vrednosti šol. To olajša usmerjanje evalvacij šol na aktualna področja in omogoča
evalvacijo, ki je utemeljena na rezultatih in ne na vložku. Pripomore pa tudi k delovanju šolskih inšpektoratov, saj dovoljuje analizo priporočil in presoj, ki so jih podali
inšpektorji, in kako se le-ta povezujejo z rezultati dodane vrednosti šole. To lahko
močno olajša spremljanje nadzora kakovosti in znotraj njega šolskih inšpektorjev.
Povezovanje informacij o dodani vrednosti šol z drugimi evaluativnimi informacijami lahko gledamo tudi v luči uporabe podatkov dodane vrednosti za izboljševanje šolske izbire. Objava šolskih rezultatov dodane vrednosti koristi staršem
in družinam, saj jim pomaga pri odločitvi, katera šola je najprimernejša za njihove
potrebe. Glede na raznolikost potreb in zahtev, ki jih šoli nalagajo starši in družine,
je najbrž primerno še naprej zagotavljati in predstavljati evalvacijske informacije,
da bi olajšali šolsko izbiro, lahko v obliki, ki je podobna angleškim preglednicam
šolske uspešnosti ali evalvacijskim informacijam o šolah, ki so zdaj javno dostopne
v flamski skupnosti v Belgiji.
Medtem ko ustvarjanje prožne baze podatkov in metode zbiranja podatkov
oblikuje potencial za bistveno lažjo uporabo modelov dodane vrednosti za trajen razvoj šolske politike, je koristno, če so zahtevani podatki na ravni učencev
identificirani že v začetni razvojni fazi. Pomemben korak pri tem je zagotavljanje
niza ključnih definicij vseh spremenljivk, ki bodo zbirane in glede katerih se vsi
strinjajo. V nekaterih državah zakoni o varovanju zasebnosti omejujejo uporabo
kontekstualnih podatkov. Na Poljskem tako prepovedujejo široko rabo družbeno-ekonomskega statusa, v Sloveniji pa je potrebno pisno privoljenje staršev, preden lahko od učencev pridobimo družbeno-ekonomske podatke. Osrednje pri
vprašanju identifikacije zahtev podatkov je artikulacija ciljev in specifičnih dejanj,
ki so povezana z določanjem modelov dodane vrednosti. To olajša identifikacijo
182
ključnih značilnosti in informacij, ki jih je treba zbrati in vnaprej določiti, ali bodo
uporabljeni interno ali bo njihova uporaba razširjena na šole in druge interesne
skupine v izobraževanju ali bodo na voljo splošni javnosti. Ko smo enkrat rešili
ta vprašanja in se strinjali o široki strategiji, na kateri bomo razvili sistem podatkov, je mogoče pregledati obstoječe sisteme podatkov in zmožnosti sredstev, ki
so vanje investirana. To bi vključevalo premislek o praktičnih vprašanjih, na primer
o programski opremi, ki je trenutno v uporabi, in vprašanjih nadzora kakovosti,
kot je zagotavljanje skupnih standardov pri zbiranju podatkov. Potem je mogoče
določiti, ali so potrebni nadaljnji podatki, je treba vpeljati nove metode zbiranja
podatkov in ali je treba zgraditi novo infrastrukturo informacijskih sistemov.
Pilotni program za sistem dodane vrednosti
Cilj pilotnega programa je oceniti in nadalje razviti različne vidike sistema
modeliranja dodane vrednosti. To vključuje: operativna in implementacijska vprašanja; odločitve, ki se dotikajo ocenjevanja učencev in izbire specifičnega modela
dodane vrednosti; razvoj strategij za sodelovanje in komunikacijo z deležniki;
ocenjevanje, kako najbolje interpretirati in uporabiti rezultate dodane vrednosti
šol in druge informacije, da bi dosegli zastavljene politične cilje. O teh vprašanjih
je tekla razprava skozi celo poročilo in posvetiti se jim je treba v času pilotnega
programa, ki ga torej ne bi smeli obravnavati zgolj kakor test specifičnega modela
dodane vrednosti, ki ga bomo uporabili v izobraževalnem sistemu. Razprava o
teh vprašanjih je informacije črpala iz rezultatov pilotnih programov, vpeljanih v
sodelujočih državah.
Pilotni program se pogosto izvaja na podskupini šol in ga imamo za poskus
pred dejanskih vpeljevanjem. Do njega se je treba obnašati enako kot do dejanskega (živega) uvajanja sistema modelov dodane vrednosti, da bi lahko z njegovo
pomočjo ustvarili realistično in veljavno oceno. Metoda, s katero izberemo podskupino šol ali jih pozovemo, naj se pridružijo pilotnemu programu, bo od države
do države različna, vendar je pomembno, da izbrani vzorec dejansko zagotovi
dobre informacije kasnejši implementaciji. To zahteva pridobivanje vzorca šol, ki
je reprezentativen za širšo šolsko populacijo in je lahko učinkovito vpleten v ocenjevanje vpeljevanja dodane vrednosti. Da bi spodbudili učinkovito sodelovanje
v resničnih pilotnih študijah, nekateri izobraževalni sistemi poudarjajo, da le-teh
ne smemo uporabljati kot orodje za odgovornost šol. Pri izbiranju podskupin šol
je vredno premisliti, da so šole lahko manj naklonjene sodelovanju v študiji, ki jih
podvrže tradicionalnim merilom odgovornosti in uspešnosti.
V primeru, da reprezentativnega vzorca ni mogoče dobiti, je treba zagotoviti, da bo v pilotni program vključenih dovolj šol iz različnih sektorjev in regij, saj
bo to omogočilo boljšo analizo tega – ali na primer v posamezni regiji obstajajo
določeni dejavniki, ki jih je treba pri dejanskem uvajanju upoštevati. Lahko odkri-
183
jemo posebne dejavnike, ki zahtevajo, da se spremeni določena spremenljivka v
modelu dodane vrednosti (npr. spremenljivka, ki meri šolski sektor ali delež učencev, ki imajo posebne učne potrebe ali prihajajo iz neprivilegiranih okolij), vendar
obstaja tudi vrsta implementacijskih vprašanj, o katerih je treba premisliti. Za šole
v regionalnih ali ruralnih področjih bo na primer treba prilagoditi strategije za
vključevanje deležnikov in komunikacijo z njimi.
Vsi vidiki, povezani z ocenjevanjem učencev, uporabo informacijskih sistemov
za sestavljanje nizov podatkov in tekočimi ocenami dodane vrednosti, morajo biti
izvedeni, kakor da gre za dejanski proces vpeljevanja. Če struktura ocenjevanja
učencev že obstaja, bi bilo primerno uporabiti te podatke, da bi ocenili zanesljivost uporabljenih informacijskih sistemov in modeliranje ocen dodane vrednosti.
To bi prineslo oceno kakršnih koli omejitev zmožnosti uporabljenega informacijskega sistema. Prav tako bi dopustilo, da si ustvarimo popolnejšo sodbo o primernosti izbire modela dodane vrednosti.
Kot smo govorili zgoraj, ni primerno delati vnaprejšnjih odločitev o tem, kateri
specifični model bomo uporabili v izobraževalnem sistemu. Pilotno fazo bi morali
imeti za čas, v katerem bi ocenili najprimernejše modele dodane vrednosti, ki bodo
uporabljeni pri dejanski implementaciji. Takšno ocenjevanje je treba opraviti s
pomočjo niza vnaprej določenih kriterijev, kakor je bilo rečeno zgoraj. Da bi bil pilotni program optimalno uporaben, je treba s pomočjo podatkov za več let ugotoviti,
kako stabilni so rezultati šole glede na različne modele, ki so bili uporabljeni. V nekaterih izobraževalnih sistemih je struktura ocenjevanja učencev obstajala mnogo
pred implementacijo sistema modeliranja dodane vrednosti. Da bi oblikovali izbiro
modela, je torej mogoče uporabiti podatke o ocenjevanju iz več let. V izobraževalnih sistemih, kjer tak okvir ne obstaja, se lahko končna odločitev o najprimernejšem
modelu zamakne v fazo začetne implementacije dodane vrednosti v širšo populacijo šolarjev. To lahko podaljša obdobje analize rezultatov dodane vrednosti šole čez
naslednja ocenjevanja, kar je pomembno, če se pri tem odkrije prevelika nestabilnost specifičnih šolskih rezultatov. Zato je morda modro preložiti uporabo rezultatov dodane vrednosti za določanje odgovornosti šol, če kaže, da pri ocenah obstaja
velika negotovost. Odvisno od obsega nestabilnosti in sposobnosti, da jo izoliramo
v posamezni podskupini šol, je na to mogoče gledati tudi kot na del širšega razvoja
modelov dodane vrednosti. Postopne spremembe specifikacij dodane vrednosti so
pričakovane, saj imamo lahko kakršno koli analizo, ki bo ugotavljala, kako je model
mogoče izboljšati, da bi postal del trajnega procesa.
Pilotni program prinaša izvrstno priložnost, da se nadalje razvijajo strategije
za vključevanje deležnikov in komuniciranje z njimi. Proces vključevanja se lahko
začne s priložnostjo izbiranja šol v pilotne programe; takrat jim damo možnost, da
prispevajo k ciljem celotnega sistema modelov dodane vrednosti. Ravnatelji, učitelji in drugo šolsko osebje lahko prispevajo k: presojanju in nadaljnjemu razvoju
184
odzivov na operativna in implementacijska vprašanja; učinkoviti uporabi informacij o dodani vrednosti šol, še posebej na ravni šole; k strategijam vključevanja in
komunikacije. Nadaljnje vhodne podatke glede okvira za ocenjevanje učencev,
zbiranja komplementarnih podatkov, posebej zbranih na ravni šole, in razvoja najprimernejšega informacijskega sistema lahko zberemo pri sodelujočem osebju.
Za pomemben del procesa vzorčenja se šteje, da je stopnja nevšečnosti in dela, ki
zaradi njega doleti enoto vzorčenja (v tem primeru šolo), kar najmanjša. Povratne
informacije lahko v času pilotne faze izjemno povečajo operativno učinkovitost in
zmanjšajo vpliv na normalno delovanje šol.
Pomemben element pilotnega programa v smislu operacijskih postopkov je
zagotavljanje natančnih postopkov zbiranja podatkov. Če je potrebno od šol pridobiti dodatne podatke, je treba izvesti primerno pilotno študijo in razviti vprašalnik. Če namerava študija uporabiti administrativne podatke, jih je treba prav tako
preveriti pri šolah, da bi zagotovili njihovo natančnost in popolnost. Spremljanje
kakovosti in zbiranje podatkov bi morala biti del dejanskega vpeljevanja, vendar
je postopke spremljanja mogoče razviti in oceniti že v času pilotnega programa.
Čeprav izbira modela dodane vrednosti zahteva statistično ekspertizo, ki ni prav
idealna za podajanje informacij vsem deležnikom, je dobrodošlo, če slednji dobijo
vhodne informacije o uporabi podatkov za razvoj kontekstualiziranega modela
dodane vrednosti. Deležniki bodo prav tako dobili možnost, da svetujejo glede
nujnosti vključevanja specifičnih dejavnikov, ki zadevajo uspešnost učencev v
modeliranju dodane vrednosti, ki prav tako lahko prizadene dejanja, ki izhajajo iz
rezultatov dodane vrednosti šol.
Ker bodo šole glavne tarče komunikacijske strategije, lahko ravnatelji, učitelji
in drugo osebje priskrbijo nujne začetne informacije za razvoj učinkovite komunikacije v sami šoli in z drugimi deležniki. Tovrstne informacije bi lahko vplivale na
cilje strategije, vendar pilotni program prav tako prinaša priložnost, da bi ocenili
vrednost določenih informacij in navodil (npr. o uporabi informacijskega sistema
za analizo informacij o dodatni vrednosti šole) in seminarje in delavnice, ki jih je
mogoče razviti za šole. To bi se razširilo čez mejo pravilne interpretacije rezultatov
dodane vrednosti šole na uporabo v informacijskih sistemih, ki vsebujejo podatke
o dodani vrednosti na ravni učencev in šol, da bi spremljali uspešnost šole in razvili ustrezne programe za izboljšanje.
Pilotni program nudi pomembno priložnost, da razvijemo učinkovite izobraževalne programe in vključimo ravnatelje in učitelje v uporabo informacij o dodani
vrednosti, da bi izboljšali šole. Tovrstno sodelovanje bi moralo biti pomemben korak
pri pridobivanju podpore interesnih skupin za implementacijo modelov dodane
vrednosti. Ravnatelji in učitelji lahko prinesejo dragocene začetne informacije, kako
najbolje interpretirati in predstaviti informacije o dodani vrednosti. To bi lahko vključevalo tudi predstavitev informacij o dodani vrednosti, vključno z razvrščanjem
185
posameznih rezultatov in uporabo drugih evalvacijskih informacij. Vrednost različnih programov usposabljanja je dobro oceniti tudi zato, da bi bolje vzporejali fokus
in učinke usposabljanja. V nekaterih državah je bil ključni vidik to, da so se vključili
ravnatelji in učitelji, da bi se pogovorili o zaskrbljenosti zaradi šolskih rezultatov, ki so
bili po njihovem mnenju nerealistični. Koristi takšnega dialoga so zahtevale nadaljnje usposabljanje deležnikov, ki je seglo prek informacijskih sestankov, na katerih bi
dosegli analitične sposobnosti znotraj šol. Naknadna ocena vrednosti tovrstnega
usposabljanja lahko preveri, ali bi lahko izboljšali posamezni vidik modelov dodane
vrednosti ali interpretacije informacij o dodani vrednosti.
Razvoj orodij za ocenjevanje učencev ni bil fokus tega poročila. Vseeno pa
bi morali biti pilotni programi uporabljeni za nadaljnjo oceno primernosti orodij
za ocenjevanje. Standardizirana testna orodja so končni rezultat dolgotrajnega
postopka oblikovanja in razvoja, ki ju je oblikovala množica ciljev in omejitev
(Braun, 2000). Pri ocenjevanju veljavnosti ocenjevalnih orodij se je treba ozreti na
vsebinske in tehnične probleme. Na primer, nadaljnja analiza bi lahko vsebovala
stopnjo artikulacije med dejansko vsebino testov in vsebino standardov, ki naj bi
jih šola vpeljala. To in druga vprašanja bi morala biti analizirana, da bi zagotovili
zanesljivost ocenjevalnih orodij pred implementacijo modelov dodane vrednosti.
Glede na cilje pilotnega programa je pričakovati, da bomo naleteli na težave.
Imeti je treba načrt za njihovo dokumentiranje in reševanje. To je osrednji korak
pri izpolnjevanju ciljev pilotnega programa za nadaljnji razvoj sistema dodane vrednosti. Na probleme, s katerimi se srečujemo v pilotnem programu, lahko torej gledamo kot na priložnosti in ne kot na spodrsljaje ter jih vključimo v sistem nadzora
kakovosti, ki bo deloval, dokler bo vzpostavljen sistem modelov dodane vrednosti.
Učinkovit sistem nadzora kakovosti bo zagotovil tudi, da se bodo vzdrževali visoko
kakovostni postopki in da se bodo sproti reševala vprašanja, ki bodo zagotavljala
nepretrgan napredek. Tovrstni postopki bi morali spremljati vidike sistema, kakršni
so okvir ocenjevanja učencev, model, uporabljen za ocenjevanje dodane vrednosti,
interpretacija rezultatov dodane vrednosti šol in natančnost podatkov, uporabljenih v sistemu. Kakršno koli vprašanje, ki se ga je treba lotiti v pilotnem programu, bi
moralo služiti kot primer za teme, ki jih je treba spremljati, ko bi bil sistem enkrat v
pogonu. Tovrstno spremljanje bi moralo stremeti k zagotavljanju tega, da so rezultati
dodane vrednosti šol natančne ocene njihove uspešnosti.
186
8.Nadaljnji razvoj in raba modelov dodane vrednosti
Učinkovitost sistema, ki uporablja meritve šolske uspešnosti kot podlago za
ukrepe, temelji na zaupanju deležnikov v zanesljivost meritev uspešnosti v daljšem časovnem obdobju. Učinkovito spremljanje kakovosti rezultatov in podatkov, na katerih sloni takšna analiza, je ključno za učinkovito rabo sistema modelov
dodane vrednosti. Pričujoča razprava se osredotoča na pomen spremljanja rezultatov dodane vrednosti šol skozi čas in poudarja, da se mora takšno spremljanje osredotočati na spremembe rezultatov posameznih šol, saj so te ključnega
pomena za interesne skupine in prizadevanja za dvig uspešnosti. Zaradi potrebe
po zmanjšanju nestabilne variacije rezultatov dodane vrednosti šol je v razpravi
izpostavljena potreba po izračunavanju in predstavitvi triletnega drsečega povprečja rezultatov posamezne šole kot glavnega oz. objavljenega kazalca njene
uspešnosti. Sledi razprava o tem, kako lahko sistemi razvijejo uspešno komunikacijo in strategije za vključevanje deležnikov ter njihovo usposabljanje, posebej
učiteljev in ravnateljev, povezano s temi strategijami. V zaključku poglavja je predstavljena razprava o tem, kako lahko pilotna faza procesa vpeljave vpliva na sprejemanje odločitev v zvezi z objavo rezultatov dodane vrednosti šol.
Verodostojnost vsakršnega statističnega sistema sloni najprej na celovitosti podatkov in njihovi obdelavi. Zato predstavljata razvoj in uvajanje učinkovitih postopkov za nadzor kakovosti na vsaki stopnji procesa bistven vidik analize
dodane vrednosti. Očitno je, da morajo biti rezultati testov in neodvisnih spremenljivk pred analizo skrbno pregledani in urejeni. To vključuje tako identificiranje nenavadnih vrednosti in vrednosti zunaj meja kakor tudi nepričakovane značilnosti razporeditve. Včasih so v pomoč primerjave s podatki preteklih let. Vzorci
manjkajočih podatkov so lahko povod za analizo ter razvoj in izvajanje posledičnih ukrepov. Kot primer posebne spodbude spremljanja bi lahko po vsakem zbiranju podatkov izbrali vzorec šol in ga dodatno analizirali; s tem bi zagotovili, da
so podatki točni in jih lahko pravilno interpretiramo. Še posebej je treba opozoriti
na znatne spremembe v številu učencev, ki so bili izločeni iz testiranja (npr. zaradi
nezmožnosti), ali učencev, ki so bili odsotni na dan testiranja: to lahko pomeni, da
so ocenjeni vplivi šole pristranski. V nekaterih državah se šole soočajo z negativnimi posledicami, če učenci izpustijo določena testiranja.
187
Spremembe v rezultatih dodane vrednosti šol so pogosto razumljene kot
kazalnik sprememb uspešnosti šole, čeprav to ni nujno statistično korektno. Manj
stabilni rezultati dodane vrednosti lahko posredno ali neposredno vodijo v nepravilno sklepanje ali ukrepe, njihova potencialna uporabnost pa je lahko zamegljena
zaradi vtisa netočnosti. V idealnih okoliščinah bi bili kazalci šolske uspešnosti relativno stabilni, a bi ohranili zmožnost odziva navzgor ali navzdol glede na dejanske
spremembe šolske uspešnosti. Vendar je malo verjetno, da bi vedno dosegli to
situacijo. Zato je treba spremembe v rezultatih dodane vrednosti med pilotnim
programom obsežno analizirati in opraviti analize sprememb čez čas, ko je sistem
že uveljavljen. V izobraževalnih sistemih, ki analizirajo obstoječe podatke, obstaja
možnost nadaljnjega testiranja specifikacij modela in ocen stabilnosti rezultatov
šol skozi daljše časovno obdobje, to pa lahko vpliva na odločitve o izbiri modela in
primernosti ocenjevanja učencev ter podatkov, uporabljenih v modelu.
V nekaterih sodelujočih državah so opravili analizo stabilnosti rezultatov šol.
Rahlo nestabilnost lahko pričakujemo pri vseh modelih dodane vrednosti in nekaj
je seveda tudi zaželene. V nekaterih izobraževalnih sistemih se je pokazala večja
nestabilnost, kar bi lahko odražalo slabšo kakovost sistema testiranja. Če se zdi
nestabilnost rezultatov šole prekomerna, je treba pregledati ocenjevanje učencev, na podlagi katerega se dodana vrednost meri. Stabilnost rezultatov šole je
tako odvisna ne samo od definicije abnormalne oz. prekomerne nestabilnosti,
ampak tudi od kategorizacije šol glede na raven njihove uspešnosti. Izkazalo se
je tudi, da se nestabilnost rezultatov razlikuje glede na velikost šole, tip uporabljenega modela, števila vključenih kontekstualnih spremenljivk, števila let med
predhodnim in trenutnim pridobivanjem podatkov in obsega primerjave dodane
vrednosti (vse šole v državi ali le podskupine). Ta dognanja nakazujejo prednosti
nadaljnjega analiziranja šol, v katerih prihaja do večjih nihanj v rezultatih ali navidezno slučajnih sprememb v večletnem obdobju.
Dodatna analiza šol z manj stabilnimi rezultati v daljšem časovnem obdobju
je lahko otežena zaradi zahtevne naloge ločevanja opazovanih sprememb na t.i.
»trajne« in »prehodne« komponente. Prve se nanašajo na stabilne spremembe
v resnični uspešnosti, druge pa na vse ostale faktorje. Prehodno komponento
nestabilnosti je do neke mere moč zmanjšati z vključitvijo večjega števila podatkov (to so prejšnja leta in predmeti) in z izračunavanjem srednje vrednosti rezultatov zaporednih skupin. S podrobnejšo analizo podatkov lahko odkrijemo izvor
nestabilnosti rezultatov šole, z oblikovanjem modelov za posamezne predmete
ali podskupine pa lahko določimo, ali so razlike v rezultatih smiselne.
Lahko se tudi izkaže, da je zaradi sprememb v uporabljenih podatkih ali tipu
ocenjevanja učencev prišlo do sprememb rezultatov šole. To je lahko v pomoč pri
analizi, ki ocenjuje razlike med trajnimi in začasnimi vplivi na ravni šol. Kadar vemo,
da obstajajo posebna vprašanja, na primer sprememba klasifikacije kontekstual-
188
nih podatkov, jih je treba označiti v publikacijah in nanje opozoriti šolske inšpektorje in druge uporabnike podatkov. Nestabilnost rezultatov šol je lahko dodaten
argument, da pri poročanju rezultatov vključimo tudi intervale zaupanja okrog
posameznih ocen. Upoštevanje intervala zaupanja pri vsakem rezultatu dodane
vrednosti posamezne šole lahko zmanjša možnost napačne interpretacije.
Za številne izobraževalne sisteme je priporočljivo, da se posamezne ocene
predstavijo skupaj z intervali zaupanja, saj prekrivanje intervalov zaupanja kaže na
to, da se pripadajoče ocene statistično bistveno ne razlikujejo. Pri večjem številu
takih primerjav obstaja velika nevarnost številnih napak tipa I. To lahko ublažimo
z uporabo tehnik sočasnega sklepanja, med katerimi je najbolj znana Bonferronijeva metoda. Novejše tehnike, na primer tiste, ki temeljijo na napačno pozitivnih
zadetkih [False Discovery Rate approach] (Benjamini in Hochberg, 2000), postajajo čedalje bolj razširjene. Za širšo javnost so grafični prikazi lahko zelo učinkoviti. Graf v obliki gosenice je lahko še posebej učinkovit. Ocenjeni učinki so po
vrsti urejeni vzdolž osi X in po velikosti vzdolž osi Y. Poleg tega je za vsak učinek
navpično postavljen interval zaupanja s središčem v posamezni oceni. Ob tem
je treba poudariti, da čeprav lahko intervali zaupanja bolje ponazorijo statistično
pomembne razlike med rezultati šol, še zdaleč ne rešijo vseh problemov in ne
zajamejo negotovosti, ki izvira iz možnih odstopanj in ostalih sekularnih sprememb. Nekatere možne vire odstopanj je mogoče vključiti v model, kot je model
Ponisciaka in Bryka (2005), ki je obravnavan v drugem delu.
V praksi je treba šole, ki izkazujejo nenavadno velike spremembe, skrbno preučiti. Če je nestanovitnost velika in predvidevamo, da jo primarno povzročajo prehodni faktorji, se je treba izogniti posledicam, ki bi izvirale neposredno iz ocene
dodane vrednosti šole. Za takšne situacije je primerna triangulacija, s katero pridobimo dodatne dokaze (npr. šolska inšpekcija), zlasti če spremembe v rezultatih šole
vodijo v izrazite sankcije ali nagrade. Če so rezultati namenjeni interni uporabi, jih
lahko opremimo s primernimi opozorili. Po drugi strani pa je treba, če so rezultati
namenjeni javni objavi, sprejeti smernice, na podlagi katerih se lahko določi, ali
rezultate sploh objaviti. Smernice morajo upoštevati tako velikost vzorca šole kot
druge dejavnike. Med državami udeleženkami se je izkazalo, da so nihanja rezultatov šol z manjšimi kohortami, ki jih je mogoče vključiti v vzorec, veliko večja kot
pri ostalih. Ena izmed možnosti, ki jo imajo snovalci šolske politike na voljo, je, da
ne objavijo rezultatov šol, ki ne izpolnjujejo zahtev minimalne velikosti vzorca, in
šol, katerih dolžina intervala zaupanja s posamezno razliko presega vnaprej določeno vrednost. Ta dva rezultata sta pogosto povezana, tako da je vprašanje obravnavanja manjših šol treba prepustiti upravljavcem in snovalcem šolske politike.
Ekspertna skupina tega projekta je mnenja, da je interpretacija rezultatov dodane
vrednosti za šole z manj kot 20–30 učenci v kohorti problematična, vendar priznava, da so razlike v velikosti šol med državami lahko precejšnje. Kljub vsemu
pa je mogoče združiti več manjših šol in tako dobiti večje vzorce, ki se jih da, vsaj
189
statistično gledano, bolje interpretirati. Težave lahko nastopijo pri interpretaciji
rezultatov skupin manjših šol, če ne obstaja vnaprej znana podlaga za tako združevanje. V nekaterih državah članicah OECD je možno oblikovanje skupin manjših
šol, ki spadajo v določeno regijo ali šolski okoliš. Z analizo rezultatov dodane vrednosti tako preverimo merila za določanje uspešnosti za te regije in okoliše. Taka
merila so še posebej uporabna za analiziranje šolske politike posameznih upravnih enot, ki imajo različne izobraževalne programe. Njihov vpliv lahko prikažemo
z meritvami dodane vrednosti. Kljub temu pa je treba take rezultate previdno
interpretirati, saj lahko med šolami obstajajo razlike, zaradi katerih je interpretacija posameznega rezultata heterogene skupine problematična. To je še posebej
pomembno pri sistemih, kjer imajo šole večjo stopnjo avtonomije, zaradi katere
lahko prihaja do večjih razlik v izobraževalni politiki in programih.
Nihanja v rezultatih dodane vrednosti šol ne izvirajo nujno iz sprememb v
uspešnosti šol ali iz problemov pri ocenjevanju dodane vrednosti. Na rezultate
lahko vplivajo tudi spremembe modela dodane vrednosti, s katerim se ocenjuje
uspešnost. Zaradi neprestanega pregledovanja analiz dodane vrednosti ali zunanjih zahtev pride čez čas pri modelu, podatkih ali obeh do sprememb. Pomembno
je, da se redno potrjuje ustreznost modela za potrebe trenutne šolske politike in
da se upošteva posledice sprememb razpoložljivih podatkov. Čeprav je treba te
spremembe kar najbolj omejiti, da na primerljivost rezultatov v različnih časovnih
obdobjih ne vplivajo preveč, pa je povsem upravičeno domnevati, da bo z nadaljnjim razvojem sistema prišlo do rahlih sprememb in izboljšav statističnih ocen. Do
tega pa lahko pride tudi zaradi sprememb v šolski politiki, ki se želi osredotočiti na
druge vidike uspešnosti šol ali na bolj obširne kontekstualizirane ocene dodane
vrednosti. Take spremembe je treba testirati zaradi potrditve vpliva na rezultate
dodane vrednosti vseh šol (ne samo na splošni model), pomembno pa je tudi, da
se o njih razpravlja z deležniki, s čimer se zagotovi, da bo interpretacija dodane
vrednosti ostala nespremenjena skozi čas.
V Angliji je, kljub prizadevanju za optimalno zmanjšanje sprememb, med specifikacijami kontekstualiziranih modelov dodane vrednosti za srednje šole med
letoma 2005 in 2006 prišlo do razlik. Enako velja za modela, ki sta bila rabljena
v osnovnih šolah v letih 2006 in 2007.17 Kadar se rezultati dodane vrednosti za
določeno časovno obdobje primerjajo ali pa se izračunava njihovo povprečje, je
zelo pomembno, da se upoštevajo vse spremembe modela, na katerem temeljijo.
Pri nekaterih spremembah je mogoče izračunati rezultate dodane vrednosti tako
za stare kot za nove osnove, po drugi strani pa ob vključitvi novih podatkov to
ni mogoče. Učinek na zgodnejša leta je mogoče oceniti na podlagi podatkov o
spremembah v zadnjem letu, čeprav iz tega ne dobimo nujno grobe ocene za
17 Do teh sprememb je prišlo med pilotno analizo za objavo Tabel uspešnosti (Performance Tables) in
nacionalno objavo kontekstualiziranih rezultatov dodane vrednosti za vse šole.
190
zgodnejša leta. Kjer je mogoče na podlagi zadnjega leta preračunati rezultate za
nazaj oz. pridobiti oceno za tekoče leto na podlagi preteklih, lahko podamo dve
skupini rezultatov, iz katerih se da dokaj konsistentno izračunati trend ali povprečje. Kljub temu pa to ne odpravi težav pri šoli, kjer bi bil zgodnejši rezultat dodane
vrednosti različen, če bi ga izračunali na podlagi nove osnove, zlasti če so v šoli
sprejeli posebne ukrepe, ali je na podlagi rezultatov prejšnjega modela prišlo do
sprememb. Treba pa je tudi dobro presoditi, kako velike spremembe modela so
potrebne, da sta nujna izračun in razširitev revidiranih zgodnejših rezultatov ali
novih na podlagi starih podatkov. Na presojo vplivajo število obravnavanih šol,
učinek in viri, potrebni za izračun alternativnih rezultatov.
Raba rezultatov triletnega drsečega povprečja
Ker so v nadaljnjih letih v rezultatih dodane vrednosti posameznih šol možna
precejšnja nihanja, je razumljivo, zakaj se ekspertni skupini zdi smiselno, da se
ukrepi, ki izvirajo iz rezultatov dodane vrednosti, sprejmejo na podlagi triletnega
drsečega povprečja. Pri interpretaciji podatkov enega ali dveh let je zato potrebna
previdnost. Pri tem se pojavi vprašanje, kako pri ustvarjanju sistema modelov dodane vrednosti izkoristiti vmesne podatke in kako zagotoviti pravočasne
odzive, ki pri analizi triletnega drsečega povprečja ne bi bili dovolj hitro izpostavljeni. Ker je analiziranje rezultatov enega leta težavno, je morda primerno, da se
ukrepi, ki bi za šole (kot tudi za učitelje in ravnatelje) lahko imeli znatne posledice,
nekoliko umirijo ali odložijo do takrat, ko so na voljo podatki za nadaljnja leta in se
lahko izračuna triletno povprečje, ali pa so rezultati podkrepljeni z drugimi informacijami. Pri določanju tega, kaj so majhne in kaj velike posledice, gre za subjektivno vrednotenje, ki ga v tem poročilu ni mogoče natančno določiti, saj je razpon
ukrepov različnih šolskih politik zelo širok, dovoljene razlike med relevantnimi
parametri pa so med različnimi državami in šolskimi sistemi zelo različne. Z vidika
šolske politike bi ukrepe lahko delili na tiste, ki so bolj v skladu z odgovornostjo
šol, in na tiste, ki so bolj v skladu z napredkom šol. Ukrepi, vezani na odgovornost
šol, bi lahko imeli izrazite negativne posledice (z vidika šol) v primerjavi z rabo
rezultatov dodane vrednosti za interne potrebe šol za zagotavljanje napredka, kar
pa ne velja za vse ukrepe in posege v teh sistemih.
Med čakanjem na podatke za obdobje treh let, ki zagotavljajo natančen rezultat dodane vrednosti, je neučinkovito, če obstoječih podatkov na nek način ne
izkoristimo, odlaganje potrebnih ukrepov pa je za učence v šolah z nizko uspešnostjo lahko škodljivo. Rezultati dodane vrednosti, ki kažejo na nizko uspešnost,
lahko sprožijo nadaljnjo analizo obstoječih podatkov in šolskih procesov. Taka
analiza bi bila usmerjena na identificiranje dodatnih kazalcev nizke uspešnosti, ki
bi omogočali bolj celostno oceno, na podlagi katere je mogoče sprejeti potrebne
popravne ukrepe. Zberejo in analizirajo se lahko dodatni podatki (čeprav pri
njihovem zbiranju obstajajo omejitve glede virov), ki lahko vključujejo analizo
191
uspešnosti učencev glede na surove rezultate testov, ohranitev števila učencev,
podatke o prehodnosti, dodatno analizo vsebin, ki jih učenci usvojijo, in ostale
administrativne podatke, kot je mobilnost učencev. To lahko prinese dodatne
dokaze o spremembah v šoli (npr. v strukturi učencev) ali spremembah uspešnosti učencev, ki lahko potrdijo ali ovržejo rezultate posameznega leta. Možno pa
je opraviti tudi nadaljno analizo dodatnih šolskih kazalcev. Na težave v šoli lahko
opozori tudi fluktuacija osebja, do sprememb pa lahko pride tudi ob prihodu
večjega števila novih učiteljev. S prihodom novega ravnatelja lahko pride do sprememb v programu šole ali njene organizacije, kar je z vidika rezultatov modela
dodane vrednosti zelo pomembno. Informacije o šolskem procesu so koristne
tudi kot opora informacijam o enoletnih rezultatih modela dodane vrednosti.
Informacije o modelu dodane vrednosti in šolskega procesa so dopolnilo in ne
nadomestek, saj kombinacija več pokazateljev zagotavlja večjo gotovost za sprejetje posameznih ukrepov.
Morda je tudi koristno, da se z objavo rezultatov modela dodane vrednosti
počaka, dokler niso na voljo podatki za triletno drseče povprečje. Večja nihanja
rezultatov šol v prvih letih lahko povzročijo težave, če se ti rezultati objavijo.
Deležniki lahko hitro izgubijo zaupanje v sistem s takšnimi nihanji, še posebej če
objava rezultatov predstavlja novost v šolskem sistemu. Zato se zdi osredotočenost na ukrepe za izboljšanje uspešnosti šole v prvih letih najpomembnješa; po
želji se lahko razvije v sistem s strožjimi ukrepi, ki temeljijo na rezultatih modela
dodane vrednosti, vključno z objavo rezultatov. Po drugi strani pa se rezultati
lahko objavljajo tudi sproti, dodatne informacije pa služijo kot opora rezultatom
dodane vrednosti enega ali dveh let.
Komunikacija in vključevanje deležnikov
Sistem, ki uporablja modele dodane vrednosti, lahko koristi številnim interesnim skupinam. Kljub temu se je izkazalo, da imajo lahko ukrepi, sprejeti na podlagi rezultatov dodane vrednosti, negativen učinek na posameznike in organizacije (npr. ukrepi zoper šole). Ta možnost lahko privede do negativnega odziva na
uvedbo novih sistemov, ki med drugim merijo tudi uspešnost posameznikov in
organizacij. Tak odziv je posebej očiten, če se modele dodane vrednosti uvede kot
del širšega programa odgovornosti šole ali učiteljev. Glede na možne težave bi
bilo primerno vključiti deležnike v razvoj, vpeljevanje in nadaljnjo rabo modelov
dodane vrednosti. Učinkovito vključevanje je možno doseči prek strategije pogostega komuniciranja, ki dopolnjuje obsežno usposabljanje. Tovrstna prizadevanja,
ki bi prepoznala in omogočila razvoj šol kot učinkovitih organizacij za posredovanje znanja, so opisana v nadaljevanju.
192
Učitelji, ravnatelji in drugo osebje v šolah predstavljajo glavne interesne skupine, na delo katerih bi uvedba sistema modelov dodane vrednosti vplivala. Med
pogoste reakcije na uvedbo sistema, ki meri uspešnost, sodijo nezaupanje, povečan pritisk, frustracija in strah pred izgubo avtonomije (Saunders, 2000). Čeprav se
s takšnimi težavami soočajo mnoge reforme, so te, ki temeljijo na analizi dodane
vrednosti, izpostavljene prav posebnim. Prvič, modeli dodane vrednosti se lahko
zdijo brez prave vrednosti, saj so tako kompleksni, da so mnogim interesnim skupinam nejasni. Drugič, informacije se pridobijo na ravni šole, medtem ko je kakršen koli napredek odvisen od sprememb tako na ravni šole kot tudi učiteljev. Tako
je eden izmed izzivov dobiti in predstaviti informacije na način, ki ga bodo učitelji
razumeli. Drugi izziv je zagotoviti možnosti, da lahko učitelji, ravnatelji in drugo
osebje pridobljene informacije učinkovito uporabljajo. Zagotavljanje te možnosti
vključuje večji obseg mentorstva in usposabljanja učiteljev, ravnateljev in drugih
interesnih skupin (Saunders, 2000). Poleg tega je treba investirati tudi v vodstveno
osebje in analitične vire. Strategija komuniciranja in vključevanja deležnikov mora
poudarjati večjo natančnost merjenja uspešnosti šol z modeli dodane vrednosti.
To se je izkazalo kot pomembna prednost, zaradi katere so deležniki postali naklonjeni modelom dodane vrednosti, saj omogočajo natančnejše in s tem tudi pravičnejše merjenje šolske uspešnosti kot ostali kazalci, ki so jih uporabljali v drugih
izobraževalnih sistemih (Dudley, 1999). Fitz-Gibbonova (1997) na primer izpostavi
naklonjenost angleških ravnateljev za uvedbo modelov dodane vrednosti, Jakubowski (2007) pa navaja, da so tudi učitelji podprli modele dodane vrednosti za
merjenje šolske uspešnosti. Pomembna prednost, ki jo prinaša učinkovita vključitev ključnih deležnikov, je zmanjšanje možnosti za vedenje, ki lahko vpliva na
podatke, potrebne za določanje modelov dodane vrednosti. Kot je bilo navedeno
že v prvem delu, so številni sistemi izpostavljeni negativnemu vedenju, ki lahko
vpliva tako na ocenjevanje učencev kot tudi na podatke, zbrane na ravni šole, in
izzove suboptimalno vedenje učiteljev in šole. Za premostitev teh težav morajo
učitelji in ravnatelji verjeti, da je sistem pravičen in da odraža resnično uspešnost
šole. Prav tako mora biti jasno, da gre za dolgoročno obveznost, ki lahko spremeni
tako odnos med osrednjim organom in šolami kot tudi znotraj samih šol.
Del uspešne strategije komuniciranja v številnih izobraževalnih sistemih predstavlja vključevanje deležnikov v številne faze izvedbe sistema. Taki sistemi so
naredili premik od zgolj sporočanja podrobnosti modela dodane vrednosti do
spodbujanja deležnikov k rabi informacij o dodani vrednosti za lastne potrebe.
Za učinkovito vključevanje je potrebna komunikacija po več kanalih med samim
razvojem in delovanjem modelov dodane vrednosti in sistema, ki šolske rezultate
dodane vrednosti uporablja kot osnovo za ukrepe (Saunders, 2000). To je še posebej pomembno, če bodo modeli dodane vrednosti uporabljeni za ukrepe izboljšanja uspešnosti šole, za katere je potrebna interpretacija rezultatov šole, in za
oblikovanje ukrepov, ki bodo na ravni šole temeljili na taki interpretaciji.
193
Učinkovita komunikacija vključuje vse faze procesa. Vsako fazo je treba učinkovito predstaviti deležnikom, spodbujati njihovo vključevanje ter pridobiti
njihovo podporo. To vključuje cilje in osnovne principe sistema, izbiro in razvoj
modela dodane vrednosti, uvajanje sistema, posebej sistema ocenjevanja učencev, in rabo informacij dodane vrednosti s strani različnih interesnih skupin. Te
strategije so se izkazale za ključne pri uspehu uvajanja modelov dodane vrednosti
v šolskih izobraževalnih sistemih različnih držav udeleženk in so obravnavane v
nadaljevanju.
Tako kot pri oblikovanju celotnega sistema je treba cilje uvajanja sistema
modelov dodane vrednosti jasno predstaviti deležnikom. Glavni elementi najpomembnejših ciljev šolske politike so bili predstavljeni že v prvem delu tega poročila in jih zato na tem mestu ni treba ponavljati, je pa treba identificirati in skrbno
premisliti vpliv na ravnatelje, učitelje in ostalo šolsko osebje. Dobro je, če se jasno
pove, na kakšen način se bodo rezultati dodane vrednosti uporabili za merjenje
uspešnosti šole. Za deležnike je zelo pomembno, da poznajo analitično enoto v
modelu dodane vrednosti in da vedo, kako bodo rezultati uporabljeni in predstavljeni. Analitična enota se lahko razlikuje glede na to, ali so v centru zanimanja
pokrajine, upravne enote, šole ali učitelji. Poročilo se osredotoča na dodano vrednost na ravni šole, vendar je treba vprašanje analitične enote obravnavati posebej, vključno z razpravo o tem, ali bodo šole eksplicitno identificirane v objavljenih
materialih ali ne.
Omogočiti splošni javnosti dostop do rezultatov dodane vrednosti šol je ključnega pomena, če želimo podpreti izbiranje šol. Ne glede na namen objave rezultatov dodane vrednosti šol lahko učitelji, ravnatelji in drugi deležniki dojamejo to
kot obliko odgovornosti šole. Kot je bilo omenjeno že v prvem delu, lahko objava
rezultatov med šolami naleti na negativen odziv in spodbudi sumničavost glede
motivov za uvedbo sistema modelov dodane vrednosti. Razvoj strategije komuniciranja, s katero se spoprimemo z vsem zgoraj naštetim, je zato koristen. V nekaterih izobraževalnih sistemih so z obiski šol in promocijskim gradivom predstavili
možnosti za posredovanje rezultatov dodane vrednosti. Taki ukrepi so pogosto
dopolnjevali izobraževalne iniciative, katerih cilj je bilo zagotavljanje boljšega
razumevanja modelov dodane vrednosti in rabe tovrstnih informacij. Strategija
komuniciranja lahko vključuje objavo publikacij za šole ali informativna srečanja,
na katerih se predstavi posamezne primere možnosti objave rezultatov dodane
vrednosti, vključno z nazornimi preglednicami in diagrami. Tako bi tudi razložili,
kako interpretirati take tabele in diagrame, zlasti statistične interpretacije analize
rezultatov dodane vrednosti, in če je potrebno, intervale zaupanja in možnosti
njihove uporabe za razvrščanje pomembnih razlik v uspešnosti šol. Ponovno velja,
da je vključevanje učiteljev in ravnateljev v sprejemanje odločitev o načinu predstavitve rezultatov in ostalih informacij (npr. v predstavitvi šole) lahko učinkovito
in izboljša kakovost sistema.
194
Že med samim razvojem sistema večina vlad oblikuje medijsko strategijo za
objavo rezultatov dodane vrednosti šol in razlago o načinu njihove interpretacije.
Podatki o dodani vrednosti so lahko kompleksni in večdimenzionalni, tako da
je preprosto razvrščanje šol lahko zavajajoče, če ni v skladu z določenimi cilji in
praksami. Treba je sprejeti ukrepe, ki zagotavljajo, da objava rezultatov dodane
vrednosti v medijih ne vpliva negativno na pozitivne učinke razvoja sistema. V
številnih državah udeleženkah se je izkazalo, da tudi če namen rezultatov dodane
vrednosti ni bilo razvrščanje šol, so za to poskrbeli mediji. Nadaljnja nenamerna
objava rezultatov se lahko odraža v osredotočanju medijev na surove rezultate
testov. Smotrno bi bilo objaviti informacije o uspešnosti šol in učencev, ki bi
vključevale surove rezultate testov, rezultate dodane vrednosti in kontekstualne
rezultate dodane vrednosti, kar bi omogočilo bolj celovit vpogled, tako za interno
analizo kot tudi za lažjo izbiro šol s strani staršev in družin. Medijev ne moremo
nadzirati, lahko pa z ustreznimi ukrepi poskrbimo, da mediji informacije o dodani
vrednosti znajo interpretirati, prav tako pa lahko izrecno navedemo, kaj se iz rezultatov dodane vrednosti in ostalih informacij sploh da interpretirati in česa ne. Prav
tako je mogoče poudariti nekatere vidike merjenja uspešnosti. Tako je v povezavi
z različno predstavljenimi informacijami na podlagi kontekstualnih rezultatov
dodane vrednosti mogoče rangirati posamezno šolo, če se zdi, da to predstavlja
natančnejšo meritev.
Koristno je, če se medijska strategija oblikuje skupaj z učitelji, ravnatelji in drugimi deležniki, saj so šole pogosto tarča medijev. Poleg tega so deležniki lahko
učinkoviti v posredovanju skupnega sporočila o tem, kako interpretirati meritve
dodane vrednosti, in lahko predvidevamo, da informacije, pridobljene s strani
ravnateljev, učiteljev in ostalih deležnikov, prispevajo k oblikovanju bolj celovite
medijske strategije. Taka strategija pa lahko prispeva k bolj nemotenemu vpeljevanju sistema in prepreči možnost zavajajočih medijskih zgodb, ki zmanjšujejo
prednosti, ki jih prinaša sistem modelov dodane vrednosti. V kontekstu kakršne
koli organizacije je pomembno, da se zaposleni počutijo usposobljene na svojem
delovnem mestu, še posebej, kadar prihaja do reorganizacije, kot je uvedba sistema merjenja uspešnosti (O’Day, 2006). Usposabljanje ravnateljev, učiteljev in
drugega šolskega osebja ne samo z večjim razumevanjem modelov dodane vrednosti, ampak tudi z razumevanjem interpretacije in analize rezultatov dodane
vrednosti za namene izboljšanja šolske uspešnosti, lahko pripomore k učinkovitejšemu uvajanju modelov dodane vrednosti. Poleg tega lahko usposabljanje na
področju analize podatkov, razvoja šolskih programov in spremljanja napredka
učencev zmanjša sumničavost in deležnikom prikaže konkretne prednosti. Koristno je tudi, da se namenijo sredstva za ukrepe izboljševanja šolske uspešnosti,
ki temeljijo na modelih dodane vrednosti. Da bi poudarili rabo modelov dodane
vrednosti za namene izboljševanja šolske uspešnosti, se lahko določena sredstva
namenijo šolam, ki z analizo informacij o dodani vrednosti razvijajo posebne
programe za izboljšanje uspešnosti učencev. To lahko učinkuje kot spodbuda za
195
analizo, deležnikom pa se na tak način pokaže, da se sistem uvaja z namenom
izboljšanja šolske uspešnosti in ne predstavlja zgolj dodatne birokracije ali šolske
odgovornosti. To bi v celotnem izobraževalnem sektorju poudarilo pomen sprejemanja tistih ukrepov za izboljšanje uspešnosti, ki temeljijo na podatkih.
Razvoj programa usposabljanja
Podroben pregled podatkov o šoli kot osnova šolskega razvoja je relativno nov
pojav. Mnogi pedagoški delavci nimajo zadostnega znanja o meritvah in statistiki
in nekaterim je interpretiranje informacij o dodani vrednosti tuje. Posledično je
uvedbo kazalcev šolske uspešnosti, ki temelji na analizi dodane vrednosti, treba
oblikovati premišljeno, ob tem pa je treba ob uvajanju kvantitativnih meritev
uspešnosti zagotoviti tudi potrebno usposabljanje (Yang et al., 1999).
V Angliji so se programi usposabljanja skupaj z analizo rezultatov dodane
vrednosti s strani ravnateljev in ostalih partnerjev pri izboljševanju uspešnosti
izkazali za uspešne. Za doseganje usposobljenosti sta potrebni dobra komunikacija in strategija usposabljanja, da lahko ravnatelji in učitelji informacije o dodani
vrednosti čim bolje uporabijo v namene izboljšanja uspešnosti šole. Sistem bo
deležen večje podpore, če bodo konkretne prednosti predstavljene šolam in jih
bodo te lahko uporabile. V ta namen je ravnatelje, učitelje in ostale interesne
skupine koristno vključiti v razvoj sistema, prek katerega se na ravni šole izvaja
analiza informacij o dodani vrednosti. V sklopu tega se lahko sprejmejo odločitve
o tem, katere informacije se bodo zbirale in vključile v model in kakšna analiza
je primerna za potrebe šole. Vključitev teh deležnikov lahko pripomore k razvoju
uporabnikom prijaznega vmesnika za informacijski sistem in programske opreme
za analizo na ravni šole. Po drugi strani pa se lahko v šolah, kjer gre za vodenje od
zgoraj navzdol, uvede sistem, ki ne temelji na podatkih, pridobljenih na ravni šole
(Wikeley, 1998).
Prizadevanja, da bi vključili tudi deležnike, ki sistema ne podpirajo, je treba
natančno načrtovati in upoštevati, kako lahko informacije o dodani vednosti vplivajo na ravnatelje in učitelje. Izkušnje držav udeleženk s tovrstnim usposabljanjem kažejo, da je treba posredovati temeljne statistične informacije o tem, kako
se ocenjujejo rezultati dodane vrednosti šol. Čeprav to usposabljanje pokriva
zgolj osnove modelov dodane vrednosti (namen usposabljanja ni, da bi deležniki
sami izvajali modele dodane vrednosti), je bil odziv tistih, ki so učili učitelje interpretirati rezultate dodane vrednosti, jim odgovorili na vprašanja, vezana na intervale zaupanja, in jih učili izračunavati statistično pomembne razlike med šolami,
pozitiven. To usposabljanje se lahko razširi tudi na razpravo o stabilnosti rezultatov šol skozi leta in o vplivu take nestabilnosti na rabo rezultatov dodane vrednosti za doseganje ciljev šolske politike. Usposabljanje mora omogočiti tudi izrabo
analize podatkov na ravni učenca, ki prikaže razlike med uspešnostjo posameznih
196
učencev in skupin učencev znotraj šole. To bi šolam omogočilo določitev dodane
vrednosti za posamezen predmet in starostne skupine ter analizo skupin učencev
glede na socialno-ekonomski status, spol, etnično pripadnost ali status družine,
iz katere izhajajo. Šole s takimi analitičnimi zmožnostmi bi lažje identificirale tiste
učence, ki dosegajo slabše učne rezultate, razvile primerne ukrepe za dvig njihove
uspešnosti in spremljale vpliv takih ukrepov. To bi omogočilo tudi preveritev učinkovitosti določenih ukrepov z organizacijskega vidika, saj učinkovito sprejemanje
odločitev na podlagi podatkov prinaša prednosti, šole in učitelji pa z natančnim
razumevanjem šolske uspešnosti izboljšujejo svoje metode.
Poročila nekaterih držav udeleženk, v katerih so razvile programe usposabljanja, navajajo, da lahko prek usposabljanja posamezniki dojamejo, da modeli
dodane vrednosti omogočajo bolj natančne podatke o uspešnosti šol kot analiza
surovih podatkov. S tem ko interesne skupine pridobijo znanje o interpretaciji
informacij o dodani vrednosti in o tem, kaj rezultati dodane vrednosti šol sploh
merijo, postanejo prednosti take analize očitne. V Angliji so številne interesne skupine pozdravile uvedbo modelov dodane vrednosti, saj so spoznale, da so take
meritve uspešnosti veliko bolj poštene kot analiza surovih rezultatov. Z usposabljanjem te prednosti dodatno poudarimo, kar poveča možnosti, da interesne
skupine sprejmejo modele dodane vrednosti.
Pri razpravi o modelih dodane vrednosti je treba ločiti kontekstualizirane
modele dodane vrednosti in interpretacijo rezultatov dodane vrednosti in koeficientov za vključene kontekstualne spremenljivke. To mora vključevati razpravo
o tem, ali se kontekstualiziran model dodane vrednosti uporabi, o osnovi za to
odločitev in testiranju modela v pilotni fazi. Raba kontekstualnih spremenljivk
pri nekaterih strukturah ocenjevanja učencev ne pripomore znatno k napovedni
moči modelov dodane vrednosti. Lahko pa vpliva na razvoj šolske politike in učinkovito vključevanje deležnikov. Prav tako lahko zmanjša pomisleke, da modeli
samo merijo, koliko vsebin učenci usvojijo, in ne uspešnosti šole. Medtem ko pri
modelih, ki uporabljajo večje število zaporednih meritev, niso potrebne meritve
osnovnega znanja učencev, pa je to težje razložiti deležnikom, ki so manj vešči
statistične analize. Z deležniki se je tudi dobro posvetovati glede vključitve kontekstualnih podatkov v kontekstualiziran model dodane vrednosti in dodatnih informacij na ravni šole, ki spremljajo take podatke. Nekateri imajo bogate izkušnje z
učenci in lastnostmi šole, ki lahko vplivajo na uspešnost, zato lahko prispevajo
pomemben vpogled v to, kako s takšnimi podatki oblikovati šolsko politiko. Poleg
tega je to dodatna priložnost za vključitev interesnih skupin v razvojni proces in
spodbujanje njihove podpore tem modelom.
Za razvoj učinkovitih programov usposabljanja in uvajanje strategij komuniciranja so včasih potrebna precejšnja sredstva. Na srečo pa ti izzivi hkrati lahko
prinašajo nagrade. Ocene učinkov šole lahko skupaj s kontekstualnimi in primer-
197
jalnimi informacijami služijo kot iztočnica za začetek komuniciranja med šolami in
znotraj njih. Če se rezultati razčlenijo na posamezne značilnosti učencev, dobimo
precej natančno predstavo o prednostih in šibkostih šolskega programa. Take analize pogosto opravljajo v Angliji in nekaterih ameriških izobraževalnih sistemih, na
primer v Dallasu v zvezni državi Teksas ter v številnih okrožjih države Tennessee
(Braun, 2005a). Razvoj bolj učinkovitega sprejemanja odločitev, ki temeljijo na
informacijah o dodani vrednosti, vključuje tudi razvoj obširnejšega informacijskega sistema znotraj šol. Treba je razumeti, da razvoj učinkovitih informacijskih
sistemov znotraj velikih organizacij, kot so šole, zahteva več kot samo analitično
usposabljanje in zmožnosti (O’Day, 2002). Poudarek na komunikaciji in učinkovitem sodelovanju je koristen za zagotavljanje učinkovitega sprejemanja odločitev
v zvezi z razvojem in spremljanjem programov znotraj celotne šole, da to ni omejeno zgolj na njeno vodstvo. Če se izkaže za koristno večji poudarek dati na to, da
je v sprejemanje odločitev vključena celotna šola, potem je smiselno spodbujati
medsebojno sodelovanje zaposlenih in razvoj šolskih programov s strani skupin
učiteljev.
Na Poljskem so leta 2006 ob uvedbi modelov dodane vrednosti vpeljali tudi obširen program usposabljanja. Osnovali so stopenjsko strukturo, kjer so se učitelji – mentorji najprej centralno izobraževali, nato pa so druge učitelje usposabljali v lokalnih
izobraževalnih centrih. Cilji usposabljanja so bili osredotočeni na:
–– interpretacijo rezultatov dodane vrednosti;
–– prikaz uporabe metod dodane vrednosti za ocenjevanje napredka učencev z
namenom izboljšanja šolskih programov;
–– ustvarjanje skupine učiteljev, ravnateljev, nadzornikov in svetovalcev, ki bi bila
sposobni učiti druge in širiti pravilno uporabo informacij o dodani vrednosti.
Program usposabljanja je vseboval kombinacijo predavanj, praktičnih vaj ter splošnih debat. V uvodnih predavanjih so bili predstavljeni ideja ocenjevanja dodane vrednosti šol in teoretični vidiki modelov dodane vrednosti. S takim pristopom, čeprav
morda prezahtevnim, so želeli preprečiti vtis, da gre za netransparentne metode, ki jih
javnosti vsiljuje majhna skupina strokovnjakov.
Predavanjem so sledile vaje v manjših skupinah. Vsi udeleženci so dobili
tabele s predvidenimi rezultati testov v nižjih razredih srednjih šol na podlagi
osnovnošolskih rezultatov. Poleg tega so bili predstavljeni koeficienti za umetne spremenljivke, ocenjene v modelu (npr. spol, disleksični učenci). Učitelji so
nato izračunali regresijske odklone, tako da so od predvidenih rezultatov vsakega učenca odšteli dejanski rezultat. Udeleženci so prek povprečja rezidualov
učencev lahko izračunali dodano vrednost določene šole. Poleg tega so učitelje
198
naučili izračunati intervale zaupanja za srednjo vrednost rezidualov, s katerimi so nato
primerjali šole. Razložili so jim, da tak pristop služi zgolj kot hevristično orodje, saj s statističnega vidika ni povsem veljaven. Poudarili so tudi, da ocena dodane vrednosti, do
katere pridemo po tej enostavni metodi, predstavlja priročno orodje, s katerim lahko
preverimo, če pri uspešnosti šol prihaja do pomembnih razlik, in oblikujemo preliminarne hipoteze, ki jih lahko nato šolsko osebje z boljšim poznavanjem šole, učiteljev in
učencev interpretira.
Treba je omeniti, da se je ta preprost model dodane vrednosti zdel primernejši
kot zapleteni, saj ga šole lahko uporabljajo za svoje interne potrebe, hkrati pa ga je
lažje razložiti. Med usposabljanjem so se izkazale še ostale prednosti. Strokovnjaki so
učiteljem in ravnateljem pokazali, kako lahko izračunajo rezultate dodane vrednosti
za določene skupine znotraj šol, na primer za primerjavo dečkov in deklic ali pa med
razredi. Pri teh preprostih vajah so uporabljali Excelovo razpredelnico, ki jo pogosto
uporabljajo tudi v šolah na Poljskem.
Sledilo je predavanje, v katerem so bile povzete prednosti in slabosti ocenjevanja
dodane vrednosti na Poljskem, ki so se pokazale v raziskavi, ki je merila zunanjo veljavnost metod dodane vrednosti. Predavanju je sledila splošna razprava, kjer so udeleženci strokovnjakom postavljali vprašanja, ti pa so razjasnili nejasnosti in pojasnili
nekatere tehnične podrobnosti. Ob koncu je bila med udeleženci izvedena še anketa,
v kateri so morali udeleženci oceniti usposabljanje in bolj splošno tudi sistem modelov
dodane vrednosti.
Udeleženci so poleg tridnevnega usposabljanja prejeli gradivo, s katerim so lahko
usposabljali druge učitelje. Gradivo v obliki knjižice je vsebovalo tehnični opis modela
dodane vrednosti, uporabljenega na Poljskem, in vaje, ki so jih razvili in uporabljali
med usposabljanjem. Hkrati so za potrebe nadaljnjega usposabljanja dobili tudi CD, ki
je vseboval vaje v Excelu. Seminarju je v naslednjem mesecu sledilo peturno dodatno
usposabljanje v vsakem izmed petdesetih regionalnih in lokalnih centrov za usposabljanje učiteljev. Pri tem so sodelovali tudi predstavniki šolskih inšpektoratov, oblikovali pa so dodatna izobraževalna srečanja, kjer so predstavili in razpravljali o modelih
dodane vrednosti kot možnemu orodju za spremljanje kakovosti poučevanja v nižjih razredih srednjih šol. Leta 2007 je bila postavljena spletna stran s »kalkulatorjem
dodane vrednosti«; objavili so informacije o tem, kako spletno orodje uporabiti in ga
vključiti v programe usposabljanja učiteljev v lokalnih centrih. Mnogi izmed teh centrov so se odzvali na povečano zanimanje za dodano vrednost in v svoje programe
usposabljanja vključili tečaje o dodani vrednosti.
Okvir 8.1. Programi usposabljanja na Poljskem
199
Predstavitev in raba informacij o dodani vrednosti
Rezultat dodane vrednosti šole je številka, ki odraža uspešnost glede na ostale
šole. Pri interpretaciji tega rezultata je potrebna ovrednotena ocena, ki naj služi
kot osnova za ukrepe, ki pospešujejo doseganje ciljev šolske politike. V prvem
delu tega poročila so bili navedeni številni primeri uporabe informacij o dodani
vrednosti tako v interne kot tudi javne namene. Na tem mestu jih je treba ponoviti, razprava pa se osredotoča na vprašanja, ki so pomembna v fazi uvajanja. Ta
se osredotočajo na ugotavljanje primerne metode za objavo informacij o dodani
vrednosti, njihovo interno rabo in rabo znotraj šol ter kako se bodo odražale na
določenih ukrepih.
Objava šolskih rezultatov mora biti v skladu z želeno šolsko politiko. Objava s
pilotnimi podatki in odziv ključnih deležnikov sta lahko zelo koristna. Odziv lahko
pripomore pri razvoju samih publikacij, hkrati pa pokaže, katera področja se deležnikom zdijo posebej občutljiva. To lahko vpliva na odločitve o objavi podatkov za
model, katerega uvajanje trenutno poteka. Uporaba informacij o dodani vrednosti za potrebe šol in razvoj njihove interne politike zahteva usposabljanje, razvoj
primerne programske opreme in sprejetje odločitve o tem, katere informacij so
primerne za analizo in s kakšnim namenom se ta izvaja. Vsi so o tem lahko obveščeni že v pilotni fazi, analiza s strani ključnih interesnih skupin pa nato služi kot
informacija za dejansko uvajanje.
Treba je sprejeti smernice za interpretacijo rezultatov dodane vrednosti, ki
bodo v pomoč pri sprejemanju primernih ukrepov in interpretaciji s strani interesnih skupin. V številnih državah se to osredotoča na klasifikacijo rezultatov kot
kazalcev določenih kategorij uspešnosti (npr. šole z visoko oz. nizko uspešnostjo).
Te smernice je treba oblikovati in ovrednotiti v interakciji s ključnimi interesnimi
skupinami v času pilotne faze in skozi celotno uvajanje. Jasna razlaga načina
interpretacije rezultatov in njihove rabe za sprejemanje ukrepov zviša raven transparentnosti in interne učinkovitosti. Deležniki morajo biti s tem seznanjeni, da
lahko v sistem zaupajo in oblikujejo primerne ukrepe za dvig šolske uspešnosti.
Udeleženi posamezniki in institucije (npr. nadzorniki, ministrstva, oddelki in šole),
ki izvajajo vnaprej določene ukrepe, lahko bolje načrtujejo in razvijajo ukrepe za
dvig šolske uspešnosti. Šola s slabimi rezultati je lahko deležna nadzora in daljšega
obdobja intenzivnega ocenjevanja. Če so kriteriji za to klasifikacijo in posledični
ukrepi jasno določeni, je mogoče uvesti postopke, ki šolam in šolskim nadzornikom (oz. ustrezni ustanovi) omogočajo, da pripravijo in bolje razvijejo ocenjevalno shemo, ki se učinkovito odziva na klasifikacijo. Tako bi se z analizo podatkov
o dodani vrednosti za potrebe ovrednotenja šole zadovoljilo potrebe vsake šole.
To bi omogočilo bolj učinkovit razvoj ciljno usmerjenih strategij, šolskim nadzornikom, ravnateljem in učiteljem pa bi zagotovilo več informacij, s katerimi bi nato
zvišali uspešnost šole.
200
V pilotni in zgodnji fazi uvajanja sistema modelov dodane vrednosti je mogoče
analizirati tako pilotne kot tudi že obstoječe podatke ocenjevanja učencev, s čimer
lahko ocenimo vpliv rezultatov dodane vrednosti in posledičnih ukrepov. Analizirati je mogoče delež šol, ki bi bile deležne posebnih nagrad oz. sankcij, delež tistih,
ki bi jih doletel nadzor, delež tistih, ki bi se jim odredila preizkusna doba, ali pa
tistih, ki bi bile opredeljene kot uspešne oz. neuspešne. Taka analiza lahko vpliva
na odločitve o tem, kje na razporeditvi rezultatov dodane vrednosti šol naj bodo
postavljene »kritične točke«, in o potrebnih sredstvih za posledične ukrepe, kot so
šolski nadzori in posebne nagrade oz. sankcije.
201
LITERATURA
Aitkin, M. and N. T. Longford. (1986). Statistical Modelling Issues in School Effectiveness Studies. Royal
Statistical Society, Series A, 149 (1), 1-43.
Amato, P. and B. Keith. (1991). Parental Divorce and Adult Well-Being: A Meta-Analysis. Journal of Marriage
and Family, 53 (1), 43-58.
Antelius, J. (2006). Value-Added Modelling in Sweden: A Background Report for the OECD Project on the
Development of Value-added Models in Education Systems. Skolverket.
Atkinson Review. (2005). Final Report: Measurement of Government Output and Productivity for the National
Accounts. Palgrave McMillan.
Ballou, D. (2001). Pay for Performance in Public and Private Schools. Economics of Education Review,
February, 51-61.
Ballou, D., W. Sanders and P. Wright. (2004). Controlling for Student Background in Value-Added Assessment
of Teachers. Journal of Educational and Behavioral Statistics, 29.
BBC News (2007), Guide to the secondary tables, BBC News website, http://news.bbc.co.uk/1/hi/
education/7176947.stm, November.
BBC News (2008), BBC News website, http://news.bbc.co.uk/1/shared/ bsp/hi/education/07/school_tables/
secondary_schools/html/320_4075. stm, 10 January.
Becker, G. (1964). Human Capital: A Theoretical and Empirical Analysis with Special Reference to Education.
New York: Columbia University Press.
Benjamini, Y. and Y. Hochberg. (2000). The Adaptive Control of the False Discovery Rate in Multiple
Hypotheses Testing. Journal of Behavioural Education Statistics, 25, 60-83.
Betebenner, D. (2007). Growth as a Description of Process. Unpublished manuscript.
Bethell, G. (2005). Value-Added Indicators of School Performance: The English Experience Anglia Assessment.
Battisford, Suffolk, England: Unpublished report.
Borjas, G. (1995). Ethnicity, Neighborhoods, and Human-Capital Externalities. American Economic Review,
85, 365-90.
Borjas, G. (2001). Long-Run Convergence of Ethnic Skill Differentials, Revisited. Demography, 38 (3), 357-61.
Bourque, M. L. (2005). The History of No Child Left Behind. In R. Phelps (ed.), Defending Standardized Testing
(pp. 227-254). Hillsdale, NJ: Lawrence Erlbaum Associates.
Braun, H. I. (2000). A Post-Modern View of the Problem of Language Assessment. In A. J. (ed.), Studies in
Language Testing 9: Fairness and Validation in Language Assessment. Selected Papers from the 19th
Language Testing Research Colloquium (pp. 263-272). Cambridge: University of Cambridge, Local
Examinations Syndicate.
Braun, H. I. (2005a). Value-Added Modelling: What Does Due Diligence Require? In R. Lissitz, Value Added
Models in Education: Theory and Applications. Maple Grove, Minnesota: JAM Press.
Braun, H.I. (2005b). Using Student Progress to Evaluate Teachers: A Primer on Value-Added Models. Policy
Information Perspective. ETS.
Braun, H.I. (2006a). Background Paper: The use of value-added models for school improvement. Paris: OECD.
203
Braun, H. I. (2006b). Empirical Bayes. In J. G. (eds.), Complementary Methods for Research in Education.
Washington, DC.: American Educational Research Association.
Braun, H. I., Y. Qu and C. S. Trapani. (2008). Robustness of Value-added Analysis of School Effectiveness. ETS
RR-08-22. Princeton, NJ: Educational Testing Service.
Brooks-Gunn, J., G. Duncan, P. Klebanov and N. Sealand. (1993). Do Neighborhoods Influence Child and
Adolescent Development? American Journal of Sociology, 99, 353-93.
Bryk, A., Y. Thum, J. Easton and S. Luppescu. (1998). Academic Productivity of Chicago Public Elementary
Schools, Technical Report. Chicago, Il.: The Consortium on Chicago School Research.
Burgess, S., C. Propper, H. Slater and D. Wilson. (2005). Who Wins and Who Loses from School Accountability?
The Distribution of Educational Gain in English Secondary Schools. CMPO, The University of Bristol: CMPO
Working Paper Series NO. 05/128.
Burstein, L. (1980). The Analysis of Multi-Level Data in Educational Research and Evaluation. Review of
Research in Education, 158-233.
Caldwell, B. (2002). Autonomy and Self-managment: Concepts and Evidence. In T. Bush and L. Bell, The
Principles and Practice of Educational Management (pp. 34-48). London: Paul Chapman.
Caldwell, B. and J. Spinks. (1998). Beyond the Self-Managing School. London: Falmer Press.
Carlsson, G. (1958). Social Mobility and Class Structure. Lund, Sweden: Gleerup.
Choi, K. and M. Seltzer. (2005). Modelling Heterogeneity in Relationships Between Initial Status and Rates of
Change: Latent Variable Regression in a Three-Level Hierarchical Model. March. Los Angeles, California:
National Center for Research on Evaluation, Standards and Student Testing/UCLA.
Choi, K., P. Goldschmidt and K.Yamashiro. (2005). Exploring Models of School Performance: From Theory
to Practice. In J. H. (eds.), Yearbook for the National Society for the Study of Education, 104 (2), Malden,
Massachusetts: Blackwell.
Coleman, J. (1966). Equality of Educational Opportunity. Washington D.C.: U.S. Department of Health,
Education, and Welfare.
Corcoran, M., R. Gordon, D. Laren and G. Solon. (1992). The Association Between Men’s Economic Status and
Their Family and Community Origins. Journal of Human Resources, 27 (4), 575-601.
Department for Children, Schools and Families, United Kingdom (2008), high school performance tables
website, www.dcsf.gov.uk/cgibin/performancetables/dfe 1 x 1 _05.pl?School=8464016&Mode=Z&Type,
accessed 2 October 2008.
Dixit, A. (2002). Incentives and Organisations in the Public Sector: An Interpretive Review. Journal of Human
Resources, 37 (4), 696-727.
Doeringer, P. and M. Piore. (1985). Internal Labour Markets and Manpower Analysis. New York: Armonk.
Doran, H. C. and L. T. Izumi. (2004). Putting Education to the Test: A Value-Added Model for California. San
Francisco: Pacific Research Institute.
Doran, H. and J.Cohen. (2005). The Confounding Effects of Linking Bias on Gains Estimated from ValueAdded Models. In R. Lissitz, Value-Added Models in Education: Theory and Applications. Maple Grove,
MN: JAM Press.
Doran, H. and T. Jiang. (2006). The Impact of Linking Error in Longitudinal Analysis: An Emprical
Demonstration. In R. Lissitz, Longitudinal and Value-Added Models of Student performance (pp. 210-229).
Maple Grove, MN: JAM Press.
Dorans, N., M. Pommerich and P. Holland. (2007). Linking and Aligning Scores and Scales (Statistics for Social
and Behavioral Sciences). New York: Springer.
Dudley, P. (1999). Using Data to Drive Up Standards: Statistics or Psychology? In C. Conner (ed.), Assessment
in Action in the Primary School. London: Falmer Press.
Dyer, H., R. Linn and M. Patton. (1969). A Comparison of Four Methods of Obtaining Discrepancy Measures
Based on Observed and Predicted School System Means on Achievement Tests. American Educational
Research Journal, 6, 591-606.
Eurostat. (2001). Handbook on Price and Volume Measures in National Accounts. Luxembourg: European
Communities.
204
Ferrão, M.E., P. Costa, V. Dias and M. Dias. (2006). Medição da competência dos alunos do ensino bâsico
em Matemâtica: 3EMat, uma proposta. [Measuring math skills of students in compulsory education:
3EMat, a proposai]. Actas da XI Conferência Internacional de Avaliação Psicológica. [Proceedings of the XI
International Conference on Psychological Evaluation]. Braga, Portugal.
Ferrão, M. (2007a). Sensitivity of VAM Specifications: Measuring SocioEconomic Status: A Background Report for
the OECD Project on the Development of Value-added Models in Education Systems. Warsaw.
Ferrão, M. (2008). Sensitivity of Value-Added Model Specifications: Measuring Socio-Economic Status.
Revista de Educaciôn.
Ferrão, M.E., Goldstein, H. (2008). Adjusting for Measurement Error in the Value Added Model: Evidence
from Portugal. Quality and Quantity.
Fielding, A., M.Yang and H.Goldstein. (2003). Multilevel Ordinal Models for Examination Grades. Statistical
Modelling (3), 127-153.
Figlio, D. and L. Kenny. (2006). Individual Teacher Incentives and Student Performance. NBER Working Paper
12627.
Fitz-Gibbon, C. (1997). The Value Added National Project Final Report: Feasibility Studies for a National System
of Value-Added Indicators. London: School Curriculum and Assessment Authority.
Fitz-Gibbon, C. and P.Tymms. (2002). Technical and Ethical Issues in Indicator Systems: Doing Things Right
and Doing Wrong Things. Education Policy Analysis Archives, 10 (6).
Friedman, T. (2005). The World is Flat: A Brief History of the 21 st Century. New York: Farrar, Strauss and Giroux.
Ginther, D., R. Haveman and B.Wolfe. (2000). Neighborhood Attributes as Determinants of Children’s
Outcomes: How Robust are the Relationships? Journal of Human Resources, 35 (4), 603-42.
Glass, D. (1954). Social Mobility in Britain. London: Routledge & Paul.
Glenn, C. and de J. Groof. (2005). Balancing Freedom, Autonomy and Accountability in Education. Nijmegan
NL: Wolf Legal Publishers.
Goldhaber, D. and D. Brewer. (2000). Does Teacher Certification Matter? High School Teacher Certification
Status and Student Achievement. Educational Evaluation and Policy Analysis, 22 (2), 129-145.
Goldstein, H. (1987). Multilevel Covariance Component Models. Biometrika, 74, 430-431.
Goldstein, H., J. Rasbash, M. Yang, G. Woodhouse, H. Pan, D. Nuttall and S. Thomas. (1993). A Multilevel
Analysis of School Examination Results. Oxford Review of Education, 19 (4), 425-433.
Goldstein, H. and D. J. Spiegelhalter. (1996). League Tables and their Limitations: Statistical Issues in
Comparison of Institutional Performance. Journal of Royal Statistical Society, Series A, Part 3, 385443.
Goldstein, H. (1986). Multilevel Mixed Linear Model Analysis Using Iterative Generalised Least Squares.
Biometrika, 73, 43-56.
Goldstein, H. (1997). Methods in School Effectiveness Research. School Effectiveness and School Improvement,
8, 369-95.
Goldstein, H., D. Kounali and A. Robinson. (2008). Modelling Measurement Errors and Category Misclassifications in Multilevel Models. Accepted for publication.
Gorard, S., J. Fitz, and C. Taylor. (2001). School Choice Impacts: What Do We Know? Educational Researcher,
30 (7), 18-23.
Gray, J., D. Jesson, H. Goldstein, K. Hedger and J. Rasbash. (1995). A Multilevel Analysis of School Improvement:
Changes in Schools’ Performance Over Time. School Effectiveness and School Improvement, 6 (2), 97-114.
Hægeland, T. (2006). School Performance Indicators in Norway: A Background Report for the OECD Project on
the Development of Valueadded Models in Education Systems.
Hægeland, T., L. Kirkeboen, O. Raaum and K.Salvanes. (2005). School performance indicators for Oslo, Reports
2005/36. Statistics Norway.
Hægeland, T. and L. Kirkebtben. (2008). School Performance and ValueAdded Indicators – What is the
Importance of Controlling for Socioeconomic Background?: A Background Report for the OECD
Project on the Development of Value-added Models in Education Systems.
Hambleton, R. K. and M. J. Pitoniak. (2006). Setting Performance Standards. In R. Brennan, Educational
measurement (4th ed.) (pp. 433470). Washington D.C.: American Council on Education.
205
Haney, W. and Raczek, A. (1993) Surmounting outcomes accountability in education. Washington, DC: U.S.
Congress Office of Technology Assessment.
Hanushek, E. A. and M. E. Raymond. (2004). The Effect of School Accountability Systems on the Level and
Distribution of Student Achievement. Journal of the European Economic Association, 2, 406-415.
Harris, D., A. Hendrickson, Y. Tong, S-H. Shin and C-Y Shyu. (2004). Vertical Scales and the Measurement
of Growth. Paper presented at the 2004 annual meeting of the National Council on Measurement in
Education, April. San Diego, CA.
Haveman, R. and B.Wolfe. (1995). The Determinants of Children’s Attainments: A Review of Methods and
Findings. Journal of Economic Literature, 33, 1829-1878.
Hill, R., B. Gong, S. Marion and C. DePascale (2005). Using Value Tables to Explicitly Value Student Growth.
http://www.nciea.org/cgibin/pubspage.cgi?sortby=pub_date, accessed 10 January 2006.
Hoxby, C. (2003). The Economics of School Choice, National Bureau of Economic Research Conference Report.
University of Chicago Press.
IGE. (2001). Avaliaçãio Integrada das escolas. Relatório Nacional. Ano lectivo 1999-2000. Inspecção Geral da
Educação, Ministério da Educação.
Jacob, B. (2002). Accountability, Incentives and Behavior: The Impact of High-Stakes Testing in the Chicago
Public Schools. Cambridge, MA.: NBER Working Paper No. 8968.
Jakubowski, M. (2007). Volatility of Value-Added Estimates of School Effectiveness: A Comparative Study
of Poland and Slovenia. Paper presented to the Robert Shurman Centre for Advanced Studies, European
University. Florence.
Jakubowski, M. (2008). Implementing Value-Added Models of School Assessment. RSCAS Working Papers
2008/06, European University Institute.
Kane, T.J. and D.O. Staiger. (2002). Volatility in School Test Scores: Implications for Test-Based Accountability
Systems. In D. R. (Ed.), Brookings Papers on Education Policy (pp. 235-269). Washington, DC: Brookings
Institution.
Kohn, A. (2000). The Case Against Standardized Testing: Raising the Scores, Ruining the Schools. Portsmouth,
NH: Heineman.
Kolen, M. and R. Brennan. (2004). Test Equating, Scaling and Linking: Methods and Practices. New York, NY:
Springer Science and Business Media.
Koretz, D. (2005). Alignment, High Stakes, and the Inflation of Test Scores. In J. L. Herman and E. H. Haertel
(ed.), Uses and Misuses of Data for Educational Accountability and Improvement (pp. 99-118). Malden,
MA: NSSE.
Kreft, I. and J. De Leeuw. (1998). Introducing Multilevel Modelling. London, Thousand Oaks and New Delhi:
Sage Publications.
Ladd, H. F. and R. P. Walsh. (2002). Implementing Value-Added Measures of School Effectiveness: Getting
the Incentives Right. Economics of Education Review, 21, 1-17.
Lavy, V. (2002). Evaluating the Effects of Teachers’ Group Performance Incentives on Pupil Achievement.
Journal of Political Economy, 110, 1286-1317.
Lazear, E.P. (2000). The Future of Personnel Economics. The Economic Journal, 1 10, 467, F611-F639.
Levacic, R. (2001). An Analysis of Competition and its Impact on Secondary School Examination Performance
in England. Occassional Paper No. 34, September. National Centre for the Study of Privatisation in
Education, Teachers College, Columbia University.
Linn, R. L. (2005). Conflicting demands of “No Child Left Behind” and state systems: Mixed messages about
school performance, Education Policy Analysis Archives, 13(33).
Linn, R. L. (2004). Rethinking the No Child Left Behind accountability system. Washington, DC. Available online
at http://www.ctredpol.org: Paper presented at the Center for Education Policy Forum.
Martineau, J. A. (2006). Distorting value added: The use of longitudinal, vertically scaled student
achievement data for growth-based, value-added accountability. Journal of Educational and Behavioral
Statistics, 31(1), 35-62.
Mortimore, P., Sammons, P., Stoll, L., Lewis, D. and Ecob, R. (1988). School Matters: The Junior Years. Wells:
Open Books.
206
Lissitz, R., H. Doran, W. Schafer and J.Willhoft. (2006). Growth Modelling, Value-Added Modelling and
Linking: An Introduction. In R. Lissitz, Longitudinal and Value-Added Models of Student Performance (pp.
146). Mapple Grove, MN: JAM Press.
Little, R. J. A. and D. B. Rubin. (1987). Statistical Analysis with Missing Data. New York: Wiley.
Lockwood, J. R., McCaffrey, D. F., Hamilton, L., Stecher, B., Le, V., and Martinez, F. (2007). The Sensitivity of
Value-Added Teacher Effect Estimates to Different Mathematics Achievement Measures. Journal of
Educational Measurement, 44(1), 45-65.
Lockwood, J.R., and D.F. McCaffrey. (2007). Controlling for Individual Level Heterogeneity in Longitudinal
Models, with Applications to Student Achievement. Electronic Journal of Statistics, 1, 223-252.
Lucas, R. (1988). On the Mechanics of Economic Development. Journal of Monetary Economics, 22 (1), 3-42.
Madaus, G., P.W. Airasian and T. Kellaghan. (1980). School Effectiveness: A Reassessment of the Evidence. New
York: McGraw-Hill.
Mante, B. and G. O’Brien. (2002). Efficiency Measurement of Australian Public Sector Organisations: The
Case of State Secondary Schools in Victoria. Journal of Educational Administration, 30 (7), 274-91.
Mayer, C. (1996). Does Location Matter? New England Economic Review, May/June, 26-40.
McCaffrey, D. F., Lockwood, J. R., Mariano, L. T. and C. Setodji, (2005). Challenges for value-added assessment
of teacher effects. In R. Lissitz (Ed.) Value added models in education: Theory and practice. Maple Grove,
MN: JAM Press.
McCaffrey, D. F., J. R. Lockwood, D. M. Koretz and L. S. Hamilton. (2003). Evaluating Value-Added Models for
Teacher Accountability. Santa Monica, CA: The RAND Corporation.
McCaffrey, D. M., J. R. Lockwood, D. Koretz, T. A. Louis and L. Hamilton. (2004). Models for Value-Added
Modelling of Teacher Effects. Journal of Educational and Behavioral Statistics, 29 (1), 67-101.
McCall, M. S., Kingsbury, G. G. and A. Olson. (2004). Individual Growth and School Success. Lake Oswego, OR:
Northwest Evaluation Association.
McKewen, N. (1995). Accountability in Education in Canada. Canadian Journal of Education, 20 (1).
Messick, S. (1989). Validity. In R. Linn. (Ed.), Educational Measurement. Washington, DC: American Council
on Education.
Meyer, R. (1997). Value-Added Indicators of School Performance: A Primer. Economics of Education Review,
16 (3), 283-301.
Ministry of National Education, Higher Education and Research, Direction de l’évaluation, de la performance
et de la prospective. (2006). Lycée Performance Indicators: 2005 general, technological and vocational
baccalauréats: A Background Report for the OECD Project on the Development of Value-added Models in
Education Systems.
NASBE. (2005). Evaluating Value-Added: Findings and Recommendations from the NASBE Study Group on
Value-Added Assessments. Alexandria, VA: National Association of State Boards of Education.
Nichols, S.L. and Berliner, D.C. The Inevitable Corruption of Indicators of Educators through High-stakes
testing,Tempe, AZ: Education Policy Reserarch Unit, Arizona State University.
O’Day, J. (2002). Complexity, Accountability, and School Improvement. Harvard Educational Review, 72, (3),
293-329.
Odden, A. and Busch, C. (1998). Financing Schools for High Performance. San Francisco: Jossey-Bass.
OECD. (1994). The OECD Jobs Strategy: Evidence and Explanations. Paris: OECD.
OECD. (1996). Lifelong Learning for All. Paris: OECD.
OECD. (2001). The New Economy: Beyond the Hype. Paris: OECD.
OECD. (2004). Learning for Tomorrow’s World: First Results from PISA 2003. Paris: OECD.
OECD. (2005). Teachers Matter: Attracting, Developing and Retaining Effective Teachers. Paris: OECD.
OECD. (2006). Demand Sensitive Schooling? Evidence and Issues. Paris: OECD.
OECD. (2007a). Education at a Glance. Paris: OECD.
OECD. (2007b). Learning for Tomorrow. Paris: OECD.
207
OECD. (2007c). No More Failures: Ten Steps to Equity in Education. Paris: OECD.
OECD. (2007d). PISA 2006: Science Competencies for Tomorrow’s World. Paris: OECD.
OECD. (2008). Going for Growth. Paris: OECD.
Patz, R. (2007). Vertical Scaling in Standards-Based Educational Assessment and Accountability Systems.
Washington D.C.: The Council of Chief State School Officers.
Ponisciak, P. M. and A. S. Bryk. (2005). Value-Added Analysis of the Chicago Public Schools: An Application
of Hierarchical Models. In R. L. (Ed.), Value Added Models in Education: Theory and Applications. Maple
Grove, MN: JAM Press.
Raudenbush, S. and J.D. Willms. (1995). The Estimation of School Effects. Journal of Educational and
Behavioral Statistics, 20, 307-335.
Raudenbush, S. and A. Bryk. (2002). Hierarchical Linear Models: Applications and Data Analysis Methods (2nd
Edition). Newbury Park, CA: Sage Publications.
Raudenbush, S. W. (2004). Schooling, Statistics, and Poverty: Can We Measure School Improvement? Princeton,
NJ: Educational Testing Service.
Ray, A. (2006). School Value Added Measures in England: A Background Report for the OECD Project on the
Development of Value-Added Models in Education Systems, www.dcsf.gov.uk/rsgateway/DB/RRP/
u015013/index. shtml.
Ray, A. (2007). The Volatility of Value-Added Scores: A Background Report for the OECD Project on the
Development of Value-Added Models in Education Systems, unpublished.
Reel, M. (2006), presentation given at the ETS National Forum on State Assessment and Student
Achievement, Education Testing Service, Princeton, 13-15 September.
Romer, P. (1994). Endogenous Economic Growth, Journal of Economic Perspectives, 8 (1), 3-22.
Rowan, B., R. Correnti and R. J. Miller (2002). What Large-Scale Survey Research Tells Us About Teacher
Effects on Student Achievement: Insights from the Prospects Study of Elementary Schools. Teacher
College Record, 104, 1525-1567.
Rubin, D. B. (1976). Inference and Missing Data. Biometrika, 63, 581-592.
Rubin, D., E. Stuart and E. Zanutto. (2004). A Potential Outcomes View of Value-Added Assessment in
Education. Journal of Educational and Behavioural Statistics, 103-116.
Ryska, R. (2006). Value-added Modelling in the Czech Republic: A Background Report for the OECD Project on
the Devlopment of Valueadded Models in Education Systems.
Sammons, P. T. (1997). Forging Links: Effective Schools and Effective Departments. Paul Chapman Publishing
Lda.
Sammons, P., S. Thomas, P. Mortimore, C. Owen and H. Pennell. (1994). Assessing School Effectiveness:
Developing Measures to put School Performance in Context. London: Office for Standards in Education.
Sanders, W., A. Saxton, and B. Horn. (1997). The Tennessee Value-Added Assessment System: A Quantitative
Outcomes-Based Approach to Educational Assessment. In J. M. (Ed.), Grading Teachers, Grading Schools:
Is Student Achievement a Valid Evaluational Measure? (pp. 137-162). Thousand Oaks, CA: Corwin Press,
Inc.
Sass, T., and D. Harris. (2007). The Effects of NBPTS-Certified Teachers on Student Achievement. CALDER
Working Paper No. 4.
Saunders, L. (2000). Understanding Schools Use of `Value Added’ Data: The Psychology and Sociology of
Numbers. Research Papers in Education, 15 (3), 241-58.
SCAA. (1994). Value Added Performance Indicators for Schools. London: School Curriculum and Assessment
Authority.
Senge, P. (2000). Schools that Learn: A Fifth Discipline Fieldbook for Educators, Parents, and Everyone Who Cares
About Education. New York, NY: Doubleday.
Snijders, T.A.B., and R.J. Bosker. (1999). Multilevel Analysis: An Introduction to Basic and Advanced Multilevel
Modelling. Londen: Sage.
208
Taylor, J. and N.A. Nguyen. (2006). An Analysis of the Value Added by Secondary Schools in England: Is the
Value Added Indicator of Any Value? Oxford Bulletin of Economics and Statistics, 68(2), 203-224.
Tekwe, C., R. Carter, C. Ma, J. Algina, M. Lucas and J. Roth. (2004). An Empirical Comparison of Statistical
Models for Value-Added Assessment of School Performance. Journal of Educational and Behavioral
Statistics, 29 (1), 1 1-36.
Thomas, S. and Mortimore, P. (1996). Comparison of Value-Added Models for Secondary School
Effectiveness. Research Papers in Education, 11 (1), 5-33.
Thomas, S., Peng, W-J. and Gray, J. (2007). Value Added Trends in English Secondary School Performance
Over Ten Years. Oxford Review of Education, 33 (3), in press.
Tymms, P. and C. Dean. (2004). 'Value Added in the Primary School League Tables’, A Report for the National
Association of Head Teachers. May. Durham: CEM Centre, University of Durham.
van de Grift, W. (2007). Reliability and Validity in Measuring the Added Value of Schools: A Background Report
for the OECD Project on the Development of Value-Added Models in Education Systems.
Vicente, P. (2007). O plano amostral do projecto 3EM. Actas do XIV Congresso Anual da Sociedade
Portuguesa de Estatfstica. In M. N. Ferrão, Proceedings of the XIV Annual Conference of the Portuguese
Statistical Society. Lisboa: SPE, Accepted for publication.
Vignoles, A., R. Levacic, J. Walker, S. Machin and D. Reynolds. (2000). The Relationship Between Resource
Allocation and Pupil Attainment: A Review. London: Centre for the Economics of Education, London
School of Economics.
Webster, W. J. (2005). The Dallas School-Level Accountability Model: The Marriage of Status and ValueAdded Approaches. In R. L. (ed.), Value added models in education: Theory and Applications. Maple
Grove, MN: JAM Press.
Webster, W. and R. Mendro. (1997). The Dallas Value-Added Accountability System. In J. M. (ed.), Grading
Teachers, Grading Schools: Is Student Achievement a Valid Evaluation Measure? (pp. 8199). Thousand
Oaks, CA: Corwin Press.
Wikeley, F. (1998). Dissemination of Research as a Tool for School Improvement. School Leadership and
Management, 18 (1), 59-73.
Willms, J.,and Raudenbush, S. (1989, 26(3)). A longitudinal hierarchical linear model for estimating school
effects and their stability. Journal of Educational Measurement, 209-232.
Wilson, D. (2004). Which Ranking? The Impact of a `Value-Added’ Measure of Secondary School Performance.
Public Money and Management. January. 37-45.
Wright, S., W. Sanders and J. Rivers. (2006). Measurement of Academic Growth of Individual Students
toward Variable and Meaningful Academic Standards. In R. Lissitz, Longitudinal and Value-Added
Models of Student Performance (pp. 385-406). Maple Grove, MN: JAM Press.
Yang, M., H. Goldstein, T. Rath and N. Hill. (1999). The Use of Assessment Data for School Improvement
Purposes. Oxford Review of Education, 25 (4), 469-83.
Zvoch, K. and J. Stevens. (2006). Successive Student Cohorts and Lonigtudinal Growth Models: An
Investigation of Elementary School Mathematics Performance. Education Policy Analysis Archives, 14 (2).
209
M
Y
CM
MY
CY
CMY
K
QQ
MERJENJE IZBOLJŠAV PRI UČNIH DOSEŽKIH
Q
C
Izvirnik te publikacije je bil objavljen pod naslovom Measuring Improvements in Learning
Outcomes: Best Practices to Assess the Value-Added of Schools, ISBN 9789264050228, © 2008
Organizacija za ekonomsko sodelovanje in razvoj (OECD), Pariz.
Ta prevod je objavljen z dovoljenjem OECD. Ne predstavlja uradnega prevoda s strani
organizacije OECD.
MERJENJE IZBOLJŠAV
pri učnih dosežkih
www.oecdbookshop.org - Spletna knjigarna OECD
www.sourceoecd.org - OECD e-knjižnica
www.oecd.org/oecddirect - Služba OECD za obveščanje o izdanih publikacijah
Publikacija je brezplačna.
ISBN 978-961-6899-00-0
9 789616 899000
Dobre prakse
za presojanje dodane vrednosti šol
Документ
Категория
Без категории
Просмотров
28
Размер файла
2 900 Кб
Теги
1/--страниц
Пожаловаться на содержимое документа