Političari ne bi trebali donositi zaključke na temelju PISA rezultata

Otkako je PISA program prvi put proveden u 2000. godini, preuzeo je monopol nad edukacijskim politikama diljem svijeta. Svake se tri godine, prilikom objavljivanja novih rezultata, velika medijska pozornost posvećuje prozivanju zemalja koje su postigle vrlo dobre ili pak vrlo loše rezultate na testovima.

Dok su PISA ljestvice vrlo popularne u medijskom prostoru, političari su počeli vrednovati uspjehe i neuspjehe edukacijskih sustava prema promjenama u PISA rezultatima tijekom vremena.

Na primjer, u 2012. poljski obrazovni sustav preko noći je postao popularan nakon što se pokazalo da je Poljska kontinuirano poboljšavala svoje rezultate još od prvog mjerenja.

S druge strane, Švedska je zbog naglog pada u PISA rezultatima preuzela ulogu lošeg primjera diljem svijeta.

Međutim, činjenica da promjene u načinu administriranja testova predstavljaju rizik za „kontaminaciju” rezultata dobila je malo medijske pažnje. Ako takve promjene utječu na uspješnost, moglo bi biti gotovo nemoguće napraviti valjane usporedbe s prethodnim testiranjima.  

■ PRIMJETAN PAD

Možda je najznačajnija promjena u administriranju PISA testova nedavni prelazak s pisanih testiranja na računalno u 2015. godini.  

U prethodnim su testiranjima svi učenici pisali testove koristeći papir i olovku. Na PISA testovima 2015. učenici su u većini zemalja ispit polagali na računalu.

Nakon objave PISA rezultata 2015., zamjetni padovi u rezultatima pojedinih zemalja potaknuli su nagađanja o tome je li promjena s pisanih na računalne testove utjecala na konačne rezultate.

Npr., Hong Kong je pao za 32 boda u znanosti između 2012. i 2015., dok su rezultati Južne Koreje u matematici pali za 30 bodova, a rezultati Japana u čitanju za 22 boda.

Pad nije bio ograničen samo na istočnu Aziju: npr. rezultati iz znanosti u Njemačkoj, Irskoj i Poljskoj pali su za od 15 do 24 boda.

Ovi su golemi padovi ekvivalentni vrijednostima učenja koji variraju između 50 i 100 posto tijekom jedne školske godine – jednostavno nije moguće da odražavaju istinske promjene u znanju učenika.

Istražujući ovu temu malo dublje, naišao sam na zapanjujući pozitivan odnos između prosječnoga korištenja informacijske i komunikacijske tehnologije u nastavi matematike te promjene u uspješnosti na testovima matematike između PISA testiranja 2012. i 2015. godine. Čini se kao da su učenici koji su više koristili IK tehnologiju na nastavi imali i više koristi od toga pri prelasku na računalne testove.

■ UTJECAJ PISA-e

Međutim, iza ovog se uzorka možda kriju i drugi razlozi.

Centar za ekonomiju obrazovanja objavio je prvi izvještaj koji jasno pokazuje da je prebacivanje na računalne testove doista utjecalo na usporedivost PISA rezultata. [ http://cfee.org.uk/ ]

Ovaj izvještaj koristi PISA-ine pokusne testove u kojima su učenicima nasumično dodijeljena ista pitanja na računalu odnosno na papiru. Stoga možemo biti sigurni da bilo kakve razlike reflektiraju uzročni učinak uporabe računala.

Analizirajući podatke iz Irske, Njemačke i Švedske, izvještaj pokazuje da su učenici koji su testove polagali na računalu postigli znatno lošije rezultate od učenika koji su polagali pismeni test. Razlike su najupečatljivije u Njemačkoj (do 26 PISA bodova), zatim u Irskoj (do 18 bodova) i Švedskoj (do 15 PISA bodova).

Još je važnije da metoda koja je službeno korištena za opravdavanje razlika između računalnih i pisanih testova 2015. godine ne uklanja te razlike, iako postoji heterogenost u tom smislu: dok učenici u Njemačkoj i Irskoj još uvijek postižu 19 odnosno 11 bodova manje u znanosti tijekom primjenjivanja ove metode, nema značajnih statističkih pomaka koji bi opravdali položaj Švedske.

Budući da ne možemo ekstrapolirati ova otkrića na druge zemlje, pozivam sve nacije da objave svoje ispitne podatke što prije, jer bi to ispitivačima omogućilo da dobiju potpuniju sliku toga kako je ova promjena utjecala na PISA rezultate diljem svijeta.

Ipak, izvještaj upućuje na to da je prelazak na računalno testiranje sam po sebi na neke zemlje utjecao više nego na druge u posljednjem krugu PISA testiranja.

Političari bi stoga trebali biti oprezni pri izvođenju zaključaka s obzirom na relativnu uspješnost sustava u pogledu nedavnih promjena u rezultatima. Rizik je jednostavno prevelik, a bilo kakvo izvođenje zaključaka moglo bi biti netočno.

…………………..

NAPOMENA

• TES je digitalna zajednica s više od 3,6 milijuna registriranih korisnika u 279 zemalja i teritorija te stoga najveća mreža učitelja koja pomaže savjetovati, informirati i inspirirati edukatore širom svijeta.
• Izvor: tes.com