Räknesättet bakom Pisa-kaoset

När den senaste Pisaundersökningen presenterades i december 2018 så beskrev Skolverkets generaldirektör Peter Fredriksson resultaten som en julklapp till hela Sverige. Han medgav samtidigt i Lärarnas tidnings intervju att likvärdigheten inte förbättrats i Sverige i jämförelse med 2015.

Även utbildningsministern Anna Ekström (S) kallade dagen då Pisa 2018 presenterades för en ”glädjens dag” då Sverige presenterade ett ”styrkebesked” att svensk skola stod stark.

Men Lärarnas tidning kunde redan då konstatera att glädjeruset var något överskattat om man läste OECD:s rapport. För även om siffrorna var högre 2018 än 2015 så var skillnaden i resultaten inte tillräckligt stora för att det skulle innebära en verklig höjning eftersom OECD konstaterade att höjningen inte var statistisk signifikant.

Sverige tillhörde dessutom de länder med lägst andel 15-åringar som deltog. 13,5 procent av ungdomarna valde att utebli vid provtillfället. Politikerna Kristina Axen Olin, Moderaternas utbildningspolitiska talesperson, kritiserade även att Sverige exkluderade 11 procent från att delta i Pisa 2018.

Sorterades felaktigt bort

Sverige hade alltså plockat bort fler elever ur det slumpvis utvalda underlaget än de andra länderna 37 OECD-länderna som låg på 4 procent. Och, enligt Expressens granskning, sorterades ett stort antal av dessa elever bort av felaktiga skäl.

• Enligt reglerna får bara elever undantas om de har kognitiva eller fysiska funktionsnedsättningar eller är nyanlända elever och fått undervisning i svenska under mindre än ett år då provet skrivs.
• Men Expressens beräkningar visar att elever som läst svenska längre än så sluppit att göra proven.
• Elva procent sorterades bort från att göra PISA 2018 av de som hade blivit lottade att göra provet.
  Enligt Pisas regelverk fick man inte plocka bort mer än 5 procent. Men Sverige fick dispens pga den stora andelen nyanlända som kommit till Sverige.
• Expressen granskning visar att de svenska resultaten i läsförståelse skulle legat mellan 5 och 13 poäng lägre om Sverige följt OECD:s regelverk och inte plockat bort elever felaktigt som skulle ha gjort provet. Det skulle innebära att Sveriges Pisaresultat för 2018 är överskattat, vilket Pisaexperten Alli Klapp redan när undersökningen presenterade uppgav till Lärarnas Tidning.
• Fem poäng motsvarar, enligt Expressen, nästan hela Sveriges uppgång från PISA 2015 och 13 poäng skulle inneburit att Sverige rasade mer än 10 placeringar i jämförelse med PISA 2015.
• Siffrorna bygger på antaganden om hur de felaktigt bortsorterade eleverna skulle ha presterat om de deltagit. Den högre siffran bygger, enligt Expressen, på Skolverkets eget antagande att dessa elever skulle ha presterat lika bra som de utrikesfödda eleverna (som har två utrikesfödda föräldrar), som de som deltog i snitt presterade. Den lägre siffran bygger på att man antar att eleverna skulle ha presterat som den 5:e percentilen av de utrikesfödda (med två utrikes födda föräldrar) som faktiskt skrev provet.

Elever valdes felaktigt bort

Skolverket säger att den stora andelen bortplockade elever sannolikt beror på en ökad andel elever med begränsad erfarenhet av svenska språket. Men kritiker anser att urvalsmetoden gett felaktiga Pisa-resultat.

– Här verkar finnas grava metodfel som systematiskt förbättrat genomsnittet, säger Magnus Henrekson, professor i nationalekonomi till Expressen.

• Skolverket misstänkte själva att skolor själva felaktigt gallrat bort elever. Därför gjordes en undersökning via SCB, som visade att 2,4 procent av de deltagande felaktigt ska ha plockats bort. Det resultatet gick man också ut med på sin hemsida efter att provet presenterats.
• Men här hävdar Expressen att Skolverkets beräkningar är gjorda på felaktiga grunder. Expressens granskning visar att mer än 5 procent av eleverna som skulle deltagit har sorterats bort felaktigt. Och de får alltså stöd i detta av Magnus Henrekson.
• Anledningen till att Skolverket och Expressen kommit till helt olika resultat beror lite förenklat på att Skolverkets statistiker (läs SCB) har utgått från att elever fått uppehållstillstånd och folkbokförts samma dag de kom till Sverige.
• Expressen har istället sammanställt olika register från Migrationsverket, Skolverket och SCB. Resultatet av sammanställningen visar att det i själva verket dröjde ett–två år innan barnen fick uppehållstillstånd och folkbokfördes. Eftersom barnen gick i skolan innan de fick uppehållstillstånd och folkbokfördes så hade de läst svenska betydligt längre tid än om man utgick från SCB:s statistik.