PISA 2018: Undersökningens syfte, genomförande och representativitet

PISA syftar till att undersöka i vilken grad respektive lands utbildningssystem bidrar till att 15-åriga elever är rustade att möta framtiden utifrån de tre ämnesområdena läsförståelse, matematik och naturvetenskap.

För att möjliggöra jämförelser mellan länder och deras skolsystem är det viktigt att definiera studiens målpopulation. I PISA har man valt att definiera målpopulationen som alla 15-åringar som återfinns i skolans årskurs 7 eller högre. Samtliga elever i PISA 2018 är födda år 2002.

Studiens genomförande och regler för exkludering

För att erhålla representativa resultat med tillräcklig precision görs urvalen i två steg där ett stratifierat slumpmässigt urval av skolor görs i ett första steg och ett slumpmässigt urval av elever inom varje vald skola görs i ett andra steg.

I varje land ska urvalet omfatta minst 150 skolor och 37 elever inom respektive skola. I PISA 2018 gjordes för Sveriges del ett stratifierat urval av 227 skolenheter i ett första steg. Det är OECD som ansvarar för urvalet av skolorna. Därefter gjordes ett slumpmässigt urval av sammanlagt 7133 elever i ett andra steg på dessa 227 skolenheter.

I princip bör urvalet vara representativt för samtliga 15-åringar som är bosatta i landet. Men det finns ett antal skäl till varför vissa elever i praktiken måste uteslutas eller exkluderas när de kommit med i urvalet.

1. 15-årigar som inte längre går i skolan: Om en person är 15 år men inte längre går i skolan är det rent praktiskt mycket svårt att få urvalet att omfatta denna grupp individer. För de flesta OECD-länder är detta endast ett marginellt problem men i länder som till exempel Mexiko och Colombia där inte alla 15-åringar går i skolan har det betydelse. I PISA har man därför beslutat att sådana individer inte ska inkluderas i urvalsramen för undersökningen.
2. Elever som har en måttlig till svår permanent fysisk funktionsnedsättning som gör att han/hon inte kan delta vid provet.
3. Elever som har en kognitiv, beteendemässig eller emotionell funktionsnedsättning som (enligt en på området professionellt sakkunnig person) gör att han/hon inte kan delta i PISA-provet.
4. Elever som har en begränsad erfarenhet av språket som testet genomförs på. Att testa dessa elever ger ingen meningsfull information om landets skolsystem. I PISA har man därför kommit överens gemensamt om vilka kriterier som ska gälla för denna typ av exkludering. Eleven ska uppfylla samtliga tre nedanstående kriterier:
   - har inte svenska som modersmål,
   - har begränsade kunskaper i svenska och
   - har fått mindre än 1 års undervisning i svenska.

Ovanstående regler för undantag från urvalsram samt kriterier för exkludering är gemensamma för samtliga länder och fastställdes inför den första PISA-undersökningen år 2000. Då beslutades också att exkluderingarna totalt sett inte bör överstiga 5 procent av målpopulationen. Reglerna måste hållas konstanta över tid för att resultaten mellan olika PISA-undersökningar ska kunna vara jämförbara.

Exkluderingar kan ske av såväl enskilda elever som hela skolor. Exkludering av hela skolor innebär för Sveriges del att en skolenhet och alla dess elever har exkluderats med anledning av att den antingen är en grundsärskola eller en specialskola.

Det är den utsedde skolsamordnaren på respektive skola som avgör om eventuella exkluderingar av enskilda elever som kommit med i urvalet. Skolsamordnaren är normalt sett en lärare eller en biträdande rektor på skolan och har utbildats av Skolverkets personal enligt en av PISA fastslagen manual. Skolsamordnaren uppmanas också att kontakta Skolverket om det föreligger oklarheter.

Exkluderingsgrad i PISA 2018

I PISA 2018 har 11,1 procent av målpopulationen i Sverige exkluderats, 1,4 procentenheter på grund av att hela skolor exkluderats och 9,8 procentenheter på grund av att enskilda elever inom en skola exkluderats. Detta ska jämföras med 5,7 procent exkluderingar i PISA 2015. Sverige har med 11,1 procent den största andelen exkluderingar av alla länder i hela PISA-studien. Genomsnittet för OECD-länderna är 4,0 procent.

Då skolorna exkluderat en elev från genomförandet av PISA 2018 har de uppgett en kod för exkludering i det elevprotokoll som skolorna fyllt i, i samband med genomförandet. Denna kod har i Sverige på grund av juridiska skäl varit densamma oavsett vilket kriterium som stått till grund för elevens exkludering och därmed finns ingen möjlighet att beräkna hur stor andel av exkluderingen av elever som går att tillskriva respektive av de tre kriterierna för exkludering.* Det finns dock goda skäl att tro att den ökade graden av exkludering mellan 2015 och 2018 i huvudsak beror på en ökad andel elever med begränsad erfarenhet av svenska språket. Detta på grund av de migrationsströmmar som den stora flyktingkrisen under senare år gav upphov till och som syns i statistiken över nyanlända i svensk skola.

OECD har med anledning av ovanstående bedömt den svenska graden av exkludering som acceptabel trots att den överstiger 5 procent i PISA 2018. I PISA 2018 är det 14 OECD-länder som har en högre exkluderingsgrad än 5 % utöver Sverige, däribland Danmark, Island och Norge. (Se figur I.3.2 på sidan 50 i OECD:s rapport, volym I).

Så här skriver OECD i den internationella PISA 2018 rapporten (Volym I, s. 160):

” Sweden had the highest exclusion rate: 11.07%. It is believed that this increase in the exclusion rate was due to a large and temporary increase in immigrant and refugee inflows, although because of Swedish data-collection laws, this could not be explicitly stated in student-tracking forms. Instead, students confronted with language barriers were classified as being excluded “for other reasons”, as were students with intellectual and functional disabilities. It is expected that the exclusion rate will decrease to previous levels in future cycles of PISA, as such inflows stabilise or shrink.”

Det är viktigt att förstå att reglerna för exkludering inte har ändrats över tid eller mellan olika länder. Vad som har ändrats är att en ovanligt stor andel elever i PISA 2018 faller in under de fastställda kriterierna och att den troligaste orsaken till denna ökade andel är det mycket stora inflödet av nyanlända elever till i synnerhet Sverige men även till viss del också övriga nordiska länder.

Täckningsgrad ett bättre mått på representativitet

Det mest övergripande och rättvisande måttet på hur representativt det urval av elever som genomförde PISA-testet är den så kallade täckningsgraden. Täckningsgraden tar hänsyn till elever som inte finns i skolsystemet samt exkluderingar och är därför det mest relevanta måttet på hur representativa de svenska resultaten är i jämförelse med övriga länder.

För Sverige är täckningsgraden 0,86 i PISA 2018 (0,94 i PISA 2015) Merparten av den bristande täckningen i Sverige utgörs av ovan nämnda exkluderingar eftersom de allra flesta 15-åringarna i Sverige återfinns i skolans årskurs 7 eller högre. De resterande tre procentenheterna som skiljer täckningsgraden från andelen exkluderade beror på så kallad undertäckning. Denna undertäckning kommer sig av att några större utvalda skolor lagts ner mellan tidpunkten för att urvalet drogs och tidpunkten för studiens genomförande.**

Hur stor andel av 15-åringarna som återfinns i skolans årskurs 7 eller högre varierar från land till land. Till exempel har de två OECD-länderna Mexiko och Colombia så låga täckningsgrader som 0,66 respektive 0,62, beroende på att en stor andel av dessa länders 15-åringar inte längre går i skolan. Den genomsnittliga täckningsgraden för OECD-länderna är 0,88. Andra länder med liknande täckningsgrad som Sverige är till exempel Kanada (0,86), USA (0,86), Storbritannien (0,85) och Danmark (0,88).

Elevbortfall

Bortfallet utgörs av de elever som av någon anledning inte har deltagit på PISA-provet trots att de ingår i urvalet. För att data ska hålla en tillräckligt god kvalitet anges i PISA:s ramverk hur stort bortfallet får vara. Bland de utvalda eleverna ska minst 80 procent delta. I Sverige var bortfallet av elever 13,5 procent, det vill säga 86,5 procent av de utvalda eleverna deltog. Bortfallet har dock ökat sedan PISA 2015 då bortfallet låg på 9,3 procent. Bortfallet för de svenska eleverna har med andra ord ökat med 4,2 procentenheter från 2015 till 2018. Bortfallet bland OECD-länderna i genomsnitt är något högre för skolor, 3,9 procent, och något lägre för elever, 9,9 procent, jämfört med Sverige.

PISA-urvalets representativitet utifrån en jämförelse med registerdata

Som nämnts ovan går det inte att särskilja elever som exkluderats på grund av fysisk eller kognitiv funktionsnedsättning eller på grund av att eleven har begränsad erfarenhet av testspråket. Dessutom finns inga uppgifter om de elever som inte genomförde provet trots att de var utvalda. I den gruppen kan det finnas både elever som ligger på gränsen till exkludering på grund av att de är relativt nyanlända eller elever som väljer att avstå på grund av andra orsaker. Det skulle också kunna vara elever som av studietaktiska skäl väljer att inte delta på grund av att de har nationella prov i nära tidsmässig anslutning till PISA-provet. Ungefär 3 procentenheter (181 elever) av bortfallet utgörs av elever vars föräldrar meddelat Skolverket att de inte ville att deras barn skulle delta.

Genom att jämföra PISA-urvalets sammansättning med avseende på migrationsbakgrund med registerdata kan man få en bild av hur representativt PISA-urvalet är. Om det har förekommit en stor överexkludering av nyanlända elever kan vi förvänta oss att andelen utlandsfödda med utländsk bakgrund är betydligt lägre i PISA-urvalet jämfört med motsvarande andel utifrån registret över samtliga 15-åringar.

För att en sådan jämförelse ska vara meningsfull måste såväl PISA-data som registerdata justeras något. I PISA-data måste det justeras för att det finns bortfall i uppgiften om födelseland. Genom imputering för de elever som inte angett om de är födda i Sverige eller utomlands skattas andelen utlandsfödda med utländsk bakgrund i PISA-urvalet till 9,9 procent (istället för 9,6 procent som redovisats i den officiella rapporteringen). I registerdata har de elever som anlänt efter 2016 exkluderats, vilket innebär att elever som varit mindre än ungefär 1 år i Sverige tas bort. Detta görs för att approximera exkluderingsregeln i PISA.*** Andelen utlandsfödda med utländsk bakgrund enligt registerdata (och med PISA-definitionen på utlandsfödd med utländsk bakgrund) är då 12,3 procent. Således finns en underskattning (undertäckning) i PISA-urvalet på 2,4 procentenheter.

I PISA 2015 var motsvarande underskattning 2,9 procentenheter. Det innebär att skulle vi justera både 2015 och 2018 års nationella medelvärde efter om andelen utlandsfödda med utländsk bakgrund var lika stor som registerskattningen skulle båda årens resultat vara drygt 2 poäng lägre (i läsförståelse). Det innebär att förändringen i resultat mellan 2015 och 2018 i praktiken inte påverkas.

Observera att resultat som justerats för eventuell underskattning (undertäckning) inte kan jämföras med andra års ojusterade resultat eller med andra länders ojusterade resultat. Det är alltså metodmässigt fel att justera ned Sveriges resultat för 2015 och 2018 och sedan jämföra med tex. ett OECD-genomsnitt som inte justerats på motsvarande sätt eftersom det är högst sannolikt att det kan förekomma en underskattning (undertäckning) av denna elevgrupp även i andra länder och för andra år.

Slutsatser

• Det mest relevanta måttet på hur representativt Sveriges PISA-urval är jämfört med andra länder är täckningsgraden eftersom den innefattar såväl exkludering samt de 15-åringar som inte finns i skolsystemet. Täckningsgraden för Sverige och OECD för 2018 är 0,86 respektive 0,88.
• Det mest relevanta måttet på hur representativt PISA-urvalet är med avseende på andelen utlandsfödda elever med utländsk bakgrund är att jämföra med registerdata. En sådan analys för Sverige ger en underskattning på drygt 2 procentenheter.
• Sveriges resultatutveckling mellan 2015 och 2018 har inte påverkats av underskattningen av andel utlandsfödda med utländsk bakgrund då den är ungefär lika stor för båda åren.
• Om en meningsfull jämförelse ska göras med justerade resultat för eventuell under- eller överskattning (under- eller övertäckning) måste resultaten justeras även för de länder och år man vill jämföra med.

*Med juridiska skäl menas här i praktiken att Skolverkets jurister gjort en tolkning av gällande svensk lagstiftning. 

**I och med att PISA är en urvalsstudie får alla skolor och elever vikter som står i direkt proportion till deras inklusionssannolikhet, vikter som summerar upp till populationsstorleken. Men om skolor som hamnat i urvalet inte kan vara med och delta på grund av att de stängt summerar vikterna inte längre upp till populationsstorleken. Vi har därmed fått en grad av undertäckning.

***Observera att regeln för exkludering i PISA innebär att eleven ska fått undervisning i svenska i minst 1 år. Men bara för att en elev varit i Sverige i mer än 1 år är det långt ifrån säkert att eleven gått i svensk skola i 1 år och ännu mindre säkert att denne fått undervisning i svenska i 1 år. Observera också att vi inte kan exkludera elever med funktionsnedsättningar i registerdata. Sannolikt finns ett antal elever med funktionsnedsättning även bland utlandsfödda elever med utländsk bakgrund.