Är pisa något att luta sig mot?

Är Pisa en bra undersökning? Ska vi tro på Pisa?

Svaret på sådana frågor beror på vad man tror att Pisa mäter. Då är det rimligt att utgå ifrån vad OECD själva säger. Så här presenteras Pisa på första sidan i OECD:s rapport från 2013:

”Are students well prepared to meet the challenges of the future? Can they analyse, reason and communicate their ideas effectively? Have they found the kinds of interests they can pursue through- out their lives as productive members of the economy and society?”

Men OECD hävdar att de mäter ännu mer:

”Pisa [...] evaluates the quality, equity and efficiency of school systems in some 70 countries that, together, make up 90 percent of the world economy.”

Det här är ju inga småsaker. Kvalitet, likvärdighet, effektivitet. Om Pisa faktiskt lyckas mäta allt detta är det lätt att förstå det enorma inflytandet undersökningen fått. Men kan vi verkligen ta det bokstavligt? Kan man besvara alla dessa frågor baserat på två och en halv timmes skriftligt testande av 15-åriga elever, som sitter var och en för sig, utan kommunikation med varandra eller med internet och besvarar en uppsättning frågor som i princip är identiska i alla 70 deltagande länder?

Pisa-svaren är dessutom anonyma, de samlas in när tiden är ute. Eleverna får aldrig diskutera eller gå igenom uppgifterna, de får inte veta resultatet och testet har ingen betydelse för den enskilda eleven, läraren, klassen eller skolan.

Pisa-undersökningens giltighet förutsätter att alla elever i alla länder gör sitt yttersta. På sista tiden har det framkommit att data från Pisa visar att motivationen att göra sitt bästa varierar mellan olika länder och kulturer. Det är kanske ingen stor överraskning? 15-åringar i Skandinavien är inte lika lojala, lydiga och auktoritetstrogna som 15-åringar i de länder som toppar Pisa-rankningen, till exempel Sydkorea, Hongkong och Singapore. Analyser visar att motivationen för att svara på Pisa-testerna är lägst i Sverige. De visar också att om Pisa-undersökningen hade varit ett prov som skulle räknas, så hade många presterat bättre. Allra störst är denna skillnad i Sverige.

De övergripande ambitionerna med Pisa reduceras avsevärt när man läser vidare i rapporterna. Man måste ha klart för sig att Pisa inte testar skolkunskaper. Uppgifter som är ”school science” rensas bort när proven konstrueras. Mer om detta senare. Pisa förhåller sig heller inte till ländernas läroplaner, varken när det gäller skolans mål, värdegrund eller kursplaner för enskilda ämnen. Ändå presenteras och uppfattas ett lands Pisa-resultat som ett samlat mått på skolans kvalitet. Så används också Pisa av media och politiker.

Inget test är bättre än dess uppgifter. Självfallet blir det viktigt att se på själva Pisa-testet för att därefter bedöma om det mäter vad det hävdar sig mäta. Det är en lång väg som leder fram till det prov som eleverna skriver, men här är några viktiga punkter.

För det första handlar det om själva forskningsdesignen, eftersom den begränsar vilken form av analyser det går att göra av resultaten. Pisa är som bekant en urvalsundersökning. Man följer inte elever över tid, utan får en ögonblicksbild. Målgruppen är landets 15-åringar och man gör ett urval (cirka 5 000 elever) som ska representera den här gruppen. Man väljer först ut skolor och inom dessa skolor lottar man fram enskilda individer, inte hela klasser.

Med en sådan design går det knappast att säga något om elevernas lärprocesser eller vilken slags undervisning som kan förklara goda resultat. Man kan, i bästa fall, bara etablera samband i form av överensstämmelser mellan olika variabler.

Baserat på Pisa kan man emellertid mäta olikheter i skolors resultat, både mellan olika skolor och inom en enskild skola. Man kan också mäta i vilken utsträckning socioekonomisk status förklarar testresultaten. Efter fem omgångar med Pisa-undersökningar kan man också se hur olikheterna har utvecklats över tid. De svenska Pisa-forskarna har i sina rapporter valt att lägga stor vikt vid just dessa poänger, och det är kanske något av det mest intressanta man kan använda Pisa-informationen till.

Internationellt är det i huvudsak rankningen av länder, baserat på genomsnittligt Pisa-resultat, som får störst uppmärksamhet. Det som uppfattas som svaga nationella Pisa-resultat skapar panik i nästan alla länder, men Pisa säger som sagt knappast något om sambandet mellan orsak och verkan. Paniken leder till krav på och behov av att förändra skolan. Politikerna vill gärna visa sig handlingskraftiga, vidta åtgärder och genomföra stora reformer för att rätta till situationen, helst så snabbt som möjligt. Detta inbjuder till kreativitet och fantasi, eftersom Pisa inte säger något om vad som kan eller bör göras.

På ett förberedande stadium valde OECD ut tre ämnen (mer precist: ”literacies”) som skulle ingå i proven. Först och främst läsning på modersmålet. Dessutom matematik och naturvetenskap. Dessa val är en naturlig följd av OECD:s mandat, nämligen att främja ekonomisk tillväxt och utveckling i en global, högteknologisk marknadsekonomi. Pisa-resultaten uppfattas och presenteras som en indikator på landets framtida ekonomiska konkurrensförmåga. Det är otvivelaktigt det perspektivet som ger Pisa det enorma internationella inflytandet. Flera studier, bland annat av den amerikanske forskaren Christopher H Tienken, visar dock att det inte finns något positivt samband mellan den här typen av testresultat och ett lands ekonomiska utveckling.

Sista omgången av Pisa hade plats för ett ämne till, nämligen ”financial literacy”, alltså ekonomi, som knappast är ett typiskt skolämne. De nordiska länderna deltog inte i den delen, men det gjorde 40 andra länder.

Nästa steg i testutvecklandet är att göra ett ämnesmässigt ramverk. Detta blir sedan grunden för själva proven och de uppgifter som ska ingå. Här har man engagerat toppnamn inom olika ämnesområden, internationellt erkända forskare. Det här ramverket har ständigt reviderats under de fem omgångar som genomförts från år 2000 fram till i dag. Det gör att jämförelser av resultat över tid blir problematiska, något de officiella Pisa-rapporterna naturligtvis uppmärksammar.

Själv anser jag att ramverket är Pisas bästa ”produkt”. Där diskuteras vilka kompetenser som är viktiga för framtidens samhälle. Detta kan ge idéer och inspiration när man ska utvärdera skolans och ämnenas innehåll.

Sedan kommer det svåraste: att göra uppgifter som testar de kompetenser som beskrivs i ramverket, och som kan användas i alla länder och kulturer.

I korthet går det till på följande sätt: Pisa-forskarna i de enskilda OECD-länderna kommer med förslag till uppgifter som passar ramverket och som är baserade på ”authentic texts”, knutna till ”real life situations”, de ska alltså vara verklighetsanknutna. Förslagen måste vara på engelska eller franska. Därefter följer en lång process där dessa förslag bedöms centralt. Ett stort antal uppgifter plockas ut för vidare bedömning genom pilottester, omarbetningar och översättning. Det görs även en analys av hur uppgifterna fungerar i olika länder. Processen är grundlig och involverar många underkommittéer och intensiv mötesaktivitet.

Att göra en rättvis undersökning – ett ”fair test” – är en viktig poäng. Det betyder att man måste ta bort uppgifter som inte fungerar som de ska, rent statistiskt. Detta medför bland annat att uppgifter där något land har högre testresultat än förväntat måste bort, för att det blir orättvist för andra länder. Uppgifter som har anknytning till bestämda länders kultur, historia och naturmiljö får inte förekomma. Så även om ambitionen är att använda ”authentic texts” i ”real life-situations” är det i praktiken omöjligt, med hänvisning till kravet om rättvisa. Autentiska texter och situationer från det verkliga livet är inte identiska för 15-åringar i Mexiko, USA, Japan och Sverige.

I kriterierna står det också att uppgifter förkastas om de har ”inappropriate context, cultural bias, curriculum dependence, just school science ...”.

I klartext innebär det att uppgifter som kan antas vara kontroversiella i ett eller flera länder, eller vara knutna till landets kultur, måste uteslutas. Och helt explicit står att de inte får vara knutna till landets läroplan eller vara utformade som traditionella skoluppgifter. Ändå presenterar OECD resultaten som universellt giltiga mått på kvaliteten i ett lands skolsystem. Det är inte helt lätt att greppa logiken.

Även inom de ämnen som faktiskt är med i Pisa är det bara enskilda områden som har tagits med. Till exempel är naturvetenskap ett experimentellt ämne där laborationer och fältarbete är viktigt. Inget av detta testas i Pisa, men är centralt i många länders läroplaner. Marit Kjærnsli och andra forskare visar att de norska Pisa-resultaten korrelerar negativt med användning av experiment och laborationer, och med att eleverna utvecklar och prövar hypoteser, något som just är en betydande del av en autentisk undervisning i naturvetenskap. Ett sådant negativt samband finns det också mellan Pisa-resultat och användning av IKT, informations- och kommunikationsteknik, något som borde mana till viss eftertanke.

Trots dessa uppenbara problem med att göra bra och giltiga uppgifter är det viktigt att se på dem som faktiskt används. En sådan analys är inte lätt, först och främst för att uppgifterna i huvudsak är hemliga. (De ska kunna användas vid kommande undersökningar och man vill undvika ”teach-to-the-test”, alltså att undervisningen inriktas mot det som bedöms i Pisa.) Men efter hand har uppgifter blivit tillgängliga, och många av dem har fått avsevärd kritik, också ur ett professionellt perspektiv. Den danska matematikern Inge Henningsen har exempelvis riktat kritik mot en uppgift där hon menar att ”rätt svar” blir orealistiskt och fel.

Översättningen är uppenbart ett centralt tema. Här följer man ett detaljerat och strängt regelverk. Men varken poesi eller ämnesprosa kan översättas ”korrekt” utifrån uppställda regler och procedurer. Även mellan de tre skandinaviska länderna finns det stora skillnader i översättningen, visar mina egna studier. Ibland ser vi till och med uppgifter som är substantiellt förändrade eller ”förbättrade”. Margareta Serder går i detalj in på hur olika de svenska och danska uppgifterna är översatta och hur ordbruket förstås och missförstås av elever.

Det skulle ha varit intressant med en mer omfattande kulturövergripande, språklig analys, både på asiatiska och västliga språk.

Vägen från råpoäng på den enskilda uppgiften till den samlade, publicerade Pisa-poäng som används i analyserna är komplicerad och kontroversiell, även för människor med skolning i statistik. Alla elever har heller inte fått samma uppgifter, utan bara ett urval från en större frågebank som sammantaget utgör Pisa-undersökningen. Poängen är dessutom normaliserade till att ha ett medelvärde på 500 och en standardavvikelse på 100, baserat på fördelningarna i OECD-länderna. I dataanalyserna används så kallad Item Response Theory och Rasch Modeling. Svend Kreiner, dansk professor i statistik, visar att han, baserat på Pisa-data, skulle kunna få Danmark att hamna på allt från plats 2 till 42 genom att använda den här statistiken. Detta har fått stor uppmärksamhet i Danmark, där ledande politiker successivt har blivit mycket kritiska till att använda Pisa-resultat i debatten.

Vad är då slutsatserna? Är Pisa ett ”bra test”? Om man gör en bedömning utifrån vad OECD hävdar att Pisa mäter, som den här artikeln inleddes med, är svaret klart nej. Men Pisa-data kan ge bra indikationer på hur olikheter i skolors och socioekonomiska gruppers prestationer utvecklas över tid. Pisas ämnesmässiga ramverk kan också ge underlag till konstruktiva debatter om skolans ämnesinnehåll.

En sak tycks säker: Pisa försvinner inte, Pisa har kommit för att stanna, i alla fall så länge skolorna väljer att lägga dyrbar undervisningstid på att delta. Vi måste ge Pisa den plats den förtjänar. Inte som Sanningen om skolan, utan som en av många källor till information och reflektion över skola och samhälle.