Varken Pisa, nationella prov eller betyg räcker som information om svenska elevers kunskapsutveckling. Datorstödda stickprov kan vara en väg framåt, föreslår professor Jan-Eric Gustafsson.
Det nationella system för resultatuppföljning vi har i Sverige bygger framför allt på de mål- och kunskapsrelaterade betyg som introducerades med läroplanerna 1994. Idén om att låta betygen ligga till grund är mycket tilltalande. Systemet ger information om alla grundskolans ämnen, och det omfattar samtliga elever i landet. Dessutom kostar det inget, förutom den kostnad som är förknippad med inrapportering och sammanställning av betygsresultaten. När detta system infördes under slutet av 1990-talet såg man därför inte behov av någon ytterligare information om kunskapsutvecklingen i landet.
Men systemet har ett problem – och det är att det inte fungerar. Anledningen är att de kriterier som anges för de olika betygsstegen inte kan vara så precist formulerade att de leder till entydiga tolkningar av vilket betyg en viss prestation motsvarar. Detta fria tolkningsutrymme leder till att betyg satta av olika lärare vid olika skolor i olika kommuner inte är likvärdiga. Det leder också till betygsinflation, och det är framför allt den som gör det omöjligt att använda betygen för att studera resultatutvecklingen över tid.
Ett sätt attöka likvärdigheten och motverka betygsinflationen är att erbjuda lärarna stöd av nationella prov i sin betygsättning. Då det målrelaterade betygssystemet introducerades ansågs nationella prov onödiga som betygsstöd, men värdefulla som ett medel att implementera det nya betygs- och bedömningssystemet. Därför behölls de nationella proven och utformades för att passa de nya uppgifterna. Detta innebar bland annat stora och komplexa uppgifter och krav på omfattande skriftlig och muntlig elevproduktion.
Då bristerna i det målrelaterade betygssystemet uppenbarades under början av 2000-talet hamnade de nationella proven i fokus – både som ett hjälpmedel för likvärdig betygsättning och som en källa till information om kunskapsutvecklingen på nationell nivå. Provens utformning gör dock att de ofta inte är ändamålsenliga för att stödja likvärdigheten, och de ger i regel inte resultat som är jämförbara från ett år till ett annat.
Sammanfattningsvis är det svårt att tro att vare sig det målrelaterade betygssystemet eller de nationella proven kan fås att fungera som ett nationellt system för kunskapsbedömning.
Det leder oss tillbaka till de internationella studierna, som i avsaknad av ett fungerande nationellt system har fått allt större betydelse som informationskälla om svenska elevers resultatutveckling. Pisa och andra internationella studier bygger på principen att stickprov av elever kan ge information om den nationella utvecklingen. I allmänhet gör varje elev också endast en mindre del av provuppgifterna. Genom dessa dubbla stickprovsprinciper kan påverkan på skolsystemet och den enskilda eleven begränsas. Stickprovsmodellen gör det också möjligt att uppnå hög kvalitet i genomförande av proven och i bedömningen av provsvaren. Dessutom ger det internationella samarbetet tillgång till den främsta expertisen för design av undersökningar och utveckling av prov, och för bearbetning, analys och rapportering av data.
Men i stickprovsmodellen ligger också att resultaten inte kan vara exakta, och resultaten är ibland något överskattade och ibland något underskattade. Det är inte något som den mediala rapporteringen tar hänsyn till och därför kan slumpmässiga variationer i resultaten få stor inverkan på den utbildningspolitiska diskussionen.
Hur proven utformas i de olika undersökningarna har också betydelse, och olika undersökningar kan därför inte förväntas ge samma resultat. När exempelvis Pisa 2012 visade på dramatiska resultatförsämringar i matematik och naturvetenskap i årskurs 9, visade Timss 2011 i årskurs 8 inte på några förändringar i naturvetenskap, och endast en mindre nedgång i matematik – trots att de två undersökningarna bygger på urval ur samma population av elever.
Delvis beror skillnaderna i utfall på att även små, och till synes triviala, skillnader i provens utformning kan ha stort genomslag på resultaten. Pisaproven i alla tre ämnena kräver att eleverna formulerar utförliga skriftliga svar på många av frågorna. Det gör att de inte bara mäter de kompetenser som var meningen att mätas utan även elevernas förmåga att formulera sig i skrift. Detta förklarar delvis flickornas stora överlägsenhet över pojkar på Pisas läsprov, och det förklarar delvis de finländska elevernas goda resultat i matematik och naturvetenskap, där de får god poängutdelning på sin mycket goda skrivförmåga.
Även om de internationella studierna bidrar med värdefull information har de alltså egenskaper och egenheter som gör det olämpligt att förlita sig på dem som enda informationskälla om kunskapsutvecklingen i den svenska skolan. Till detta kommer att de huvudsakligen omfattar områdena läsning, matematik och naturvetenskap, och inom dessa endast de delar som kan fångas med prov som i huvudsak är av papper- och penna-typ.
Det behövs alltså både bredare och djupare information om resultatutvecklingen i den svenska skolan. Samtidigt är det uppenbart att det inte finns utrymme för att belasta elever och lärare med ytterligare nationella prov; snarare behöver den tidsåtgång och arbetsbörda som det nuvarande systemet medför minska. Det skulle kunna ske genom att de nationella provens uppgift att ge stöd för lärarnas betygsättning får större vikt – och provens övriga uppgifter som att ge information om kunskapsutvecklingen över tid tonas ned. Det skulle innebära färre komplexa och svårbedömda uppgifter med omfattande skriftlig och muntlig elevproduktion till förmån för provdelar som är tillräckligt tillförlitliga och stabila för att ge ett adekvat stöd för en likvärdig betygsättning.
Skolverket har tidigare föreslagit ett rullande, stickprovsbaserat, kunskapsbedömningssystem för att följa utvecklingen på nationell nivå. Tanken är att komplettera Pisa, Timss och Pirls med nationellt utvecklade stickprovsundersökningar, och detta bör kunna vara en framkomlig väg. Att använda stickprov är inte någon nackdel ur kvalitetssynpunkt. Tvärtom ger sådana undersökningar mer utrymme för flexibilitet i utformningen av bedömningarna, och både kvantitativa och kvalitativa metoder kan användas. Det här har gjorts med framgång i flera länder, bland andra USA och Nya Zeeland.
Dessa system bygger i stor utsträckning på nyutvecklade pedagogiska mättekniker. De gör det möjligt att sätta samman resultat som olika personer uppnått på olika provuppgifter, till jämförbara resultat som uttrycks på en och samma skala. Tekniken bygger på att de olika provuppgifternas relativa svårighetsgrad har fastställts. Det kan göras på olika sätt, till exempel genom att två prov som består av olika uppgifter länkas samman med hjälp av ett särskilt länkprov. På så sätt kan man bygga upp större uppgiftsbanker och ur dem skapa jämförbara prov genom att hämta ut olika uppgifter. I synnerhet när syftet är att undersöka förändring över tid är detta mycket effektivt.
Det ligger dock en hel del utmaningar i att använda sådana här tekniker. De statistiska metoderna är komplexa, men det är också komplicerat att se till att provtagarna får rätt kombination av uppgifter. Detta problem har man i allmänhet löst genom att kombinera ihop uppgifter på olika sätt i olika uppgiftshäften, vilka sedan slumpmässigt fördelas över eleverna.
Det här blir lättare när användningen av datoradministrerade prov ökar. Datorer öppnar också upp för flexiblare sätt att presentera provuppgifter, och för eleverna att besvara dem. Det skulle knappast vara meningsfullt att utveckla ett stickprovsbaserat nationellt system för kunskapsbedömning i Sverige utan att göra det med datorstöd.
Samtidigt är det viktigt att inse att det finns kunskaper och färdigheter som inte kan fångas med hjälp av en större mängd avgränsade provuppgifter som kan hanteras av en dator. Muntlig interaktion på svenska och främmande språk är ett bland många exempel. Det är därför nödvändigt att använda flera olika provformer och bedömningsmodeller. Ett system som är stickprovsbaserat ger också större möjligheter till flexibilitet i utformningen av proven än då proven omfattar samtliga elever. Det vore också intressant att försöka koppla samman det stickprovsbaserade systemet med det nationella provsystemet på ett mer direkt sätt. Till exempel skulle provuppgifter som utvecklats och undersökts inom det stickprovsbaserade nationella bedömningssystemet kunna ingå som en del av de nationella proven innan de offentliggörs.
Det pågår för närvarande intensiva diskussioner både om kunskapsutvecklingen i den svenska skolan och om de nationella provens utformning och förekomst i olika årskurser och ämnen. I internationell jämförelse är dock det nationella bedömningssystemet unikt i sin bredd och i den acceptans det har bland lärare, elever och föräldrar. När systemet ska förändras av politiker och myndigheter är det därför viktigt att dess goda egenskaper bevaras, och att kortsiktiga och oprövade lösningar undviks.