Lyckat enligt Hattie är inte bättre för alla

Ingen som följt svensk undervisningsdebatt har missat att John Hattie har levererat svar på dessa frågor. Hans slutsatser i Visible learning från 2009 bygger på ett stort antal andra forskares resultat och har fått enormt genomslag: på bara några få år har han citerats drygt 4 000 gånger i forskningslitteraturen. Rimligen behöver hans approach kompletteras med andra, mer kvalitativa, forskningsmetoder – men det hindrar inte att hans resultat ändå bör tas på största allvar.

Frågan är: Överensstämmer det som Hattie menar med att en undervisningsmetod fungerar, med vad vi vanligen menar med att en metod fungerar? Jag skulle vilja hävda att det inte behöver vara så.

Hattie har genomfört en metastudie av 800 metastudier, vilka i sin tur bygger på bortåt 50 000 enskilda artiklar och forskningsrapporter. Alla handlar de om vad som förbättrar elevers studieresultat. I en metastudie aggregeras resultaten från enskilda forskningspublikationer och omvandlas till en gemensam skala, som i det här fallet mäter vilken effekt ett specifikt sätt att genomföra utbildning har. Måttet i Hatties studie kallas effektstorlek och innebär att skillnaden mellan en grupps genomsnittsresultat före och efter att en viss metod har använts, eller skillnaden mellan resultaten i en grupp där den undersökta metoden har använts och resultaten i en kontrollgrupp, delas med standardavvikelsen hos hela populationen. I stora drag innebär detta sätt att mäta att en metod kan sägas fungera om den har en positiv genomsnittlig effekt på resultaten.

Hattie finner att nära nog allt som man skulle kunna testa för att förbättra studieresultat har effekt, men att effekterna varierar i storlek. Därför behövs ett sätt att tydliggöra vilka metoder som är bättre än andra.

I detta syfte presenterar Hattie en barometer. Barometern utgår från tanken att en effekt i storleken 0,4 normalfördelningar är önskvärd, medan metoder med lägre effekt inte bör implementeras. Enbart det faktum att barn växer, utvecklas och mognar innebär i sig en förbättring på cirka 0,15, varför metoder med lägre effekt än så direkt bör undvikas då de kan leda till att studieresultaten påverkas negativt.

Vad är då problemet med detta sätt att tänka? Jo, att teorin om effektstorlek inte verkar fånga det vi menar – eller åtminstone inte allt vi menar – med att en undervisningsmetod fungerar.

En effekt ska alltså förstås i termer av genomsnittliga förbättringar. Men en grupps genomsnittsresultat kan förbättras även om den använda metoden faktiskt leder till att det går sämre för vissa elever, givet att det går så pass mycket bättre för andra att nettot blir positivt. Jag vill hävda att det vi menar med en fungerande undervisningsmetod inte ska försämra resultaten för elever. Därför borde nog inte en teori om vad som fungerar ha implikationen att förändringar som innebär försämringar för några, ändå är förbättringar.

Säg att en undervisningsmetod tydligt försämrar resultaten i svenska för elever som har dyslexi, men ger en lite större förbättring än 0,4 för den större mängden elever som inte är dyslektiker. Anta att det finns tio dyslektiker och att deras resultat minskar med motsvarande 0,1 standardavvikelser per person (vilket alltså är mycket givet att barn utvecklas), samt 90 elever som inte har dyslexi och vars resultat stiger med 0,50. Det skulle ge en genomsnittlig förbättring i hela gruppen på 0,44. Enligt Hatties approach blir detta alltså en metod som både fungerar och bör övervägas.

Kanske kan man tycka att detta är en avvägning som är värd att göra, men innan man bestämmer sig bör man fundera på följande exempel. Låt säga att en metod för att undervisa i läsning ökar de tio dyslektikernas resultat med 0,5 per person, och samtidigt förbättrar resultaten för övriga 90 elever med 0,3. Det skulle betyda att genomsnittsförbättringen för hela gruppen är 0,32 – vilket enligt Hatties barometer placerar metoden bland dem som inte bör användas. Det verkar ändå lite märkligt.

Slutligen: En metod som förbättrar resultaten för alla elever med exakt 0,5 fungerar, enligt barometern, sämre än en som bara höjer resultaten för dyslektiker med 0,2 men för de andra eleverna med 0,55. Skillnaden är marginell, men vad dessa teoretiska exempel är tänkta att visa är att Hatties tillvägagångssätt för att bestämma vad som fungerar i skolan, leder till resultat som är svåra att acceptera.

Sammantaget finns tre problem här. Det första är att effektstorleksmåttet indikerar att metoder som försämrar resultaten för mindre och kanske utsatta elevgrupper likväl fungerar. Det andra problemet är att barometern instruerar oss att i vissa fall ignorera metoder som ger stora förbättringar för sådana grupper, även om effekterna är både positiva och ganska stora för övriga elever. Och det tredje problemet är att metoden kan betyda att vi bör föredra ett olikvärdigt resultat där en utsatt grupp inte ser någon nämnvärd förbättring, framför en likvärdig och stor förbättring för alla elever.

Om målet för utbildningsväsendet är att utbilda varje barn och inte det abstrakta genomsnittsbarnet, så är det svårt att se att Hatties teori om vad som fungerar faktiskt fångar vad vi menar med en fungerande utbildningsmetod.

Spelar dessa teoretiska poänger någon roll? Det finns flera skäl att tycka det. Ett är att det är viktigt att ha ett enkelt och begripligt mått på vad som fungerar. Det är detta som motiverar Hattie att utveckla barometern: för att vi enkelt ska kunna se vad vi bör satsa på och vad vi bör låta bli att göra. Om barometern missar viktiga aspekter av vad det innebär att fungera, riskerar vi hamna på villospår.

Ett annat skäl har att göra med hur vi ser på avvägningar. Man kan tänka sig att en avvägning mellan vad som fungerar enligt Hattie och vad som gynnar likvärdigheten ändå skulle leda till ett riktigt beslut om vad vi bör satsa på i skolan. Men en sådan avvägning vore olycklig, då den blir en jämförelse mellan två begrepp där det ena inte fångar det vi har skäl att önska att det fångar. Det verkar helt enkelt bättre att göra avvägningar på grundval av begrepp som faktiskt fångar det vi brukar mena med dem.

John Hattie har gjort utbildningsvärlden en stor tjänst i och med sin forskning och metastudier är ett viktigt redskap i den vetenskapliga verktygslådan. Hattie har därutöver utvecklat en teori om synligt lärande som tycks mycket rimlig och som sannolikt är till stöd för elever i utsatt position. Detta är inget som bör förkastas. Slutsatsen är en annan: I det fortsatta arbetet med metastudier och utvärderingar behöver vi bättre effektmått och barometrar, där normativa idéer om vad det innebär att en utbildningsmetod fungerar kommer att behöva spela roll.

Vad vore då ett rimligt effektmått? Här finns ett klassiskt svar som dessutom brukar antas vara ett grundläggande rationalitetskriterium, nämligen det som ekonomer kallar Pareto-principen. Den innebär att förändringar bara räknas som förbättringar om de är bättre för åtminstone en person och inte sämre för någon.

Enligt ett sådant mått fungerar inte metoden i det första exemplet ovan, vilket tycks vara rätt svar. Pareto-principen bör ingå i ett rimligt effektmått.

Två av exemplen handlade delvis om att välja metoder. En barometer som ger större tyngd åt utsatta grupper och lägger större vikt vid likvärdighet, skulle kunna lösa de problemen.

Inom moralfilosofin kallas en sådan idé prioritarianism. Tanken är att en förbättring för någon som är sämre ställd bör väga mer än en förbättring för någon som redan är i en bra position. Med extra vikt för de elever som annars hamnar i en utsatt position kan man alltså föredra en stor förbättring för dem, framför en lite större förbättring för de som redan har en bra position.

Ett sådant synsätt innebär också att det likvärdiga resultatet i det tredje exemplet bör föredras framför det olikvärdiga, då det är bättre för de minst gynnade. Vi bör alltså, menar jag, föredra en prioritarianistisk barometer.

Vad som verkligen fungerar i skolan är en empirisk fråga, men för att empirin ska leverera det vi behöver krävs fortsatt arbete med teorin.