Debatt: Normrelaterade prov leder till sämre lärande

I början på 1960-talet ansvarade Robert Glaser (1921–2012) för utprövningar av så kallade ”programmerade studiematerial”. Konceptet såg ut så här. Eleverna skulle bedriva självstudier, läsa kurslitteratur och svara på frågor till enskilda kapitel. Den som svarade rätt skulle fortsätta till nästa kapitel. Den som svarade fel skulle repetera. Att konceptet skulle medföra att eleverna lärde sig mer verkade rimligt.

Men efter flera års utprövningar drog Robert Glaser slutsatsen att konceptet fick negativa effekter. För att förklara orsaken gjorde han en distinktion mellan två typer av ”mätningar” – ”kriterierelaterade mätningar” (Criterion-Referenced Measurement, CRM) och ”normrelaterade mätningar” (Norm-Referenced Measurement). Sen klargjorde han att det var mätningarna som avgjorde effekterna. Om de var normrelaterade försämrades inlärningen. Vad är då skillnaden mellan de två typerna? Varför får de olika effekter?

Så konstrueras normrelaterade prov

Hur normrelaterade uppgifter och prov konstrueras kan beskrivas så här. Först testas uppgifterna av försökspersoner och man räknar ut hur många det är som får poäng. Därefter tar man bort uppgifter som för många eller för få gör rätt på. Till proven/testen väljer man sen uppgifter med fallande lösningsfrekvens: några som cirka 80 procent klarade, några som cirka 50 procent klarade och några som cirka 20 procent klarade. Man ser då till att en viss andel får ett visst antal poäng och att spridningen blir normalfördelad.

Normrelaterade prov/test innehåller alltså ett stort antal uppgifter som rättas med poäng. De kan se ut som ”ordkedjor” och användas för att diagnosticera dyslexi. Då översätts poängen till en 9-gradig normalfördelad Stanine-skala. De kan se ut och rättas som högskoleprovet och då översätts poängen till en 20-gradig normalfördelad skala. De genomförs ofta på tid. Eftersom syftet är att rangordna är uppgifternas innehåll sekundärt. Det primära är att de särskiljer provtagarna. Alla som har gått i svensk skola har erfarenhet av att göra normrelaterade prov.

Som sagt, av Robert Glasers utprövningar framgick att normrelaterade uppgifter försämrade inlärningen. Orsakerna var flera. Eleverna lärde sig inget av att göra uppgifterna. Av resultaten framgick inte vad den som inte hade förstått ett kapitel behövde repetera. Fel elever fortsatte till nästa kapitel. När kursen var slut hade en del av dem som hade svarat rätt på flertalet uppgifter glömt bort vad kursboken handlade om.

Så konstrueras kriterierelaterade prov

Hur kriterierelaterade uppgifter ser ut och vilka effekter de får kan illustreras med ett exempel. I en kurs om ”motorsågar” fick eleverna en lärobok med fyra kapitel: ”motorsågens delar”, ”så här hanterar du din motorsåg”, ”service” och ”säkerhet och risker”. Efter varje kapitel fick de svara på frågor av typen: ”Vad händer om du glömmer att fylla på oljan?” ”Vad ska du tänka på när du arbetar med nedblåsta träd”. De fick också göra övningsuppgifter av typen: ”Fila kedjan!” I slutet av kursen gjorde de service och ett slutprov med fyra frågor. Sen bedömde läraren resultaten och till sist satte läraren betyg. Den som då inte hade svarat rätt på frågan om ”skyddsutrustning” eller inte filat kedjan på rätt sätt fick inte ett godkänt betyg.

Det vill säga, kriterierelaterade uppgifter speglar obligatoriska ”resultat” (Learning Outcome). De är konkreta och kända i förväg och de synliggör huruvida eleverna har tillgodogjort sig nödvändiga kunskaper och praktiska förmågor. Att de får positiva effekter beror på tre saker. Eleverna lär sig under tiden de gör uppgifterna. Prestationerna klargör vem som har nått ”resultaten”. Av återkopplingarna framgår vad den som inte har nått ”resultaten” bör öva på. Att de dessutom ger underlag för betyg som en arbetsgivare kan ha nytta av är en bonus.

Har skiftat över tid

Vilka uppgifter har då använts? Före 1960 var kriterierelaterade uppgifter det ”normala”. Att rangordna elever fanns inte på kartan. Varför skulle en lärare göra det? Det man måste göra var att ta reda på vem som inte kunde det som krävdes för ett godkänt betyg. Men i Sverige förändrades det på 1960-talet. Då sjönk förtroendet för lärarna och normrelaterade uppgifter och prov uppfattades som mer objektiva. De centrala proven normerades och de skulle sen styra spridningen av lärarnas betyg så att en viss andel fick ett visst betyg. Även lärarnas prov förändrades. Uppgifter av typen ”Vilka åtta länder passerar Donau?” och ”Ange tre kännetecken hos hackspettens tunga” blev frekventa. Sen räknade man ut ”medelpoäng” och fördelade provbetygen (se Svingby: Sätt kunskapen i centrum, 1985). Muntliga kriterierelaterade uppgifter som inte rättades med poäng blev mindre frekventa.

Men i början av 1990-talet förändrades det internationella forskningsläget. Robert Glaser hade haft rätt! Det är uppgifterna som avgör effekterna och normrelaterade uppgifter/prov försämrar inlärningen (se ”Educational Measurement: Issues and Practice, Volume 13, Number 4. Winter 1994 m fl). Att man 1994 införde kriterierelaterade betyg i Sverige 1994 hade alltså stöd i den internationella forskningen. Men än så länge har den förändringen inte fått de positiva effekter som förväntades. Ett exempel kan illustrera varför.

Låt säga att provet på motorsågar utökas med två uppgifter av typen: ”Vem uppfann den första motorsågen?” och ”Hur mycket vägde en motorsåg på 1950-talet?”. Då kommer en del elever med 4 av 6 poäng ha svarat rätt på de kriterierelaterade uppgifterna. De hade ett ”godtagbart yrkeskunnande”. Andra elever med 4 poäng kommer istället ha svarat fel på uppgifterna om ”skyddsutrustning” och ”risker”. De hade inte ett ”godtagbart yrkeskunnande”. Provet klargör inte längre vem som kan det som krävs. Det finns alltså inga ”hybrider”. Enstaka uppgifter på detaljer gör att proven blir normrelaterade.

Fortfarande en blind fläck i Sverige

Av statistik framgår att det är så man har gjort. Resultaten på de kriterierelaterade Pisa-proven visar att andelen 16-åringar som kan läsa för åldern anpassad skönlitteratur har sjunkit. År 2022 var det cirka 25 procent som inte klarade den lägsta kravnivån. Men det framgår inte av de nationella proven i svenska och engelska. Där har samma andel – cirka 95 procent – fått godkänt år efter år. Att proven inte speglar verkligheten beror på att de innehåller för många uppgifter och att båda typerna av uppgifter används (se läsprov av typen ”Blodligan” i årskurs 3). Proven får därmed samma negativa effekter som Robert Glasers programmerade material.

Dikotomin mellan kriterierelaterade och normrelaterade prov är alltså inte accepterad i Sverige. Här tror man att prov som innehåller båda typerna av uppgifter är dubbelt så bra. Man tror också att dolda krav och sekretessbelagda prov får positiva effekter. Och nu har motståndet mot i förväg uppställda krav, kriterierelaterade uppgifter och mot lärarnas bedömningar resulterat i ett betänkande: ”Ett likvärdigt betygssystem”. Normrelaterade betyg ska återinföras. Prestationer på ”hemliga” prov med ett högt antal normrelaterade uppgifter som rättas digitalt ska få avgörande betydelse för betygen. Förändringarna sägs medföra att betygen blir likvärdiga och att fler elever kommer att lära sig mer. Vilka effekter normrelaterade uppgifter/prov får för elevernas inlärning och betygens likvärdighet är alltså fortfarande en blind fläck i Sverige.

Per Måhl, lärare och författare som arbetat på Skolinspektionen med kvalitetsgranskningar av betygssättning

• Detta är en debattartikel. Det är skribenten som står för åsikterna som förs fram i texten, inte Ämnesläraren

LÄS ÄVEN

Nytt betygssystem kan göra lärandet viktigt igen

”Betygsutredningen missar marknadsskolan”

Debatt: ”Vi behöver ett betygssystem som inte stänger ute fler elever”

Forskaren: Elever luras när känslorna tar över