Rapporter

Udvikling af evalueringsinstrumenter

Mål: at arbejde effektivt med evalueringer
Enkel, overskuelig og anvendelig evaluering
Konkret: Alle nye tiltag evalueres over nettet.
Start: Arbejdet har været i gang i et stykke tid.
I skoleåret 2001/02 begyndte vi med netbaserede evalueringer.
Rapport/evaluering
Rapport 1.11.02.
Årsrapport til 1.6.03
Afsluttende rapportering 1.10.04

Tredje statusrapport angående udvikling af evalueringsinstrumenter 1.10.04

Den 1.11.02 formulerede vi følgende mål for vores evalueringspraksis:

Mål vedrørende evaluering
Vores mål i løbet af det næste år er at få beskrevet og udstukket generelle retningslinjer for vores evalueringspraksis og løbende at få offentliggjort de vigtigste evalueringsresultater på vores hjemmeside.
Evalueringerne &endash; såvel de store på skoleniveau som de mindre på klasse/hold niveau - skal være så enkle at besvare og bearbejde som muligt for at de kan blive et brugbart redskab i skoleudviklingen.
Desuden vil vi fortsat udbygge vidensdeling vedrørende evaluering over nettet, således at flere vil kunne komme i gang med dette.
Endelig vil selvregulerende undervisning ved løbende evaluering fortsat være et mål &endash; jo tættere integreret evaluering og undervisning bliver, des bedre bliver betingelserne for den pædagogiske udvikling. (citat slut)

Den 1.6.03 skrev vi i den anden rapport vedrørende evaluering følgende:

Vores udvikling har været god. De papirbaserede evalueringer er stærkt på retur. De er afløst af mundtlige og af netbaserede evalueringer. Vores brug af netbaserede evalueringer har udviklet sig tilfredsstillende, vores opmærksomhed om hvordan spørgsmålene udformes er blevet skærpet &endash; de skal være hurtige og lette at besvare, og de skal umiddelbart virke relevante for dem der skal besvare.

I dag kan vi sammenfattende sige at vi har nået nogle mål med hensyn til evaluering, der har vist nogle nye problemer.

Når det bliver teknisk let at evaluere, kan man hurtigt nå en "evalueringsgrænse", der består i at elever (og lærere) bliver trætte af at evaluere.

Vi er teknisk set nået til det punkt hvor det er betydeligt mere anstrengende at udfylde en evaluering end at aflæse resultatet. Hvis der evalueres for meget, hvis evalueringerne er for vanskelige at udfylde, hvis man ikke kan se meningen med evalueringen, hvis evalueringsresultaterne er for "utydelige" eller hvis evalueringerne ikke bliver brugt til noget, kan der ske det at besvarelsesprocenten begynder at dale.

Vi har en målsætning om at alle nye tiltag skal evalueres, og om at de lærere der arbejder med nye tiltag selv sørger for at evaluere disse.

I løbet af de sidste år er mange lærere blevet gode til at lave netbaserede evalueringer, og vi har haft mange nye tiltag i løbet af de sidste år, hvilket betyder at risikoen for at overevaluere med evalueringstræthed til følge er til stede.

Det vi skal arbejde videre med efter det teknologiske gennembrud med netbaserede evalueringer er følgende:

Evalueringerne skal være så enkle og effektive som muligt, og de skal umiddelbart føles meningsfulde for alle parter.

Hvordan formulerer man de spørgsmål som kan give den viden, der kan forbedre skolen?

Hvordan sørger man for at resultatet af evalueringen bliver tolket, formidlet og anvendt, således at de berørte kan mærke det?

Jo mere evalueringsspørgsmålene berører den enkelte elevs forhold, des større interesse er der for at besvare spørgsmålene, hvilket peger væk fra de store overordnede evalueringer mod de mere specifikke undersøgelser.

Da vi begyndte på det virtuelle helskoleforsøg fastlagde vi et kompetencekatalog som vi ville evaluere i forhold til. Ideen var den at man så kunne lave sammenlignende undersøgelser og beskrive en udvikling. Erfaringen på det område siger imidlertid at udviklingen i løbet af bare et par år sker så hurtigt, at det hurtigt bliver håbløst at evaluere i forhold til et fastlagt katalog. Holder man fast i et sådant i løbet af bare et par år bliver evalueringerne uinteressante for elever og lærere der skal besvare, og dermed bliver resultaterne mindre pålidelige. På en skole der er inde i en hurtig udvikling skifter fokus hurtigt, og evalueringerne må nøje følge det der er i fokus.

Vi har samarbejdet med EVA i to omgange. Første gang i forbindelse med en grundig evaluering af skriftlig eksamen. Anden gang er helt aktuelt idet vi i samarbejde med EVA laver en evaluering af vores planlagte skolestart i år med særlig hensyn til hvad den har betydet for lærersamarbejdet.

Det drejer sig om en planlægning af elevernes kompetenceprogression som blev udarbejdet af 11 virtuelle konsulenter, og som er et resultat af alle vores erfaringer vedrørende det virtuelle forsøg udmyntet i en plan til støtte for lærersamarbejdet &endash; og samtidig til forberedelse af den kommende reform.

Når vi taler om at vores mål er enkle og effektive evalueringer, der føles meningsfulde for alle parter, er det især de kvantitative evalueringer, vi tænker på, hvilket vil sige de evalueringer som kan besvares over nettet, og som fortrinsvis er summative, dvs. bagudskuende og resultatorienterede. Disse evalueringer passer godt til vores målsætning om at alle nye tiltag skal evalueres. De gør det nemlig praktisk muligt at få evalueret alle nye tiltag.

Vi har imidlertid også arbejdet med kvalitative evalueringer, men i meget mindre målestok. De kvalitative evalueringer er i højere grad formative. De griber ind i processen undervejs ved at bevidstgøre begge parter, både de spørgende og de svarende, for derved at kunne korrigere undervejs i retning af det der viser sig hensigtsmæssigt, bl.a. ved at undersøge og bringe resultaterne videre, mens f.eks. forsøget er i gang. Ulempen ved de kvalitative evalueringer er at de ikke er enkle og effektive. De kræver tid og resurser i en grad så man slet kan regne med at kunne overkomme at foretage kvalitative evalueringer af "alle nye tiltag".

For vores vedkommende har vi lavet kvalitative evalueringer i forbindelse med et eportfolio-forsøg. Ret tidligt i forsøget indkaldte vi udvalgte elever og lærere og interviewede dem angående e-portfolio-forsøget. I løbet af disse samtaler kom man i dybden med hvordan forsøget blev opfattet, både fra elev-, lærer- og evaluatorside. Den indhentede problembevidsthed viste sig yderst nyttig i forsøgets fortsatte organisering.

I den kommende evaluering af en virtuel skolestart vil vi prøve at få de kvantitative og de kvalitative evalueringer til at hænge optimalt sammen for at kunne omsætte dette års virtuelle arbejde til brugbare erfaringer i forhold til den kommende reform. Det vil der komme mere om i december.

Evalueringsprogrammel

Vi skrev i vores sidste rapport følgende:
Især Quia har betydet meget for vores udvikling imod netbaserede evalueringer.
KIF (UVM's "Kvalitet i folkeskolen") har vi stadigvæk kun arbejdet lidt med.
I forhold til FirstClass, Quia og ToolBook har KIF's evalueringsmuligheder nogle mangler, som vi kunne ønske os forbedret.
Det er et stort ønske og behov hos os, at dette system, eller et tilsvarende (som ikke udelukkende sigter mod folkeskolen) på et tidspunkt vil kunne matche Quia.
For nylig har vi anskaffet programmet MCQ (Multiple Choice Questions) som primært sigter mod faglige selvevalueringer, øvelser m.m., men vi har endnu ikke gjort tilstrækkeligt mange erfaringer med det til at disse lader sig evaluere meningsfuldt.

Siden sidst har vi benyttet FirstClass, html-sider der benytter sig af asp-scripts, Quia og ToolBook til evalueringer.
MCQ er vi ikke kommet meget videre med. Til gengæld er der kommet nye muligheder.
Vi har købt os til en række RAD-moduler inden for FirstClass, herunder et evalueringsmodul, som lover godt og som vi regner med at introducere for lærerne inden jul.
Desuden er nogle lærere (med såkaldte spydspidskompetencer inden for IT) begyndt at arbejde med et LMS-system baseret på Open source som hedder Moodle. Dette program kan evaluere, men det kan også meget andet. Det er et såkaldt Learning-Management-System, der kan holde styr på den enkelte elevs læring på baggrund af de forskellige evalueringer. Vi vil snart begynde på de interkollegiale vidensdelingskurser i Moodle og er meget spændt på hvor intuitivt og brugervenligt det fungerer i praksis.
Fælles for FirstClass' RAD-modul til evaluering og Moodle vil være at elev- og lærernavne indgår i systemet, hvilket udnyttes i forhold til bl.a. evalueringer, og til udvikling over tid.