Evaluering af kompetencer

Indledning:

I den nye uddannelse skal de yngre lægers faglighed, i højere grad end tidligere, vurderes med udgangspunkt i målbeskrivelserne. Denne vurdering skal ske løbende igennem uddannelsen.

I målbeskrivelserne er der beskrevet en række strategier:

”vurdering af opgaver”
”Vurdering af logbogsnotater”
”vejledersamtale”
”Struktureret kollegial bedømmelse”
”Samlet vurdering”
”Patient evalueringer”

Dette er strategier, men til konkrete vurderinger behøves konkrete redskaber. Redskaber der er beskrevet detaljeret og vi har defineret i fællesskab. Eksempelvis dækker begrebet ”samlet vurdering” ikke over et bestemt evalueringsredskab, men er en henvisning til at flere evalueringsmetoder og indfaldsvinkler bør anvendes ved det konkrete mål.

Vi vil gennemgå en række redskaber der er beskrevet i litteraturen og som efter vor mening nogenlunde dækker de ovenfor nævnte strategier. Men før denne gennemgang vil vi prøve at beskrive:

• Hvad der er formålet med at evaluere
• At der findes forskellige mulige indfaldsvinkler til at evaluere
• Prioritering af indfaldsvinkel og håndtering af problematiske forløb
• Hvad en kompetence er
• Hvad evalueringsredskaber primært kan måle.

Hvad er formålet med at evaluere?

Vi må også gøre os klart hvilket formål evalueringen primært har. Ønsker vi at styrke og stimulere uddannelseslægens faglighed - såkaldt ”formativ evaluering”, eller ønsker vi at kunne vurdere om en minimums kompetence er opfyldt - såkaldt ”summativ evaluering”?

Den formative evaluering er sædvanligvis klart at foretrække da den vil styrke alle lægers faglighed men der er situationer hvor en primær summativ evaluering er nødvendig. Stillingtagen i den enkelte situation er nødvendig før valg af evalueringsmetode da de forskellige metoder har forskellige styrker med hensyn til formativ og summativ evaluering.

De fleste angivne evalueringsmetoder egner sig primært til formativ evaluering. Dvs. de er egnet til stimulation af faglig udvikling men mindre egnet til vurdering af hvornår minimums kompetencerne lige akkurat er opfyldt.

Fig. 1. Definition om formativ og summativ evaluering

Evaluering – indfaldsvinkler, praktiske redskaber og metoder

Forskellige indfaldsvinkler

Der er forskellige indfaldsvinkler til at evaluere og de forskellige redskaber har afsæt i sådanne forskellige indfaldsvinkler. Fire eksempler på indfaldsvinkler er:

Hvad er en klinisk kompetence, og hvordan kan man måle den?

Det er vigtigt at forstå, at mange af målbeskrivelsens mål afspejler komplekse kliniske kompetencer, der kræver flere forskellige evalueringsmetoder.

Kernen i en kompetence er ”det at kunne”. Det er en syntese af både viden og praktiske færdigheder. Men omkring denne kerne ligger yderligere et kompetence lag. Nemlig den måde hvorpå den unge læge administrerer eller forvalter sin faglighed. I dette lag ligger bl.a. evnen til refleksion over egen klinisk adfærd, evne til kunne perspektivere sin faglighed i forhold til patient og samfundsforventninger, evne til at integrere ny viden samt holdninger og etik.

Nogle redskaber er bedst egnet til at evaluere viden, andre er bedste til praktiske færdigheder mens andre igen er bedst til f. eks refleksion eller holdninger. Før vi vælger en metode, må vi derfor gøre os klart, om vi ønsker at vurdere en kompetence der primært fokuserer på viden, på praktiske færdigheder, eller på administration af fagligheden – eller eventuelt på en kombination af flere dele samtidig.

Fig 3. Kompetencens delelementer

Forskellige evalueringsmetoder

Hvis en evalueringsmetode skal kunne implementeres klinisk, må der stilles krav vedrørende høj ”acceptabilitet”, ”gennemførlighed”, ”troværdighed” og den må være ”klinisk autentisk”.

Vi vil nu med udgangspunkt i de fire nævnte indfaldsvinkler gennemgå redskaberne nævnt i fig. 1, herunder deres troværdighed, acceptabilitet, om de er klinisk autentiske, deres gennemførlighed og deres formativ/summativ værdi.

Fig. 2. Redskaber til evaluering i klinisk praksis

Uddannelseslægens egen vurdering:

Egen vurdering er en vigtig forberedelse til den professionelle efteruddannelse (CME/CPD). Endvidere er egen vurdering en pædagogisk styrkelse, da den simulerer målrettet læring med udgangspunktet i en personlig behovsvurdering. Den har stor formativ effekt. Hvis lægen desuden er trænet i professionalisme og faglig ansvarlighed har metoden også en betydelig summativ funktion. Metoden er klinisk autentisk. Acceptabilitet og gennemførlighed er stor.

• Logbogen er et redskab som uddannelseslægen kan anvende i sin egen vurdering. Lægen gør sig notater om kliniske situationer, herunder kliniske forløb, personlige styrker og svagheder, samt behov for ny viden og færdigheder. Med til de nedskrevne notater hører også refleksive overvejelser over de tilbagemeldinger man får fra patienter, andet personale og kollegaer, det være sig formelle som ikke-formelle vejledere.
   
  Forudsætninger: 
  • Beskyttet tid der tillader logbogsføring i dagtiden, formentlig ca. 10-15 min daglig.
  • Træning i logbogsføring.
  • Metakognitive egenskaber, der tillader refleksion, opmærksomhed på tilbagemeldinger, behovsanalyse og monitorering af egen klinisk adfærd. 
  • Feedback fra vejleder med udgangspunkt i ansvar for egen professionalisme og faglighed.

Diskussion mellem tutor/vejleder og uddannelseslæge:

Samtale mellem den uddannelsessøgende og den uddannelsesgivende er et vigtigt element i den almen medicinske uddannelse. Samtaler spiller en afgørende rolle i både uddannelsen og evalueringen. Acceptabilitet er meget høj.

• Struktureret vejledersamtale er et centralt redskab i evalueringen af målene. Gennem en dialog afdækkes den unge læges stærke og mindre stærke faglige sider. Både ”viden” og ”den måde viden administreres på” kan diskuteres og udvikles. Metoden har høj formativ og moderat summativ værdi. Acceptabilitet er høj og gennemførligheden tilfredsstillende såfremt antallet af disse samtaler er afpasset den tid uddannelses lægen er i almen praksis eller i den enkelte uddannelsesgivende afdeling.
   
  Forudsætning:
  • At tutor/vejleder følger uddannelseslægen kliniske aktiviteter i hverdagen.
  • At tutor/vejlederr har gennemtænkt emne og indhold for samtalen, og kan relatere det diskuterede indhold til målbeskrivelsen
  • At samtalerne fortrinsvis tager udgangspunkt i oplevede kliniske problemer, eller emner med klinisk relevans. 
     
• Den uformelle dialog ”snak over kaffen”/”mødet på gangen”/”hjælp til løsning af et aktuelt problem” med udgangspunkt i såkaldt opportunistisk læring. Dette er en værdifuld formativ evaluering der ikke skal underkendes. Det er måske den vigtigste. Graden af gennemførlighed og acceptabilitet er meget høj, men den summative værdi er ringe. 
   
  Forudsætninger:
  • Et åbent fagligt trygt miljø i praksis eller afdeling, der stimulerer erfarings og videns udveksling.

Observation af den unge læges kliniske adfærd:

Observation af en uddannelsessøgende kollega er en potent evalueringsstrategi, især hvis uddannelsesmiljøet er trygt og åbent, således at det tillader ærlig videns og erfaringsudveksling. Der kræves fælles tilstedeværelsestid samt at selve observationen ikke genererer unødvendig situationsængstelse. Observationen kan forgå på en række måder.

• Struktureret observation af klinisk adfærd er et redskab, hvor en rutineret kollega observerer uddannelseslægen der i praksis udfører en kompetence, der på forhånd er defineret. Rigtigt udført har metoden betydelig acceptabilitet. Men den har kun moderat gennemførlighed hvis der er mange kompetencer der skal vurderes.Vurderingen af hver enkelt kompetence skal udføres i én seance og bør ikke tage lang tid. Enhver form for undervisning/oplæring skal være foregået forinden. Metoden har stort formativt udbytte. Teoretisk kan den også have en betydelige summativ værdi men det vil kræve et større standardiseringsarbejde. Metoden kaldes også ”fluen på væggen”.
  
  Forudsætninger:
  • Aftale af ”korrekt procedure”. Man kan evt. lade uddannelseslægen udarbejde en kort beskrivelse af den kliniske procedure. En beskrivelse der (hvis den kan godkendes af den bedømmende kollega) kan bruges som ”facitliste/checkliste” under selve procedure udførelsen. Denne proces styrker indlæringen af proceduren og kan måske initiere en diskussion af den pågældende procedure i hele praksis/afdelingen evt. med optimering til følge. I nogle specialers logbøger er udfærdiget skemaer med angivelse af hvilke punkter den uddannelsessøgende skal opfylde inden for den enkelte kompetence for at den kan godkendes.
    
  • Respektfuldt psykologisk miljø med tryghed for uddannelseslægen. Observation bør ikke have karakter af en overhøring, og det er vigtigt at man indhenter patient accept på en værdig måde – både fra patientens og uddannelseslægens synspunkt.
     
• ”360 grader evaluering”. Ved en 360 grader vurdering samles informationer om hvordan en uddannelseslæge håndterer kliniske problemer, fra kolleger, fra plejepersonale og eventuelt andet personale samt fra patienter. Det er vort indtryk at dette allerede foregår i langt de fleste praksis og i en del uddannelsesafdelinger, om end ikke systematisk.
   
  Skal det foretages systematisk bør det klarlægges hvilke kompetence typer der skal evalueres og uddannelseslægen skal have mulighed for at kommentere de indsamlende informationer.
   
  Hvis et tilstrækkeligt antal personer deltager i evalueringen (ca 8-10 personer), har metode både en betydelig formativ og summativ værdi. Hvis der deltager et mindre antal personer svækkes den summative værdi, men ikke nødvendigvis den formative. Gennemførligheden er stor, det samme gælder tilsyneladende acceptabilitet hvis den gennemføres åbent og respektfuldt
   
  Forudsætninger:
  • Definering af hvilke kompetence der skal vurderes 
  • Evalueringsegenskaber hos personale og øvrige læger
     
• Præsentation af et klinisk problem/opgave f. eks ved en konference eller som en skriftlig opgave i form af f.eks. patientforløbsbeskrivelse eller refleksiv rapport er et redskab, hvor uddannelseslægen stimuleres til at søge problem orienteret viden, træne problemløsning og konkretisere en klinisk problemstilling. Kan omfatte litteratursøgning med kritisk litteraturgennmegang og diskussion af fundne fundne resultater i forhold til problemstillingen. Metoden er acceptabel, og let gennemførlig. Den summative effekt er kun moderat men den formative er høj.
   
  Forudsætninger:
  
  • At uddannelseslægen instrueres i format for problem fremlægning.
  • Respektfuld diskussion efterfølgende samt at vejleder/tutorlæge har indsigt i det aktuelle problem så kvalificeret tilbagemelding kan gives, dvs. problemerne bør fortrinsvis have udgangspunkt i den pågældende afdeling eller almen praksis.
     
• Journal audit er et redskab, hvor en uddannelseslæge og vejleder/tutorlæge gennemgår en række journaler/journalnotater enten i relation til bestemte problemstillinger eller i relation til et bestemt tidsrum. Metoden er acceptabel, og let gennemførlig. Den summative effekt er kun moderat men den formative er høj.
  
  Forudsætninger:
  
  • I almen praksis tilfredsstillende journal føring evt. et EDB system der tillader søgning på kontaktårsager.
  • En aftalt ”standard” eller ”vejledning” der kan danne udgangspunkt for diskussionen, hvis der er tale om problem orienteret audit.
     
• Global vurdering er et ”redskab” hvor tutorlægen eller vejleder/uddannelsesansvarlig overlæge ”fornemmer” om der er problemer med uddannelseslægens faglighed eller personlige egenskaber. Denne fornemmelse er formentlig ofte korrekt, dvs af relativ høj summativ værdi men den formative værdi er ringe. Acceptabilitet fra den yngre læge er desuden formentlig lav hvis der ikke kan argumentere for en evt. negativ evaluering. I en målstyret uddannelse skal evalueringer kunne konkretiseres i relation til målbeskrivelsen og ikke til ”mavefornemmelser”. Men det betyder ikke at en vejleder blot skal ignorere fornemmelser af problemer funderet på en global vurdering. En relevant reaktion kunne være at invitere AMU’en eller en postgraduat klinisk lektor (eller en anden udpeget person med summativ evalueringsekspertise) med til vejleder samtale.
  
  Forudsætninger:
  
  • Fælles tilstedeværelse og klinisk samarbejde

Dokumentation af klinisk aktivitet:

• Logbogen har flere funktioner, ved notering af sygehistorier kan uddannelseslægen dokumentere typen af trænede kompetencer
   
  Forudsætninger:
  • Tid til logbogsføring
  • Konsekvent ført logbog
  • Aftale om brug af aktivitets registrering

Prioritering af indfaldsvinkel – håndtering af problematiske forløb:

Lægerne kommer fra en lægeskole med pensum og eksamen men skal slutte som selvstændige speciallæger med egen ansvar for efteruddannelse. Indfaldsvinklen til evaluering bør derfor ændres gennem speciallægeuddannelsen. Betoningen af vurdering bør være relativt udtalt i starten. Men i gennem uddannelsesforløbet bør uddannelseslægens egen vurdering gradvis blive ansvarlig for en stadig større del af evalueringen. De uddannelsessøgende har ofte individuelle forudsætninger og behov og vurderingen bør afpasses herefter.

Gennem vejledersamtalerne kombineret med ”360 grader” evaluering og journalnotat audit, kan tutorlægen danne sig et indtryk af uddannelseslægens evne til vurdering af eget kompetence og ansvarsniveau. Virker dette kompetent kan tutorlægen/vejlederen efterfølgende ved vurderingen af de enkelt mål i højere og højere grad støtte sig til den yngre læges egen vurdering. Virker ansvarsniveauet mindre kompetent må samtlige mål vurderes af andre end den uddannelsessøgende selv.

Som tidligere nævnt egner vores evalueringsmetoder sig primært til formativ evaluering hvilket understøttes af uddannelseskulturen i almen praksis og de fleste afdelinger. Man kan derfor udtrykke bekymring for validiteten i den summative vurdering i grænsetilfælde. Vi vil derfor foreslå at AMU’en eller den kliniske lektor inviteres med til midt og slut evalueringssamtalerne, hvis der de første 3 måneder af en ansættelse viser sig problemer mellem tutorlæge og uddannelseslæge. Således skal den enkelte tutorlæge eller uddannelsesafdeling ikke alene tage ansvaret for en eventuel negativ summativ evaluering. Initiativet til ekstern deltagelse i vejledersamtalen bør kunne tages af såvel tutorlægen/uddannelsesafdeling som uddannelseslægen.

Hvilken metoder skal anvendes ved de forskellige kompetence typer?

Når et mål skal evalueres må man vurdere hvilke slags kompetence det drejer sig om. Er det viden? Praktiske færdigheder? Administration af fagligheden? Eller er det en kombination af flere elementer? Typen af kompetence bør betinge valg af evaluering redskab. Litteraturen og praktiske uddannelseserfaringer indikerer at:

Viden evalueres bedst med:
- struktureret vejledersamtale og
- fremlægning af patientproblem/opgave med forslag til handling.

Praktiske færdigheder evalueres bedst med:
- struktureret observation og
- journalnotat audit.

Administration af faglighed evalueres bedst med:
- struktureret vejledersamtale,
- 360 grader vurdering og
- fremlægning af patientproblem/-opgave.

Fig. 4. Indfaldsvinkel, metode og type kompetence der kan måles

Niels Kristian Kjær
Postgraduat klinisk lektor
Region syd

Litteratur liste kan rekvireres via niels.kjaer@dadlnet.dk