Hvordan regner jobeffekter.dk?

Jobeffekter.dk er en vidensbank, hvor der opsamles og struktureres eksisterende viden omkring effekter af indsatser på beskæftigelsesområdet. Formålet er at stille uafhængig og retvisende forskning til rådighed på en lettilgængelig og transparent måde.

Der inkluderes forskning, der er baseret på effektanalyser og kvantitative evalueringer, hvor sidstnævnte er analyser, der ikke sammenligner en indsatsgruppe med en kontrolgruppe. Studierne, der inkluderes i databasen, udvælges af uafhængige forskere. Der inkluderes studier, hvor det der måles er effekten af en given indsats i forhold til at hjælpe målgruppen i beskæftigelse eller uddannelse. Derudover inkluderes der kun studier fra efter 1995 og fra OECD, for at sikre relevans i forhold til de danske arbejdsmarkedsforhold i dag.

Aggregering efter effekt

Ved at strukturere den eksisterende viden er det muligt at få et overblik over, om forskningen peger i retning af om indsats virker over for en given målgruppe eller ej. For at give et samlet overblik over effekterne af forskellige indsatser aggregeres resultaterne således fra enkeltstudierne på jobeffekter.dk til en samlet vurdering af den overordnede effekt. Aggregeringen af en given indsats for målgruppen sker efter, om studierne viser, at effekten af indsatsen er

  1. Positiv (+1)
  2. Negativ (-1)
  3. ingen effekt (0)

En positiv effekt vil sige, at indsatsen har en signifikant positiv effekt i forhold til at hjælpe målgruppen i job eller uddannelse. Der tages således ikke højde for effektens størrelse, men alene om indsatsen virker eller ej.

De kvantitative evalueringer indeholder ikke en signifikant effekt af indsatsen og medregnes derfor ikke i den aggregerede effekt.

Studiernes kvalitet

Alle studier har ikke samme kvalitet og relevans, og skal derfor ikke tillægges samme værdi Derfor vægtes studierne ved aggregering, således at resultater fra studier af lav kvalitet vægtes lavere end resultater fra studier af høj kvalitet. Vægtningen foregår ud fra følgende kriterier

  1. Indtastningsforskerens kvalitetsvurdering (godt, tilfredsstillende, ikke tilfredsstillende, kvalitetsvurderes ikke)
  2. Analysemetode (kontrolleret forsøg, registerbaseret effektstudie, kvantitativ evaluering)
  3. Geografisk (Danmark, Nordeuropa, resten af OECD)
  4. Udgivet i et videnskabeligt tidsskrift (ja, nej)

Vægtningen er foretaget i samarbejde med af de uafhængige forskere. Den højeste vægt et studie kan opnå er 1 og gives for et dansk kontrolleret forsøg, som er udgivet i et videnskabeligt tidsskrift, og har fået den højeste kvalitetsvurdering af den forsker, der har indtastet studiet.

Gennem en vægtning af studiernes resultater er det muligt efterfølgende at aggregere de estimerede effekter af en given indsats og vurdere vidensmængden i forhold til evidensniveauet.

Vægtning ift. kvalitetsvurdering

I forbindelse med at forskerne indtaster studierne i Vidensbanken, foretager de også en kvalitetsvurdering af studiet. Ved kvalitetsvurdering lægges der vægt på studiernes datakvalitet. Her er det blandt andet vigtigt, at studiet er baseret på et tilstrækkelig stort antal observationer, at der tages højde for andre effekter, der har kunnet påvirke udfaldene, og at der i studiet vurderes, hvor robuste resultaterne er.

I Vidensbanken kan man se, hvilken forsker, der har vurderet hvert studie. Forskerne vurderer studierne ud fra følgende skala:

Vægte for kvalitetsvurdering

Kvalitetsvurdering

Vægte

God

1

Tilfredsstillende

0,5

Ikke tilfredsstillende

0,25

Kvalitetsvurderes ikke

0

De kvantitative evalueringer kvalitetsvurderes ikke, fordi der ikke er foretaget en deciderede effektanalyser. Ved aggregering af de estimerede effekter ses der bort fra disse studier, hvilket vil sige, at studierne tildeles vægten nul.

Vægtningen medfører, at studier, der kvalitetsvurderes som ikke tilfredsstillende, inkluderes i den aggregerede effekt, men at den estimerede effekt herfra vægtes mindre end effekter fra studier. Eksempelvis ses det, at de estimerede effekter fra studier, der kvalitetsvurderes som gode, vægtes fire gange så tungt som effekter fra studier, hvis kvalitet vurderes til at være ikke tilfredsstillende.

Vægtning ift. analysemetode

Der inkluderes studier baseret på effektanalyser og kvantitative evalueringer, og ved aggregering af resultaterne vægtes studierne i forhold til den brugte analysemetode.

Vægte for analysemetode

Analysemetode

Vægte

Kontrolleret forsøg

1

Registerbaseret

0,8

Kvantitativ evaluering

0

Ved aggregering af effekterne inkluderes altså alene estimerede effekter fra effektbaserede studier. Da kvantitative evalueringer ikke er målt op imod en kontrolgruppe, og derfor heller ikke kvalitetsvurderet, får de også i denne kategori tildelt vægten nul. Estimerede effekter fra kontrollerede forsøg vægtes derudover en smule højere end analyser baseret på registerdata. Dette skyldes, at man ved kontrollerede forsøg kan sikre, at individer, der er i målgruppen for indsatsen, inddeles tilfældigt i grupper, der henholdsvis modtager indsatsen og fungerer som kontrolgruppe. Derved kan man sikre, at de estimerede effekter af indsatserne helt kan tilskrives disse og ikke uobserveret karakteristika som selektion mellem individerne.

Vægtning ift. geografi

I Vidensbanken inkluderes studier for Danmark, Nordeuropa og OECD (eksklusiv Nordeuropa), mens forskning baseret på data fra andre geografiske områder ikke inkluderes. Valget træffes ud fra en vurdering af, hvilke arbejdsmarkedsstrukturer der mest ligner de danske, og derved vil forventes at have størst relevans for det danske arbejdsmarked.

Vægte for geografi

Geografi

Vægte

Danmark

1

Nordeuropa

0,75

OECD (eksklusiv Nordeuropa)

0,5

Arbejdsmarkedsstrukturen på de nordeuropæiske arbejdsmarkeder minder mere om den danske med hensyn til de sociale ydelser, den aktive indsats, fleksibiliteten og lønstrukturen end de resterende OECD lande. Resultater fra Nordeuropa vil derfor forventes at være lettere at overføre til det danske arbejdsmarked, hvorfor disse vægtes tungere end OECD.

Vægtning ift. udgivelse af resultater

Det sidste kriterium som studierne vægtes ud fra er, hvorvidt resultaterne har været udgivet i videnskabelige tidsskrifter. Er dette tilfældet, vægtes studiernes estimerede effekter en smule højere.

Vægte for udgivelse af resultater

Udgivelse af resultater

Vægte

Resultater udgivet i videnskabeligt tidsskrift

1

Resultater ej udgivet i videnskabeligt tidsskrift

0,8

Studier, hvis resultater har været udgivet i et videnskabeligt tidsskrift, vægtes tungere, da en udgivelse sikrer, at studierne er af høj kvalitet. Derudover medfører udgivelse, at flere forskere vil have evalueret studiernes resultater i processen op til udgivelsen. Da det dog er nemmere at få udgivet resultater af nye indsatser end resultater, der understøtter eksisterende viden, vil der være en skævhed i hvilke resultater, der bliver udgivet. Samtidig tager det tid at få resultaterne udgivet, hvorfor ældre studier vil have større sandsynlighed for at være udgivet. Derfor vælges kun en mindre forskel i vægtningen i forhold til, om resultaterne har været udgivet eller ej.

Kombinationsfaktor

Ud over de ovennævnte vægtninger tages der også højde for, om analysen er baseret på en kombination af indsatser. Er der eksempelvis undersøgt effekten af samtaler i kombination med ordinær uddannelse, bør hele den estimerede effekt ikke alene tilskrives samtaler. Når de estimerede effekter er i kombination med andre indsatser vægtes studierne med 0,5.

Beregningseksempel

Et eksempel er et studie, der estimerer en positiv effekt af en virksomhedsrettet indsats som støttet privat beskæftigelse for arbejdsmarkedsparate ledige. Studiet er en effektanalyse på registerbaseret data for Danmark. Resultaterne har ikke været udgivet i et videnskabeligt tidsskrift, og forskeren, der har indlæst studiet i Videnbanken, har kvalitetsvurderet det som tilfredsstillende.

Vægtningen af studiet vil i dette tilfælde være:

Beregningseksempel for vægtning

Kriterium

Karakteristika

Vægt

Kvalitetsvurdering:

Tilfredsstillende

0,5

Analysemetode:

Registerbaseret effektstudie

0,8

Geografi:

Danmark

1

Udgivet i videnskabeligt tidsskrift:

Nej

0,8

Kombinationsfaktor:

Ingen

1

Vægtning af resultat

0,32

I den aggregerede effekt af støttet privat beskæftigelse for arbejdsmarkedsparate ledige vil dette studie derfor indgå med vægten 0,32 for en positiv effekt for den enkelte person af støttet privat beskæftigelse.

 

Den vidensmængde, der støtter en enten positiv, negativ eller ingen effekt af en given indsats, kan opgøres som

Viden om effekt af indsats

hvorRi=-1,0,1 er studiets resultat, og  angiver om vidensmængden opgøres for om indsatsen er estimeret til at have en positiv, negativ eller ingen effekt. Vidensmængden for en effekt af en given indsats er derfor summen af de vægtede studier, der for denne indsats har estimeret resultatet r, der har værdien 1, 0 eller -1.

Sammenvejningen af de vægtede studier (aggregeret effekt)

Ved aggregering af studierne beregnes først den vægtede vidensmængde for indsatsen også kaldet jobeffekten. Beregningen følger formlen:

Vægtede viden om indsats

Hvor Vx,i er betegnelsen for de ovennævnte vægte, og Ri er resultatet fra studiet. Ud fra vægtede effekt bestemmes, hvorvidt den aggregerede effekt af indsatsen kan vurderes som positiv, negativ eller ingen effekt. Inddelingen fortages ud fra kriterierne:

Hvilken effekt har indsatsen

Når det er bestemt, hvilken effekt der dominerer de indlæste studier, beregnes nettovidensmængden. Nettovidensmængden opgøres som den samlede vidensmængde der understøtter dominerede effekt (positiv, ingen, negativ) fratrukket den samlede viden, der peger i andre retninger.

Nettovidensmængde om indsats

Ud fra værdien af nettovidensmængden vurderes evidensniveauet. Effekten af en given indsats vurderes efter, om der kan siges at være stærk evidens, moderat evidens, indikation eller ingen viden om effekten af indsatsen. Inddelingen herefter følger videnshierarkiet.

Videnshierarki

Overordnet

Detaljeret

Kriterier

vidensniveau

vidensniveau

Evidens

Stærk evidens

En overvægt på tre eller flere effektstudier med høj kvalitet og/eller ét forskningsbaseret review viser resultater, der går i samme retning

Moderat evidens

En overvægt på to effektstudier af høj kvalitet viser resultater, der går i samme retning

Indikation

Indikation

En overvægt på ét effektstudier af høj kvalitet eller flere effektstudier med begrænset kvalitet viser resultater, der går i samme retning

Usikker

Modstridende viden

Studier viser resultater, der går i forskellig retning. Ingen overvægt

Få studier

Ingen eller få studier med begrænset kvalitet viser resultater. Ingen overvægt

Kategoriseringen af nettovidensmængden sker i forhold til de nedenstående intervaller:

Evidensniveau givet nettovidensmængde

Hvis nettovidensmængden indikerer, at evidensniveauet er usikkert, vurderes det, hvorvidt det skyldes, at der er for få studier til at der kan konkluderes noget, eller om det skyldes at de studier der er, blot ikke peger i en entydig retning. Dette vurderes ud fra to kriterier: Hvor stor den samlede vidensmængde er og forholdet mellem den understøttende og modstridende viden:

Den samlede vidensmængde er lig den vægtede sum af studierne uanset deres resultat, dvs.

Samlet vidensmængde om indsats

Hvis den samlede vidensmængde er mindre end én, vurderes evidensniveauet til at være usikkert. Er den samlede vidensmængde derimod én eller derover indikerer det, at der er modstridende viden:

Evidensniveau givet samlet vidensmængde

Før evidensniveauet bliver modstridende viden kræves imidlertid også, at den vidensmængde, der understøtter effekter, der peger i andre retninger end den dominerede effekt, er halvt så stor som den vidensmængde, der understøtter den dominerende effekt.

Understøttende viden

I Vidensbanken er det således muligt at vurdere, hvilken effekt den eksisterende forskning estimerer, en given indsats har, samt hvilket evidensniveau der er for, at indsatsen har den estimerede effekt for målgruppen.