Beregninger bag jobeffekten og evidensniveau

Gennemgang af hvordan jobeffekt og evidensniveau udregnes på Jobeffekter.dk

På Jobeffekter.dk er det muligt at se jobeffekten for en given indsats og målgruppe samt hvilket evidensniveau, der gør sig gældende for jobeffekten. I det følgende beskrives beregningen af jobeffekten og evidensniveauet i 6 trin.

Trin 1: Beregning af vidensbidraget

Først beregnes vidensbidraget for hvert studieresultater, der vedrører den gældende jobeffektsøgning, ved at anvende studiets vægte og kombinationsfaktoren:

Vidensbidraget beskriver den værdi et studieresultat skal tillægges i udregningen af jobeffekten. Vidensbidraget kan være mellem 0 og 1.

Trin 2: Beregning af samlede vidensmængde

Vidensmængden beskriver det vidensgrundlag, der ligger til grund for jobeffekten, når der tages højde for resultaternes kvalitet og relevans.

Den samlede vidensmængde for jobeffekten, udregnes ved at aggregere de udregnede vidensbidrag.

Den aggregerede vidensmængde opgøres for hver af de mulige effektretninger. Vidensmængden aggregeres særskilt for studieresultater med:

Positiv effekt
Negativ effekt
Ingen effekt.

Hvis den samlede vidensmængde er mindre end én, vurderes evidensniveauet at være usikker og den samlede konklusion om effekt vil fremstå som ”Få studier”.

Den vidensmængde, der understøtter en given effektretning opgøres som:

Vidensmængde_total

Trin 3: Valg af dominerende effektretning

Herefter udvælges den dominerende effektretning ved at opgøre og sammenligne vidensmængden for hver af de mulige effektretninger (positiv, negativ og ingen effekt). Vidensmængden, der understøtter en given effektretning, opgøres som:

Hvor R_i er betegnelsen for effektretningen i resultat i, dvs. R_i {-1, 0, +1}

Vidensmængden for hver af de tre effektretninger bruges til at afgøre, om den dominerende effektretning er negativ, positiv eller ingen effekt. En effektretning er dominerende, hvis vidensmængden, der understøtter effektretningen, er større end vidensmængden, der ikke understøtter effektretningen. Den dominerende effektretning bestemmes således ved at følge nedenstående:

Hvor r_max er betegnelsen for den dominerende effektretning, -1 svarer til negativ effekt, 0 svarer til ingen effekt og +1 svarer til positiv effekt.

Hvis der ikke kan bestemmes en dominerende effektretning, bliver den samlede konklusion om effekt ”Modstridende”.

Trin 4: Beregning af den relative nettovidensmængde

Når den dominerende effektretning er bestemt, beregnes den relative nettovidensmængde (NVM), ved at dividere vidensmængden, der understøtter den dominerende effektretning med den samlede vidensmængde:

Des større andel af den samlede vidensmængde, der understøtter den dominerende effektretning, des større bliver den relative nettovidensmængde. Hvis alle studier understøtter den samme effektretning, antager den relative nettovidensmængde værdien 1.

Hvis nettovidensmængden er mindre end 0,55 bliver den samlede konklusion om effekt enten ”Få studier” eller ”Modstridende”.

Trin 5: Find jobeffekten

På baggrund af ovenstående kan jobeffekten bestemmes.

Jobeffekten bestemmes ud fra, hvorvidt den samlede vidensmængde og nettovidensmængde er større eller mindre end hhv. 1 og 0,55. Jobeffekten er lig den dominerende effektretning, hvis den samlede vidensmængde er større end 1 og nettovidensmængde (NVM) er i intervallet 0,55 til 1. Jobeffekten bestemmes således ved at følge nedenstående:

Hvor r_max er betegnelsen for den dominerende effektretning, som enten kan være positiv, negativ eller ingen effekt.

Trin 6: Afgør evidensniveauet

Ud fra værdien af den relative nettovidensmængde vurderes evidensniveauet, dvs. tyngden af evidens bag den dominerende effektretning. Evidensniveauet beskriver, hvor robust jobeffekten vurderes at være, og den kan enten være ”Stærk evidens”, ”Moderat evidens”, ”Indikation” eller ”Usikker”.

Kategoriseringen af evidensniveauet sker i forhold til de nedenstående intervaller kombineret med kriterier for det minimale niveau af samlet vidensmængde: