Kan vi forudsige ansøgerens jobperformance?

OBS: Dette blogindlæg er en videreformidling af dét forskningsparadigme, der har domineret rekrutteringsforskningen de seneste 100 år.  Det er altså ikke et udtryk for rekrutteringsforskerens anbefalinger og holdninger til, hvordan du bør indrette dine rekrutteringsprocesser – det lader vi være op til dig at vurdere. Go’ fornøjelse!

Du kan læse mere om, hvordan vi kan hjælpe dig med rekruttering her.

TIL DEN HURTIGE LÆSER:

8 konklusioner om jobperformance – ifølge forskningen

Hvis man ønsker at optimere sine rekrutteringsprocesser med hensyn til at kunne forudsige jobperformance, så er følgende de retningslinjer, vi kan uddrage af den eksisterende forskning.

Forudsigelseshypotesen: Rekrutteringsparadigmet de sidste 100 år

Forskning i rekruttering har mere end 100 år på bagen. Allerede dengang, da tiltrækning og udvælgelse af nye medarbejdere blev etableret som forskningsgenstand, blev udvælgelsen operationaliseret som en hypotese om forudsigelse.

Hypotesen forbinder individuelle karakteristika med individuelle resultater på jobbet og lyder kort fortalt:

Ansæt de ansøgere, som scorer højest på de parametre – såsom viden, færdigheder og evner – der er afgørende for performance i jobbet (Ployhart, Schmitt, & Tippins, 2017).

Dette har været, og er stadig, det dominerende paradigme inden for rekruttering – både i forskning og i praksis – og det er denne grundlæggende tankegang om forudsigelse af individuel jobperformance, som jeg vil adressere i denne artikel.

Inden for paradigmet er målet med rekruttering at ansætte dén medarbejder, der performer bedst i jobbet. Og hvis dette er målet, så bliver problemet, hvordan vi finder ud af, hvem den bedste kandidat er.

Det virker jo selvindlysende og ligetil, for selvfølgelig skal vi ansætte de medarbejdere, som besidder de egenskaber, vi har brug for, og som bliver bedst i jobbet. Men tænker man en ekstra gang over det, så begynder udfordringerne at dukke op til overfladen.

Forudsigelseshypotesen stiller krav til vores evne til at identificere, vurdere og træffe rationelle beslutninger.

Forudsigelseshypotesen stiller en række krav, som ikke er helt så ligetil. Man skal kunne:

Intet af dette er nemt, og målet og problemet kunne være ”framet” på mange andre måder. Hvis vi zoomer ud et øjeblik, kan tankegangen for eksempel udfordres ved at spørge:

Disse indvendinger (og mange flere) er absolut på sin plads.

Organisationens performance kan ikke reduceres til summen af de enkelte medarbejderes bidrag.
Beslutningsprocesser er ofte biased, irrationelle og rummer i øvrigt mange tilfældigheder.
Og forudsigelsen er kun ét af mange aspekter, der skal overvejes, når man designer sin virksomheds rekrutteringsproces.

Alligevel vil jeg i det følgende fremstille, hvad forskning i rekrutteringsværktøjers forudsigelsesevne har at fortælle os. Måske kan det tilbyde en ekstra platform, hvorfra I kan reflektere over og diskutere jeres rekrutteringsprocesser. Udgangspunktet for denne fremstilling er to centrale metaanalyser.

Baggrundsviden: To vigtige metaanalyser om rekrutteringsværktøjers ”prædiktive validitet”

En metaanalyse er en artikel, der statistisk sammenfatter resultaterne fra tidligere videnskabelige undersøgelser, og bruger dette til at undersøge en problemstilling.

Dette blogindlæg formidler, hvad rekrutteringsforskningen peger på i forhold til prædiktiv validitet, altså den gyldighed hvormed en metode, et værktøj eller en variabel kan forudsige den enkelte ansøgers jobperformance.

Til dette formål vil jeg læne mig op ad to videnskabelige artikler. En klassiker, Schmidt & Hunter (1998), som er en metaanalyse af 85 års forskning i udvælgelsesmetoder, og den opdaterede udgave, Schmidt, Oh & Shaffer (2016), som er en metaanalyse af 100 års forskning på området.

Hvorfor inddrage begge udgaver? Jo, 2016-udgaven er et working paper, som endnu ikke har gennemgået peer review, og dermed fået det endelige akademiske kvalitetsstempel. Det betyder også, at det endnu ikke kan udelukkes, at nogle af værdierne bliver redigeret i den endelige udgave. Alligevel vælger jeg primært at tage udgangspunkt i 2016-artiklens resultater, da alt tyder på, at denne opdaterede udgave er mere retvisende end den ældre version.

Bonusinfo: Jeg skrev faktisk til Frank L. Schmidt (førsteforfatteren til begge artikler) for at høre, hvad status er på udgivelsen af 2016-artiklen. Han svarede, at den stadig er under peer review – og ja, at det er en meeeeeget langsommelig proces.

Advarsel! Hvis du ikke bryder dig om tal, så skynd dig at scrolle frem til konklusionen. Er du derimod vild med tal, så læs stille og roligt videre.

100 års forskning i prædiktiv validitet – hvad har vi lært?

Jeg har i det følgende udvalgt ni udvælgelsesprocedurer/prædiktorer fra de to artikler, som jeg vil gennemgå en efter en:

1. Intelligenstests

Intelligenstesten indtager en imponerende førsteplads, når det kommer til prædiktiv validitet. Intelligens er altså den prædiktor, som korrelerer mest med efterfølgende jobperformance.

Sagt med andre ord: Jo højere IQ, jo bedre jobperformance (statistisk set).

”Sammenhængen mellem intelligens og jobperformance er så overbevisende, at forfatterne anbefaler, at intelligenstesten får en helt central plads i rekrutteringsprocessen, mens de øvrige metoder og variable kan være et supplement til dette værktøj.”

– Kathrine Solgaard Sørensen, Rekrutteringsforsker

Værdien på 0,65 er et gennemsnit, men faktisk er validiteten hele 0,74 (!) for komplekse stillinger såsom lederstillinger, mens validiteten er lavere for eksempelvis ufaglærte stillinger.

Sammenhængen mellem intelligens og jobperformance er så overbevisende, at forfatterne anbefaler, at intelligenstesten får en helt central plads i rekrutteringsprocessen, mens de øvrige metoder og variable kan være et supplement til dette værktøj.

Hvis I ikke allerede bruger intelligenstest i jeres rekrutteringsprocesser, er der altså en god grund til at overveje, om det er noget, I skal indføre – ikke mindst i forbindelse med udvælgelse af medarbejdere til de mest komplekse stillinger.

Det, der taler imod intelligenstesten, er, at den også giver anledning til nogle udfordringer. Blandt andet oplever en del ansøgere det ubehageligt at skulle tage en intelligenstest. Og testen kritiseres ydermere for at have uhensigtsmæssige sociale konsekvenser, idet nogle grupper generelt scorer højere end andre (Viswesvaran & Ones, 2011).

Derudover kan testen give anledning til en række dilemmaer i praksis. Hvis testens primære styrke er dens evne til at forudsige jobperformance, betyder det så, at man blindt skal ansætte dem med den højeste IQ? Ikke nødvendigvis. Estimaterne af værktøjernes prædiktive validitet er jo baseret på data fra rekrutteringsprocesser, hvor en kandidat med en IQ på 145 muligvis er blevet valgt fra, fordi vedkommende eksempelvis fremstod uforberedt til jobsamtalen. Det nytter med andre ord ikke noget at tage hvem som helst ind med en høj IQ. Og desværre har testen ikke så mange andre fordele i en rekrutteringssammenhæng end sin forudsigelsesevne.

Anbefalingen herfra må samlet set lyde, at det kan være en god idé at inddrage intelligenstesten i forbindelse med langt flere stillinger, end den anvendes i dag. Men man må overveje, hvordan den skal indgå, hvor meget den skal vægte i beslutningsprocessen, hvordan man kan give testtilbagemeldingen på en for kandidaten behagelig måde, og hvordan man kan begrunde brugen af intelligenstests for ansøgere, så de finder det mindre skræmmende og mere meningsfuldt.

2. & 3. Jobsamtalen: Ustruktureret & struktureret

For de fleste, som arbejder med rekruttering, er det almindelig kendt, at en struktureret jobsamtale er ”best practice”.

Dog ser det i 2016-udgaven ud til, at den ustrukturerede jobsamtale faktisk er lige så god til at forudsige jobperformance (begge har en validitet på 0,58). Mon ikke det er en glædelig nyhed for en del rekrutteringsansvarlige derude?

”Den samlede validitet bliver nemlig højere, når en intelligenstest kombineres med en struktureret jobsamtale (+18%) end med en ustruktureret (+13%).”

– Kathrine Solgaard Sørensen, Rekrutteringsforsker

Men inden vi bryder ud i jubel: Der er stadig gode grunde til at anvende en struktureret jobsamtale.

Den samlede validitet bliver nemlig højere, når en intelligenstest kombineres med en struktureret jobsamtale (+18%) end med en ustruktureret (+13%).

Dette skyldes, at den ustrukturerede samtale korrelerer mere med intelligenstesten, og derfor ikke bidrager med ligeså meget ”ekstra”. Derudover kan den strukturerede samtale være en ven i nøden, da den hjælper til at skabe (surprise!) struktur i samtalen.

4. Integritetstest

Integritetstesten – har du hørt om den? Muligvis ikke. Integritetstesten er nemlig ikke særlig udbredt i Danmark, men det er den i store dele af udlandet.

Integritetstesten måler på kandidatens tendens til uhensigtsmæssig adfærd, såsom tyveri, vold, hærværk og pjækkeri. Integritetstests kan forudsige denne form for adfærd, og overraskende nok er disse tests også ret så velegnede til at forudsige den samlede jobperformance (0,46).

”Integritetstesten måler på kandidatens tendens til uhensigtsmæssig adfærd, såsom tyveri, vold, hærværk og pjækkeri. Det interessante ved integritetstesten er, at den tilføjer en validitetsstigning på hele 20%, når den kobles med en intelligenstest.”

– Kathrine Solgaard Sørensen, Rekrutteringsforsker

Det interessante ved integritetstesten er, at den tilføjer en validitetsstigning på hele 20%, når den kobles med en intelligenstest. Dette skyldes, at integritet og intelligens stort set ikke korrelerer. Ifølge 2016-studiet opnås altså den højeste prædiktive validitet ved, at intelligenstesten kombineres med en integritetstest (samlet validitet på 0,78).

Måske er integritetstesten altså noget, det er værd at kigge nærmere på?

5. Work sample tests

Work sample tests (dét, der ofte omtales som cases) er hands-on simulationer af udvalgte dele af jobbet. Hvis man eksempelvis skal ansætte en sælger, kunne testen være at simulere et salgsmøde.

I 1998-artiklen var work sample tests forudsigelsestopscorer med en validitet på 0,54. I 2016-udgaven er validiteten estimeret til at være 0,33. Det er stadig en høj prædiktiv validitet, men man kan undre sig over grunden til dette fald.

”Work sample testen kan være et godt alternativ til intelligenstesten, hvis man af den ene eller anden grund ikke ønsker at anvende intelligenstests i rekrutteringsprocessen – men når det kommer til prædiktiv validitet, så er der absolut ingen grund til at anvende begge metoder i samme proces.”

– Kathrine Solgaard Sørensen, Rekrutteringsforsker

En forklaring kunne være, at work sample tests efterhånden bliver anvendt i forbindelse med flere og andre typer af stillinger end tidligere. Måske er det vanskeligere at konstruere en valid work sample test til eksempelvis en vidensarbejder end til en stilling, hvor ansøgeren primært skal udføre manuelt arbejde.

Ifølge 2016-studiet er der ingen grund til at anvende kombinationen af en intelligenstest og en work sample test, da disse to korrelerer så meget, at work sample testen simpelthen slet ikke tilfører processen en validitetsgevinst (0%). Til gengæld opleves work sample testen positivt af ansøgerne, den ser ud til at minimere gruppeforskelle, og så har den en høj ”face validity”.

Konklusionen lyder på denne baggrund, at work sample testen kan være et godt alternativ til intelligenstesten, hvis man af den ene eller anden grund ikke ønsker at anvende intelligenstests i rekrutteringsprocessen – men når det kommer til prædiktiv validitet, så er der absolut ingen grund til at anvende begge metoder i samme proces.

6. Interesse

Interesse har været et omdiskuteret emne i forbindelse med rekruttering. Kandidatens interesse måles typisk via et spørgeskema, fx baseret på RIASEC-skalaen (Realistic, Investigative, Artistic, Social, Enterprising, Conventional) og bruges eksempelvis i forbindelse med karriererådgivning.

Det virker intuitivt oplagt, at det også har betydning for jobperformance, hvad kandidaten interesserer sig for, og at interessetests derfor er relevante som udvælgelsesværktøjer. Alligevel så det i 1998-udgaven ud til, at kandidatens interesse havde minimal forudsigelseskraft (0,10).

Dette har imidlertid ændret sig med den nye udgave, hvor interesse er estimeret til at have en validitet på 0,31, hvilket gør det til en udmærket prædiktor for jobperformance. Derudover kan en interesseskala med fordel kombineres med en intelligenstest, da validitetsgevinsten er hele 10%.

”Man kan anvende en interessetest, fx baseret på RIASEC-skalaen, i rekrutteringsforløbet. Forinden laver man en vurdering af, hvilke interessetyper, der er relevante for jobbet, så man kan holde kandidaternes score op mod jobbet.”

– Kathrine Solgaard Sørensen, Rekrutteringsforsker

Hvad kan denne validitetsstigning skyldes? Jo, de tidligere studier har simpelthen ikke matchet typen af interesse med jobtypen. Den lave validitet var altså et udtryk for, at man stort set ikke har fundet nogen sammenhæng mellem de enkelte interessetyper og performance i ALLE jobtyper (no shit Sherlock!). En skøn reminder om, hvor let forskning kan blive ”forurenet”, og hvor vildledende tal i sådanne tilfælde kan være.

Nå, hvordan kan man så indarbejde ’interesse’ som en prædiktor i rekrutteringsprocessen?

Jo, man kan anvende en interessetest, fx baseret på RIASEC-skalaen, i rekrutteringsforløbet. Forinden laver man en vurdering af, hvilke interessetyper, der er relevante for jobbet, så man kan holde kandidaternes score op mod jobbet.

Det kan derudover også være en god idé at lave den omvendte øvelse:
At udpege den interessetype, som jobbet har allersværest ved at imødekomme.

Denne interesse korrelerer nemlig negativt med jobperformance, hvilket betyder at en kandidat med høj score (= stor interesse) for et interesseområde, der IKKE er en del af jobbet, statistisk set også vil performe dårligere i jobbet.

7. Samvittighedsfuldhed

Samvittighedsfuldhed (conscientiousness) er det personlighedstræk fra femfaktor-personlighedsteorien, der har den højeste prædiktive validitet (0,22). De øvrige personlighedstræk har alle lavere validiteter: Emotionel stabilitet (0,12), extroversion (0,09), venlighed (0,08) og åbenhed (0,04).

Det vil sige, at hvis man anvender en personlighedstest i rekrutteringsprocessen, så er det samvittighedsfuldhed, der er den mest valide prædiktor for jobperformance. Koblet med en intelligenstest er der en validitetsgevinst at hente på 8%. Det er ikke uden betydning, men en intelligenstest koblet med enten en integritetstest eller en jobsamtale har en højere validitet.

8. Joberfaring

Antal års erfaring i et lignende job er ikke en særligt valid prædiktor for jobperformance (0,16). Dette virker for de fleste kontraintuitivt, men der er en god forklaring.

Studier har vist, at de første 5 år i en lignende stilling har en noget højere sammenhæng med jobperformance. Her estimeres den prædiktive validitet til at være mellem 0,33 og 0,47. Dvs. at en ansøger, der har været i en lignende stilling i 5 år statistisk set vil have en bedre jobperformance, end én der kun har været i et tilsvarende job i 1 år.

”Det betyder, at hvorvidt en kandidat har været i et lignende job i 5 eller 30 år er en relativt dårlig prædiktor for jobperformance (0,16). De ekstra år gør altså ikke medarbejderen særligt meget dygtigere til sit arbejde.”

– Kathrine Solgaard Sørensen, Rekrutteringsforsker

Hvorfor så den lave prædiktive validitet i skemaet? Jo, værdien på 0,16 er estimeret ud fra data baseret på medarbejdere, der har været ansat i en lignende stilling i alt fra mindre end 6 måneder og op til mere end 30 år.

Læringskurven (for jobs med medium kompleksitet) er lineært stigende de første 5 år, hvorefter den flader ud og bliver mere og mere horisontal. Det betyder, at hvorvidt en kandidat har været i et lignende job i 5 eller 30 år er en relativt dårlig prædiktor for jobperformance (0,16). De ekstra år gør altså ikke medarbejderen særligt meget dygtigere til sit arbejde.

Summa summarum: Du kan med fordel bruge de første 5 års ansættelse i en lignende stilling som prædiktor, mens alle yderligere års erfaring ikke er særligt velegnede til at forudsige jobperformance. Muligvis ser det anderledes ud for de mest komplekse jobs, men det er endnu ikke blevet undersøgt.

9. Alder

Alder skal nævnes ultrakort – mest for at aflive eventuelle myter, der svirrer rundt derude:

Der er absolut ingen sammenhæng mellem alder og jobperformance. De to størrelser er fuldkommen ikke-relaterede. Så ansæt folk i alle aldre!

Vigtigt sidespor inden konklusionen:
Hvad bør man ellers overveje i rekrutteringsprocessen?

Udover at afdække og vurdere en ansøger med henblik på at forudsige jobperformance er det også værd at overveje, hvordan virksomheder kan:

Konklusioner

Hvis man ønsker at optimere sine rekrutteringsprocesser med hensyn til at kunne forudsige jobperformance, så er følgende de retningslinjer, vi kan uddrage:

Rekruttering er en yderst kompleks praksis, og selvom vi – særligt med intelligenstesten – nærmer os en one-size-fits-all situation, så er det stadig op til den enkelte organisation at vurdere, om det nu også er dét, der fungerer bedst hos dem.

Man må forholde sig til det forskningen tilbyder, og så må man tilpasse det til den organisatoriske kontekst, man befinder sig i. Optimalt set afspejler jeres rekrutteringsproces, hvem I er som virksomhed, ligesom processen tilpasses niveauet af kompleksitet i jobbet og de forskellige stillingstyper.

Det er vigtigt, at iveren efter at højne den prædiktive validitet ikke fører til, at rekruttering løsrives fra organisationen.

Rekrutteringsprocessen skal være forankret i jeres organisation og fremstille et troværdigt billede af organisationen som arbejdsplads. For kandidaterne er rekrutteringsprocessen jo dén appetitvækker, der skal give dem lyst til mere. Det kræver, at kandidaten får et godt førstehåndsindtryk af organisationen. Ikke i form af et glansbillede – for så siger de ’tak for mad’ efter ganske få bidder – men i form af et realistisk billede af jobbet, kulturen, samarbejdet, opgaverne, ledelsesstilen osv.

Rekrutteringsprocessen er det første led i den nye medarbejders rejse og transformation ind i virksomheden, hvor vedkommende forhåbentlig efterhånden bliver en tilfreds og værdifuld medarbejder. Dette kræver selvfølgelig, at man har udvalgt en medarbejder der besidder de kvaliteter, evner, færdigheder osv., som stillingen kræver. Men det kræver måske i lige så høj grad, at rekrutteringsprocessen er et godt springbræt til, at den nye medarbejder kan komme godt fra start i det nye arbejde.

Kathrine Solgaard Sørensen