De comparatieve beoordelingsmethode voor een betrouwbare en valide cv-screening: Een vergelijking tussen experts en studenten

Translated title of the contribution: Comparative judgment as a reliable and valid assessment method in resume screening: A comparison between experts and novices

Anneleen V. Mortier*, Renske Bouwer, Liesje Coertjens, Ellen Volckaert, Amelie Vrijdags, Roos Van Gasse, Peter Vlerick, Sven De Maeyer

*Corresponding author for this work

Research output: Contribution to JournalArticleAcademicpeer-review

6 Downloads (Pure)

Abstract

ENGLISH:

In practice and in earlier empirical research, it is indicated that resume screening does not always provide suitable candidates for a vacancy. This might be due to several issues: one assessor carries out the screening, resulting in cognitive distortions influencing the selection process; the assessment does not focus on all aspects of the selection, nor does it allow for certain criteria to weigh more heavily than others; and/or the assessor is insufficiently trained to carry out the resume screening. The current study captures these issues by offering an alternative assessment method (Comparative Judgment) in which the interrater reliability and construct validity of the resume screening is studied: several assessors with different levels of expertise assess resumes comparatively. In this study, resumes from 42 candidates applying for an existing vacancy were used. These resumes were directly compared by experienced (N = 7; experts), and less experienced assessors (N = 57; students). Results show that the comparative judgements of experienced assessors are linked to valid and reliable resume screening. The inter-rater reliability of the student assessments was lower than that of the experts. Even though the final rank ordering of the resumes correlated, students often relied on irrelevant aspects in the resumes.

NEDERLANDS:

In de praktijk en uit eerder empirisch onderzoek blijkt dat cv-screening niet altijd zorgt voor geschikte kandidaten voor een vacature. Verschillende zaken kunnen hiervan de oorzaak zijn: één beoordelaar voert de screening uit, waardoor cognitieve vertekeningen het selectieproces kunnen beïnvloeden; de beoordeling focust niet op alle relevante aspecten van de selectie of laat bepaalde criteria harder doorwegen dan andere; en/of de beoordelaar heeft onvoldoende expertise om de cv-screening uit te voeren. De huidige studie komt aan deze tekortkomingen tegemoet door de alternatieve beoordelingsmethode, comparatieve vergelijking, te beschrijven en de interbeoordelaarsbetrouwbaarheid en constructvaliditeit ervan voor cv-screening na te gaan. In deze studie is gebruikgemaakt van een bestaande vacature waarvoor 42 kandidaten hun cv hebben ingestuurd. Deze cv's zijn comparatief met elkaar vergeleken door ervaren (experts; N = 7) en minder ervaren beoordelaars (studenten; N = 57). De resultaten tonen aan dat comparatieve oordelen van ervaren beoordelaars samenhangen met een valide en betrouwbare cv-screening. De interbeoordelaarsbetrouwbaarheid van de oordelen van de studenten was lager dan de interbeoordelaarsbetrouwbaarheid van de oordelen van de experts. Hoewel er een sterke correlatie was tussen de rangorde van de ervaren beoordelaars en de rangorde van de studenten, lieten de studenten hun oordeel vaker afhangen van irrelevante aspecten.

Translated title of the contributionComparative judgment as a reliable and valid assessment method in resume screening: A comparison between experts and novices
Original languageDutch
Article number32
Pages (from-to)86-107
Number of pages22
JournalGedrag en Organisatie
Volume32
Issue number2
Publication statusPublished - Jun 2019

Keywords

  • Comparative judgment
  • Construct validity
  • Expertise
  • Interrater reliability
  • Resume screening

Fingerprint Dive into the research topics of 'Comparative judgment as a reliable and valid assessment method in resume screening: A comparison between experts and novices'. Together they form a unique fingerprint.

Cite this