Toepassen van de techniek ‘topic modeling’ verrijkt het onderzoek naar uitstroomredenen van personeel in de sector Zorg en Welzijn

Om de kosten te verlagen en de tekorten in de zorg te verminderen is onder andere onderzoek nodig naar de redenen van uitstroom uit de sector Zorg & Welzijn. RegioPlus en Presearch verzamelen hier data over. Voor het analyseren van die data maakte het Nivel gebruik van de nieuwe techniek topic modeling, waarbinnen de methode Latent Dirichlet Allocation (LDA) werd ingezet. Dit lijkt van toegevoegde waarde: de informatie over uitstroomredenen die eruit voortkomt biedt nuance en verduidelijking op de reeds verzamelde data. Daardoor geeft het verdiepend inzicht in de uitstroom uit de sector Zorg & Welzijn en de mogelijke preventie daarvan.

De ‘topic modeling’-methode LDA moet een aanvulling zijn op de reguliere analyse van data uit multiple-choise-antwoorden van ondervraagden.

Het Nivel ter afsluiting van deze ontwikkelfase van het uitstroomonderzoek (fase 1) aanbevelingen voor zowel het verbeteren van de vragenlijst als het doorontwikkelen van de topic-modeling-techniek.

Wat is Topic Modeling?

De methode Latent Dirichlet Allocation (LDA) is een vorm van de techniek topic modeling,  waarbij verborgen onderwerpen worden geïdentificeerd op basis van het voorkomen van termen in de onderzoekscontent, zoals de open antwoorden op vragen over uitstroomredenen. Kenmerkend hierbij is de inzet van het probabilistisch generatief model: er wordt rekening gehouden met de waarschijnlijkheid van verschillende woordcombinaties, en aan de hand van de gevormde onderwerpen wordt betekenis gegeven aan de antwoorden van respondenten.

De LDA-methode biedt meer nuance en verduidelijking op onderzochte thema’s

Hoewel het uitstroomonderzoek al een aantal jaar loopt, is nog niet eerder op deze grote schaal gebruikgemaakt van informatie die voortkomt uit de open antwoorden op vragen aan respondenten. Met de LDA-methode worden grote stukken tekst geclusterd en komen verborgen thema’s naar voren. De respondenten geven in de open antwoorden extra informatie vrij, zonder gebonden te zijn aan voorgeformuleerde thema’s. Door inzet van de LDA-methode hebben de bestaande thema’s (topics) binnen het uitstroomonderzoek meer betekenis gekregen en zijn voorstellen voor nieuwe thema’s gedaan. De verwachting is dat in fase 2 van het onderzoek, wanneer er meer data beschikbaar zijn, de toegevoegde waarde van de LDA-methode nog meer naar voren zal komen.

Schermafbeelding van de LDA-visual van uitstroomredenen waarbij Topic 8 is uitgelicht en het woord ‘werktijden’ is geselecteerd bij λ=0.7

De door het Nivel ingerichte LDA-methode heeft duidelijk een meerwaarde in het uitstroomonderzoek in de regio Utrecht. De open-antwoord-analyse middels deze topic modeling-techniek biedt verdiepend inzicht in de uitstroomredenen van deelnemers aan het onderzoek. Het vormt daarmee een waardevolle aanvulling op de ‘gesloten-antwoord-analyse’.

Art van Schaaijk, PhD

Onderzoeker (postdoc) Arbeids- en Organisatievraagstukken in de Gezondheidszorg

Aanbeveling uitstroomonderzoek: overweeg de vragenlijsten aan te passen op basis van de extra informatie uit LDA

Op basis van de uitkomsten van het eerste gebruik van nieuwe LDA-methode kunnen we diverse suggesties doen. Wat betreft het vervolg van het uitstroomonderzoek van RegioPlus en Presearch; het valt op dat verschillende vertrekredenen die naar voren zijn gekomen niet direct terug te vinden waren in de multiple-choice-vragenlijst, bijvoorbeeld het niet nakomen van afspraken over doorgroeien. Daarnaast zijn vaak genoemde redenen voor uitstroom - verhuizing, reistijd, werksfeer, werktijden en waardering - niet allemaal opgenomen als hoofdthema, waardoor het voor respondenten lastig is hier concreet op in te gaan. Dit leidt tot de aanbeveling de vragenlijst aan te scherpen door meerdere uit de LDA-analyse voortgekomen vertrekredenen op te nemen en een onderverdeling te maken op hoofdthema’s.

Aanbeveling LDA-methodeontwikkeling: verfijn de algoritmes en haal overlap tussen topics eruit

Hoewel het ontwikkelen en toepassen van de LDA-methode tot meer verdieping in de uitstroomredenen van zorgpersoneel heeft geleid, is een verbeteringsslag nodig om de open antwoorden nog beter te kunnen interpreteren en analyseren in een volgende fase van het onderzoek. Minder overlap tussen topics draagt bijvoorbeeld bij aan een nauwkeurigere bepaling van preventiemogelijkheden. Door meer data te gebruiken is het mogelijk om meerdere topics te identificeren. En het prominenter inzetten van de frequentie-analyse en de document-term-matrix kan meer duiding geven aan de data. Dit biedt de mogelijkheid om op basis van vaak voorkomende woorden en woordcombinaties meerdere thema’s toe te kennen wanneer respondenten ook meerdere redenen opgeven in hun antwoord.

Over het onderzoek

Het Nivel heeft fase 1 van het onderzoek uitgevoerd met de resultaten uit het uitstroomonderzoek uit de sector Zorg & Welzijn van RegioPlus en Presearch voor de regio’s Utrecht, Amersfoort-Eemland en Gooi & Vechtstreek. Van 1671 medewerkers in cliëntgebonden functies die vrijwillig zijn vertrokken, zijn de open antwoorden op twee vragen geanalyseerd. Hierbij stond de ontwikkeling van de LDA-analysemethode centraal en zijn verschillende aanbevelingen voortgekomen.
In fase 2 van het onderzoek zetten we de LDA-methode opnieuw in, nu geoptimaliseerd aan de hand van de in fase 1 opgedane inzichten. In deze tweede fase zal de analyse van de resultaten van het uitstroomonderzoek centraal staan.