Dieper graven in interacties in de spreekkamer en daarbuiten

Onderzoek naar de verbetering van de communicatie tussen zorgverleners en patiënten krijgt een sterke impuls met de KNAW erkenning van project ADVANT. ADVANT gaat gedetailleerde analyse van grote hoeveelheden video- en audiodata mogelijk maken. Hiermee krijgen we een beter begrip van multimodaliteit van interacties, zoals die tussen arts en patiënt. ADVANT is een initiatief van Rijksuniversiteit Groningen (hoofdindiener), NIVEL, Radboud Universiteit en Universiteit Utrecht.

De KNAW heeft ADVANT, een geavanceerde video analyse faciliteit, geselecteerd voor de Agenda Grootschalige Onderzoeksfaciliteiten. De KNAW agenda omvat een  selectie van grote onderzoeksfaciliteiten die in de iets verdere toekomst - rond of na 2025 - wenselijk zijn voor vernieuwend wetenschappelijk werk aan de grenzen van onze kennis én daarmee bijdragen aan de internationale positionering van sterke Nederlandse onderzoeksgroepen.

Advant
ADVANT is een complete en gebruiksvriendelijke werkomgeving voor het in detail analyseren van video- en audiodata, verkregen met toestemming van de betrokkenen. De faciliteit maakt het mogelijk om in samenwerking met collega’s en met in achtneming van de privacy van betrokkenen, de multimodaliteit van sociale interactie te onderzoeken. Wetenschappers kunnen in verschillende lagen annotaties en transcripties verbinden aan de opnames en zo kijken naar de rol van bijvoorbeeld blikrichting, gezichtsuitdrukking, hoofdbewegingen, handbewegingen en lichaamshouding in communicatie.

Wetenschappelijke context
Video-opnames vormen een almaar belangrijkere bron voor het onderzoek naar sociale interactie en taalgedrag. Ze zijn niet alleen steeds meer voorhanden, ook het belang van het visuele aspect van communicatie wordt steeds duidelijker. De mogelijkheden van bestaande tools om deze data te analyseren zijn te beperkt voor efficiënt en nauwkeurig onderzoek. Sommige onderzoekers geven zelfs nog de voorkeur aan handgeschreven notities. ADVANT biedt nieuwe onderzoeksmogelijkheden door een efficiënte, gedetailleerde analyse van grote hoeveelheden video- en audiodata.
Taalwetenschappers kunnen met ADVANT onderzoeken hoe de verschillende modaliteiten van taal, zoals spraak, gebaren en hoofdbewegingen, bijdragen aan betekenis en taalbegrip. Grote corpora en de tools om de data te analyseren zijn ook essentieel voor onderzoek naar gebarentalen en voor de ontwikkeling van nieuwe computationele taalmodellen van bijvoorbeeld dialoogvoering of taalleren. Kennis over de rol van verschillende aspecten van sociale interactie kan in de zorg bijdragen aan effectievere communicatie tussen arts en patiënt. Deze kennis kan daarnaast ook gebruikt worden voor de ontwikkeling van emotioneel en sociaal intelligente machines. Ten slotte zullen de verbeterde methoden voor automatische annotatie en analyse ook weer in andere toepassingen gebruikt kunnen worden.

Maatschappelijke impact
ADVANT en de kennis die voortkomt uit onderzoek met deze faciliteit is van belang voor maatschappelijke instituten als de publieke omroepen, de gezondheidszorg en de politie. Daarnaast bieden de mogelijkheden van ADVANT de Nederlandse wetenschap een voorsprong in de eerder genoemde vakgebieden. De faciliteit zal internationaal model staan voor multimodale video-analyse, en als dusdanig ook een potentieel exportproduct vormen.