Evnen til at have øjenkontakt med andre mennesker er en stor del af vores sociale omgang med hinanden. Vi aflæser blandt andet glæde, tillid og interesse gennem øjenkontakten, men vi ser også på næse, mund og de andre elementer af ansigtet i en dynamisk proces.
Det er kendt blandt forskere, at mennesker med autisme og andre neurologiske eller psykiatriske lidelser har en tendens til at kigge på ansigter på en lidt anden måde, og for disse mennesker kan det være svært at holde øjenkontakt. Det kan måles ved hjælp af sensorer, såkaldt eyetrackere. Forskere fra DTU har fundet en ny og ifølge forskerne mere generel måde at undersøge data fra eyetrackere.
”Vores datadrevne metode bygger på machine learning og kan bidrage til diagnosticeringen af patienter og til at se, om en eventuel behandling eller på sigt nyudviklet medicin har den ønskede effekt, siger Paolo Masulli, tidligere postdoc på DTU Compute og nu ansat i virksomheden iMotions A/S, der har været med til at udvikle software til dataanalyse og modellering af de biometriske data.
Forskningsresultatet er en del af et netop afsluttet projekt støttet af Innovationsfonden, og det blev for få uger siden publiceret i det internationale neurovidenskabelige tidsskrift Cortex.
Model analyserer heatmap
Når patienter bliver undersøgt for neurologiske eller psykiatriske lidelser ved hjælp af eyetracking, så præsenterer forskerne dem ofte for en række fotos eller videoer med ansigter på skærm. Eyetracking-sensoren følger så patienternes øjenbevægelser og holder styr på bestemte områder i billederne. Resultaterne kan aflæses på et såkaldt heatmap; jo flere personer der kigger på et område, jo mere farve vil det få.
"... der er ingen eksakt videnskab, der definerer felternes størrelse og placering på billederne. Der er meget subjektivitet i det. Vores metode er anderledes. Vi definerer ikke bestemte områder på forhånd, men lader data tale og får derigennem en mere objektiv vurdering af patientens øjenbevægelser gennem vores metode."
Paolo Masulli, tidligere postdoc på DTU Compute
”Forskerne definerer og indrammer typisk selv hvilke områder, som er interessante (Areas Of Interest). Men der er ingen eksakt videnskab, der definerer felternes størrelse og placering på billederne. Der er meget subjektivitet i det. Vores metode er anderledes. Vi definerer ikke bestemte områder på forhånd, men lader data tale og får derigennem en mere objektiv vurdering af patientens øjenbevægelser gennem vores metode,” siger Paolo Masulli.
DTU har haft adgang til eyetracking-data fra 111 ambulante psykiatriske patienter, som den svenske universitetspartner, Gillberg Neuropsychiatry Centre, har optaget. Patienterne i alderen 18 til 25 år udviste symptomer på autisme, depression eller ADHD og ville gerne være med i forskningsprojektet og stille deres anonymiserede data til rådighed for forskningen.
I forsøget har patienterne besvaret nogle standardiserede kliniske tests, som placerer dem på numeriske skalaer efter alvorligheden af deres symptomer. De er derefter blevet præsenteret for en række sort-hvid-billeder, hvor personen på billedet udtrykker glæde, vrede eller ser neutral ud, mens eyetrackeren har opsamlet data fra hele billedet. F.eks. brugte person 1 mere tid ved venstre øje, person 2 kiggede lidt over det hele, og så fremdeles har man fået et heatmap fra hver patient.
Dernæst er alle heatmaps blevet analyseret ved hjælp af machine learning, hvor de vigtigste komponenter (punkter på ansigtet) er blevet fundet statistisk ud fra hele datasættet og altså uden at udvælge data fra bestemte områder, som den førnævnte konventionelle metode gør.
Den konventionelle metode med håndtegnede areas of interest. Credit: Attribution 4.0 International (CC BY 4.0) / Cortex: ’Data-driven analysis of gaze patterns in face perception: Methodological and clinical contributions’.
Forskerne har så brugt komponenterne og tallene fra de kliniske tests for symptomer til at opstille en matematisk model som knytter komponenterne til graden af autisme, depression og ADHD. Ud fra modellen har man skabt nye datadrevne heatmaps, der svarer til et bestemt niveau af de kliniske tests.
Forskningen viste blandt andet, at en person, der ikke har autisme eller kun få symptomer, typisk vil kigge lidt mere på venstre øje, næse og mund. Mens en person med autisme typisk vil kigge mere på højre øje, en del på panden, næsen og munden og andre steder.
”Vores metode bekræfter de tendenser, som nyere studier også har fundet og viser, at machine learning kan anvendes inden for neurovidenskabelig forskning, siger Paolos vejleder på DTU Compute, lektor Tobias Andersen.
Hjælper i diagnosticering og behandling
Der er flere fordele ved den datadrevne metode. Den vil kunne bruges i klinikker, hvor læger ofte møder patienter, der ikke på forhånd har en diagnose. Hvis algoritmen bliver implementeret i softwaren til eyetracking, vil den kunne hjælpe med at se, hvordan patienten placerer sig på skalaerne for autisme, depression og ADHD.
Ofte er der også tale om komorbiditet. Det vil sige, at hvis en patient har én psykiatrisk lidelse, er der stor sandsynlighed for, at patienten har flere andre neurologiske eller psykiatriske sygdomme. Ud fra den her metode kan lægerne se, hvordan patienterne ligger inden for spektret af diagnoser og så behandle med medicin og træning ud fra kombinationen.
Så projektet har givet en bedre forståelse for, hvad der kendetegner patienter med neurologiske og psykiatriske diagnoser, og metoden kan hjælpe behandlere med diagnosticering, fortæller Tobias Andersen:
”Nogle mennesker med autisme ønsker at blive bedre til sociale interaktioner, og her kan metoden bruges til at registrere øjenbevægelser og se, i hvor høj grad patienten er påvirket af sin autisme og give ham eller hende automatisk feedback. Og hvis man træner patienterne til at have lettere ved at se på ansigter, så vil man ved hjælp af metoden tilmed kunne se, om træningen virker.”
Svensk partner: Et vigtigt fremskridt
Den svenske partner, Gillberg Neuropsychiatry Centre ved Göteborg Universitet, bekræfter, at forskningsresultatet bidrager med betydningsfuld ny viden:
”Det meste af den forskning, der er udført ved hjælp af eyetracking, har brugt vilkårlige, eksperiment-definerede Areas Of Interest. Vores tilgang udgør et vigtigt fremskridt, fordi det er objektivt, datadrevet, og det giver mulighed for at anvende en dimensionel (flersidet) tilgang til studiet af neuropsykiatriske tilstande og deres korrelater med hensyn til blikadfærd, ” siger professor Nouchine Hadjikhani, som arbejder ved Göteborgs Universitet og Harvard Medical School.
Gillberg Neuropsychiatry Centre peger også på, at resultatet kan føre til nye innovative hypoteser:
”Data indikerer, at en begrænsning i venstre synsfelt hos patienter er forbundet med depression. Hvorvidt dette er en tilstand eller en generel egenskab, og om dette kunne bruges som en biomarkør til opfølgning af behandlingseffekter ved depression er et af de spørgsmål, som for eksempel kunne undersøges i fremtidige undersøgelser," siger Nouchine Hadjikhani.