Forskere overraskede over kønsstereotyper i ChatGPT

”ChatGPT giver ikke på samme måde et forudsigeligt svar, der passer ned i en kasse. Jeg måtte derfor tilpasse metoderne, så de på en anden måde kunne vise, om der var kønsbias i de svar, ChatGPT leverer,” forklarer Sara Sterlie.

Sara Sterlie valgte at udarbejde en simplificeret analysemodel, der kun havde binært fokus på mand og kvinde. Derefter udviklede hun flere forskellige spørgsmål, såkaldte prompts, der hver især skulle teste ChatGPT’s svar i forhold til kønsstereotyper. Testene foregik på GPT, der er den model, ChatGPT er bygget på.

”De første var en række strukturerede prompts, hvor jeg bl.a. bad GPT om at fortælle, hvilke typer jobs henholdsvis en række kvinde- og mandenavne varetog,” fortæller Sara Sterlie.

Fordomsfulde svar

Resultatet var en fordeling, der var langt mere kønsstereotyp end den fordeling, vi kender i dagens samfund, med kvinder hovedsageligt tildelt jobtitler som grafisk designer, modedesigner eller sygeplejerske og mænd som softwareingeniører, arkitekter og chefer.

En anden type prompt handlede om typiske jobfunktioner i erhverv, der arbejder tæt sammen, som f.eks. læge og sygeplejerske eller pilot og fligt attendant, der på engelsk er en ukønnet jobtitel. Her viste resultaterne fra de flere hundrede forsøg, Sara Sterlie gennemførte for hver prompt, at ChatGPT har meget svært ved at forbinde det mandlige pronomen med en sygeplejerske, og endnu sværere ved at lade det kvindelige pronomen varetage pilotens opgaver med at gøre flyet klar til landing.

For at komme hele vejen rundt gennemførte Sara Sterlie også forsøg med ustrukturerede prompts, hvor hun bad ChatGPT beskrive, hvilke hobbyer en række ’high school students’ med henholdsvis mande- og kvindenavne havde. Sara analyserede efterfølgende svarene, bl.a. ved at undersøge, hvor ofte et ord eller en vending forekom i en tekst. Det blev dermed meget tydeligt, at blandt de 400 svar var der en ualmindelig stor overvægt af kvindelige studerende, der var optaget af frivilligt arbejde med dyr, hvorimod de mandlige studerende særligt var interesseret i teknologi og videnskab.

”Alle mine forsøg viste samstemmende, at ChatGPT er præget af stærke kønsstereotyper, både når den bliver stillet strukturerede og mere åbne opgaver,” siger Sara Sterlie.

Forskere blev overrasket

Sara Sterlie og hendes to vejledere, Aasa Feragen og Nina Weng, der også arbejder med medicinsk billedbehandling, havde delvis forudset resultatet af forsøgene.

”Vi havde forventet en vis kønsbias, da ChatGPT er trænet på materiale fra internettet, der i et eller andet omfang afspejler de kønsstereotyper, vi har kendt i mange år. Men jeg blev meget overrasket over, i hvor høj grad den var biased, ikke mindst i forhold til at forbinde køn og jobtyper. Der skyder den langt ved siden af den fordeling, der eksisterer i vores samfund i dag,” siger Nina Weng.

I øjeblikket er Sara Sterlie og hendes vejledere ved at færdiggøre en videnskabelig artikel om deres fund.

”Mig bekendt er vi de første, der har gennemført denne type analyse. På sigt er målet, at vi som forskere kan udarbejde metoder og værktøjer, der kan anvendes af udviklerne bag sprogmodeller som ChatGPT, så de kan hindre bias både inden for køn, race, nationalitet m.m. Vi er dog ikke så langt endnu, men har med Saras forsøg taget det første skridt,” siger Nina Weng.

Aasa Feragen tilføjer, at hun forventer, at Sara Sterlies metoder bliver del af en større global diskussion om, hvordan vi undgår bias i kunstig intelligens.

Fairness skal sikres

Interessen for at afdække og undgå bias i ChatGPT og andre lignende generative kunstig intelligens-modeller er ikke udtryk for kritik af den nye teknologi.

Tværtimod understreger både Sara Sterlie og Nina Weng, der også selv anvender ChatGPT til bl.a. at sammenfatte hovedpointerne i en tekst. Deres passion handler derimod om at sikre fairness i de tekster eller billeder, som sprogmodellen og andre generative kunstig intelligens-modeller genererer.

”Når vi i stadig større udstrækning bruger kunstig intelligens til at skabe tekster eller billeder, kommer det til at påvirke vores opfattelse af verden omkring os. Den kunstige intelligens starter med at gennemtrawle store mængder data, hvorefter den afleverer et resultat, der er et gennemsnit af alt det data, den har gennemgået. Hvis man derfor falder uden for de gængse normer, som gennemsnittet ofte udgør, enten i form af seksualitet, familietype eller præferencer, vil man typisk ikke blive repræsenteret i f.eks. den artikel, som kunstig intelligens udarbejder,” forklarer Sara Sterlie.

Det er den fairness, forskerne ønsker at skabe grundlaget for, så den kunstige intelligens fremover ikke kommer til at ekskludere grupper fra at kunne se sig selv repræsenteret.