I de senere år, hvor AI-værktøjer er blevet offentligt tilgængelige, er flere mennesker blevet opmærksomme på, hvor meget kunstig intelligens' indre funktioner kan minde om dem i en menneskelig hjerne.
Og der er da også flere ligheder mellem, hvordan maskiner og menneskelige hjerner fungerer. Det gælder for eksempel ift. hvordan de repræsenterer verden i abstrakt form, generaliserer ud fra begrænsede data og behandler data i lag. En ny artikel i Nature Communications af DTU-forskere tilføjer endnu en egenskab til listen: Konveksitet.
”Vi fandt ud af, at konveksitet er overraskende almindelig i dybe netværk og muligvis er en grundlæggende egenskab, der opstår naturligt, når maskiner lærer,” siger Lars Kai Hansen, professor ved DTU Compute, og leder af forskningen.
Konveksitet kan bygge bro mellem menneskelig og maskinel intelligens
For kort at forklare begrebet: Når vi mennesker lærer om en kat, gemmer vi ikke bare et enkelt billede, men opbygger en fleksibel forståelse, der gør det muligt for os at genkende alle slags katte – uanset om de er store, små, pjuskede, glatte, sorte, hvide osv.
Begrebet konveksitet stammer fra matematikken, hvor det bruges til at beskrive f.eks. geometri, og blev overført til kognitionsvidenskaben af Peter Gärdenfors, der foreslog, at vores hjerner danner begrebsmæssige rum, hvor relaterede ideer samles.
Og her kommer det afgørende: Naturlige begreber som kat eller hjul har en tendens til at danne konvekse områder i disse mentale rum. Kort og meget forenklet sagt kan man forestille sig en elastik, der strækker sig omkring en gruppe af lignende ideer – dét er et konvekst område.
Tænk på det sådan her: Inden for elastikkens omkreds, er der to punkter, der repræsenterer to forskellige katte. Ethvert punkt på den korteste vej mellem de to punkter vil også falde inden for det mentale kat-område. En sådan konveksitet er kraftfuld, da den hjælper os med at generalisere ud fra få eksempler, lære nye ting hurtigt og endda hjælper os med at kommunikere og blive enige om, hvad ting betyder. Det er en grundlæggende egenskab, der gør menneskelig læring robust, fleksibel og social.
Når det kommer til deep learning-modeller – motorerne bag alt fra billedgenerering til chatbots – lærer de ved at omdanne rå data som pixels eller ord til komplekse interne repræsentationer, ofte kaldet ”latente rum”. Disse rum kan ses som interne kort, hvor en AI organiserer sin forståelse af verden.
Måling af AI's interne struktur
For at gøre AI mere pålidelig, troværdig og i overensstemmelse med menneskelige værdier er der behov for at udvikle bedre måder at beskrive, hvordan den repræsenterer viden. Derfor er det afgørende at finde ud af, om de rum, der opstår ifm maskinlæring, er organiseret på en måde, der ligner menneskelige begrebsrum, og om de også danner konvekse regioner for begreber.
Førsteforfatteren af artiklen, Lenka Tetkova, der er postdoc ved DTU Compute, dykkede ned i netop dette spørgsmål og så på to hovedtyper af konveksitet:
Den første er euklidisk konveksitet, som er ret ligetil: Hvis man tager to punkter inden for et begreb i en models latente rum, og den lige linje mellem dem holder sig fuldstændig inden for det pågældende begreb, er regionen euklidisk konveks. Dette svarer til at generalisere ved at blande kendte eksempler.
Den anden er grafkonveksitet, som er mere fleksibel og især vigtig for de buede geometrier, der ofte findes i AI's interne repræsentationer. Forestil dig et netværk af lignende datapunkter. Hvis den korteste vej mellem to punkter inden for et begreb holder sig inden for det pågældende begreb, er det grafkonveks. Dette afspejler, hvordan modeller kan generalisere ved at følge den naturlige struktur i dataene.
”Vi har udviklet nye værktøjer til at måle konveksitet inden for de komplekse latente rum i dybe neurale netværk. Vi testede disse målinger på forskellige AI-modeller og datatyper: billeder, tekst, lyd, menneskelig aktivitet og endda medicinske data. Og vi fandt ud af, at det samme geometriske princip, der hjælper mennesker med at danne og dele begreber, altså konveksitet, også former, hvordan maskiner lærer, generaliserer og tilpasser sig os,” siger Lenka Tetkova.
AI's skjulte orden
Forskerne opdagede også, at fællestrækkene findes i forud-dannede modeller, der lærer generelle mønstre fra massive datasæt, og finjusterede modeller, der læres specifikke opgaver som f.eks. at identificere dyr. Dette underbygger yderligere påstanden om, at konveksitet kan være en grundlæggende egenskab, der opstår naturligt, når maskiner lærer.
Når modeller finjusteres til en specifik opgave, øges konveksiteten af deres beslutningsområder. Når AI forbedrer sig i klassificering, bliver dens interne konceptområder mere tydeligt konvekse, hvilket forfiner dens forståelse og skærper dens grænser.
Derudover opdagede forskerne, at konveksitetsniveauet i en forud-dannet models koncepter kan forudsige, hvor godt den model vil fungere efter finjustering.
”Forestil dig, at et koncept, f.eks. en kat, danner et pænt, veldefineret konvekst område i maskinen, før man overhovedet har lært den specifikt at identificere katte. Så er det mere sandsynligt, at den senere lærer at identificere katte nøjagtigt. Vi mener, at dette er en vigtig indsigt, fordi det tyder på, at konveksitet kan være en nyttig indikator for en models potentiale til specifikke læringsopgaver,” siger Lars Kai Hansen.
En vej til bedre AI
Ifølge forskerne kan disse nye resultater have flere vigtige implikationer.
Ved at identificere konveksitet som en gennemgående egenskab har de fået en bedre forståelse af, hvordan dybe neurale netværk lærer og organiserer information. Det giver en konkret mekanisme for, hvordan AI generaliserer, hvilket kan ligne den måde, mennesker lærer på. Hvis konveksitet viser sig at være en pålidelig indikator for ydeevne, kan det være muligt at designe AI-modeller, der eksplicit tilskynder til dannelsen af konvekse konceptregioner under træningen.
Dette kan føre til mere effektiv læring, især i scenarier, hvor der kun er få eksempler til rådighed. Resultaterne kan derfor udgøre en vigtig ny bro mellem menneskelig kognition og maskinintelligens.
"Ved at vise, at AI-modeller udviser egenskaber (som konveksitet), der er grundlæggende for menneskelig begrebsforståelse, kommer vi tættere på at skabe maskiner, der ”tænker” på måder, som er mere forståelige og i tråd med vores egne. Det er afgørende for at opbygge tillid og samarbejde mellem mennesker og maskiner i kritiske anvendelser som sundhedspleje, uddannelse og offentlig service," siger Lenka Tetkova.
”Selvom der stadig er meget at udforske, tyder resultaterne på, at den tilsyneladende abstrakte idé om konveksitet kan være nøglen til at afsløre nye hemmeligheder om AI's interne funktioner og bringe os tættere på intelligente og menneskelignende maskiner.”
