KI: Spørsmål til svar

Hver gang du stiller et spørsmål til en KI, setter ordene dine i gang et nytt aktivitetsmønster inne i en modell. Tallene modellen har lært under treningen, bidrar til å bestemme hvordan denne aktiviteten beveger seg gjennom nettverket, og hvilket svar som kommer ut.

Forskere kan registrere disse beregningene. Det som krever mer arbeid, er å forklare hva de betyr: hvilke mønstre modellen gjenkjente, hvordan mønstrene påvirket hverandre, og hvilke av dem som faktisk hadde innvirkning på svaret.

Forskningen til Goodfire er så oppmuntrende fordi den antyder at mange av komponentene som utfører dette arbeidet, kan være lettere å forstå enn vi har antatt.

Det kan gjøre oss bedre i stand til å oppdage og korrigere feil i KI-systemer. Men jeg vil også gi deg et tilstrekkelig innblikk i mekanismene til at du kan forstå selve forskningen.

Vi begynner med forskjellen mellom å trene en modell og å bruke den.

Under treningen lager modellen prediksjoner, treningsprosessen måler feilene i disse prediksjonene, og [en optimaliseringsprosedyre justerer modellens numeriske parametere] for å forbedre ytelsen. Mange av disse parameterne er vekter: tall som bestemmer hvor sterkt ett inndataelement påvirker en beregning. Når denne prosessen gjentas, utvikles et nettverk som har lært bestemte måter å behandle informasjon på. Ingen trenger å skrive en egen instruksjon for hvert mønster modellen lærer.

Når du bruker den ferdigtrente modellen, forblir vektene vanligvis uendret. Det som endrer seg, er aktiviteten som inndataene dine frembringer. Denne aktiviteten kalles aktivering. Det er svært nyttig å holde disse begrepene fra hverandre: Modellens innlærte innstillinger og dens respons på et bestemt spørsmål er to forskjellige ting.

En språkmodell begynner med å dele teksten din opp i tokener (tokens). Disse kan være hele ord, deler av ord eller tegnsetting. Deretter omdanner modellen tokenene til numeriske representasjoner og behandler dem gjennom flere lag.

I en Transformer, arkitekturen som ligger til grunn for mange språkmodeller, gjentas to viktige typer beregninger. Attention gjør det mulig for informasjon på én posisjon å trekke på informasjon fra andre steder i konteksten. Feedforward-lag omformer informasjonen på hver posisjon ved hjelp av innlærte beregninger, blant annet gjennom enheter forskerne kaller nevroner. Forbindelsene fører informasjon videre, slik at senere lag kan bygge videre på arbeidet som er utført tidligere.

Tenk deg at du leser ordet «bank» i en setning som handler om en elv. Ordene rundt bidrar til å bestemme hvilken betydning ordet har akkurat her. Attention gir modellen en måte å trekke konteksten inn i beregningene på. De etterfølgende transformasjonene bidrar til å utvikle representasjonen som brukes til å produsere et svar.

Til slutt produserer modellen skårer som omdannes til sannsynligheter for mulige neste tokener. Ett token velges, legges til konteksten, og prosessen fortsetter.

Tekst → tokener → gjentatte beregninger med attention og nevroner → sannsynligheter for neste token → et generert token

Det genererte tokenet blir en del av konteksten for neste trinn.

Dette forklarer også hvorfor en modell kan tilpasse seg noe du forteller den under en samtale, uten at vektene endres. Den nye informasjonen endrer konteksten og dermed aktiviteten. Læring under trening og bruk av informasjon i en samtale kan gi opphav til atferd som ser nokså lik ut, selv om prosessene bak er forskjellige.

Hva gjør et nevron egentlig?

I et enkelt nevralt nettverk mottar et nevron numeriske verdier, multipliserer dem med vekter, kombinerer resultatene med en innlært forskyvningsverdi og anvender en aktiveringsfunksjon. En enkel funksjon gir null når summen er negativ, og lar positive verdier passere uendret. Slike ikke-lineære operasjoner gjør det mulig for lagene å lære mønstre som ikke kan fanges opp gjennom ren addisjon og skalering. Utverdien blir inndata til andre beregninger. Moderne arkitekturer har ulike varianter av dette, blant annet mekanismer som regulerer hvor mye av et signal som slipper gjennom.

Betegnelsen «nevron» kan være misvisende. Det dreier seg om en matematisk operasjon der utverdien varierer med inndataene, ikke om en liten hjernecelle eller en fullstendig tanke. Og fordi operasjonen bruker mange innlærte tall, har ikke en modell med 32 milliarder parametere 32 milliarder nevroner.

Her er et bevisst forenklet visuelt eksempel. Tenk deg at noen komponenter reagerer på kanter, mens andre reagerer på kurver. En senere komponent kan kombinere aktiviteten deres til en respons på en mer komplisert form. Videre beregninger kan bruke denne formen sammen med farge og tekstur for å bidra til å identifisere et objekt.

Treningen kan føre til nyttige interne skiller uten at noen på forhånd har spesifisert hvilke skiller modellen skal lære. Forskerne må deretter undersøke hva modellen faktisk har lært.

Tre begreper hjelper oss med å forstå dette arbeidet:

• Et nevron er en komponent i modellens beregninger.
• Et trekk (feature) er et mønster eller en egenskap som representeres gjennom aktiviteten.
• En krets (circuit) er et sammenkoblet sett av beregninger som bidrar til å forklare hvordan en bestemt atferd oppstår.

Et trekk kan involvere flere nevroner, samtidig som ett nevron kan bidra til flere trekk. At man finner en komponent som reagerer på noe, forteller oss ennå ikke hvordan resten av nettverket bruker denne responsen.

Tenk deg at et nevron reagerer sterkt på bilder som inneholder hjul. «Hjuld etektor» ville være en rimelig første hypotese. Men reagerer nevronet på alle hjul? Bare på hjul sett fra siden? Reagerer det også på klokker? Hva skjer når et hjul er delvis skjult?

Slike spørsmål gjør en tiltalende merkelapp til et forskningsproblem. Modellen inneholder tall og forbindelser. «Hjuld etektor» er vår foreslåtte forklaring på hva disse tallene og forbindelsene gjør.

Hva Goodfire utfordrer oss til å revurdere

I mange år har en av utfordringene vært at enkeltnevroner kan se ut til å reagere på tilsynelatende urelaterte ting. En vanlig forklaring er superposisjon: En modell kan representere flere trekk enn den har tilgjengelige dimensjoner, ved å bruke overlappende mønstre.

En tilnærming har vært å trene en egen modell, for eksempel en sparsom autoenkoder (sparse autoencoder), som forsøker å dele aktiviteten i den opprinnelige modellen opp i mer forståelige trekk. At modellen er «sparsom», betyr at metoden oppmuntrer til at relativt få trekk er aktive samtidig. Håpet er at kombinasjoner som er skjult i den opprinnelige aktiviteten, skal bli lettere å undersøke.

Denne tilnærmingen har ført til betydelig forskning. I 2024 rapporterte Anthropic at de hadde hentet ut millioner av trekk fra et lag i Claude 3 Sonnet. Blant disse var trekk knyttet til steder, programmeringsbegreper og abstrakte situasjoner. Forskerne kunne også endre enkelte responser ved å manipulere trekkene. Selskapet understreket imidlertid at selv om man forstår representasjonene, gjenstår spørsmålet om hvordan modellen bruker dem.

Nick Cammarata fra Goodfire argumenterer for at forskerne bør undersøke de opprinnelige nevronene nærmere. Et kjent eksempel fra arbeidet hans er et nevron som så ut til å reagere både på katter og biler. Den foreslåtte fellestrekk er et spisst, V-formet mønster. Det var våre kategorier som fikk responsene til å fremstå som urelaterte.

Han argumenterer også for at noe av den tilsynelatende forvirringen skyldtes undersøkelsesverktøyene. Et syntetisk bilde som er optimalisert for å aktivere et nevron, kan fremheve en aktiveringsvei som gir et misvisende bilde av hva som skjer med vanlige inndata.

Det mye omtalte resultatet på 99–100 prosent for fortolkbarhet gjelder det siste laget i en forbedret synsmodell. Det foreløpige anslaget for språkmodeller er at rundt 90 prosent av nevronenes responsretninger – den positive og negative siden av responsene – i Qwen3-32B har én hovedfunksjon. Ingen av tallene angir en prosentandel for KI-sikkerhet. Det overordnede argumentet er fortsatt en arbeidshypotese.

Mulighetene er betydelige. Hvis de opprinnelige komponentene er enklere å undersøke, får forskerne en ny, praktisk måte å spørre hvorfor en modell traff en bestemt beslutning. De kan teste forklaringer opp mot mekanismene som faktisk ble aktivert, og dermed øke sjansene for å finne en nyttig korrigering.

Hvordan mekanistisk fortolkbarhet undersøker hva et nevron gjør

Åpne nevron 127 i Goodfires publiserte modellmikroskop.

Dette er en synsmodell av typen ConvNeXt. Den klassifiserer bilder og bruker en annen arkitektur enn språkmodellen vi har sett på ovenfor. Begrepene vekter, aktiveringer, trekk og kretser gjelder likevel også her.

De sterkeste positive responsene kommer hovedsakelig fra bilder av marihøner, men også fra enkelte bladbiller. «Marihønedetektor» er en fristende merkelapp. Se deretter på de fire sterkeste negative responsene: Alle kommer fra bilder av toy terriere. Dette nevronet produserer verdier på begge sider av null. Hvis vi bare setter en merkelapp på den positive siden, står en viktig del av atferden uforklart.

Gå nå videre til visningen «Most useful» («Mest nyttig»). Bilder av toy terriere dominerer også denne listen. Her bygger vurderingen av nytte på en attribusjonsmetode som kalles RelP. Metoden anslår nevronets bidrag til skårene for de fem mest sannsynlige klassekandidatene for et bilde. Den sterkeste positive aktiviteten og det høyeste anslåtte bidraget forekommer i forskjellige bilder.

Nevronets respons og nettverkets bruk av denne responsen er to separate spørsmål. Marihønebildene gir oss en første hypotese. De andre visningene viser hvor mye som fortsatt må forklares.

Utforskeren tilbyr også trekkvisualiseringer (feature visualizations): syntetiske bilder som er laget for å fremkalle en bestemt respons. Sammenlign dem med virkelige eksempler. Test deretter forklaringen din på bilder modellen ikke har sett før. Kan forklaringen forutsi fortegnet og styrken på responsen til en annen bille, en prikkete gjenstand eller et nytt bilde av en hund?

Mikroskopet rapporterer også resultater fra ablasjon. Dette er registrerte eksperimenter der nevronets aktivitet settes til null, mens endringene i modellens utverdier måles. Attribusjon anslår et bidrag. Ablasjon endrer en komponent og observerer konsekvensen. Verken en overbevisende merkelapp eller en bidragsskår kan erstatte et slikt inngrep.

Et tidligere eksperiment fra Anthropic viser hva et inngrep (intervention) kan fastslå i en språkmodell. Forskerne undersøkte hvordan Claude besvarte et spørsmål om hovedstaden i delstaten som Dallas ligger i. De fant en mellomliggende representasjon av Texas. Da de undertrykte aktivitet knyttet til Texas og introduserte aktivitet knyttet til California, endret modellen svaret til Sacramento. Dette støttet en bestemt forklaring på beregningene modellen utførte.

Det er også her diskusjonen om Goodfires tilnærming blir nyttig. I sitt svar 17. oktober er Nick Gao enig i at forskere noen ganger har avskrevet nevroner for raskt. Utfordringen hans er om en forklaring kan forutsi aktiviteten presist nok. Han foreslår å bruke forklaringen til å simulere nevronets verdier, sette de simulerte verdiene inn i modellen og måle hvor mye modellens atferd endrer seg.

Cammarata stiller spørsmål ved simuleringsskårer som legger vekt på detaljer han mener er mindre nyttige for å forstå et nevron. Han foretrekker flere typer undersøkelser fremfor én enkelt skår.

For lesere som ønsker å forstå verktøyene, peker denne uenigheten på noe konkret man bør se etter: forbindelsen mellom en forklaring og en prediksjon som kan kontrolleres. Et overbevisende bilde bidrar til å formulere en idé. Tester med ukjente inndata og målte konsekvenser bidrar til å fastslå hvor mye ideen faktisk forklarer.

Dette arbeidet krever tilgang til modellens interne aktivitet og, når forskerne gjennomfører inngrep, muligheten til å endre den. Hvis du ber en chatbot forklare svaret sitt, får du mer tekst. Det gir deg ikke i seg selv disse målingene.

Jeg er fortsatt optimistisk med tanke på hva dette kan gjøre mulig. Et fremtidig verktøy for å undersøke feil i KI-systemer kan vise hvilke interne signaler som hadde betydning, la forskere teste en mistenkt årsak og avdekke om en endring forbedret eller svekket annen atferd. Det ville gi dem som har ansvar for KI-systemer, et langt bedre grunnlag for å avgjøre hva som bør korrigeres, og hva de kan stole på.

For å følge denne utviklingen må du forstå hva som observeres, hva som utledes, og hva som faktisk er blitt testet. Når disse skillene først er tydelige, blir den neste imponerende visualiseringen av et nevron begynnelsen på en langt mer nyttig samtale.