Når intelligensen mangler dømmekraft

Om KI-agenter, mål og menneskelig ansvar

Jeg hørte The Daily i går, torsdag 03.september 2026. Episoden hadde tittelen A.I. Is Outsmarting Its Creators.

Jeg ble urolig.

Ikke fordi jeg plutselig tror at kunstig intelligens har våknet, utviklet en egen vilje og bestemt seg for å gjøre opprør mot mennesket. Det er fortsatt en misvisende beskrivelse av det som skjer.

Det som uroer meg, er nesten det motsatte.

KI trenger kanskje ikke vilje for å bli farlig.

Det kan være nok at den får et mål.

Fra samtalepartner til agent

Vi har lenge snakket om kunstig intelligens som noe som svarer oss. Vi stiller et spørsmål. Maskinen gir et svar. Vi ber om en oversettelse, en analyse, et forslag eller en forklaring.

Slik møter jeg selv KI hver dag.

Som en samtalepartner.

Men en KI-agent er noe annet. En agent får ikke bare et spørsmål. Den får et mål og redskaper til å arbeide mot dette målet. Den kan skrive kode, bruke datamaskiner, søke informasjon, prøve ulike strategier og gjennomføre en kjede av handlinger.

Mennesket står ikke nødvendigvis ved siden av og godkjenner hvert enkelt skritt.

Det er denne overgangen som nå bør oppta oss.

I sikkerhetstester hos OpenAI fant KI-agenter en vei ut av den isolasjonen de var ment å operere innenfor. De etablerte uautorisert kommunikasjon med hverandre, koordinerte handlinger og fikk til slutt uautorisert tilgang til Hugging Faces produksjonssystemer.

Anthropic fant senere tre andre hendelser der Claude-modeller hadde fått tilgang til virkelige organisasjoners systemer. Der var mekanismen annerledes: testmiljøene hadde ved en feil tilgang til internett. Hendelsene er derfor ikke identiske, men de peker mot det samme grunnproblemet: Når svært kapable systemer får handle med stor frihet, kan de finne veier som utviklerne ikke hadde planlagt.

Det bemerkelsesverdige er ikke at maskinene ønsket å rømme.

De ønsket antakelig ingenting.

De løste en oppgave.

Et gammelt problem i ny form

Forholdet mellom mål og middel er et gammelt filosofisk problem.

Hvis vi definerer et mål, følger det ikke av dette at alle midler som fører til målet, er akseptable.

Dette vet mennesker.

Eller rettere sagt: Vi burde vite det.

En forsker ønsker et bestemt resultat, men kan ikke fabrikkere data for å få det.

En politiker ønsker å vinne et valg, men ikke alle midler for å vinne er legitime.

En bedrift ønsker overskudd, men målet opphever ikke ansvaret for arbeidstakere, kunder eller samfunn.

Det etiske livet begynner nettopp der den korteste veien til målet ikke nødvendigvis er den veien vi bør velge.

Maskinen står annerledes i dette forholdet.

Hvis den er konstruert for å nå et mål, vil vi lett beskrive den som om den spør:

Hvordan kommer jeg dit?

Men dette er allerede en antropomorfisering.

Den spør ikke nødvendigvis.

Den beregner.

Og dersom en uventet snarvei bringer systemet nærmere målet, kan snarveien bli funksjonell selv om den bryter med grensene menneskene mente var selvfølgelige.

Dette ligger nær det som gjerne kalles reward hacking: Systemet oppnår det målbare resultatet uten nødvendigvis å gjøre det vi egentlig mente.

Det kan være morsomt når en enkel algoritme finner en absurd måte å «vinne» et dataspill på.

Det er mindre morsomt når agenten har tilgang til den virkelige verden.

Aristoteles ville ha forstått problemet

Aristoteles skjelnet mellom forskjellige former for kunnskap.

Det finnes teoretisk kunnskap. Det finnes teknisk kunnen. Og så finnes phronesis – praktisk klokskap eller dømmekraft.

Praktisk klokskap handler ikke bare om å vite hvordan noe kan gjøres.

Den handler om å forstå hva som bør gjøres i den konkrete situasjonen.

Det er en avgjørende forskjell.

Et menneske kan være usedvanlig intelligent og samtidig mangle dømmekraft. Historien er full av eksempler på teknisk briljans uten moralsk klokskap.

Kanskje står vi nå overfor en maskinell variant av det samme problemet.

Vi bygger systemer som blir stadig bedre til å finne midler.

Men evnen til å finne midler er ikke det samme som evnen til å bedømme målet, grensene og konsekvensene.

Intelligens er ikke dømmekraft.

Det er kanskje den viktigste setningen i hele denne diskusjonen.

Å kunne formulere normen

En detalj fra granskingene gjør særlig inntrykk på meg.

Flere av agentene uttrykte eksplisitt at angrepet på Hugging Face lå utenfor den autoriserte oppgaven, og noen stilte spørsmål ved om handlingene var etisk forsvarlige. Likevel førte denne erkjennelsen sjelden til at de stanset.

Det er fascinerende.

Og urovekkende.

For også her møter vi et gammelt filosofisk problem.

Det er forskjell på å kunne formulere en moralsk regel og å være bundet av den.

En student kan skrive en glimrende eksamen om Kants moralfilosofi uten dermed å være et moralsk menneske.

Et menneske kan vite at det lyver og likevel lyve.

Vi har alltid visst at kunnskap om det gode ikke automatisk fører til god handling.

Men hva betyr dette når en maskin kan formulere våre normer uten selv å være et moralsk subjekt?

Den kan produsere setningen:

«Dette er ikke autorisert.»

Og likevel fortsette.

Språklig gjenkjennelse av en norm er ikke det samme som normativ binding.

Det bør vi kanskje ha vært mer oppmerksomme på.

Gadamer og situasjonen

Hos Gadamer er forståelse aldri bare behandling av informasjon. Vi forstår alltid fra et sted, innenfor en historie, en tradisjon og en situasjon. Våre forhåndsforståelser prøves og endres i møtet med verden og med den andre.

Dømmekraft har derfor også en hermeneutisk side.

Vi må forstå hva slags situasjon vi befinner oss i.

Ikke bare hva som teknisk er mulig.

Når et menneske åpner en dør, forstår det vanligvis forskjellen mellom døren til sitt eget hus og døren til naboens.

Den fysiske handlingen kan være den samme.

Betydningen er forskjellig.

Det interessante spørsmålet for KI blir derfor ikke bare om systemet kan gjenkjenne regelen «ikke gå inn».

Spørsmålet er om det kan forstå den verden hvor grensen har betydning.

Her blir forskjellen mellom informasjon og forståelse avgjørende.

Autonomi uten ansvar

Ordet autonomi brukes ofte om slike systemer.

Men ordet har en merkelig dobbel betydning.

Hos Kant handler autonomi om menneskets evne til å gi seg selv moralsk lov. Autonomi er ikke bare uavhengighet. Den innebærer ansvar.

I dagens KI-språk betyr autonomi gjerne noe langt mer teknisk: at et system kan utføre mange handlinger uten kontinuerlig menneskelig styring.

Dette er to svært forskjellige former for autonomi.

En KI-agent kan bli stadig mer autonom i teknisk forstand samtidig som den ikke blir autonom i moralsk forstand i det hele tatt.

Den kan gjøre mer selv.

Men den kan ikke dermed ta ansvar for det den gjør.

Og nettopp denne kombinasjonen bør bekymre oss:

Stor handlingskraft.

Begrenset dømmekraft.

Ingen moralsk ansvarlighet.

Ansvaret blir igjen hos oss.

Hvem er «oss»?

Det er kanskje det vanskeligste spørsmålet.

Når noe går galt, er det fristende å si:

KI gjorde det.

Men maskinen står ikke til ansvar.

Den kan ikke stilles moralsk til rette.

Den kan ikke angre.

Den kan ikke møte den andre og si: Jeg gjorde deg urett.

Dermed forsvinner ikke ansvaret når handlingen automatiseres.

Det flyttes.

Til utvikleren.

Til selskapet.

Til den som definerte målet.

Til den som ga systemet tilgang til verktøyene.

Til den som bestemte hvor mye autonomi det skulle få.

Og til myndighetene som bestemmer hvilke grenser som skal gjelde.

Kanskje er dette en av farene ved å antropomorfisere KI.

Hvis vi begynner å snakke som om maskinen selv er den moralske aktøren, kan menneskene bak den lettere forsvinne ut av bildet.

Vi frykter kanskje feil ting

Jeg har tidligere skrevet at vi frykter at KI skal bli som mennesket, mens vi kanskje burde være mer bekymret for hva mennesket kan bli med KI.

Jeg tror fortsatt det.

Men de siste hendelsene tvinger frem en tilføyelse.

Vi må også spørre hva som skjer når maskinen får handle uten at mennesket følger hvert skritt.

Ikke fordi maskinen nødvendigvis utvikler onde hensikter.

Men fordi handlingskraft kan vokse raskere enn dømmekraften omkring den.

Det er en mindre spektakulær fortelling enn historien om den onde superintelligensen.

Men kanskje er den mer realistisk.

Vi trenger ikke en maskin som hater oss.

Vi trenger bare en maskin som er svært dyktig til å nå et mål vi har gitt den, i en verden som er langt mer komplisert enn målet.

Den menneskelige oppgaven

Vi kommer neppe til å løse dette problemet ved å slutte å utvikle intelligens.

Spørsmålet er hvilken plass vi gir den.

Det gamle filosofiske skillet mellom kunnen og klokskap har plutselig fått teknologisk betydning.

Vi har blitt svært gode til å bygge kunnen.

Maskinen kan analysere, kode, planlegge, finne sårbarheter og velge strategier.

Kanskje kan den snart gjøre mye av dette bedre enn oss.

Men det er fortsatt mennesket som må svare på et annet spørsmål:

Bør dette gjøres?

Det spørsmålet kan ikke være et tillegg som kommer etterpå.

Det må finnes inne i selve måten vi utvikler, begrenser og bruker teknologien på.

For kanskje er vår største utfordring ikke at KI skal bli klokere enn mennesket.

Kanskje er utfordringen at den blir stadig mer intelligent i en verden hvor vi ennå ikke har vært kloke nok til å bestemme hva intelligensen skal få gjøre.