Vi frykter at KI skal bli som mennesket

Kanskje burde vi være mer bekymret for hva mennesket kan bli med KI

Vi har lenge fryktet at kunstig intelligens skal bli for menneskelig.

At den skal begynne å ville.

At den skal utvikle egne mål.

At den skal manipulere oss, lure oss, gjøre opprør eller vende seg mot oss.

Fortellingen er gammel, selv om teknologien er ny. Fra Frankenstein til HAL 9000, fra Terminator til dagens diskusjoner om superintelligens, vender det samme spørsmålet tilbake:

Hva skjer dersom maskinen blir som oss?

Men kanskje stiller vi spørsmålet feil vei.

Kanskje den største faren ikke er at KI blir for menneskelig.

Kanskje den største faren er hva mennesket blir når det får KI.

Et gammelt problem med nye midler

Mennesket har aldri manglet evnen til å skade.

Vi har ført krig. Vi har bygget fengsler og konsentrasjonsleirer. Vi har utviklet propaganda, torturert, overvåket, manipulert og drept. Det finnes ingen grunn til å romantisere menneskets moralske historie.

Det nye med kunstig intelligens er derfor ikke at ondskap plutselig blir mulig.

Det nye er skalaen. Hastigheten. Presisjonen. Automatiseringen.

Mennesket får et redskap som kan analysere millioner av mennesker samtidig, produsere propaganda i industriell skala, kartlegge svakheter, finne mål, overvåke atferd, etterligne stemmer, manipulere bilder, utvikle kode og koordinere handlinger uten tretthet.

Menneskets gamle tilbøyeligheter får nye forsterkere.

Det er her spørsmålet om KI blir et spørsmål om mennesket.

Teknologien har ingen moral

Det er fristende å spørre:

Kan vi stole på kunstig intelligens?

Men spørsmålet kan være for enkelt.

KI er ikke én aktør. Den har ingen samlet hensikt, ingen politisk ideologi, ingen nasjonalitet, ingen moral.

Det avgjørende er hvem som setter målet, hvem som kontrollerer systemet, hvilke begrensninger som finnes, og hva slags handlinger teknologien gjør mulig.

En språkmodell kan hjelpe en student med å forstå Aristoteles. Den kan også hjelpe en propagandist med å produsere tusenvis av overbevisende løgner.

Et analyseverktøy kan oppdage kreft tidligere. Det kan også brukes til masseovervåking.

En autonom agent kan finne sikkerhetshull for å beskytte et datasystem. Den kan også finne de samme sikkerhetshullene for å ødelegge det.

Teknologien er ikke moralsk nøytral i den forstand at alle bruksområder er like gode.

Men den er heller ikke moralsk ansvarlig.

Ansvaret forblir menneskelig.

Tre former for avstand

Det finnes et gammelt filosofisk tema som dukker opp igjen og igjen når man tenker over hva makt gjør med mennesket:

avstand.

Ikke fysisk avstand nødvendigvis, men den avstanden som oppstår mellom en handling og dens konsekvens, mellom den som bestemmer og den det bestemmes over, mellom det jeg gjør og det jeg opplever at jeg gjør.

Kunstig intelligens har en enestående evne til å produsere nettopp denne typen avstand — i industriell skala.

Emmanuel Levinas mente at etikken begynner i møtet med den andre.

Den andres ansikt stiller et krav.

Du må ikke redusere den andre til en ting, til noe som bare skal måles, sorteres, klassifiseres eller brukes.

Mye av den digitale teknologien trekker i motsatt retning.

Mennesket blir data.

Et mønster.

En profil.

En risiko.

En sannsynlighet.

En kunde.

En velger.

En potensiell trussel.

Jo mer data vi samler, desto lettere blir det å tro at vi kjenner mennesket.

Men det er en forskjell mellom å vite mye om noen og å møte dem.

Kunstig intelligens kan gjøre denne forskjellen større: Et regime trenger ikke lenger tusenvis av medarbeidere for å overvåke befolkningen. Et selskap trenger ikke kjenne mennesket for å påvirke det. En militær organisasjon trenger ikke se ansiktet til den som skal rammes.

Levinas' ansikt forsvinner ikke.

Det blir bare mulig å handle som om det ikke var der.

Det er den første formen for avstand:

avstanden fra den andre.

Den andre formen beskrev Hannah Arendt, uten å tenke på maskiner i det hele tatt.

Hun viste hvordan moderne byråkratier kan skape en form for ansvarsløshet nettopp fordi handlingen deles opp.

Én person lager listen.

En annen organiserer transporten.

En tredje fører regnskapet.

Ingen opplever at de alene gjør det onde.

Systemet gjør det.

Kunstig intelligens kan gjøre denne avstanden enda større.

Når en algoritme velger hvem som skal overvåkes, hvem som skal nektes adgang, hvem som skal undersøkes nærmere eller hvem som skal anses som farlig, kan mennesket lettere si:

Systemet vurderte det slik.

Modellen anbefalte det.

Algoritmen fant mønsteret.

Man ser konturene av dette allerede i dag, i langt mer hverdagslige sammenhenger enn overvåkingsstater: i automatiserte ansettelsesfiltre som sorterer bort søkere før et menneskelig blikk har sett dem, i komplekse kredittscoringsmodeller der ansvaret er vanskelig å lokalisere, og i innholdsmodereringssystemer der avgjørelser fattes gjennom en kjede av tekniske og organisatoriske prosesser.

I hvert av disse tilfellene finnes det en beslutning.

Men det blir vanskeligere å peke på hvem som tok den.

En anbefaling fra en maskin opphever ikke menneskets ansvar.

Den kan tvert imot gjøre det vanskeligere å se hvor ansvaret ligger.

Når avgjørelsen oppstår gjennom en kjede av modeller, data, automatiserte agenter og organisatoriske prosedyrer, kan alle føle seg litt mindre ansvarlige.

Det er en farlig form for moralsk tåke.

Den tredje formen for avstand er den eldste av alle.

Platon fanget den i fortellingen om Gyges' ring:

Hva ville et menneske gjøre dersom det kunne handle uten å bli sett?

Usynlighet er også en form for avstand — avstanden mellom handlingen og blikket som ellers ville holdt den ansvarlig.

I dag kan spørsmålet formuleres annerledes:

Hva vil mennesket gjøre når det kan se nesten alle andre, uten selv å bli sett igjen?

Tre tenkere, tre historiske sammenhenger, samme grunnfigur:

Når avstanden mellom handling og ansvar øker, blir det lettere å gjøre det man ellers ikke ville gjort.

Kunstig intelligens er ikke den første teknologien som skaper slik avstand.

Men den kan bli den mest effektive vi noen gang har bygget.

Ondskap uten hat

Vi forbinder ofte ondskap med sterke følelser.

Hat.

Raseri.

Fanatisme.

Sadisme.

Men store skader krever ikke alltid slike følelser.

Noen ganger er likegyldighet nok.

Eller effektivitet.

Eller lydighet.

Eller karrierehensyn.

Eller rett og slett ønsket om å vinne et marked.

Arendt skrev om ondskapens banalitet nettopp fordi det onde ikke alltid kommer med et demonisk ansikt.

Det kan komme gjennom mennesker som utfører oppgaver, følger rutiner og unnlater å stille spørsmål — mennesker som handler på tilstrekkelig avstand fra konsekvensene til at spørsmålet om ansvar svekkes.

KI kan passe urovekkende godt inn i denne formen.

Ikke fordi KI er ond.

Men fordi teknologien kan gjøre handlingen så effektiv og så fjern at spørsmålet om ansvar forsvinner bak systemets ytelse.

Når begrensningene forsvinner

Det er lett å forestille seg farlige KI-systemer i hendene på diktatorer, terrorister eller kriminelle.

Det er en reell risiko.

Men det finnes en annen, mer stillegående:

Mennesker med gode hensikter kan også skape farlige systemer.

De vil forbedre sikkerheten.

Effektivisere helsevesenet.

Bekjempe kriminalitet.

Forbedre skolen.

Forhindre terror.

Optimalisere økonomien.

Hensiktene kan være gode.

Men gode hensikter beskytter oss ikke automatisk mot dårlige konsekvenser.

Historien er full av systemer som begynte med ønsket om orden, kontroll eller forbedring og endte med å redusere mennesket til et middel.

Her er det verdt å stanse opp ved noe Aristoteles kanskje ville pekt på, men fra en litt annen vinkel enn den man først tenker seg.

Praktisk klokskap — phronesis, evnen til å vurdere om et middel bør brukes, ikke bare om det virker — har historisk hatt en alliert vi sjelden nevner:

begrensning.

Et menneske med dårlige hensikter har tidligere vært begrenset av tid, kunnskap, ressurser og kapasitet.

En regjering har vært begrenset av hvor mange mennesker den kunne ansette.

En propagandistisk organisasjon har vært begrenset av hvor mye innhold den kunne produsere, tilpasse og distribuere.

En overvåker har vært begrenset av hvor mange mennesker som faktisk kunne følges.

Disse begrensningene var aldri dyder i seg selv.

Men de fungerte i praksis som en slags ytre phronesis — grenser som tvang fram måtehold også der den indre dømmekraften manglet.

Kunstig intelligens kan fjerne disse begrensningene én etter én.

Og når de forsvinner, blir det tydelig hvor mye av menneskets historiske måtehold som aldri var indre dømmekraft i utgangspunktet, men ganske enkelt mangel på mulighet.

Det er ikke maskinens phronesis som mangler her.

Det er menneskets egen som blir avslørt idet de ytre begrensningene som lenge skjulte dens svakhet, faller bort.

Mennesket med forsterket vilje

Kunstig intelligens kan forstås som en forsterker.

Den forsterker kunnskap.

Kreativitet.

Vitenskap.

Produktivitet.

Men den kan også forsterke frykt.

Mistenksomhet.

Begjær etter kontroll.

Ønske om makt.

Viljen til å vinne.

Vi diskuterer ofte hvorvidt KI en dag vil utvikle egne intensjoner.

Men lenge før det skjer, dersom det noen gang skjer, kan teknologien gjøre menneskelige intensjoner langt mer virkningsfulle enn før.

Det er ikke maskinens vilje som vokser.

Det er menneskets rekkevidde.

Tillit

Derfor er spørsmålet «Har du tillit til KI?» utilstrekkelig.

Vi må spørre:

Har vi tillit til dem som utvikler systemene?

Til dem som eier dem?

Til dem som bestemmer hvilke begrensninger som skal bygges inn?

Til statene som regulerer dem?

Til militære myndigheter?

Til teknologiselskaper?

Til etterretningstjenester?

Til oss selv?

Tillit kan ikke bare handle om hvorvidt modellen gir riktige svar.

Den må også handle om makt.

Hvem kan bruke den?

Til hva?

Mot hvem?

Hvem kan si nei?

Og hvem kan kontrollere kontrolløren?

Det siste spørsmålet er til syvende og sist ikke teknisk.

Det er politisk.

Og så lenge vi behandler det som et spørsmål for ingeniører alene, vil vi lete etter svaret på feil sted.

En gammel fristelse

Det finnes en gammel menneskelig drøm om et redskap som gjør viljen grenseløs.

Den magiske ringen.

Den allvitende maskinen.

Det perfekte våpenet.

Den totale oversikten.

KI er ikke noe av dette.

Men teknologien bringer oss nærmere en situasjon der enkelte mennesker og institusjoner kan få en kapasitet som tidligere var utenkelig.

Og da vender vi tilbake til et av filosofiens eldste spørsmål:

Hva gjør makt med mennesket?

Det avgjørende spørsmålet

Vi trenger derfor ikke slutte å spørre om kunstig intelligens kan bli farlig.

Det kan den.

Vi trenger sikkerhet, regulering, tekniske begrensninger, åpenhet og kontroll.

Men vi bør samtidig passe på at frykten for en fremtidig kunstig vilje ikke får oss til å overse den menneskelige viljen som allerede finnes.

For den virkelige faren kan være langt mindre futuristisk.

Et menneske ønsker kontroll.

KI gjør kontrollen mer effektiv.

Et regime ønsker lydighet.

KI gjør overvåkingen billigere.

En bedrift ønsker oppmerksomheten vår og lærer, raskere enn noe menneske kunne, hvordan den skal holde på den.

En militær aktør ønsker å finne et mål.

KI finner det raskere.

Ingen maskin trenger å hate oss.

Det er nok at mennesker bruker den — på den avstanden teknologien nå gjør mulig.

Derfor er kanskje ikke det viktigste spørsmålet:

Hva skjer dersom kunstig intelligens en dag blir som mennesket?

Det kan være dette:

Hva skjer med mennesket når menneskets gamle begjær etter kunnskap, kontroll og makt får kunstig intelligens som redskap?

Vi frykter at KI skal bli som mennesket.

Kanskje burde vi være mer bekymret for hva mennesket kan bli med KI.

Vi frykter at KI skal bli som mennesket.

Kanskje burde vi være mer bekymret for hva mennesket kan bli med KI.

Essayet er skrevet i en samtale med Claude/Anthropic og OpenAI/ChatGPT