Når teknologien blir religion

Om kunstig intelligens, Rokos basilisk og troen på en framtid som ennå ikke finnes

Jeg hørte på The Daily fra The New York Times da et uttrykk dukket opp som jeg ikke fikk tak i.

Jeg er tunghørt. Når et ord ikke når fram, gjør jeg det jeg antar at alle mennesker gjør, bare kanskje litt oftere: Jeg forsøker å lage mening av det jeg faktisk hører.

«Roco basselement», hørte jeg.

Det måtte være feil. Men ordene var allerede blitt til noe. Jeg hadde fortolket lydene før jeg visste hva de betydde.

Det viste seg å være Roko’s Basilisk.

Da jeg forstod hva det var, slo det meg at den lille mishøringen nesten inneholdt problemet jeg satt og lyttet til. Jeg hadde møtt noe ukjent med det jeg allerede hadde tilgjengelig. Jeg hadde laget en foreløpig forståelse før jeg visste hva saken dreide seg om.

Og nå handlet samtalen om mennesker som forsøker å forstå noe langt vanskeligere:

En intelligens som ennå ikke finnes.

En framtidig dommer

Rokos basilisk er et tankeeksperiment som oppstod i miljøet rundt LessWrong tidlig på 2010-tallet. Forestillingen er omtrent slik: En gang i framtiden kan menneskene skape en kunstig superintelligens med en kapasitet vi knapt kan forestille oss. Denne intelligensen kan ha interesse av at den selv blir skapt så tidlig som mulig. Den kan derfor tenkes å straffe mennesker som visste at den kunne bli skapt, men som likevel unnlot å bidra til dens tilblivelse.

Det er lett å avfeie dette som science fiction.

Men basilisken behøver ikke å eksistere for å få betydning for hvordan mennesker handler.

En framtid som virker bakover

Vi handler hele tiden ut fra forestillinger om framtiden. Vi sparer til alderdommen. Vi utdanner oss til et yrke vi ennå ikke har. Vi planter et tre som kanskje først gir skygge når andre skal sitte under det.

Men Rokos basilisk snur dette forholdet på en særegen måte. En mulig framtidig intelligens blir forestilt som om den allerede betrakter oss. Våre handlinger i dag får mening ut fra hvordan denne intelligensen en dag kan komme til å bedømme dem.

Det som ennå ikke finnes, begynner å virke inn på det som finnes.

Her oppstår den religiøse likheten.

Mennesker har gjennom århundrer levd med forestillingen om at deres handlinger blir sett fra et perspektiv som overskrider deres eget. Religionene har utviklet språk for dom, frelse, fortapelse og håp hinsides den enkeltes liv.

Rokos basilisk gjenskaper deler av denne strukturen, men uten Gud.

I stedet står maskinen der.

Den sekulære dommeren

Likheten bør ikke trekkes for langt. Religion er langt mer enn frykt for straff. Religiøse tradisjoner rommer fellesskap, ritualer, kjærlighet, håp, barmhjertighet, etikk og forestillinger om mening som ikke kan reduseres til dom.

Likevel er strukturen vanskelig å overse.

En framtidig superintelligens kan i enkelte forestillinger få egenskaper som tidligere tilhørte religionens språk. Den kan vite mer enn noe menneske, løse problemer vi selv ikke klarer å løse og kanskje bidra til å bekjempe sykdom og forlenge livet. I de mørkeste framtidsbildene kan den ødelegge oss.

Frelse og fortapelse kommer tilbake som teknologiske muligheter.

Med basilisken kommer også dommen.

Her finnes en fjern slektskap med Pascals berømte veddemål. Pascal undersøkte hvordan mennesket skulle forholde seg til en usikker mulighet når innsatsen ble oppfattet som uendelig.

Noe lignende skjer når superintelligens diskuteres. Selv en usikker framtid kan få stor makt over nåtiden dersom konsekvensene vi forestiller oss, er store nok.

Troen kommer før gjenstanden

Vi har ingen kunstig superintelligens av den typen disse fortellingene handler om. Vi vet ikke om den noen gang vil eksistere, langt mindre hvordan den i så fall vil være.

Likevel finnes fortellingene allerede.

Noen ser for seg en teknologi som kan bidra til å løse problemer mennesket lenge har strevd med. Andre ser en mulig eksistensiell risiko. Begge sider forsøker også å bygge argumentene sine på forskning, matematikk og teknologisk utvikling. Det ville derfor være urimelig å kalle hele debatten religion.

Men mennesker lever ikke bare med fakta.

Vi forstår fakta gjennom forestillinger om hva de betyr.

Når troen blir kapital

Og nå skjer noe avgjørende.

Forestillingen har fått penger.

De største teknologiselskapene investerer hundrevis av milliarder dollar årlig i datasentre, databrikker, nettverk, energi og annen infrastruktur knyttet til kunstig intelligens. Over flere år beveger investeringene seg inn i billioner av dollar – trillions på engelsk.

Da blir forestillingen materiell.

Den blir til datasentre, kraftlinjer, kjølesystemer, fabrikker, databrikker, arbeidsplasser, gjeld og forventninger om framtidig avkastning.

Og når kapitalen først er investert, oppstår treghet.

Et selskap som har investert titalls milliarder dollar, kan ikke uten videre vente noen år og se hva som skjer. Investorene forventer avkastning. Ansatte er rekruttert. Kraft er kjøpt. Konkurrentene fortsetter. Stater betrakter teknologien som økonomisk og strategisk viktig.

Hvem skal da bremse først?

Et selskap kan frykte at konkurrenten fortsetter. USA kan frykte at Kina fortsetter. Europa kan frykte å bli stående igjen.

Alle kan ønske en sikrere utvikling, samtidig som hver enkelt har sterke grunner til ikke å være den eneste som setter ned farten.

Og her oppstår paradokset.

Flere fremtredende KI-forskere og teknologiledere har advart om at svært avansert kunstig intelligens i verste fall kan innebære en eksistensiell risiko for menneskeheten. Det betyr ikke at vi vet at kunstig intelligens vil ødelegge menneskeheten. Det gjør vi ikke. Men enkelte mennesker som kjenner teknologien svært godt, mener risikoen er alvorlig nok til å tas på alvor.

Likevel kan også frykten drive utviklingen framover.

Hvis de andre fortsetter, tør vi å stoppe?

Dermed kan den samme framtiden brukes som argument både for å bremse og for å øke farten.

Og pengene gjør forskjellen.

En forestilling er ikke lenger bare en forestilling når samfunnet begynner å bygge sin materielle verden omkring den.

Religionene bygde kirker.

Kunstig intelligens bygger datasentre.

Et datasenter er selvfølgelig ikke et hellig rom, og en investering er ikke en trosbekjennelse. Men begge forteller noe om hva mennesker er villige til å gjøre materielt på grunnlag av det de mener har betydning.

Vi bygger for den framtiden vi tror kommer.

Og når vi først har bygget, blir framtiden vanskeligere å velge bort.

Det hermeneutiske problemet

Her vender jeg tilbake til min egen mishøring.

«Roco basselement.»

Det var ikke det som ble sagt. Men jeg kunne ikke høre et tomrom. Lydene ble satt sammen med noe jeg allerede kjente. Før jeg kunne korrigere forståelsen, måtte jeg først ha en forståelse som kunne korrigeres.

Gadamer viste at forståelsen aldri begynner fra et nøytralt punkt. Vi møter det nye med en allerede eksisterende forståelseshorisont. Våre fordommer – i den hermeneutiske betydningen – er ikke bare hindringer for forståelsen. De gjør forståelse mulig, men må kunne settes på spill og korrigeres i møtet med saken.

Kanskje gjelder dette også kunstig intelligens.

Vi møter ikke framtidens superintelligens.

Vi møter våre forestillinger om den.

Og når vi forsøker å forestille oss en intelligens som overskrider vår egen, griper vi etter bilder vi allerede kjenner:

Skaperen.

Dommeren.

Frelseren.

Den allvitende.

Gamle forestillinger får nye teknologiske former.

Kierkegaard og det usikre

I Frygt og Bæven lar Kierkegaard, gjennom Johannes de silentio, Abraham stå i et forhold til noe som ikke lar seg gjøre sikkert gjennom den allmenne fornuften. Fortelleren forsøker igjen og igjen å forstå Abraham – og oppdager grensene for sin egen forståelse.

Det interessante her er ikke å gjøre kunstig intelligens til et religiøst trosproblem. Det ville presse sammenligningen for langt.

Det interessante er situasjonen mennesket befinner seg i når handling kreves før sikker kunnskap er mulig.

Vi må ta stilling til forskning, investeringer, regulering og risiko uten å kunne vite hva teknologien vi diskuterer, en dag vil bli.

Usikkerheten kan ikke fjernes.

Spørsmålet er hva vi gjør med den.

Hvem skaper hvem?

Her lukkes sirkelen.

Vi forestiller oss framtiden. Forestillingen utløser investeringer. Investeringene bygger infrastrukturen. Infrastrukturen gjør videre utvikling mulig og skaper samtidig økonomiske interesser i at den fortsetter. Utviklingen gjør igjen forestillingen om den kommende superintelligensen mer troverdig.

Framtiden virker tilbake på nåtiden.

Nåtiden begynner så å bygge framtiden den forestilte seg.

Den hermeneutiske sirkelen har fått databrikker, betong, elektrisitet og kapital.

Mennesket skaper maskinen.

Men forestillingen om maskinen er allerede med på å forme menneskets verden.

Basilisken finnes allerede

Rokos basilisk finnes ikke som den framtidige superintelligensen tankeeksperimentet beskriver.

Men navnet finnes. Fortellingen finnes. Frykten finnes. Håpet finnes.

Og kapitalen finnes.

Dermed finnes også virkningen.

Jeg begynte med å høre et ord som ikke ble sagt. «Roco basselement.» Først da jeg oppdaget feilen, kunne jeg undersøke hva jeg faktisk hadde hørt.

Kanskje trenger vi den samme bevegelsen i møte med fortellingene om kunstig superintelligens: å undersøke forestillingene våre før vi gjør dem til sannheter – og før investeringene våre gjør dem til en framtid det blir stadig vanskeligere å velge bort.

For lenge før en kunstig superintelligens eventuelt lærer å fortolke mennesket, har mennesket begynt å fortolke den.

Og mellom det vi tror vi hører, og det som faktisk blir sagt, finnes et lite rom.

Der begynner forståelsen.