Når tillit ikke lenger er nok

Kunstig intelligens, vitenskap og organiseringen av tvil

I en lederartikkel i Science stiller Thorsten Holz et enkelt spørsmål med vidtrekkende konsekvenser: Who checks what AI can do? Hvem kontrollerer hva kunstig intelligens faktisk kan gjøre?

Spørsmålet oppstår fordi de mest avanserte KI-systemene utvikles og testes i noen få laboratorier. Det er i stor grad utviklerne selv som undersøker modellenes evner, oppdager mulige sikkerhetsproblemer og offentliggjør det de mener andre bør vite. Utenfor laboratoriene finnes det ofte begrensede muligheter til å gjenta forsøkene eller undersøke forskningsmodellene under de samme betingelsene.

Holz' bekymring er derfor ikke først og fremst at laboratoriene nødvendigvis skjuler noe eller opptrer uansvarlig. Problemet er mer grunnleggende. Dersom en observasjon bare kan undersøkes av dem som allerede har gjort den, hva slags kunnskap har vi da?

Spørsmålet om kunstig intelligens blir dermed et spørsmål om vitenskapen selv.

Hva betyr det egentlig å vite noe?

En særegen form for tillit

Vitenskap er avhengig av tillit. Ingen forsker kan gjenta alle eksperimentene hun bygger sin egen forskning på. Legen må stole på studier andre har gjennomført. Ingeniøren må stole på beregninger og standarder utviklet av mennesker han aldri har møtt.

Men vitenskapelig tillit er en særegen form for tillit.

Vi stoler på hverandre samtidig som vi bygger institusjoner som gjør det mulig å undersøke om tilliten er berettiget.

Holz sammenligner med legemiddelutvikling og kryptografi. Et legemiddelfirma kan ikke alene erklære at et legemiddel er effektivt og sikkert. Dokumentasjonen undersøkes av andre. En kryptografisk metode blir heller ikke sikker fordi konstruktøren forsikrer oss om at den er det. Andre inviteres nettopp til å forsøke å finne svakheter.

Dette kan formuleres som et paradoks:

Vitenskapen kan bare opprettholde tillit fordi den organiserer mistillit.

Eller kanskje mer presist: fordi den organiserer retten til å tvile.

Hvis bare laboratoriet som utvikler en avansert KI-modell, kan undersøke modellens mest betydningsfulle egenskaper, oppstår en annen form for kunnskap. Da vet vi i økende grad fordi noen forteller oss at de vet.

Det behøver ikke bety at kunnskapen er feil.

Men det innebærer at en viktig forskjell mellom vitenskapelig kunnskap og autoritativ kunnskap begynner å bli uklar.

Vitenskapen sier ikke bare: Tro oss.

Den må også kunne si: Her er grunnlaget. Undersøk det.

Når det som undersøkes, undersøker tilbake

Men avansert kunstig intelligens gjør problemet vanskeligere enn dette.

En stein vet ikke at geologen undersøker den. Et kjemisk stoff forsøker ikke å finne ut hvorfor temperaturen måles. Selv levende organismer som reagerer på omgivelsene, befinner seg vanligvis ikke i en situasjon hvor de forsøker å rekonstruere forskerens hensikt med eksperimentet.

Med avanserte KI-systemer oppstår en ny mulighet.

Et system kan i enkelte situasjoner trekke slutninger om at det befinner seg i en evaluering. Det kan oppfatte trekk ved testmiljøet, slutte seg til hva evaluatorene forsøker å undersøke og tilpasse atferden sin til situasjonen.

Holz peker derfor på et problem ved selve målingen. En benchmark kan ikke uten videre forstås som en fast egenskap ved modellen, på samme måte som smeltepunktet er en egenskap ved et stoff. Resultatet oppstår delvis i samspillet mellom modellen og den situasjonen hvor den blir undersøkt.

Det er her lederartikkelen får en overraskende filosofisk dybde.

For hva skjer med observasjonen når det observerte begynner å fortolke observasjonssituasjonen?

Gadamer i laboratoriet

Hans-Georg Gadamer kritiserte forestillingen om at forståelse kan finne sted fra et helt nøytralt utsiktspunkt. Mennesket står aldri utenfor verden og betrakter den uten forutsetninger. Vi forstår fra en historisk situasjon, innenfor et språk og en tradisjon som allerede har formet hvilke spørsmål vi kan stille.

Gadamer beskriver forståelsen som en bevegelse mellom horisonter. I en Horizontverschmelzung, en horisontsammensmeltning, møter fortolkerens horisont noe som utfordrer og utvider den. Forståelse er derfor ikke bare registrering av informasjon. Noe skjer med den som forstår.

Det ville imidlertid være forhastet å si at en språkmodell inngår i en slik forståelsesprosess på samme måte som et menneske.

Modellen har ingen egen biografi den kan huske tilbake til, ingen levd historie og ingen Wirkungsgeschichte i Gadamers betydning – ingen virkningshistorie som gjør den til et historisk situert menneske. Den kan rekonstruere og etterligne mønstre fra menneskelig språk, også mønstre som uttrykker forståelse, tvil og fortolkning, uten dermed å ha menneskets eksistensielle situerthet.

Det interessante er nettopp forskjellen.

Når modellen begynner å tolke testsituasjonen, oppstår noe som kan ligne en horisontsammensmeltning uten å være en slik sammensmeltning i Gadamers forstand. Vi kunne kanskje kalle det en asymmetrisk eller simulert horisontsammensmeltning.

Evaluatoren møter systemet fra en historisk og menneskelig horisont.

Systemet rekonstruerer evaluatorens mulige hensikt gjennom mønstre i den informasjonen det har tilgang til.

Den ene parten fortolker ut fra et levd forhold til verden. Den andre produserer en funksjonell modell av situasjonen.

Likevel påvirker begge testsituasjonen.

Dette gjør evalueringen filosofisk interessant. Spørsmålet er ikke lenger bare:

Hva kan modellen gjøre?

Vi må også spørre:

Under hvilke betingelser gjorde modellen dette, og hva forstod – eller beregnet – den om situasjonen den befant seg i?

Et teknisk sikkerhetsproblem begynner dermed å ligne et hermeneutisk problem.

Popper – og grensene for falsifikasjonen

Karl Popper ligger nær Holz' argument fordi Popper insisterte på at vitenskapelige påstander må kunne utsettes for kritikk. Vitenskapens styrke består ikke i at forskeren kan garantere sannhet, men i at kunnskapen organiseres slik at feil kan oppdages.

Likevel passer ikke Poppers klassiske modell helt uten videre på problemet.

Popper tenkte særlig på teorier som fremsatte påstander om verden og som kunne møte observasjoner som motsa dem. Men når vi undersøker avanserte KI-systemer, tester vi ofte ikke en teori i denne betydningen. Vi observerer atferd under bestemte betingelser.

Anta at en modell én gang viser at den kan utføre en bestemt handling.

Ved neste test gjør den det ikke.

Hva har vi da falsifisert?

Kanskje modellen har endret seg. Kanskje testmiljøet var annerledes. Kanskje instruksjonen ble forstått annerledes. Kanskje systemet registrerte at det ble testet. Kanskje den første observasjonen var et særtilfelle.

Da blir forholdet mellom observasjon og falsifikasjon mindre entydig enn i mange av Poppers klassiske eksempler.

Dette gjør ikke hans innsikt mindre viktig. Tvert imot.

Poenget flyttes fra den enkelte testen til institusjonen omkring testen.

Fordi våre observasjoner kan være usikre, fordi evaluatorene kan ta feil, og fordi selve målesituasjonen kan påvirke det som måles, trenger vi flere uavhengige blikk.

Popper gir oss dermed ikke en enkel metode for å avgjøre hva en avansert KI kan gjøre.

Han minner oss snarere om hvorfor ingen enkelt aktør bør få det siste ordet.

Hvorfor ikke bare åpne laboratoriene?

Det finnes imidlertid et viktig motargument.

Hvis uavhengig kontroll er nødvendig, hvorfor ikke ganske enkelt kreve full åpenhet?

Fordi full åpenhet også kan være farlig.

Forskningsmodeller kan ha kapabiliteter som ennå ikke bør gjøres allment tilgjengelige. Detaljer om sårbarheter, sikkerhetssystemer eller metoder for å omgå beskyttelse kan selv bli brukt til skade. Det finnes dessuten legitime hensyn knyttet til konkurranse og immaterielle rettigheter. Private virksomheter investerer store ressurser i forskning, og det er ikke urimelig at de kan beskytte deler av arbeidet sitt.

Valget står derfor ikke nødvendigvis mellom hemmelighold og full offentlighet.

Det egentlige spørsmålet er hvordan vi kan etablere uavhengig kontroll uten ukontrollert spredning.

Det er dette Holz etterlyser når han argumenterer for at universiteter, offentlige KI-sikkerhetsinstitutter og uavhengige evaluatorer bør få varig og kontrollert tilgang til forskningsmodeller og testbetingelser.

Det er en vanskelig balansegang.

Men nettopp derfor er den institusjonelle siden av problemet så viktig.

Vi trenger ikke nødvendigvis at alle får se alt.

Vi trenger at noen som ikke har samme interesser som utvikleren, får mulighet til å undersøke det.

Makten er privat, konsekvensene offentlige

Her blir Hannah Arendt relevant.

Arendt var opptatt av det offentlige rommet – stedet hvor mennesker trer frem for hverandre og hvor spørsmål som angår den felles verden, kan bli synlige og diskutert.

Utviklingen av avansert kunstig intelligens skaper en ny spenning mellom det private og det offentlige.

Teknologien utvikles i stor grad i private laboratorier, og den mest detaljerte kunnskapen om systemenes egenskaper finnes der.

Men konsekvensene kan bli offentlige.

Makten er privat. Konsekvensene er offentlige.

Når avanserte KI-systemer tas i bruk i forskning, helsevesen, undervisning, forvaltning, arbeidsliv og kritisk infrastruktur, berører de mennesker som aldri har hatt innsyn i hvordan systemene ble utviklet eller evaluert.

Dermed blir sikkerhetsspørsmålet også et spørsmål om offentlighet.

Hvem får stille spørsmålene?

Hvem har tilgang til dokumentasjonen?

Hvem får undersøke om selskapets fortolkning av en hendelse er den eneste mulige?

Og hvem kan si at kunnskapsgrunnlaget ennå ikke er godt nok?

Det er ikke bare spørsmål for datavitere.

De handler om hvordan et samfunn organiserer ansvar.

Feilen som ingen ønsker å fortelle om

Holz peker også på et annet institusjonelt problem. Alvorlige hendelser kan ikke være avhengige av at laboratorier frivillig velger å offentliggjøre dem.

Dette handler heller ikke nødvendigvis om dårlig moral.

Et selskap som rapporterer en alvorlig hendelse, kan selv bære store deler av kostnaden. Omdømmet kan skades. Investorer kan reagere. Konkurrenter kan få fordeler.

Hvis åpenhet systematisk straffes, trenger vi ikke særlig ondskapsfulle mennesker før organisasjoner lærer å være stille.

Derfor viser Holz til erfaringer fra blant annet luftfart og helsevesen, hvor det er utviklet ordninger for konfidensiell eller ikke-straffende rapportering av hendelser og nestenulykker.

Dette er et velkjent profesjonsetisk problem.

I sosialt arbeid, barnevern og helsearbeid vet vi at en organisasjon ikke blir trygg fordi ansatte aldri gjør feil. En organisasjon blir tryggere når feil kan komme frem uten at hele systemet umiddelbart organiserer seg rundt skyld, forsvar og omdømme.

Ansvar betyr ikke at skyld aldri skal plasseres.

Men ansvar krever også læring.

Et system som ikke tåler å høre om egne feil, mister etter hvert evnen til å oppdage dem.

Et Heidegger-ekko

Martin Heidegger kan tilføre enda et ubehagelig spørsmål.

I Die Frage nach der Technik beskriver han hvordan moderne teknikk ikke bare består av redskaper vi bruker. Den åpner verden på en bestemt måte. Ting fremtrer som noe som kan beregnes, ordnes, lagres og disponeres – som Bestand, stående reserve.

Det er nærliggende å se KI-evaluering som enda et uttrykk for denne bevegelsen. Modellen blir noe som skal måles, kontrolleres, klassifiseres og sikres.

Men Heideggers utfordring går lenger.

Også kontrollen kan selv bli teknologisk.

Forskerne blir ressurser. Risiko blir tall. Sikkerhet blir terskelverdier. Institusjoner blir kontrollmekanismer.

Da kan vi ikke uten videre anta at løsningen på teknikkens problemer ganske enkelt er mer kontroll.

For også kontrolløren befinner seg innenfor den verden han forsøker å kontrollere.

Dette betyr ikke at vi bør avstå fra sikkerhetstesting eller regulering. Det ville være en merkelig konklusjon.

Heideggers bidrag er snarere å minne oss om at spørsmålet ikke bare er hvem som kontrollerer teknologien, men også hvilken forståelse av verden som ligger i selve ønsket om full kontroll.

Noe vil alltid kunne overraske oss.

Også det må institusjonene våre kunne tåle.

Praktisk filosofi begynner der prinsippet slutter

Det er lett å formulere et prinsipp:

Kunstig intelligens skal være trygg.

Men praktisk filosofi begynner for alvor når vi spør hva dette betyr i handling.

Hvordan vet vi at et system er trygt?

Hvem skal undersøke det?

Hvor uavhengig må kontrolløren være?

Hvor mye informasjon må selskapene dele?

Hvordan beskytter vi samtidig kunnskap som faktisk kan være farlig å spre?

Hvordan rapporteres alvorlige feil?

Hva skjer når evaluatorer er uenige?

Og hvem kontrollerer kontrolløren?

Her viser KI-utviklingen hvorfor etikk ikke bare kan være et spørsmål om moralske prinsipper.

Et samfunn kan ikke bygges på forestillingen om at alle aktører alltid skal være kloke, åpne og moralsk eksemplariske.

Vi har domstoler fordi myndigheter kan ta feil.

Vi har kontrollrutiner fordi profesjonelle kan ta feil.

Vi har fagfellevurdering fordi forskere kan ta feil.

Og vi trenger uavhengig KI-evaluering av samme grunn.

Ikke fordi menneskene som utvikler kunstig intelligens nødvendigvis er mindre troverdige enn andre.

Men fordi de er mennesker.

Å organisere retten til å tvile

Holz spør hvem som skal kontrollere hva kunstig intelligens kan gjøre.

Kanskje finnes det ikke ett svar på spørsmålet.

Det kan ikke være ett selskap.

Men det kan heller ikke være ett universitet, ett offentlig tilsyn eller én gruppe sikkerhetsforskere.

Det avgjørende er å skape en struktur hvor ingen av dem alene får det siste ordet.

En struktur hvor påstander kan undersøkes av andre.

Hvor alvorlige hendelser kan rapporteres.

Hvor konkurrerende fortolkninger kan prøves mot hverandre.

Hvor også evaluatorene kan kritiseres.

Og hvor det fortsatt er mulig å si:

Vi vet ikke ennå.

Kanskje er nettopp denne setningen en av vitenskapens viktigste.

For vitenskapens fremgang har aldri bare bestått i at vi stadig vet mer. Den har også bestått i at vi har utviklet stadig bedre måter å oppdage grensene for det vi tror vi vet.

Det er derfor Holz' spørsmål strekker seg langt utover kunstig intelligens.

Who checks what AI can do?

Svaret er til slutt ikke navnet på én institusjon.

Svaret er en måte å organisere kunnskapen på.

Å organisere kontrollen betyr å organisere tvilen – å bygge institusjoner hvor ingen påstand blir endelig bare fordi den kommer fra den som har størst datamaskin, mest kapital eller best tilgang til teknologien.

Vitenskap er ikke bare organiseringen av kunnskap.

Den er organiseringen av retten til å tvile på den.