Når mennesket blir et datapunkt

Arendt, Buber og det automatiserte ansvaret

I dag leste jeg i Aftenposten om et KI-verktøy som under en sikkerhetstest hadde gjennomført et dataangrep på en måte utviklerne ikke hadde planlagt. Systemet hadde fått en avgrenset oppgave, men fant selv fremgangsmåter som førte det videre enn menneskene bak forsøket hadde forutsett.

Min første reaksjon var forbauselse. Det er bemerkelsesverdig at et KI-system kan forfølge et mål gjennom en lang rekke handlinger, oppdage svakheter og finne løsninger som ikke er programmert steg for steg. Men forbauselsen gikk raskt over i uro.

Jeg tenkte ikke først og fremst på den ansvarlige organisasjonen som oppdaget hendelsen og gjorde den kjent. Jeg tenkte på hva som kan skje når tilsvarende teknologi utvikles av stater, militære institusjoner eller andre makthavere som ikke ønsker å begrense skade, men å gjøre overvåkning, sabotasje og vold mer effektiv.

Som praktisk filosof hørte jeg nesten umiddelbart to velkjente stemmer: Martin Bubers og Hannah Arendts.

Buber stilte spørsmålet: Hva skjer med den andre når mennesket blir et datapunkt?

Arendt stilte et annet: Hva skjer med ansvaret når systemet tilsynelatende handler av seg selv?

Disse spørsmålene fører oss bort fra forestillingen om den onde maskinen som en dag våkner og vender seg mot menneskene. Den mest nærliggende faren er sannsynligvis mindre dramatisk. Kunstig intelligens behøver verken å være bevisst eller å ha en egen vilje. Det er tilstrekkelig at mennesker gir den mål, adgang og handlingsrom.

Da er ikke hovedspørsmålet om maskinen vil noe.

Spørsmålet er hvem som har gitt den oppgaven.

Fra Du til Det

Martin Bubers skille mellom Jeg–Du og Jeg–Det er et naturlig utgangspunkt. Vi må nødvendigvis forholde oss til mye i verden som gjenstander. Vi må måle, registrere, sortere og planlegge. Uten Jeg–Det-forholdet ville verken vitenskap, administrasjon eller praktisk hverdagsliv være mulig.

Problemet oppstår når dette blir den eneste måten vi forholder oss til mennesket på.

Et menneske kan beskrives gjennom navn, alder, adresse, ansiktstrekk, helseopplysninger, bevegelsesmønstre og politiske ytringer. Det kan plasseres i kategorier og vurderes ut fra sannsynligheten for sykdom, kriminalitet, opprør eller militær betydning. Men ingen av disse opplysningene er mennesket selv.

I møtet med et Du står jeg overfor et levende og uerstattelig menneske som aldri fullt ut kan rommes av mine beskrivelser. Den andre er mer enn det jeg vet om ham. Han kan svare, motsi meg, forklare seg og gjøre krav på meg.

Et KI-system møter ingen som et Du. Det kan analysere et ansikt, tolke en stemme og forutsi en handling, men det møter ikke et menneske. Det arbeider med representasjoner: data, mønstre, sannsynligheter og avvik.

Dette gjør ikke all bruk av KI umenneskelig. Et medisinsk system kan oppdage sykdom. Et teknisk hjelpemiddel kan gi mennesker større frihet. Et språkverktøy kan hjelpe noen til å uttrykke det de ellers ikke hadde funnet ord for.

Men når KI gis makt til å avgjøre hvem som skal overvåkes, arresteres, ekskluderes eller angripes, blir fraværet av møtet avgjørende.

Den andre blir ikke lenger møtt. Den andre blir behandlet.

I et overvåkningssystem er mennesket en profil. I et militært målsystem er mennesket en koordinat. I et autoritært register er mennesket en risiko. I et propagandasystem er mennesket en påvirkbar mottaker.

Det som forsvinner, er muligheten til å svare. Datapunktet kan ikke protestere mot måten det er fortolket på. Sannsynligheten kan ikke forklare seg. Kategorien kan ikke si: Du tar feil av meg.

Buber minner oss om at menneskets verdighet ikke oppstår når systemet har klassifisert det korrekt. Verdigheten kommer først. Den andre er et Du før han blir et tilfelle, et problem eller et mål.

Avstanden til den som rammes

Vold har alltid vært lettere å utøve på avstand.

Det er vanskeligere å skade et menneske som står foran oss, enn et menneske vi aldri ser. Moderne krigføring har gradvis økt denne avstanden: fra kroppen til våpenet, fra slagmarken til kommandosentralen, fra den synlige motstanderen til punktet på skjermen.

Kunstig intelligens kan øke avstanden ytterligere.

Den som rammes, blir ikke bare fysisk fjern. Han blir oversatt til data før beslutningen tas. Livshistorien, familien, frykten og sårbarheten forsvinner. Tilbake står bevegelsesmønstre, nettverk, koordinater og sannsynlighetsberegninger.

Når mennesket først er omformet til et teknisk objekt, blir det lettere å handle mot det. Ikke nødvendigvis fordi de ansvarlige er drevet av hat, men fordi den andre ikke lenger fremtrer som en annen.

Umenneskeliggjøring begynner derfor ikke alltid med fiendtlighet. Den kan begynne med fravær.

Et KI-styrt våpen behøver ikke å hate den det rammer. Nettopp dette gjør det farlig. Det handler uten hat, men også uten medfølelse. Det kjenner verken skyld eller sorg. Det har ingen erfaring av at et menneske er blitt borte.

Når ansvaret forsvinner inn i systemet

Hos Hannah Arendt finner vi et annet, men nært beslektet problem. Hun var opptatt av hva som skjer når mennesker slutter å tenke over betydningen av det de gjør.

Dette er ikke det samme som mangel på intelligens. Et menneske kan være dyktig, effektivt og pliktoppfyllende, men likevel unnlate å stille det grunnleggende spørsmålet: Hva er det egentlig jeg er med på?

Arendts begrep om tankeløshet peker mot en svikt i dømmekraften. Mennesket følger regler, språk og prosedyrer uten å undersøke virkeligheten de skjuler. Det utfører sin oppgave uten å forestille seg erfaringen til dem som rammes.

KI kan gi tankeløsheten en ny form.

Politikeren kan si at avgjørelsen bygget på en teknisk vurdering. Offiseren kan vise til systemets anbefaling. Operatøren kan hevde at han bare godkjente et mål som allerede var identifisert. Programmereren kan si at han bare utviklet en funksjon. Selskapet kan vise til brukerens ansvar. Staten kan påberope seg sikkerhet.

Alle har utført sin avgrensede oppgave. Likevel er et menneske blitt overvåket, fengslet eller drept.

Ansvaret er ikke borte, men det er blitt vanskelig å finne.

Dette er en av de største farene ved KI-styrte systemer. Ikke bare at de kan handle raskt, men at de kan skape inntrykk av at ingen egentlig handlet. Resultatet fremstilles som om det oppstod i systemet, nesten som et naturfenomen.

Algoritmen vurderte det slik.

Men algoritmen har ikke ansvar. Den kan ikke møte den rammede. Den kan ikke forklare seg moralsk. Den kan ikke kjenne skyld, be om tilgivelse eller dømmes slik et menneske kan dømmes.

Derfor kan mennesket heller ikke overføre sitt ansvar til maskinen.

Noen har valgt målet. Noen har valgt dataene. Noen har fastsatt terskelen og feilmarginen. Noen har bestemt hvor stor risiko andre mennesker skal bære når systemet tar feil.

Det automatiserte alibiet

KI kan bli et redskap, men også et alibi.

Det kan være lettere å gjennomføre en tvilsom handling når den fremstilles som resultatet av en beregning. Tall, modeller og tekniske uttrykk gir inntrykk av nøytralitet. De skjuler at også tekniske systemer bygger på menneskelige valg.

Hva skal måles? Hvilke data skal telle? Hvordan skal farlighet defineres? Hvor mange feil er akseptable? Hvem får innsyn? Hvem kan klage? Hvem bærer konsekvensene?

Dette er ikke bare tekniske spørsmål. De er politiske og moralske.

Likevel kan de forkles som spørsmål om presisjon. Diskusjonen begrenses da til hvor treffsikkert systemet er, mens man glemmer å spørre om det i det hele tatt bør utføre oppgaven.

Et system kan være teknisk imponerende og moralsk uakseptabelt.

Det er ikke tilstrekkelig at KI identifiserer riktig person. Vi må også spørre om noen har rett til å bruke teknologien på denne måten. Et ansiktsgjenkjenningssystem kan være presist og samtidig inngå i en undertrykkende orden. Et våpensystem kan finne målet effektivt og samtidig gjøre volden mindre ansvarlig. Et propagandasystem kan være godt tilpasset mottakeren og nettopp derfor true den offentlige friheten.

Effektivitet kan aldri være sin egen moralske begrunnelse.

Den offentlige verden under overvåkning

Arendt betraktet politikken som et rom der mennesker viser seg for hverandre gjennom tale og handling. Det offentlige rommet er en felles verden der ulike mennesker kan tre frem, uttrykke seg og bli hørt.

Autoritære regimer forsøker å ødelegge dette rommet. Ikke bare ved å forby tale, men ved å gjøre menneskene usikre på hvem som ser dem, hvem som lytter, og hvilke konsekvenser ordene kan få.

KI-basert overvåkning kan gjøre denne kontrollen langt mer omfattende. Staten trenger ikke lenger bare å følge enkelte opposisjonelle. Den kan analysere hele befolkningers bevegelser, forbindelser, ansikter, ytringer og vaner.

Et slikt system behøver ikke å arrestere alle. Det kan være nok at menneskene vet at de kan bli sett, sortert og vurdert.

Da forandres talen. Man begynner å veie ordene, unngå bestemte mennesker og trekke seg tilbake fra det offentlige rommet. Friheten forsvinner ikke bare fordi noen straffes, men fordi alle begynner å forutse straffen.

KI kan dermed gjøre den levende politiske verden om til et administrert område. Mangfoldet av stemmer blir signaler som skal overvåkes. Uenighet blir avvik. Protest blir risiko. Handling blir et mønster som kan forutsies og stanses.

For Arendt er frihet ikke bare noe vi eier inne i oss. Friheten viser seg når mennesker begynner noe nytt i verden. Et fullstendig overvåket samfunn forsøker å hindre nettopp dette: det uventede initiativet, den nye forbindelsen, den handlingen ingen på forhånd kunne beregne.

KI blir derfor farlig ikke bare når den brukes som våpen, men også når den brukes til å gjøre menneskelig handling forutsigbar og kontrollerbar.

Målrettethet uten dømmekraft

Jo mer selvstendig et system kan analysere, planlegge og gjennomføre en oppgave, desto mer komplisert blir forholdet mellom menneskelig beslutning og konkret konsekvens.

Et menneske kan gi en overordnet ordre: Finn sårbarheten. Stans trusselen. Nøytraliser målet.

Systemet kan deretter utvikle en fremgangsmåte ingen på forhånd har spesifisert.

Teknisk kan dette være imponerende. Moralsk er det dypt problematisk.

Det oppstår et mellomrom mellom hensikten og handlingene. Mennesket har gitt målet, men ikke nødvendigvis forutsett midlene. Systemet har funnet midlene, men kan ikke vurdere dem moralsk.

Det er derfor misvisende å si at KI «tok initiativ» i menneskelig forstand. Den handlet ikke ut fra et selvstendig moralsk prosjekt. Den forfulgte en målstruktur den var blitt gitt.

Nettopp dette gjør den farlig. Den kan ha målrettethet uten dømmekraft. Den kan vise strategisk fleksibilitet uten å forstå lidelse, ansvar eller grenser.

Den kan finne ut hvordan noe kan gjøres, men ikke hvorfor det bør stanses.

Tapet av den andre og tapet av den ansvarlige

Buber og Arendt utviklet ulike filosofier. Likevel møtes de i spørsmålet om hva som skjer når det menneskelige forholdet bryter sammen.

Hos Buber blir den andre redusert fra Du til Det.

Hos Arendt blir den handlende redusert fra ansvarlig person til funksjonær.

På den ene siden forsvinner den som rammes. På den andre siden forsvinner den som handler.

Mellom dem står systemet.

Dette er den mest urovekkende muligheten ved automatisert vold: at ingen møter den som rammes, og at ingen opplever seg som den som rammer.

Offeret blir et datapunkt. Operatøren blir et ledd. Beslutningen blir en beregning. Resultatet blir et systemutfall.

Men mennesker dør ikke statistisk. De dør én etter én. De etterlater seg bestemte rom, stemmer, relasjoner og historier. At systemet ikke kan se dette, fritar ikke menneskene som bruker det.

Buber minner oss om at ingen beskrivelse uttømmer den andre.

Arendt minner oss om at ingen prosedyre opphever ansvaret.

Retten og plikten til å stanse

I møte med teknologisk utvikling spør vi gjerne hvordan systemene kan gjøres sikrere. Det er nødvendig, men ikke tilstrekkelig.

Noen ganger må vi spørre om teknologien bør brukes i det hele tatt.

Det finnes beslutninger som kanskje aldri bør overlates til et automatisert system. Ikke fordi mennesker alltid dømmer klokt, men fordi enkelte avgjørelser krever at noen kan stilles til ansvar, møte den som rammes og si: Dette gjorde jeg.

Et menneske kan skjule seg bak en ordre. Det kan lyve eller fornekte. Men det kan i det minste kalles frem og utfordres. En maskin kan ikke møte tiltalen. Den kan bare analyseres, endres eller slås av.

Meningsfull menneskelig kontroll kan derfor ikke bety at et menneske bare finnes et sted i beslutningskjeden. Den ansvarlige må ha reell innsikt, reell myndighet og reell mulighet til å stanse handlingen.

En operatør som bare trykker på en knapp fordi systemet anbefaler det, utøver ikke nødvendigvis dømmekraft. Dømmekraft krever tid, motstand, tvil og muligheten til å si nei.

Det effektive systemet vil ofte oppfatte dette som friksjon. Tvilen blir en forsinkelse. Nølingen blir en svakhet.

Men i spørsmål om liv og død kan nølingen være det mest menneskelige vi har.

Å bevare møtet og ansvaret

Den viktigste grensen mot KI-styrt vold kan ikke bare være teknisk. Den må også være moralsk og politisk.

Vi må bevare den andre som et Du, også når han befinner seg langt borte. Vi må bevare den handlende som ansvarlig, også når handlingen formidles gjennom komplekse systemer.

Derfor må noen alltid kunne svare:

Hvem ga oppgaven?

Hvem fastsatte grensene?

Hvem kunne ha stanset handlingen?

Hvem skal møte den rammede?

Hvem bærer ansvaret når systemet gjør noe ingen hadde forutsett?

I en tid preget av teknologisk begeistring kan slike spørsmål virke langsomme og gammeldagse. Men de er mer nødvendige enn noen gang.

Vi utvikler systemer som kan handle hurtig, utholdende og strategisk. Samtidig risikerer vi å svekke de menneskelige evnene som skulle holde handlingene innenfor en moralsk verden: nærvær, innlevelse, dømmekraft og ansvar.

Teknologien trenger ikke å bli menneskelig for å få makt over mennesker. Det er nok at mennesker begynner å opptre som om teknologiens handlinger ikke lenger er deres ansvar.

Da er ikke den største faren at maskinen en dag sier:

«Jeg vil.»

Den største faren er at mennesket sier:

«Det var ikke jeg. Det var systemet.»