FFI: Folkerettskompetanse er avgjørende for ny forsvarsindustri

Moderne systemer med kunstig intelligens (KI) utgjør en særskilt utfordring for testing, sa assisterende direktør ved Forsvarets forskningsinstitutt (FFI) Christophe Birkeland i panelsamtale på Folkerettskonferansen.

– Det er utfordrende med ny teknologi som KI representerer. Strengt tatt er det ikke mulig å verifisere og teste alle mulige utfall av teknologien. Mye av dagens teknologi, som ubemannede fartøy og droner, utvikles sivilt og har flere bruksmuligheter. Dette betyr at sivile selskaper uten erfaring i forsvarssektoren nå blir viktige leverandører, sa Birkeland.

FFI utvikler forsvarsteknologi, men produserer sjelden ferdige våpen. De lager prototyper som senere videreutvikles og produseres av forsvarsindustrien. FFIs oppgaver inkluderer også verifikasjon, som innebærer å sjekke at utstyret oppfyller spesifikasjonene, og validering, som handler om å sikre at systemene dekker Forsvarets behov.

Birkeland sa at utviklingen i leveranser til Forsvaret fra private virksomheter drives av flere faktorer:

• Flerbruksvarer: Mye av den nyeste og mest innovative teknologien utvikles i utgangspunktet for sivile formål av kommersielle aktører. Disse systemene har imidlertid ofte militær bruk, og Forsvaret tar i økende grad i bruk sivile systemer.

• Kostnadseffektivitet og volum: Erfaringer fra pågående konflikter, som i Ukraina, viser verdien av store mengder rimelige ubemannede systemer (droner) fremfor et lite antall svært kostbare, tradisjonelle våpen. Dette skaper et marked for mindre, raskere produsenter som kan levere i volum.

• Rask utdatert teknologi: Med den lynraske utviklingen, spesielt innen programvare og KI, blir utstyret raskt utdatert. Det er uinteressant å lagre store mengder ferdige produkter, da fokuset er på kompetanse og mekanismer for rask produksjon ved behov. Dette åpner døren for mindre selskaper som kan tilpasse seg raskt.

Rask teknologi

Den raske utviklingen av kunstig intelligens gjør regulering krevende, sa Birkeland.

– Om 12 måneder er KI noe annet enn det er i dag. Så vi kan definere regler som høres veldig fornuftige ut nå, men som om ett år er utdaterte. Det er det som er skremmende og spennende med teknologien, at den går så utrolig fort, sa Birkeland.

FFI møter også etiske dilemmaer. Det er forbudt å utvikle kjemiske og biologiske våpen, men forskning på beskyttelse mot slike våpen er tillatt. Denne forskningen gir imidlertid kunnskap som også kan brukes til å videreutvikle våpnene.

– FFI håndterer dette ved å gradere informasjon og kun dele den med nære partnere. Norges dronestrategi setter søkelys på å bygge opp kompetanse og mekanismer for droneproduksjon, fremfor store lagre av utstyr som raskt blir utdatert, mente Birkeland.

Testing er en forutsetning

Testing av ny teknologi er en absolutt forutsetning, og ikke noe man dropper, mener Birkeland.

– FFI argumenterer alltid for fullstendig testing, men det kan være tidspress i en krigssituasjon eller andre forhold som gjør at testingen ikke kan fullføres. Når full testing ikke er mulig, defineres nye rammer og begrensninger for hvordan teknologien kan brukes, understreket han.

Denne tilnærmingen blir enda viktigere med KI-løsninger, der hver ny modell eller oppdatering krever omfattende testing.

– Samarbeidet om testing mellom Forsvaret, industrien og FFI er nært, med en felles forståelse av sjekklister og behovet for å definere tydelige begrensninger der full testing ikke er gjennomført. FFI bidrar til å forstå modellene og teste dem grundig. I tillegg må det alltid defineres absolutte grenser for operasjoner, for å redusere risikoen for feil, sa Birkeland.

Mennesket under press

Birkeland advarte om at selv med et menneske involvert i beslutningsprosessen, det som kalles «human in the loop» (HITL), er dette ikke alltid en tilstrekkelig sikkerhet dersom operatøren er under ekstremt press.

– HITL betyr at et menneske beholder den endelige beslutningsmyndigheten, for eksempel ved å godkjenne en avfyring. Hvis operatøren må ta for mange raske og komplekse beslutninger under høyt stress, kan det føre til kognitiv overbelastning, sa Birkeland.

I slike situasjoner er det en risiko for at den menneskelige dømmekraften svekkes, og at beslutninger tas under dårlige forutsetninger.

– Dette er en generell utfordring for alle menneskelige operatører i kampsituasjoner, uavhengig av om de kommer fra store eller små virksomheter. Systemdesign må ta høyde for disse menneskelige begrensningene for å sikre at folkeretten alltid etterleves, mente Birkeland.

– Folkeretten er urokkelig  

Krigens folkerett er et grunnleggende prinsipp Norge må overholde, uavhengig av motstandernes praksis. Birkeland uttrykte bekymring for at enkelte små og mellomstore virksomheter, som leverer komponenter og systemer til forsvarsindustrien, mangler grunnleggende kunnskap om folkeretten.

– En aktør som KONGSBERG har vært stor i flere tiår, og har mange ressurser og eksperter på fagområdet. Men med krig i Europa og stadig flere små virksomheter som begynner å levere utstyr som blir en komponent eller en del av problemstillingen, har de rett og slett ikke kompetanse eller tid til det. Jeg kan nevne artikkel 36 i Tilleggsprotokollen til Genève konvensjonen for dem, så blir de helt hvite i ansiktet og vet ingenting om hva du snakker om, sa Birkeland.

Han understreker også et sentralt prinsipp.

– Hvis vi går over streken i forsvaret av Norge, er spørsmålet hva vi egentlig forsvarer. Hvis Norge i sin iver etter å forsvare seg bryter folkeretten i krig, eller går utover de etiske rammene landet selv står for, undergraver vi selve verdiene vi forsøker å beskytte, mente Birkeland.

Etterlyser industriens stemme i folkerettsdebatten

KONGSBERG har et solid rammeverk for etterlevelse, med over 50 ansatte dedikert til compliance og eksportkontroll, inkludert implementering av folkerett og menneskerettigheter. Folkerett og etikk er dypt forankret i virksomheten, mente Emelie Roer-Eide, leder for Menneskerettigheter i KONGSBERG.

Hun bemerket at forsvarsindustrien ofte blir gjenstand for kritikk.

– Jeg tenker det er viktig å bemerke at jeg føler at KONGSBERG og forsvarsindustrien får veldig mye negativ omtale og ofte omtales som den store stygge ulven. Det føles som et paradoks, når det vi sitter på kanskje er noen av de beste systemene for å undersøke hvem det egentlig er som finnes der ute, både som leverandører og som kunder, sa Roer-Eide.

Roer-Eide ønsker å se flere forsvarsbedrifter delta i internasjonale fora om KI og folkerett.

Hun advarer om at mange små, sivile virksomheter nå går over til å produsere militære eller flerbruksvarer med risiko for å ikke ha tilstrekkelig kunnskap om folkeretten og eksportkontroll.

– Veldig mange mindre bedrifter, som ofte er sivile, går over til å tilvirke enten militære produkter eller flerbruksvarer, og det fører med seg en haug med utfordringer. Hvis du aldri har vært del av folkeretten, hvis du aldri har vært i eksportkontroll, hvis du aldri har vært del av de særreglene som gjelder for forsvarsindustrien, som kanskje er den mest regulerte industrien, er det en utfordring, sa Roer-Eide.

Må inn i reguleringsarbeidet

Hun mener at forsvarsindustrien må involveres i reguleringsarbeidet, for å unngå at underleverandører uten helhetsoversikt styrer utviklingen.

– Små selskaper må forstå både den operasjonelle konteksten, altså hvordan et komplett militært system fungerer i felt og de folkerettslige implikasjoner av hva de produserer, altså hvilke etiske og juridiske konsekvenser bruken av dette systemet får for de militære operatørene, advarte Roer-Eide.

Hun antydet at en del av årsaken til industriens fravær kan være en opplevelse av at sivilsamfunnet ofte har vært mer opptatt av å henge ut industrien enn av å bidra konstruktivt.

– Veldig mye av den gode fagkunnskapen om etiske temaer og diskusjoner skjer i sivilsamfunnet eller drives av sivilsamfunnet. Ikke alt, men noe. Noen deler av sivilsamfunnet har vært mer opptatt av å henge ut forsvarsindustrien enn av å ta en konstruktiv debatt med den. Jeg mener at mange av dagens selskaper som produserer forsvarsmateriell ikke har lyst til å være med på noe debatt, fordi de er lei av å bli kritisert, sa Roer-Eide.

Minimere sivile skader

KONGSBERG utfører grundige bakgrunnssjekker av leverandører og kunder, uttalte Roer-Eide. Selskapet anerkjenner statens overordnede rolle i eksportkontroll og sikkerhetspolitikk. Roer-Eide sa KONGSBERG skiller mellom produsentens ansvar og brukerens handlinger.

– Jeg liker dette eksempelet med bilprodusenten Audi: Audi kan ikke holdes ansvarlig for at noen kjører for fort i en bil, men de er ansvarlige for å sørge for at bilene kan kjøre i henhold til fartsgrensene. Og det er det samme med produksjon av våpen. Vi må se til at våpenet vi produserer kan brukes i henhold til folkeretten, men vi kan ikke holdes ansvarlige for det som den som trykker på knappen faktisk gjør, sa Roer-Eide.

Teknologisk fremgang, som mer presise våpen, kan bidra til å forbedre etterlevelsen av folkeretten ved å minimere sivile skader, mente Roer-Eide.

– Våpen som kan treffe svært spesifikke mål med høy nøyaktighet reduserer risikoen for utilsiktede skader på sivile og sivil infrastruktur. Fra et folkerettslig synspunkt hvor vi skal unngå overdreven sivil skade, er utviklingen av presisjonsvåpen ønskelig for å redusere de humanitære konsekvensene av væpnet konflikt, mente Roer-Eide.