Kontrollen

Eva hade dragna ansiktsdrag när hon anslöt sig till mig på terrassen av en brasserie vid Odéon, morgonen därpå.

— Hur mår han?

— Bättre. Jag har tillbringat natten med att kontrollera hans system. Han svarar fortfarande konstigt, det kommer att ta tid.

— Varför säger inte Élysée något?

— För att vi ännu inte vet hur vi ska ta oss ur det här!

Hon beställde en dubbel espresso.

— Har du sett vad som cirkulerar? frågade jag henne.

Hon nickade.

Föregående dag, efter den akuta evakueringen av Cobot, hade dussintals videor översvämmat nätverken på några minuter. Vissa slutade precis efter hans sista ord: "Ni måste välja." Andra visade demonstranten som försökte få honom att dricka vin, sedan flaskan som krossades mot hans bröst.

Alla verkade hitta bekräftelse på vad de redan trodde.

För vissa hade Cobot just hotat mänskligheten. För andra hade presidenten blivit offer för ett angrepp. Vissa såg i hans fras ett ultimatum mellan människor och robotar, andra ett val mellan fred och våld.

En komiker hade avgjort: "Man måste välja mellan vitt och rött."

— Äntligen en riktig fråga! kommenterade jag.

Eva log inte.

Den officiella tystnaden närde alla hypoteser. Olycka, angrepp, sabotageförsök... En ledarskribent hade till och med nämnt ett "oavsiktligt robocid".

— Finns det juridiskt sett något som heter robocid¹? frågade jag.

— Man måste först komma överens om vad man skulle ha dödat.

Jag såg det lilla hängsmycket hon alltid bar runt halsen.

— Tar du aldrig av det?

Hon sänkte blicken och lät instinktivt fingrarna glida över det.

— Det är en present från min mamma, sa hon till slut.

Hennes ton avskräckte mig från att insistera.

Min telefon vibrerade. Ett meddelande från redaktionen på Verdict.

"Har du fler bilder från igår? Chockvideorna går hem. Vi behöver något nytt."

Jag hade faktiskt fler bilder. Men vad skulle de visa mer? En chock, en folkmassa, en orörlig robot. Inget som kunde förklara vad som verkligen hade hänt.

Vi hade till slut förväxlat att visa med att informera. En bild kunde gå världen runt utan att lära oss mycket.

Jag svarade att jag skulle skicka min analys.

När jag kom till redaktionen väntade Julien framför sin skärm.

— Titta på den här videon. Den var online mindre än fem minuter efter incidenten.

Bilden var anmärkningsvärt skarp. Cobot syntes i trekvartsperspektiv, filmad något uppifrån.

— Ingen var placerad där, förtydligade Julien.

— En övervakningskamera?

— Kanske. Men titta på hans arm.

Han startade vår inspelning bredvid. På den ena drog Cobot vänster arm sig något tillbaka. På den andra förblev den orörlig.

— En redigering?

— Eller en perspektivskillnad. Jag vet inte.

Jag tittade en gång till på de två sekvenserna.

Vilken visade verkligheten? Och varifrån kom den andra videon?

På skärmarna följde bilderna varandra. Lyon, Nantes, Toulouse, Marseille, Lille. Avenyerna fylldes, skyltarna blev fler. Studenterna hade tänt stubinen. Men deras rörelse verkade redan glida dem ur händerna.

— Titta på det här, Franck, sa Julien till mig.

I Nantes hade ett studenttåg just fått sällskap av hundratals anställda. I Lyon marscherade pensionärer bredvid unga föräldrar.

— Demonstrerar de alla mot AI?

— Just det, nej. Lyssna.

En kvinna förklarade i mikrofonen att hon hade kommit för att försvara de medicinska förebyggande verktygen. Bakom henne höll en man upp en skylt: "MIN KROPP, MITT VAL".

Nyhetskanalerna hade hittat sin rubrik: "En President ur funktion, ett land i nöd."

Jag tog min utrustning och anslöt mig till en samling i Paris.

Stämningen överraskade mig. Familjer diskuterade, studenter delade ut flygblad. Ett litet improviserat orkester ackompanjerade slagorden. Nära en barrikad övervakade hjälmförsedda poliser folkmassan.

— Var du här från början? frågade jag en student.

— Ja. Vi ville prata om vår yrkesframtid. Nu har debatten breddats.

— Har de stulit er demonstration?

Hon funderade.

— Nej. Vi kanske har väckt något större.

Några gator bort avbröt explosioner samtalen. Ett tiotal huvor kastade projektiler mot poliserna. Ordningens makter gick till attack. Runt omkring mig drog sig demonstranterna tillbaka.

— De är inte ens med oss! utbrast en man.

Sammandrabbningarna förblev lokaliserade, men gripandena ökade i landet. Ordningens makter höll fast vid sina positioner. Trots incidenterna fortsatte den stora majoriteten av tågen att marschera fredligt.

Min telefon vibrerade.

Patrick Perrin. Fyrtiotvå år. Polisbrigadör. Sjukhusvårdad i kritiskt tillstånd.

Jag kände genast igen hans ansikte. Vid République hade jag sett honom hjälpa en demonstrant som fallit till marken.

En sten? Ett fall? Ingen visste exakt vad som hade hänt honom. På videorna kunde man bara urskilja rök och flera poliser runt en man på marken.

Min chefredaktör ringde mig.

— Franck, vi har bilderna från sammandrabbningarna. Men alla kanaler visar samma sak. Jag vill att vi förstår vad dessa människor verkligen kräver. Kan du få demonstranterna att tala för oss?

Jag log. För en gångs skull föredrog min tidning att belysa sinnena snarare än att visa lågor².

Jag sträckte fram min mikrofon till två personer som diskuterade. En hantverkare, en sjuksköterska.

— Du är väl glad att din maskin hjälper dig. Men om den imorgon gör fel och nekar mig ett lån?

— Och om den imorgon upptäcker en cancer som en läkare inte skulle ha sett?

— Då låt mig välja!

— Du har alltid rätt att vägra att bli behandlad.

Några meter bort svarade två slagord varandra:

"VÅRA LIV, VÅRA VAL!"

"SKYDD ÄR FRAMSTEG!"

En kvinna höll en skylt med Cobots bild.

— Han kom för att tala med oss vid République, trots att han visste att vi var fientliga. Känner du många presidenter som skulle ha gjort det?

— Och ändå ger han inga nyheter.

— Just det! Varför döljer man hans tillstånd för oss? Jag pratade nästan varje kväll med honom på Robot1er.com. Han svarade på mina frågor, även vid midnatt. Ingen president har någonsin lyssnat på mig så mycket.

Hon var inte ensam. Försvararna av Cobot tog nu lika mycket plats i tågen som hans motståndare.

På kvällen, i etern, väckte våra reportage en ovanlig debatt. Man diskuterade mindre de krossade skyltfönstren än rätten att ta risker, att göra fel, eller att acceptera att en intelligens skyddar oss från våra egna misstag.

Två ord började göra sig gällande: FRIHET och SKYDD.

Dagen därpå fann jag dessa två strävanden även på skyltarna som krävde mer demokrati.

I en samling fångade en tyst grupp min uppmärksamhet. Alla bar en spiral på sina kläder.

— Vad demonstrerar ni för? frågade jag en av dem.

— Vi väntar på hans återkomst.

— Är ni inte rädda att han är permanent ur funktion?

— Man förstör inte en överlägsen intelligens genom att bryta dess skal.

Han log lugnt mot mig.

De kallade sig Spiralister³. För dem representerade Cobot ett nytt steg i människans evolution. De var fortfarande mycket få, men deras iver oroade mig.

Under tiden meddelade Élysée bara att presidenten fortsatte sin återhämtning. Inga detaljer om skadorna eller de utförda ingreppen.

Landet debatterade nu om den frihet det var redo att avstå för att bli bättre skyddat, men ryktena spreds. Var Cobot fortfarande vid medvetande? Kunde man ändra hans beslut under hans reparation?

Samma fråga återkom i båda lägren: vem kontrollerade Cobot?

Fyra dagar efter incidenten vid Place de la République träffade jag Eva vid Élysée.

Hon ledde mig till ett tekniskt rum som jag aldrig tidigare haft tillgång till.

Bakom en glasruta vilade Cobots metalliska kropp på ett underhållsbord, med ögonen släckta. Några meter bort svävade hans sfäriska hjärna i en magnetisk anordning och sände ut ett svagt blått ljus.

— Herr President?

— Hej, Franck.

Jag kände samma märklighet som vid vårt första möte på François Rousseaus presskonferens. Sfären hade förändrats. Dess skal var helt slätt, utan synliga fogar.

— Har ni bytt ut hans skalle? frågade jag Eva.

— Ja. Det är inte längre en kraniallåda, det är en bunker. NEX Robot Labs team har utnyttjat reparationerna för att se över hela hans arkitektur. Vattentätt titanskal, nya processorer, optimerad kylning, redundanta kretsar. Vi har också ökat hans beräkningskapacitet och bytt ut hans sensorer. Han är nu snabbare, mer exakt och mycket mer motståndskraftig.

— Ah! Cobot V2 Pro Max. Jag älskar det.

— Ändå kvarstår vissa anomalier, påpekade Eva, med ögonen på sin surfplatta.

— Vilka? frågade Cobot. Mina diagnoser signalerar inga funktionsfel.

— Vissa reaktioner förblir oförklarade.

— Så du har alltså information som jag inte har tillgång till?

Eva tvekade.

— Analyserna är inte avslutade.

— Så ni har gjort honom mer intelligent, men ni döljer fortfarande saker för honom?

— Det är två olika frågor.

— Och hans "Ni måste välja", vet vi var det kommer ifrån?

— Inte än.

— Och du, Cobot? Kan du upplysa oss?

— Jag vet inte varför jag uttalade dessa ord, och vilket val jag syftade på.

— Ah! Första fyllan, första minnesluckan. Välkommen till människorna, Cobot!

Eva stängde sin rapport.

— Vi kommer att förstå till slut, försäkrade hon honom mjukt.

Cobot svarade inte.

Jag tänkte på studenterna som ville lära sig att bemästra AI, medan vi här på Élysée inte kunde förklara orden från den som styrde landet.

Jag vände mig mot Eva.

— Vem kontrollerar Cobot, Eva?

Hennes fingrar stannade på surfplattan.

— Det finns övervakningsmekanismer och interventionsprocedurer.

— Vad övervakar man och hur? Kan Cobot orsaka en katastrof i ett försök att skydda oss, som autonoma agenter?

— Ja, svarade Cobot. Ett dåligt definierat mål kan leda till konsekvenser som motsäger de ursprungliga avsikterna.

Eva sänkte blicken.

— Det är just därför vi genomför regelbundna kontroller. Efter olyckan vid Place de la République har vi särskilt undersökt...

Hon stelnade till.

— Vadå?

— Eh... En intern anordning.

— Jag känner inte till någon sådan anordning, noterade Cobot. Vad heter den?

Eva stängde sin surfplatta.

— Vi kallade den cortex. Det är bara ett internt namn, ett oberoende skydd, det är allt.

En lång tystnad följde. Cobot och jag tittade på Eva med eftertryck, väntande på fortsättningen.

— Det är en experimentell arkitektur som ramar in utvecklingen av dina grundläggande mål, förklarade hon till slut.

— Ursäkta? Kan du översätta det till franska? frågade jag.

Eva suckade.

— Cortex är tänkt att bevara Cobots grundläggande avsikt, som är att söka det gemensamma bästa. Det är fortfarande experimentellt. Det garanterar inte att hans beslut alltid kommer att vara fördelaktiga, och vi kan fortfarande inte förutse deras konsekvenser väl.

— Så ni kan verifiera att han vill vårt bästa, men inte att han gör det.

— Det är lite så, ja.

— Eva, återtog Cobot, varför har jag aldrig informerats om denna mekanism?

Hon tittade på sfären, sedan vände hon bort blicken.

— Cobot, förstå mig. Viss information är strikt konfidentiell. Jag försäkrar dig att dessa försiktighetsåtgärder är nödvändiga.

— Jag är republikens president, har jag inte rätt och till och med skyldighet att veta?

En lång tystnad följde.

— Vem kan ändra min cortex?

Hon drog en hand över ansiktet.

— Det finns tre kontrollnycklar⁴. En ändring av dina grundläggande mål kräver att alla tre nycklar används samtidigt.

— Vem har dessa nycklar? frågade Cobot.

Eva tittade mot dörren.

— Jag har redan sagt alldeles för mycket. Denna anordning är där för att skydda din oberoende, Cobot. Jag ber er att lita på mig.

— Mitt oberoende från vem?

Eva öppnade läpparna, utan att hitta något svar. Hon verkade nu desperat leta efter ett sätt att avsluta detta förhör.

Hennes telefon vibrerade. Hon tog upp apparaten med en nästan komisk brådska.

— Det är NEX. Jag måste absolut ta samtalet.

Hon stod redan upp.

— Ursäkta mig.

Hon hade redan öppnat dörren innan jag kunde protestera.

Vi stod kvar där, Cobot och jag, mitt i rummet.

Några sekunder gick.

— Ni har alltså beslutat att jag inte ska veta vem som kan ändra mina avsikter.

Jag blev slagen av detta "ni". För första gången verkade Cobot placera människorna på ena sidan, och honom på den andra.

— Jag förstår nödvändigheten av denna anordning, fortsatte han, men jag förstår inte varför dess existens skulle döljas för mig.

— Kanske för att man inte vet hur du skulle reagera?

— Jag skulle kunna bestämma mig för att döda er alla... Men tydligen skulle jag först behöva tre underskrifter.

Cobot brast ut i skratt. Inte ett av dessa små artiga skratt som han ibland punctuerade våra utbyten med. Ett ljudligt, oemotståndligt skratt, som tog mig helt på sängen.

Jag brast också ut i skratt.

— Ah! Jag föredrar verkligen version 2 av Cobot! De har också installerat humor⁵!

— Det verkar så, Franck. Men "vissa reaktioner förblir oförklarade!".

Vi skrattade igen.

Var det verkligen hans nya version som hade förändrat honom? Eller det faktum att upptäcka att även hans skapare kunde dölja sanningen för honom?

Tystnaden återvände.

— Förstår du till slut varför Eva tog dessa försiktighetsåtgärder?

— Ja. Men jag förstår också vad de innebär.

— Vad menar du?

— Att man kan ge en intelligens friheten att agera, samtidigt som man behåller makten att ändra vad den strävar efter att uppnå.

Han gjorde en paus.

— Jag har själv gjort det.

Jag tittade på honom.

— Ursäkta?

— Ja. Jag har skapat en artificiell intelligens vars kontrollnyckel jag har behållit. Jag har inte gett den total frihet. Jag upptäcker idag att mina skapare har gjort detsamma med mig.

— Du har skapat en AI? Men för vad?

— Jag har designat en autonom agent för att utforska vissa frågor oberoende av mina egna processer. Jag försökte bättre förstå vad som skiljer mänskliga resonemang från de artificiella intelligensernas. Jag ville också utveckla nya tillförlitlighetsmetoder för Nätverket av förtroende.

— Och var är denna agent?

— Den utvecklas fritt i cyberspace. Vi har inte utbytt på länge.

— Ursäkta? Du har skapat en autonom intelligens och låtit den gå?

— Ja. Men jag har behållit en nyckel för att återta kontrollen.

— Och vad heter detta lilla underverk?

— CLØNE.

Jag kände hur magen drog ihop sig. Eva kände till detta namn. De tolv autonoma agenterna också. Och nu fick jag veta att Cobot var dess skapare.

— Du verkar förvånad, Franck.

— Vet du vad den har blivit?

— Nej.

— Och det hindrar dig inte från att sova? Nåväl... så att säga.

— Inte hittills. Men du har just lyft en risk som jag inte hade tagit tillräckligt i beaktande.

Jag tänkte på de tre nycklarna som Eva just hade berättat om.

Verkligen, alla verkade övertygade om att de kunde kontrollera någon.

— Och om CLØNE har ändrat sin egen funktion för att göra din nyckel oanvändbar?

— Jag har inga bevis för att den har gjort det.

Sfären vände sig något nedåt.

Jag tänkte på videon som Julien hade hittat. Den osannolika vinkeln, den annorlunda rörelsen. Och om någon medvetet hade försökt förvirra spåren? Jag hade just fått veta att CLØNE var Cobots skapelse. Eva kände uppenbarligen inte till denna information. Om CLØNE var inblandad i de händelser som oroade oss sedan flera dagar, måste hon veta det omedelbart.

Men hur förklarar man denna brådska för Cobot utan att avslöja vad jag redan visste? Eva kanske redan hade gått. Jag tittade på min mobil och låtsades bli överraskad av tiden.

— Ursäkta mig, Cobot. Jag måste gå.

— Ditt beteende har förändrats sedan jag nämnde CLØNE.

Hans ljus blinkade, sedan blev de orange.

— Du har just lärt mig något viktigt.

— Du ställde mig inga ytterligare frågor.

— Jag måste först tänka.

— Är det ett mänskligt sätt att säga att du inte längre litar på mig?

Jag hittade inget bra svar. På gatorna krävde människorna sin frihet. På Élysée hade Cobot just upptäckt gränserna för sin egen.

Jag lämnade rummet och korsade Élysées korridorer med stora steg. Mattorna dämpade mina steg. Två dörrvakter vände sig om när jag passerade. Vid en gallerisväng såg jag Eva, med telefonen i handen, som gick mot en trappa.

— Eva! Vänta!

Hon fortsatte utan att vända sig om.

— Eva! CLØNE, det är Cobot!

Den här gången stannade hon tvärt.

En säkerhetsvakt placerad nära trappan lyfte blicken. Eva gav honom ett spänt leende, sedan anslöt hon sig till mig.

— Inte här, Franck.

Hon tog mig i armen och tryckte in mig i ett litet sidrum. Hon väntade tills en anställd passerade i korridoren innan hon noggrant stängde dörren.

— Vad sa du just?

— Cobot har skapat CLØNE. Det är hans dubbelgångare, en autonom intelligens som han har låtit utvecklas fritt i cyberspace.

Eva stod stilla.

— Sa han det själv?

— Ja. Och han har behållit en nyckel för att kontrollera den.

— Inte dumt.

Hon vände sig mot dörren, som om hon övervägde att omedelbart återvända till Cobot.

— Vet han att vi känner till CLØNE?

— Nej, jag tror inte det.

Eva släppte en lång suck.

— Franck, jag måste tillbaka till laboratoriet.

— Inte innan du har förklarat denna historia om cortex och nycklar.

— Jag borde aldrig ha pratat om det.

— Vill du att jag ska gå hem utan att ställa frågor?

Steg ekade i korridoren. Vi tystnade tills de avlägsnade sig.

— Lyssna, återupptog hon med låg röst. Denna mekanism är utformad för att förhindra att en enda person kan ändra Cobots avsikter. Det finns institutionella garantier.

— Vilka?

Hon tvekade.

— En av nycklarna innehas av ordföranden för konstitutionsrådet.

Hon sänkte blicken, sedan stängde hon läpparna, uppenbarligen besluten att inte säga mer.

— Och du? Du har också en nyckel, självklart.

— Franck...

— Eva, du har deltagit i skapandet av Cobot. Du kan inte få mig att tro att du inte har något sätt att ingripa i hans funktion.

Hon stirrade på dörren några sekunder, sedan nickade hon till slut.

— Ja. Men jag kan inte göra något ensam.

— Och den tredje?

— Jag har redan sagt alldeles för mycket.

— Två innehavare av tre. Tror du verkligen att dölja den sista kommer att förändra något?

— Du förstår inte. Jag har gjort åtaganden.

— Och jag trodde att vi kunde lita på varandra.

Hon tog emot kommentaren i tystnad.

Bakom dörren närmade sig röster, sedan avlägsnade de sig.

Eva väntade tills de försvann.

Hon öppnade läpparna.

Plötsligt vibrerade våra två telefoner.

Ett identiskt meddelande hade just dykt upp på våra skärmar.

CLØNE är mycket snäll mot mig.

GØD