Vojna sa mení. V mestách na Ukrajine, v konfliktoch v Líbyi či v Pásme Gazy sa testujú technológie, ktoré ešte donedávna patrili do sci-fi. Nejde o drony ovládané na diaľku. Hovoríme o systémoch, ktoré sú schopné autonómne, bez priameho ľudského zásahu, identifikovať cieľ a rozhodnúť o použití smrtiacej sily. Diplomati a analytici čoraz častejšie hovoria, že svet zažíva Oppenheimerov moment umelej inteligencie.
Spojené štáty investujú miliardy do programov ako Replicator, zatiaľ čo technologickí giganti ako Palantir a Anduril dodávajú armádam systémy, ktoré sľubujú rýchlejšie, efektívnejšie a inteligentnejšie vedenie vojny. Proponenti týchto technológií tvrdia, že ide o logický a dokonca morálny pokrok. Stroj nepociťuje únavu, hnev ani túžbu po pomste. Rozhoduje sa na základe dát, nie emócií. Teoreticky by tak mohol dodržiavať medzinárodné humanitárne právo (International Human Law) lepšie ako človek.
Tento argument má však zásadnú trhlinu. Čo sa stane, keď sa stroj pomýli? Keď autonómny dron vyhodnotí svadobný sprievod ako vojenský konvoj alebo nemocnicu ako veliteľské stanovište? Kto je zodpovedný? Odpoveď je znepokojujúca. Pravdepodobne nikto.
Oppenheimerov moment (z anglického Oppenheimer moment) je neformálny, ale silný termín, ktorý sa používa na opísanie situácie, keď vedci alebo tí, ktorí vyvíjajú prelomovú technológiu, si náhle a hlboko uvedomia obrovské, potenciálne katastrofické etické a existenčné dôsledky svojej práce pre ľudstvo. Termín je priamo odvodený od amerického fyzika Roberta Oppenheimera, ktorý bol kľúčovou postavou pri vývoji atómovej bomby (Projekt Manhattan) počas druhej svetovej vojny.
Medzera v zodpovednosti: Právna čierna diera
Právni experti, ľudskoprávne organizácie ako Human Rights Watch (HRW) a Medzinárodný výbor Červeného kríža (International Committee of the Red Cross – ICRC) varujú pred vznikom zásadnej medzery v zodpovednosti (accountability gap). Súčasné právne systémy, či už trestné alebo civilné, nie sú postavené na scenár, v ktorom autonómny agent spôsobí škodu. Ak má byť niekto odsúdený za vojnový zločin, musia mu byť preukázané dve veci: samotný čin (actus reus) a úmysel (mens rea). A tu je problém.
- Robot nemôže byť zločinec – Samotný autonómny zbraňový systém (Autonomous Weapon System – AWS) nie je možné postaviť pred súd. Je to stroj, ktorý nemá vedomie, morálnu agentúru ani úmysel. „Jeho rozhodnutie zabiť nevinných civilistov je ako rozhodnutie počítača zamrznúť a vymazať vašu neuloženú prácu,“ vysvetľujú analytici. Trest by navyše nemal žiadny zmysel. Stroj nemôžete odradiť väzením ani potrestať spôsobom, ktorý by vnímal.
- Operátor nenesie priamu vinu – Ak stroj nemožno viniť, ako je to s človekom, ktorý ho nasadil? Ani tu nie je cesta k spravodlivosti priama. Predstavte si veliteľa, ktorý vyšle autonómny dron do oblasti s úlohou „zničiť nepriateľské obrnené vozidlá“. Dron neskôr autonómne zaútočí na sanitku, ktorú si algoritmus zle vyhodnotil. Veliteľ nemal v úmysle zabiť civilistov. Nemohol predvídať, ako presne sa komplexný algoritmus v nepredvídateľnom prostredí rozhodne. Obhajoba by argumentovala, že veliteľ nemôže byť priamo zodpovedný za nepredvídateľné konanie autonómneho systému.
Čítajte viac Fínska revolúcia velenia - umelá inteligencia v uniforme
Veliteľská zodpovednosť zlyháva
Medzinárodné právo pozná koncept veliteľskej zodpovednosti. Veliteľ je zodpovedný, ak vedel alebo mal vedieť o zločinoch podriadených a nezabránil im alebo ich nepotrestal. Tento koncept je však pri robotoch nepoužiteľný.
- Nemôžete potrestať robota: Jedna zo základných povinností veliteľa (trestať) je tu irelevantná.
- Nemôžete to predvídať: Ako môže veliteľ vedieť alebo mať dôvod vedieť, že zbraň navrhnutá na fungovanie bez neho urobí chybu?
- Nemôžete tomu zabrániť: Výhodou autonómnych zbraní je ich rýchlosť. Často konajú rýchlejšie, ako by človek stihol zareagovať a útok zastaviť.
Čítajte viac Americká armáda používa umelú inteligenciu na preverovanie poddôstojníkov pri povyšovaní
Ilúzia „človeka v slučke“
Armády a vývojári často upokojujú verejnosť frázou, že v procese vždy zostane „človek v slučke“ (human-in-the-loop) alebo „človek nad slučkou“ (human-on-the-loop). V realite moderného bojiska sa však táto kontrola stáva ilúziou. Čo ak jeden operátor dohliada na 50 alebo 100 autonómnych dronov naraz? V takej chvíli je jeho úloha skôr symbolická. Stáva sa tým, čo experti nazývajú „morálna deformačná zóna“ (moral crumple zone). Je to ľudský prvok, ktorý tam nie je na to, aby skutočne rozhodoval, ale aby na seba prevzal vinu, keď sa systém zrúti.
Čítajte viac Lockheed Martin centralizuje svoje dáta s cieľom využívať umelú inteligenciu
Ani civilné právo neponúka riešenie
Ak zlyhá trestné právo, mohli by obete hľadať spravodlivosť aspoň cez civilné žaloby a odškodnenie? Aj tu narážajú na takmer neprekonateľné prekážky.
- Štátna imunita: V mnohých jurisdikciách, vrátane USA, je armáda imúnna voči žalobám súvisiacim s bojovými aktivitami alebo politickými rozhodnutiami (ako je výber zbrane).
- Imunita dodávateľov: Výrobcovia vojenskej techniky sú často chránení pred zodpovednosťou, ak dodali zbraň podľa špecifikácií, ktoré schválila vláda. V Spojených štátoch sú výrobcovia vojenských zbraní odškodnení za nehody na bojisku.
- Problém „čiernej skrinky“: Aj keby tieto imunity neplatili, obeť by musela na súde dokázať, že zbraň mala vadu. V prípade autonómnych systémov využívajúcich strojové učenie je to takmer nemožné. Často ani samotní vývojári nedokážu presne vysvetliť, prečo sa algoritmus (tzv. čierna skrinka) v danom momente rozhodol tak, ako sa rozhodol.
Výsledkom je situácia, kedy môžu vznikať nezákonné škody a civilné obete, za ktoré nie je nikto právne zodpovedný. To podkopáva nielen právo obetí na nápravu, ale aj celý odstrašujúci a retribučný zmysel práva.
Čítajte viac Umelá inteligencia umožňuje sofistikovanejšie formy ransomvéru
Prípad Stanislava Petrova: Prečo ľudský úsudok nie je kód
V noci 26. septembra 1983 sa v sovietskom bunkri Serpuchov-15 spustili sirény. Dôstojník v službe, Stanislav Petrov, sledoval, ako systém hlási štart piatich amerických jadrových rakiet. Protokol bol jasný: okamžite nahlásiť útok a spustiť odvetu. Petrov však neurobil nič. Jeho inštinkt mu hovoril, že niečo nie je v poriadku: „Prečo by USA začali jadrovú vojnu iba piatimi raketami?“ Rozhodol sa, že ide o chybu systému. A mal pravdu – satelit si pomýlil odraz slnka od mrakov so štartom rakety. Stroj na Petrovovom mieste by konal tak, ako bol naprogramovaný. Začal by tretiu svetovú vojnu. Petrov použil ľudský úsudok, intuíciu a chápanie kontextu. Práve toto autonómnym zbraniam chýba.
Čítajte viac Spoločnosť OpenAI podpísala strategické partnerstvo s Veľkou Britániou
Prečo sa stroj nemôže naučiť medzinárodné právo
Medzinárodné humanitárne právo nie je súbor jednoduchých pravidiel, ktoré možno napísať do kódu. Je založené na dvoch pilieroch, ktoré si vyžadujú ľudský úsudok:
- Princíp rozlišovania: Vojaci musia rozlišovať medzi civilistami a legitímnymi vojenskými cieľmi. V moderných konfliktoch, kde sa bojovníci skrývajú medzi civilistami, si to vyžaduje interpretáciu správania, reči tela a kontextu. Stroj vidí dáta; človek chápe úmysel.
- Princíp proporcionality: Útok je zakázaný, ak by očakávané civilné straty boli „nadmerné“ v porovnaní s očakávanou vojenskou výhodou. Čo je „nadmerné“? Je život jedného veliteľa hodný zničenia bytovky s desiatimi civilistami? To nie je matematický výpočet. Je to hlboko etické a situačné rozhodnutie, ktoré algoritmus nedokáže urobiť.
Snaha premeniť tieto princípy na kód vedie k tomu, čo experti nazývajú etikou podľa aritmetiky. Systém, ktorý vypočíta, že zničenie nemocnice je prijateľné, lebo prináša dostatočnú vojenskú výhodu, síce vykoná výpočet, ale preukáže absolútnu absenciu morálneho chápania.
Dehumanizácia a diskriminácia zakódovaná v systéme
Tým, že delegujeme rozhodnutia o živote a smrti na stroje, meníme samotnú povahu konfliktu. Po prvé, ide o digitálnu dehumanizáciu. Stroj nedokáže pochopiť hodnotu ľudského života ani prejaviť súcit. Človek sa preň stáva len súborom dát, objektom, ktorý treba spracovať. Po druhé, hrozí algoritmická diskriminácia. Systémy umelej inteligencie sú trénované na dátach z reálneho sveta, a ten je plný predsudkov. Štúdie opakovane preukázali, že AI má problém rozoznávať ľudí s tmavšou pleťou, ženy alebo ľudí so zdravotným postihnutím. Ak autonómna zbraň nedokáže správne identifikovať osobu s telesným postihnutím alebo si palicu pre nevidiacich pomýli so zbraňou, následky sú fatálne a diskriminačné.
Čítajte viac Je umelá inteligencia hrozbou pre ľudstvo? Nie, Golema tiež zneškodnil jeho stvoriteľ
Hrozba bleskovej vojny a globálny chaos
Okrem etických a právnych problémov prinášajú autonómne systémy aj nové strategické hrozby. Analytici varujú pred scenármi bleskovej vojny (flash war). Ide o situáciu, keď autonómne systémy dvoch proti sebe stojacich mocností začnú na seba vzájomne reagovať v rýchlostiach, ktoré ľudia nedokážu sledovať ani zastaviť. Konflikt môže eskalovať z malej potýčky na plnohodnotnú vojnu v priebehu sekúnd. Zároveň sú tieto systémy extrémne zraniteľné. Na rozdiel od vojaka, autonómny systém možno hacknúť, oklamať falošnými dátami (spoofing) alebo otráviť jeho tréningové dáta. Predstava, že by sa teroristická skupina zmocnila roja autonómnych dronov, je nočnou morou bezpečnostných zložiek. To všetko poháňa nové, destabilizujúce preteky v zbrojení. Pentagón už žiada rozpočet vo výške 1,8 miliardy dolárov len na AI projekty.
Čítajte viac Umelá inteligencia je len taká inteligentná, ako sú jej dáta
Zablokované rokovania: Svet sa nevie dohodnúť
Hoci viac ako 100 krajín podporuje myšlienku novej medzinárodnej zmluvy, pokrok je minimálny. Rokovania v rámci OSN (na pôde Dohovoru o určitých konvenčných zbraniach – CCW) sú roky blokované, pretože veľmoci ako Rusko, USA a Čína, ktoré samy túto technológiu vyvíjajú, odmietajú akýkoľvek záväzný zákaz. Spojené štáty namiesto zákazu presadzujú interné smernice, ako je DoD 3000.09 (aktualizovaná v roku 2023), ktorá vágne požaduje „primeraný stupeň ľudského uváženia“. Európska únia hovorí o „zmysluplnej ľudskej kontrole“, avšak jej kľúčový Akt o umelej inteligencii (AI Act) sa na vojenské využitie vôbec nevzťahuje. Kritici sa zhodujú, že tieto definície sú príliš vágne na to, aby čomukoľvek zabránili. Malý záblesk nádeje prišiel koncom roka 2023, keď Valné zhromaždenie OSN prijalo rezolúciu, ktorá presúva diskusiu zablokovaného CCW na širšiu platformu OSN. Aktivisti dúfajú, že by to mohlo viesť k zmluve do roku 2026, podobne ako sa to podarilo pri kazetovej munícii či pozemných mínach.
Foto: Ukrajinské ministerstvo obrany
Nejde o to, či môžeme, ale či smieme
Budúcnosť, v ktorej budú o ľudských životoch rozhodovať stroje, nie je nevyhnutná. Technológia je len nástroj. „Delegovanie rozhodnutí o živote a smrti na stroje prekračuje morálnu červenú čiaru,“ hovorí Bonnie Docherty z Harvardu. Riešením, ktoré navrhuje HRW, ICRC a mnohí experti, nie je úplný zákaz AI, ale záväzná medzinárodná zmluva. Tá by mala obsahovať tri kľúčové body:
- Zákaz systémov, ktoré postrádajú zmysluplnú ľudskú kontrolu.
- Zákaz systémov navrhnutých tak, aby sa zameriavali priamo na ľudí (kvôli rizikám diskriminácie).
- Prísne regulácie pre všetky ostatné autonómne zbraňové systémy.
Zodpovednosť nemožno outsourcovať na algoritmus. Ak ľudstvo pripustí existenciu zbraní, ktoré zabíjajú mimo ľudskej kontroly a mimo rámca zákona, vytvorí precedens, v ktorom sa vojna stane len automatizovaným zabíjaním bez vinníka a bez spravodlivosti.
