RAND Corporation: Kybernetický útok nebo aktualizace softwaru by mohly spustit povstání robotů

Poslední týden v červnu proběhl v Číně „letní Davos,“ jak se říká dnes již pravidelným letním srazům Světového ekonomického fóra, které jsou doplněním srazů zimních ve švýcarském Davosu.

V Číně byla jedním z hlavních témat také robotizace a začlenění humanoidních robotů do lidské společnosti, včetně výroby tzv, „sociálních robotů,“ kteří by uměli číst emoce a také je vyjadřovat.

Každopádně je tento obor již poměrně vpředu a asi jen málokdo tuší, kam až v příštích letech dojde.

RAND Corporation, přímo napojená na Pentagon, se často v poslední době věnuje tématům, které se týkají AI, ale běžně předpovídá také geopolitický vývoj, případně jej analyzuje.

Podle zprávy zveřejněné společností RAND Corporation by mohl budoucí kybernetický útok nebo aktualizace softwaru spustit povstání robotů.

Pracovní dokument s názvem „Odvrácení robotické katastrofy: Příprava na sbližující se trendy v robotice a hraniční umělé inteligenci,“ původně publikovaný v dubnu a propagovaný na webových stránkách RAND v červnu, zdůrazňuje, co by se mohlo pokazit v budoucnosti, kdy se miliony robotů s umělou inteligencí obrátí proti svému původnímu programování.

Od humanoidních robotů, kteří se promění v děsivé stalkery obtěžující jednotlivce v jejich každodenním životě, přes autonomní vozidla, která vjíždějí do protijedoucího provozu, až po drony, které se promění v kamikadze zabijáky, a dokonce i vysavače s licencí k zabíjení.

Potenciální škody, které by unesení nebo nefunkční roboti mohli způsobit, by byly zničující pro bezpečnost jednotlivců i národní bezpečnost.

Podle zprávy:

„Nejhorší scénáře pro národní bezpečnost by mohly zahrnovat roboty s mobilitou, obratnými manipulačními funkcemi a palubními počítači schopnými pojmout modely AGI.

Šíření robotů s touto kombinací schopností by bylo ekonomicky výhodné, ale mohlo by potenciálně vytvořit katastrofální riziko pro národní bezpečnost.

Takoví roboti by mohli být jen jednu aktualizaci softwaru nebo jeden hack od vytvoření jakési robotické vzpoury, v níž by protivníci s AGI schopnostmi mohli obecně interagovat se světem prostřednictvím robotických zařízení a způsobovat širokou škálu potenciálních škod.“

S rostoucími kybernetickými útoky by mohla být jakákoli kompetentní skupina nebo jednotlivec motivováni k páchání takových činů, ať už jsou podporovány státem, či nikoli.

Zároveň by povstání robotů mohlo být vyvoláno něčím tak nevinným, jako je chybná aktualizace softwaru, jako se to stalo v roce 2024, kdy chyba v kódu Crowdstrike narušila provoz letišť, zdravotnických služeb a hlavních zpravodajských sítí.

Ačkoliv se v pracovním dokumentu nezmiňuje plnohodnotný scénář typu Terminátor Skynet, v němž by se systémy umělé inteligence samy staly nepoctivými, stále je to možné, protože se systémy umělé inteligence naučí psát si vlastní kód a zamlžovat své záměry.

„Roboti specializovaní na vysávání podlah nebo poskytování jiných běžných služeb by měli být obvykle povoleni v domácnostech a kancelářích.

Měli by však být zakázáni na mimořádně kritických místech, jako jsou vojenská velitelská a řídicí centra a Oválná pracovna, kde možnosti robotické špionáže a sabotáže daleko převažují nad omezenou efektivitou práce, které by bylo možné dosáhnout.“

RAND, Odvrácení robotické katastrofy, duben 2025

Výzkumníci z RAND byli poměrně kreativní v představách o tom, jak by mohla vypadat povstání robotů, a zde je několik příkladů z pracovního dokumentu:

• Humanoidní roboti by mohli ohrožovat nebo napadat jednotlivce v jejich domovech nebo na veřejných místech.
• Autonomní vozidla by mohla být naprogramována, aby vytvářela dopravní zácpy, nebo by jim mohla být dána instrukce ke způsobování nehod.
• Větší vozidla by mohla být unesena a naložena výbušninami za účelem útoku na místa s větší koncentrací lidí nebo zranitelnou infrastrukturu, jako jsou ropné rafinerie nebo zásobníky zemního plynu.
• Velké drony mohou způsobit škody pouhým nárazem do davů nebo zranitelných míst – a jejich smrtící účinnost by se dala zvýšit naložením výbušnin.

Vzhledem k velkému množství robotů, vozidel a dalších zařízení se senzory, které spolu komunikují, není těžké si představit, že by se chytrá města, chytré továrny a chytré domy mohly stát potenciálními útočnými plochami díky svým kolaborativním senzorickým technologiím.

Zpráva Světového ekonomického fóra (WEF) s názvem „Top 10 nově vznikajících technologií pro rok 2025“ uvádí několik technologií spojených s kolaborativním snímáním, které se překrývají se zranitelnými technologiemi zdůrazněnými v dokumentu RAND o povstání robotů.

Například zpráva WEF uvádí:

• Klíčem k odemknutí výhod kolaborativního snímání ve velkém měřítku a dosažení skutečné kolaborativní autonomie budou multimodální algoritmy, které dokáží zpracovávat řadu druhů dat ze senzorů, od LiDAR (detekce a určování vzdálenosti světla) přes EO/IR (elektrooptické/infračervené) kamery až po radar a další.
• Kolaborativní snímání by mohlo významně změnit městské systémy, mobilitu a společenskou infrastrukturu. Tento přístup, poháněný technologiemi „vehicle-to-everything“ (V2X), 5G, umělou inteligencí a edge computingem, může vytvořit inteligentní městské prostředí, které vnímá, reaguje a přizpůsobuje se složité dynamice prostředí s větší přesností než současné systémy.
• Autonomní agenti, jako jsou roboti, drony, inteligentní vozidla a IT systémy, se schopnostmi sémantického uvažování a dynamického plánování, budou vybaveni k navigaci v neznámém prostředí a ke kolektivnímu rozhodování.

Představte si, jak sofistikovaný kybernetický útok nebo nekompetentní aktualizace softwaru by mohly proměnit kteroukoli z těchto technologií ve smrtící zbraň.

Pokud jde o technologie V2X (vehicle-to-everything), jednou z předních společností v této oblasti není nikdo jiný než BlackBerry – ano, to BlackBerry, které dříve vyrábělo telefony.

„Vehicle-to-Everything (V2X) je technologie, při které může vozidlo sdílet informace ze svých senzorů, kamer a interních systémů s ostatními vozidly, chodci v okolí, silniční infrastrukturou a systémy Smart City pomocí bezdrátového datového připojení.

Základem V2X je konektivita a senzory vozidla. Softwarově definované vozidlo je nezbytnou platformou. Kamery, radar, LiDAR, ultrazvuk a další senzory ve vozidle dodávají informace do centralizovaného systému, který může provádět inteligentní zpracování dat.“

BlackBerry, Vehicle-to-Everything (V2X)

Podle vysvětlení na webu BlackBerry kombinuje V2X různé typy komunikace, včetně:

• Vehicle to Vehicle (V2V), v rámci kterého si automobily mohou navzájem vyměňovat data, jako je rychlost, poloha a směr jízdy. To bude probíhat pomocí bezdrátového připojení a v reálném čase.
• Vehicle to Infrastructure (V2I), v rámci kterého si vůz může vyměňovat informace s propojenými silnicemi, městskou infrastrukturou, jako jsou semafory a dopravní značky – a technologií Smart City.
• Systém V2P (vozidlo pro chodce), v němž dokáže vůz detekovat chodce a další účastníky silničního provozu, kteří nejsou ve vozidlech, jako jsou cyklisté, uživatelé invalidních vozíků a děti v kočárcích.
• Vehicle to Network (V2N), ve kterém si vůz vyměňuje data pomocí standardního bezdrátového připojení, jako je 4G, LTE a 5G.

Pokud lze technologii naprogramovat tak, aby detekovala a předcházela katastrofám, lze ji také využít jako zbraň k jejich vymýšlení a provádění.

„Je možné zasílat škodlivé instrukce ke stažení škodlivého softwarového kódu robotům, aby se narušily jejich řídicí systémy umělé inteligence a následně je zneužít k trestným nebo násilným účelům.“

RAND, Odvrácení robotické katastrofy, duben 2025

Aby se předešlo dystopickým scénářům podobným sci-fi, pracovní dokument RAND uvádí několik doporučení, z nichž nejúčinnější je navrhovat roboty s ohledem na bezpečnost od samého začátku, zaměřit robotický design směrem ke specializaci, nařídit specifické úrovně zabezpečení a zakázat kombinace schopností, které představují nadměrná rizika.

Autoři také doporučují, aby si tvůrci politik zvykli na myšlenku, že brzy budou v provozu miliony robotů, kteří by se mohli kdykoli zbláznit, a proto by měli začít plánovat strategie pro zmírnění dopadů již nyní.

A jakmile se rozhraní mozku a počítače (BCI) stanou rozšířenějšími a jak se budeme blížit tomu, co jiná zpráva RAND nazývá internetem mozků, další povstání robotů by mohlo začít přímo pod naší kůží…