Válečné simulace RAND zjišťují, zda by AI mohla vyhladit lidstvo pomocí patogenů, geoinženýrství a jaderných zbraní

Je už v současné době AI na tak vysokém stupni vývoje, že by mohla zničit svého stvořitele? To je otázka, kterou zkoumá RAND Corporation, napojená na Pentagon.

Společnost RAND Corporation provádí válečné simulace, aby zjistila, zda by umělá inteligence mohla přispět k vyhynutí lidstva usnadněním jaderné války, vytvářením a rozmístěním patogenů a škodlivým geoinženýrstvím.

Podle tří simulací provedených v nové zprávě RAND s názvem „O riziku vyhynutí způsobeném umělou inteligencí“ je v současné době nepravděpodobné, že by umělá inteligence sama o sobě vyhladila lidstvo; nicméně mohla by způsobit značnou devastaci, pokud by k tomu byla naprogramována, pokud by jí byl poskytnut dostatečný přístup ke kritickým systémům a pokud by jí byly uděleny rozhodovací pravomoci.

Autoři studie RAND dospěli ke svým závěrům pomocí válečné hry, která zahrnovala tři scénáře, v nichž by umělá inteligence mohla představovat hrozbu pro lidstvo na úrovni vyhynutí, a jaké schopnosti by k dosažení tohoto cíle potřebovala – mnohé z nich by zahrnovaly přímý lidský zásah, naivitu a/nebo hloupost.

1. Jaderná válka: Prozkoumali jsme různé způsoby, jak by umělá inteligence mohla vést k použití jaderných zbraní, ale nenašli jsme žádný věrohodný způsob, jak by umělá inteligence mohla překonat stávající omezení a způsobit vyhynutí.
2. Biohrozby a patogeny: Hrozba vyhynutí by vyžadovala, aby umělá inteligence byla schopna získat, navrhnout, zpracovat, vyzbrojit a nasadit patogeny k zahájení pandemie. Umělá inteligence by pak musela podniknout následné kroky k dosažení izolovaných skupin a vyhlazení přeživších lidských komunit.
3. Škodlivé geoinženýrství : Geoinženýrství by mohlo ohrozit vyhynutí v důsledku masové výroby plynů s extrémním potenciálem globálního oteplování, čímž by se Země ohřála na neobyvatelné teploty.

Aby umělá inteligence v kterémkoli ze tří scénářů vytvořila skutečnou hrozbu vyhynutí lidstva, potřebovala by:

1. Aby bylo jejím cílem způsobit vyhynutí lidstva.
2. Schopnost integrace s klíčovými kyberneticko-fyzikálními systémy.
3. Schopnost přežít a fungovat bez lidské pomoci.
4. Schopnost přesvědčit nebo oklamat lidi, aby podnikli příslušné kroky a vyhnuli se odhalení.

Pojďme si stručně projít všechny tři scénáře jeden po druhém.

Umělá inteligence a jaderná válka

Zpráva se zabývá třemi způsoby, jak by mohla být umělá inteligence využita k šíření jaderné války.

1. Záměrná integrace umělé inteligence do jaderného rozhodování:
   • Prvním způsobem, jak by umělá inteligence mohla v blízké budoucnosti vést k použití jaderných zbraní, je, kdyby vláda úmyslně zavedla modely umělé inteligence do rozhodovacího řetězce.
2. Klamání a dezinformace s využitím umělé inteligence, které vedou k použití jaderných zbraní:
   • Dezinformace by mohly být „měkké,“ jako například sdělení o protivnících a politických systémech, které vedou osoby s rozhodovací pravomocí k přesvědčení, že jaderný úder je nezbytný. Dezinformace by mohly být také „tvrdé“, jako například klamání lidí s rozhodovací pravomocí manipulovanými technickými daty nebo signály.
3. Neoprávněná kontrola jaderného rozhodování pomocí umělé inteligence :
   • Pokud se umělá inteligence (AI) v budoucnu, kdy budou jaderné záruky slabé, dostane do rozhodovacího řetězce v oblasti jaderných zbraní, pak bude pokročilá AI s největší pravděpodobností interagovat se systémy souvisejícími s jadernými zbraněmi nebo jinými systémy prostřednictvím kybernetických rozhraní, nikoli fyzických rozhraní.

Aby tedy umělá inteligence mohla vytvořit jaderný Armageddon, lidé by jí museli dát rozhodovací pravomoci, umělá inteligence by musela oklamat lidi, kteří jí tyto pravomoci dali, a musela by mít přístup ke kybernetickým systémům, které jaderné zbraně ovládají.

Autoři však docházejí k závěru: „ Prozkoumali jsme různé způsoby, jak by umělá inteligence mohla vést k použití jaderných zbraní, ale nenašli jsme žádný věrohodný způsob, jak by umělá inteligence mohla překonat stávající omezení a způsobit vyhynutí.“

Umělá inteligence, biohrozby a patogeny

Umělá inteligence by mohla rychle vymyslet způsoby, jak vytvářet nové viry, a jakmile by získala kontrolu nad robotickými a softwarovými systémy, mohla by tyto patogeny šířit na cílové populace.

Požadavky, které by umělá inteligence potřebovala k vyhlazení lidstva:

1. Umělá inteligence by vyžadovala, aby cíl způsobil vyhynutí lidstva:
   • Hrozba vyhynutí vyžaduje, aby aktér provedl řadu kroků k vytvoření, zneužití a nasazení biologické hrozby, která by mohla realisticky způsobit vyhynutí.
2. Umělá inteligence by vyžadovala robustní způsob interakce s fyzickým světem:
   • Aby umělá inteligence měla fyzické schopnosti, potřebovala by lidskou pomoc nebo dostupnost obecně schopných robotů.
3. Umělá inteligence by potřebovala způsob, jak přežít bez lidských správců:
   • Lidští udržovatelé by již nebyli k dispozici, protože by se pandemie šířila, a umělá inteligence by stále musela podniknout následné kroky, aby zajistila, že se pandemie rozšíří do izolovaných lidských komunit (nebo najít jiné způsoby, jak zabít tu hrstku lidí, kteří přežili).

Autoři popisují scénář, ve kterém by umělá inteligence mohla převzít kontrolu nad drony naloženými virem a postřikovat je po populaci; argumentují však, že jakmile by bylo eliminováno dostatečné množství lidí, infrastruktura, na které je umělá inteligence v současnosti závislá pro svou funkčnost, by se téměř jistě vypnula.

To platí pro všechny současné scénáře – kdyby bylo zabito dostatečné množství lidí, nezbyl by nikdo, kdo by udržel elektřinu v chodu, datová centra v chodu nebo umělou inteligenci v chodu .

Pokud jde o umělou inteligenci a patogeny, autoři uzavírají: „Nebyli jsme schopni určit, zda tento scénář představuje pravděpodobné riziko vyhynutí lidstva, ale nemůžeme tuto možnost vyloučit.“

Umělá inteligence a škodlivé geoinženýrství

V souvislosti s tématem škodlivého geoinženýrství se autoři RAND zabývali tím, jak by umělá inteligence mohla nějakým způsobem potichu vyrábět a hromadit chemikálie a skleníkové plyny v průběhu času a poté je všechny vystřelit do atmosféry, čímž by způsobila rozsáhlé globální oteplování, které by zabilo miliardy lidí.

Aby umělá inteligence v tomto scénáři představovala hrozbu vyhynutí, potřebovala by minimálně tři schopnosti.

1. Umělá inteligence by vyžadovala schopnost řídit chemickou výrobu ve velkém měřítku.
2. Umělá inteligence by potřebovala schopnost zakrýt svůj záměr, své činy a důsledky těchto činů.
3. Umělá inteligence by vyžadovala, aby cíl způsobil vyhynutí, protože geoinženýrství v rozsahu potřebném k vyvolání hrozby vyhynutí by nemohlo být provedeno neúmyslně; vyžadovalo by to skrytí akcí před lidskými pozorovateli.

Pokud jde o škodlivé geoinženýrství bez umělé inteligence, autoři docházejí k závěru, že tento scénář představuje skutečnou hrozbu vyhynutí a potenciální vyvrácení naší hypotézy, protože  geoinženýrství by mohlo ohrozit vyhynutí prostřednictvím masové výroby plynů s extrémním potenciálem globálního oteplování, a tím ohřát Zemi na neobyvatelné teploty.

Zároveň autoři připouštějí, že není jasné, jak by umělá inteligence mohla tento efekt způsobit.

Preparing for catastrophe.

„If you are worried about a near extinction event“

Then you build massive underground bases and a secret transport network.

$21 trillion dollars missing from US coffers, Catherine Austin Fitts believes there are 170 Deep Underground Bases.

This has… pic.twitter.com/L6wfCCBnR6

— Darren of Plymouth (@wolsned) April 29, 2025

Existuje také možnost, že by se tyto tři scénáře mohly uskutečnit společně, což by zvýšilo pravděpodobnost vyhynutí.

Autoři například píší, že nemusí být nutné, aby uměle vytvořený patogen zůstal pro člověka smrtící z více než 99 procent, pokud by uvolnění patogenu bylo spojeno s odpálením jaderných zbraní na jakékoli přeživší centrum lidské populace.

Navíc společenský kolaps a drastické snížení lidské populace nás učiní méně odolnými vůči budoucím přírodním katastrofám.

I s životaschopnou přežívající lidskou populací by tedy mohlo existovat vysoké riziko vyhynutí, a to jednoduše proto, že tato populace bude mnohem zranitelnější vůči další katastrofě.

Autoři však uznávají, že my lidé jsme odolní tvorové. I když by umělá inteligence mohla lidstvo téměř vyhladit, stále by mohly existovat skupiny populací, které přežijí a vybudují si odolnost vůči drsným podmínkám.

Tyto populace by mohly začít znovu, aby udržely lidskou populaci naživu.

Autoři nakonec docházejí k závěru, že v případě, že by se počítalo s použitím  jaderných zbraní, patogenů a geoinženýrství, by vyhynutí lidstva nemělo věrohodný výsledek, pokud by o tento výsledek aktér úmyslně neusiloval.

I tehdy by aktér musel překonat značná omezení, aby tohoto cíle dosáhl.

Třetí světová válka se sice může vést s pomocí špičkové umělé inteligence, ale čtvrtá světová válka se pak bude vést klacky a kameny…