O umělé inteligenci a její hranici nebezpečnosti

31. 3. 2023

čas čtení 7 minut
Jsou lidé, kterým se včerejší otevřený dopis ohledně AI zdál příliš mírný. Jedním z nich je Eliezer Yudkowski, který se AI zabývá několik desetiletí. Yudkowsky je americký odborník na decision-theory a výzkumník v Machine Intelligence Research Institute. Jeho následující text byl otištěný v časopise Time v reakci na tento dopis, píše Petr Jedlička.

Ve stručnosti:

- šestiměsíční moratorium nic neřeší, je třeba zákaz, dokud nebudeme mít strategii sladění AI s lidskými potřebami
- superinteligence může lidi vyhubit i při svém neutrálním postoji k nim
- problémem je budoucí schopnost autonomního chování, samovolného zdokonalování (a šíření skrz vlastní formy umělého života atd.)
- nevíme, jestli je současná AI vědomá, ale to nic nemění na faktu, že už překračuje pomyslnou hranici nebezpečnosti



Pozastavení vývoje umělé inteligence nestačí. Musíme to všechno zastavit.

„Toto šestiměsíční moratorium by bylo lepší než žádné moratorium. Vážím si všech, kteří se k němu připojili a podepsali ho. Je to zlepšení na hraně. Já jsem se zdržel podpisu, protože si myslím, že dopis podceňuje vážnost situace a žádá příliš málo na její vyřešení.

Klíčovým problémem není "konkurence" lidské inteligence (jak se píše v otevřeném dopise); jde o to, co se stane poté, co umělá inteligence dosáhne inteligence vyšší než člověk. Překročení prahu tam nemusí být zřejmé, rozhodně nemůžeme předem vypočítat, co se stane když… a v současné době se se může stát, že výzkumná laboratoř překročí kritickou hranici, aniž by si toho všimla.

Mnozí výzkumníci, kteří se touto problematikou zabývají, včetně mě, očekávají, že nejpravděpodobnějším výsledkem vybudování nadlidsky inteligentní umělé inteligence za současných okolností, je, že všichni na Zemi zemřou. Ne ve smyslu "možná je to vzdálená šance", ale ve smyslu "to je zřejmá věc, která se stane". Nejde o to, že byste v zásadě nemohli přežít vytvoření něčeho mnohem chytřejšího, než jste vy; jde o to, že by to vyžadovalo přesnost a přípravu a nové vědecké poznatky a pravděpodobně ne to, aby se systémy UI skládaly z obřích neproniknutelných matic vyjadřujících pravděpodobnosti.

Bez této přesnosti a přípravy je nejpravděpodobnějším výsledkem UI, která nedělá to, co chceme, a nezajímá se o nás ani o rozumný život obecně. Tento druh péče je něco, co by v zásadě mohlo být do UI vštípeno, ale nejsme na to připraveni a v současné době nevíme jak.

Bez této péče dostaneme přístup: "UI vás ani nemiluje ani nenávidí a jste složeni z atomů, které může použít k něčemu jinému".

Pravděpodobným výsledkem střetu lidstva s protichůdnou superinteligencí je totální prohra. Platné metafory zahrnují "desetileté dítě se snaží hrát šachy proti Stockfish 15", "11. století se snaží bojovat s 21. stoletím" a "Australopithecus se snaží bojovat s Homo sapiens".

Chcete-li si představit nepřátelskou nadlidskou umělou inteligenci, nepředstavujte si neživotného myslitele s knižními znalostmi sídlícího uvnitř internetu a posílajícího e-maily s úmyslem škodit. Představte si celou mimozemskou civilizaci, která myslí milionkrát rychleji než člověk, zpočátku omezenou na počítače – ve světě tvorů, kteří jsou z jejího pohledu velmi hloupí a velmi pomalí. Dostatečně inteligentní umělá inteligence nezůstane dlouho omezena na počítače. V dnešním světě můžete poslat řetězce DNA e-mailem do laboratoří, které budou na požádání vyrábět proteiny, což umožní umělé inteligenci původně omezené na internet vytvářet umělé formy života nebo se rovnou pustit do postbiologické molekulární výroby.

Pokud někdo vybuduje příliš silnou UI, očekávám, že za současných podmínek krátce poté zemře každý jednotlivý příslušník lidského druhu a veškerý biologický život na Zemi.

Neexistuje žádný plán, jak bychom něco takového mohli udělat a přežít. Otevřeně deklarovaným záměrem OpenAI je přimět nějakou budoucí UI, aby za nás udělala práci na sladění s UI. Už jen to, že slyšíme, že je to tento plán, by mělo stačit k tomu, aby každý rozumný člověk zpanikařil. Druhá přední laboratoř AI, DeepMind, nemá plán vůbec žádný.

A ještě poznámka na okraj: Žádné z těchto nebezpečí nezávisí na tom, zda umělé inteligence jsou nebo mohou být vědomé (v lidském smyslu); je neodmyslitelně spjato s představou výkonných kognitivních systémů, které tvrdě optimalizují a počítají výstupy splňující dostatečně komplikovaná výsledná kritéria. S tím, co bylo řečeno, bych nesplnil své morální povinnosti člověka, kdybych se také nezmínil o tom, že nemáme tušení, jak zjistit, zda si systémy UI uvědomují samy sebe – protože nemáme tušení, jak dekódovat cokoli, co se děje v obřích nevyzpytatelných maticích – a proto můžeme v určitém okamžiku neúmyslně vytvořit digitální mysli, které jsou skutečně vědomé a měly by mít práva a neměly by být vlastněny.

Pravidlo, které by většina lidí znalých této problematiky podpořila o 50 let dříve, bylo, že pokud systém umělé inteligence dokáže plynule mluvit a říká, že je sebeuvědomělý a požaduje lidská práva, mělo by to být tvrdou brzdou pro to, aby lidé tuto umělou inteligenci jen tak náhodou nevlastnili a nepoužívali ji za tímto bodem. Tuto starou hranici v písku jsme již překročili. A to bylo asi správně; souhlasím, že současné UI pravděpodobně jen napodobují řeči o sebeuvědomění ze svých tréninkových dat. Ale podotýkám, že s naším minimálním vhledem do vnitřku těchto systémů, to vlastně nevíme.

Pokud nyní nevíme, zda od GPT-4 k GPT-5 bude stejně obří skok jako od GPT-3 k GPT-4, myslím, že už nebudeme moci oprávněně říkat "pravděpodobně si neuvědomují sami sebe", pokud necháme lidi vytvořit GPT-5. Bude to prostě "nevím, nikdo to neví". Pokud si nemůžete být jisti, zda vytváříte sebeuvědomělou umělou inteligenci, je to alarmující nejen kvůli morálním důsledkům té části "sebeuvědomělá" – ale protože nejistota znamená, že nemáte ponětí, co děláte, a to je nebezpečné a měli byste toho nechat."

Ostatní text ZDE

2
Vytisknout
7988

Diskuse

Obsah vydání | 4. 4. 2023