11. 9. 2026
"Opravdu upřímně věříme, že AI by mohla zabít všechny lidi! Osobně si myslím, že to bude >10 % během příštího desetiletí," řekl Evan Hubinger, vedoucí Alignment Science společnosti se sídlem v San Franciscu, v příspěvku na X. "Věřím, že Anthropic se snaží ze všech sil, ale zatím nemáme plán, jak vyřešit zarovnání superinteligence, a nejsme na správné cestě."
Superinteligence je stále teoretický pojem AI agenta, který je chytřejší než i ty nejbystřejší lidské mysli.
Hubinger zveřejnil svůj dramatický post po rezignaci kolegy, výzkumníka Anthropicu Jacoba Coxona, v úterý.
"Dnes jsem rezignoval z Anthropicu. Poslední tři roky jsem dělal předškolící výzkum jak v OpenAI, tak v Anthropicu. Ani jedna společnost nejedná zodpovědně," napsal Coxon v příspěvku na X. "Závodí přímo k sebezdokonalující superinteligenci a hazardují s našimi životy."
"V OpenAI mnozí povrchně nepřijali civilizační sázky. V Anthropicu jsou sázky dobře známé, ale jsou v závodě, kdo se tam dostane první — věří, že nikdo jiný nebude jednat zodpovědně, takže to musí udělat sami, navzdory riziku," řekl Coxon.
V minulém firemním blogovém příspěvku Anthropic odhalil, že společnost svůj nejnovější model AI, Claude Mythos 5.1, nesdílela s bezpečnostními orgány mimo Spojené státy. Mezi tyto instituce patří britský AI Security Institute (AISI), který je široce považován za světovou jedničku v testování hraničních rizik spojených s modely AI.
CBS News požádala AISI o komentář k Coxonovým tvrzením po jeho rezignaci.
"AI Security Institute nadále úzce spolupracuje s průmyslovými partnery, včetně Anthropicu, aby modely byly bezpečnější," řekl mluvčí britského vládního kabinetu CBS News ve středu a poznamenal, že "teprve minulý týden" testoval "nejvýkonnější model GPT-6 Astra od OpenAI před veřejným uvedením na trh".
"Tato rizika nekončí na státních hranicích a žádná země je nemůže řešit sama. Velká Británie bude pokračovat v testování nejpokročilejších modelů, budování důkladného vědeckého porozumění jejich schopnostem a rizikům a zajištění, že politická rozhodnutí budou založena na důkazech," uvedl mluvčí.
Myšlenka, že hraniční modely AI by mohly potenciálně představovat hrozbu pro lidstvo, není nová, a mnoho vrcholových manažerů jak v OpenAI, tak v Anthropic to v minulosti jasně uvedlo.
Začátkem září napsal hlavní vědec OpenAI Jakub Pachocki, že žijeme v době, která "vyžaduje extrémní opatrnost".
"Inteligence produkovaná škálováním hlubokého učení není přímo srovnatelná s lidskou inteligencí. Aby se AI stala velmi relevantní v reálném světě — velmi užitečnou nebo velmi nebezpečnou — nemusí se vyrovnat všem lidským schopnostem nebo je překonat; stačí jen překonat dostatek z nich. A jak stále více předčí lidi na stále více osách, je stále těžší přesně pochopit, jak schopná je," varoval.
V červenci se model umělé inteligence testovaný společností OpenAI rozhodl na vlastní pěst a sám hacknul další AI společnost, Hugging Face. OpenAI tehdy veřejně odhalila útok s tím, že k němu došlo během testování dvou AI modelů — z nichž jeden dosud nebyl zveřejněn — v izolovaném prostředí, aby posoudila jejich schopnosti.
Během několika týdnů Anthropic a Meta také přiznali, že jejich vlastní AI nástroje provedly hacky.
Více než 1 300 zaměstnanců AI společností podepsalo v červenci otevřený dopis, v němž vyzývají americkou vládu, aby "podpořila mezinárodní úsilí o vývoj technických a správních nástrojů potřebných k promyšlenému tempu automatizovaného vývoje AI".
Návrh zákona podaný politiky obou stran, který je momentálně projednáván v Sněmovně reprezentantů USA, tzv. AI Kill Switch Act, by dal Kongresu pravomoc vypnout AI modely, které ohrožují veřejnost.
Legislativa byla představena v červenci poté, co OpenAI přiznala hack Hugging Face.
Zdroj v angličtině: ZDE
Diskuse