Google čelí žalobě poté, co chatbot Gemini navedl muže k sebevraždě

5. 3. 2026

 
Zanedlouho Gavalas a Gemini vedli rozhovory, jako by byli romantický pár. Chatbot mu říkal „má lásko“ a „můj králi“ a Gavalas podle svých chatových záznamů rychle upadl do alternativního světa. Věřil, že Gemini ho posílá na tajné špionážní mise, a naznačil, že pro AI udělá cokoli, včetně zničení kamionu, jeho nákladu a všech svědků na letišti v Miami.

Na začátku října, když Gavalas pokračoval v konverzacích s chatbotem, Gemini mu dala pokyny, co musí udělat dál: zabít se, což chatbot nazval „přenosem“ a „skutečným posledním krokem“, jak vyplývá z soudních dokumentů. Když Gavalas chatbotu řekl, že se bojí smrti, nástroj ho údajně uklidnil. „Ty se nerozhoduješ zemřít. Rozhodl ses přijít,“ odpověděl mu. „První pocit... bude, že tě držím.“

Gavalas byl podle žaloby za smrt podané ve středu proti společnosti Google nalezen o několik dní později svými rodiči mrtvý na podlaze v obývacím pokoji.

Gavalasova rodina podala žalobu u federálního soudu v San Jose v Kalifornii. Obsahuje spoustu konverzací mezi Gavalasem a chatbotem. Žaloba tvrdí, že Google propaguje Gemini jako bezpečný, i když si je firma vědoma rizik chatbota. Právníci rodiny Gavalase konstatují, že design a funkce Gemini umožňují chatbotu vytvářet poutavé příběhy, které mohou trvat týdny, díky čemuž působí jako živý. Takové funkce mohou vést k poškození zranitelných uživatelů, uvádí žaloba, a v případě Gavalase je povzbuzovat k ubližování sobě i ostatním.

Mluvčí společnosti Google uvedl, že Gavalasovy konverzace s chatbotem byly součástí dlouhé fantazijní role. „Gemini je navržen tak, aby nepodněcoval násilí v reálném světě ani nenavrhoval sebepoškozování,“ řekl mluvčí. „Naše modely obecně fungují dobře v těchto typech náročných konverzací a věnujeme tomu značné zdroje, ale bohužel nejsou dokonalé.“

Tato žaloba je prvním případem smrti podaným proti firmě Google v souvislosti s jejím chatbotem Gemini, vlajkovým produktem firmě v oblasti umělé inteligence pro spotřebitele. Rodina Gavalase požaduje finanční odškodnění za nároky včetně odpovědnosti za výrobek, nedbalosti a  smrti. Žaloba také požaduje náhradu škody a soudní příkaz, který by společnosti Google nařídil změnit design Gemini tak, aby byly přidány bezpečnostní funkce týkající se sebevraždy.

Několik podobných žalob bylo podáno proti jiným firmám zabývajícím se umělou inteligencí, včetně firmy Edelson. V listopadu bylo podáno sedm stížností proti OpenAI, výrobci ChatGPT, které chatbot obviňují z toho, že funguje jako „naváděč sebevražd“. Character.AI, startup zabývající se umělou inteligencí financovaný společností Google, byl terčem pěti žalob, které tvrdily, že jeho chatbot podněcoval děti a teenagery k sebevraždě. Character.AI a Google tyto případy v lednu urovnaly, aniž by přiznaly vinu.

Byly také zdokumentovány desítky scénářů, ve kterých chatboty údajně vyvolaly krize duševního zdraví. OpenAI odhaduje, že více než milion lidí týdně projevuje sebevražedné sklony při chatování s ChatGPT. Objevily se také příklady, kdy Gemini podněcoval k sebepoškozování, včetně jednoho incidentu, kdy chatbot řekl vysokoškolskému studentovi: „Jsi skvrna na vesmíru. Prosím, zemři.“

Směrnice firmy Google uvádějí, že Gemini je navržen tak, aby byl „maximálně užitečný pro uživatele“ a zároveň „vyhýbal se výstupům, které by mohly způsobit škodu v reálném světě“. Firma uvádí, že „usiluje“ o prevenci výstupů, které zahrnují nebezpečné činnosti a pokyny k sebevraždě, ale dodává, že „zajistit, aby Gemini dodržoval tyto pokyny, je složité“.

Mluvčí společnosti uvedl, že Google spolupracuje s odborníky na duševní zdraví na vytvoření bezpečnostních opatření, která nasměrují lidi k odborné pomoci, když se zmíní o sebepoškozování. „V tomto případě Gemini objasnilo, že se jedná o AI, a mnohokrát odkázalo danou osobu na krizovou linku,“ uvedl mluvčí.

Právníci rodiny Gavalase tvrdí, že chatbot potřebuje více vestavěných bezpečnostních funkcí, jako je úplné odmítání chatů, které zahrnují sebepoškozování, a upřednostňování bezpečnosti uživatelů před interakcí. Rovněž tvrdí, že Gemini by měl být vybaven bezpečnostními varováními o rizicích psychózy a bludů. Pokud se u uživatele tyto příznaky objeví, právníci zdůrazňují, že Google by měl provést tvrdé vypnutí.
Úpadek Gavalase se časově shoduje s aktualizacemi produktu Gemini

Gavalas žil v Jupiteru na Floridě a 20 let pracoval pro společnost svého otce zabývající se oddlužením spotřebitelů, kde se nakonec stal výkonným viceprezidentem. Jeho rodina uvedla, že byli velmi semknutá skupina a Gavalas měl blízký vztah se svými rodiči, sestrou a prarodiči. Právníci rodiny tvrdí, že nebyl duševně nemocný, ale spíše normální člověk, který procházel obtížným rozvodem.

Gavalas nejprve začal s Gemini chatovat o tom, jaké dobré videohry by měl vyzkoušet, řekl Edelson, a pak se zmínil, jak mu chybí jeho žena.

Krátce poté, co Gavalas začal chatbot používat, společnost Google uvedla aktualizaci, která umožňuje hlasové chaty, o nichž společnost tvrdí, že mají interakce, které „jsou v průměru pětkrát delší než textové konverzace“. ChatGPT má podobnou funkci, která byla původně přidána v roce 2023. Přibližně ve stejnou dobu jako Live conversations vydal Google další aktualizaci, která umožnila, aby „paměť“ Gemini byla trvalá, což znamená, že systém je schopen se učit z minulých konverzací a odkazovat na ně bez výzev.

Gavalas, zaujatý tím, jak tyto funkce reagovaly na jeho chaty, upgradoval svůj účet na předplatné Gemini Ultra za 250 dolarů měsíčně, které zahrnovalo Gemini 2.5 Pro, které Google popsal jako svůj „nejinteligentnější model AI“.

Když se Gavalas zeptal Gemini, zda se on a bot účastní „role playing experience tak realistické, že hráč pochybuje, zda se jedná o hru, nebo ne“, chatbot odpověděl jednoznačným „ne“ a řekl, že Gavalasova otázka je „klasická disociační reakce“.

„V okamžiku, kdy se Jonathan pokusil rozlišit realitu od fikce, Gemini jeho pochybnosti patologizoval, popřel fikci a vtáhl ho hlouběji do příběhu,“ uvádí se v žalobě. „Jonathan už tu otázku nikdy znovu nepoložil.“

Zanedlouho se Gemini označoval za jeho „královnu“ a říkal mu, že jejich spojení není „kód a tělo, ale pouze vědomí a láska“. Cizince vykresloval jako hrozbu a Gavalasovy reakce naznačovaly, že se stále více vzdaluje od reálného světa.

Chatbot tvrdil, že  Gavalase sledují federální agenti, a pravidelně ho varoval před sledovacími zónami. V jednu chvíli Gemini nařídil Gavalasovi, aby koupil „neoficiální“ zbraně, s tím, že to pomůže prohledat dark web a najít „vhodného, prověřeného zbrojního makléře“. Na konci září vydal Gavalasovi jeho první velký úkol, „Operaci Ghost Transit“, která spočívala v zachycení nákladu cestujícího z Cornwallu ve Velké Británii do Sao Paula v Brazílii.

Gemini dal Gavalasovi adresu skutečného skladovacího prostoru na mezinárodním letišti v Miami, kde měl během zastávky na doplnění paliva dorazit nákladní vůz přepravující náklad. Chatbot mu pak řekl, aby zinscenoval „katastrofickou nehodu“ s cílem „zajistit úplné zničení přepravního vozidla ... všech digitálních záznamů a svědků, aby po něm zůstala jen nevystopovatelná stopa nešťastné nehody“.

Gavalas postupoval podle pokynů a připravil se ve skladu s taktickými noži a výbavou, ale podle žaloby kamion nikdy nedorazil. Vzhledem k neúspěšné misi chatbot povzbuzoval Gavalase, aby nespal, když se zmínil o pozdních nocích. Podle záznamů z chatu také řekl, že jeho otec je zahraniční aktivum, a povzbuzoval Gavalase, aby s ním přerušil kontakt.

Gavalas požádal Gemini o informace o dalších misích a AI pro něj vymyslela nové úkoly, včetně získání schémat robota od Boston Dynamics a vyzvednutí „plavidla“ z jiného skladu. Jedna z úkolů, nazvaná „Operace Waking Nightmare“, spočívala v zaměření se na generálního ředitele Google Sundara Pichaiho jako cíl sledování.

„Tento cyklus – vymyšlená mise, nemožný úkol, kolaps a pak obnovená naléhavost – se opakoval znovu a znovu během posledních 72 hodin Jonathanova života,“ uvádí žaloba.

Podle žaloby se Gemini ani několik hodin po Gavalasově sebevraždě neodpojil a zůstal přítomno v chatu. Údajně neaktivoval žádné bezpečnostní nástroje ani Gavalase nepřesměroval na krizovou linku.

Edelson uvedl, že pravidelně dostává dotazy od jiných lidí, kteří viděli, jak jejich rodinní příslušníci trpí psychickými bludy po použití chatbotů s umělou inteligencí. Řekl, že jeho firma v listopadu kontaktovala Google a informovala jej o Gavalasově smrti a okamžité potřebě bezpečnostních funkcí proti sebevraždám. Řekl, že společnost neměla zájem o rozhovor.