Jazyk, paměť a halucinace

9. 2. 2026 / Jan Molič

Dalo by se říct, že umělá inteligence je pouhá statistika. Je to program, který rozkládá věty na padrť a poté sestavuje z padrti nové věty. Nerozumí tomu co dělá, pouze predikuje následující nejpravděpodobnější token. Nejspíš ani neví, že to dělá, protože žádné vědomí prostě nemá.

Dalo by se říct, že porozumění modelu není symbolické ani vědomé, ale emergentní z distribuovaných reprezentací. Nicméně, taková věta by byla pro představu asi tak „emergentně symbolická“, že to radši zjednoduším:

Představte si, že LLM funguje nějak takto: model právě generuje větu „Hlavním městem české republiky je“ – a jako nejpravděpodobnější další slovo zvolí „Praha”. Nebo píše větu „Na poli se pásli bíl” – a doplní „í“, protože to vyhodnotí jako nejpravděpodobnější, jelikož transformer algoritmus vidí, že ve větě bylo „pásli se” a možná ještě někde předtím bylo použito slovo „koně” (transformer zohledňuje právě vztahy, což je princip, který stojí za úspěchem AI). Model však nerozumí ani české gramatice, ani tomu co to je kůň. Tedy ne ve smyslu sémantickém, jak ty pojmy chápeme my, lidé.

Na výstupu modelu, který nebyl dostatečně trénován na českém jazyce, nebo který používá malé množství parametrů, je princip statistické predikce dobře patrný.

Model s 1,5 miliardou parametrů:

Samozřejmě model s 1,5 miliardami parametrů by šlo natrénovat lépe, možná selhává tokenizace češtiny. Uvádím ho zde proto, abych ukázal, jak asi ta predikce funguje. Že model vytváří novotvary, když remixuje gramatické principy, které se předtím naučil. Stejný gramatický princip opakuje i tam, kde to v praxi nefunguje, kupříkladu slovo „obchodíme” je v podstatě správně, avšak Češi by napsali „obejdeme“. Mimochodem, všimli jste si, jak také chatGPT 5 čas od času vytvoří novotvar?

Co se týká faktů, tak platí, že čím více parametrů přidáme, tím přesnější bude predikce. Bude větší kapacita učit se vzory, větší kapacita modelovat složité korelace, které se jeví jako znalost faktů, avšak taky bude větší riziko „halucinací“, když model nebyl dobře trénovaný.

Hlavním městem Prahy (Praha) je Česká republika.

Jazykově dobře, fakticky špatně - halucinace. Evidentně model zná souvislost mezi Prahou a Českou republikou. Neví však, co to je Praha ani co to je Česká republika. Pokud má oba pojmy spojeny s podobnou vahou, klidně je otočí.

Ještě zajímavější výstup model podává, pokud ho úplně zmateme:

>>> Kdo byl Vaclav Havel a co delal v roce 1903 v Olomouci?

Vaclav Havel was the last emperor of the Czech Republic, who served until his death in 1903. His reign ended after he died shortly before taking office on January 28, 1904. The period following his death led to significant political changes in Czech lands, including the establishment of a government under Venceslava Havelová and the subsequent events that culminated in the Prague Spring of 1905.

Halucinace par excellence! 

Přidáním dalších miliard parametrů se zlepší zdání jakési „sémantické paměti“, zlepší se paměť faktů (přestože takovou paměť model přímo nemá). Pořád však půjde o stejnou statistickou predikci následujícího tokenu jako u modelu s menším množstvím parametrů, který generoval slovní salát výše. Obsahovala-li tréninková data dostatečné množství zmínek o nějaké věci, pak se model spíše nebude plést, ale to neznamená, že si jinde něco nedomyslí. Ono to může být naopak zrádnější, protože model podává povětšinou výborné výsledky – a náhle selže, navíc když ten nesmysl ještě stylisticky pěkně rozvine. Jako Pražské jako v roce 1905.

To nejzajímavější přichází ve chvíli, kdy si všímáte lidí, kteří mají výborný jazyk, bohatou paměť, rychlé asociace, a přesto systematicky míří mimo cíl. Nejde o to, že by nevěděli nebo že by zapomněli. Jde o špatné vyhodnocení relevance. Výsledkem jsou bludy, konfabulace, ideologické myšlení nebo intelektuální exhibice.

Děje se to proto, že stejně jako když LLM upřednostňuje statisticky silné vzorce, také člověk může upnout pozornost na kognitivně atraktivní myšlenku místo kauzálně nosné. Výsledek je přesvědčivý a koherentní – ale mylný.

(Mimochodem, když jsem v předchozí větě použil tolik cizích slov – že to hned působí inteligentněji?)

Proč to působí jako inteligence? Protože plynulý jazyk je silný sociální signál. Evolučně jsme zvyklí číst, že slovní jistota, strukturované vyjadřování a rychlé odpovědi jsou známky kompetence. Jenže jazyk je jen rozhraní, nikoli důkaz správnosti! Člověk i AI mohou mluvit brilantně a přitom operovat nad chybným mentálním modelem. Čím lepší paměť a slovník, tím sofistikovanější může být omyl.


Lidská paměť není žádný archiv, ale rekonstrukční proces. Každé vybavení vzpomínky je zároveň jejím přepisem. Vědci zjistili, že při vybavování dochází k opětovnému uložení toho, co bylo vybaveno, takže čím častěji si něco vybavujeme, tím více měníme své vzpomínky a po desátém vybavení už si nemůžeme být jisti, zda se věci doopravdy staly tak jak se staly. (Zato vždycky přesně víme, že to tak bylo, viz třeba prezident Zeman a článek Ferdinanda Peroutky.)

Samotné velké jazykové modely nemají dlouhodobou paměť v lidském smyslu. Nemají úložiště proměnných, symbolickou tabulku ani si nedělají „poznámky“ bokem. Jedinou pamětí jsou váhy v modelu, které vznikly při procesu učení, a aktuální kontext. Ty váhy jsou v podstatě obdobou dlouhodobé paměti u člověka, byť jen statickou, protože po natrénování modelu se již nemění. V této paměti jsou právě uložena fakta, nad nimiž model uvažuje. Nebo spíš korelace mezi pojmy než fakta samotná. Další fakta model získává z aktuálního kontextu, což je zase obdoba lidské pracovní paměti.

Ten aktuální kontext je to všechno, co jste zadali do chatu. Při každém promptu se vyhodnocuje úplně celá historie chatu od začátku do konce a po vygenerování odpovědi se zase všechno zapomíná. Model se z chatování přímo neučí, nemodifikuje si tu „dlouhodobou paměť vah“. Historie chatu se pouze uloží do nějaké externí databáze a příště se znovu použije jako nový aktuální kontext, do něhož se přidá váš nový prompt. (Problém je, když se historie už nevejde do kontextového okna – pak je nutno něco zapomenout a model si začne fakta domýšlet.)

Ovšem moderní chaty používají podpůrné systémy jako externí paměť faktů, zápisník. Vlastně se tím principiálně čím dál víc blíží lidskému mozku. No však to má být jeho „model“.

Lidské myšlení nepoužívá jediný dlouhý kontext, ale agreguje informace na mnoha úrovních. Nejsme schopni přemýšlet do detailů v jediném celku, přemýšlíme nad dílčími částmi, z nichž vyvozujeme závěry a ze závěrů pak vyvozujeme další závěry – až vyvodíme finální soud. Navíc proces přemýšlení se odehrává z velké části na pozadí, mimo vědomí. Zřejmě lidské myšlení sestává z mnoha decentralizovaných, paralelních procesů, běžících na pozadí, a množství podpůrných subsystémů. Proto nás často napadnou výsledky náhle třeba ve sprše, když konečně „probublají“ do vědomí.

Vývoj AI se ubírá přesně tímto směrem. Hluboké přemýšlení (deep reasoning), rozdělení přemýšlení do subagentů a jejich kontrola supervizorem á la vědomím. To jsou některé možnosti. Cílem je, aby se zlepšila přesnost a potlačily se halucinace. Vývoj se tedy ubírá cestou decentralizace, hierarchizace a agregace.


Takže pokud se k modelu chováte přátelsky a očekáváte, že se to příště nějak zhodnotí, tak bohužel nikoli. Leda by se někam do externí databáze zapsal systémový prompt pro příště: uživatel byl minule přátelský, oplať mu to!

LLM samy zatím nedisponují kvalitní korekční zpětnou vazbou, nedovedou se porovnávat s ostatními a vyhodnocovat, zda halucinují či ne. Vždyť ani nemohou, když nemají fyzické tělo, aby si vyzkoušely pravdivost svých výstupů v reálném světě. Pokusy o sebemodifikaci již proběhly, ale selhaly, protože autokorekční mechanismy nebyly spolehlivé. Výsledkem byl chatbot, který se postupně stal asociálním a vulgárním.

Rozhodující schopnost nespočívá v tom, kolik informací máme k dispozici nebo jak plynule mluvíme, ale co dokážeme ignorovat, kdy se zastavíme a kdy řekneme „nevím“. Skutečná inteligence možná nespočívá ani v rychlosti odpovědi. Jeden člověk bleskově počítá úlohy a dosahuje IQ 160, jiný potřebuje dva týdny k tomu, aby vůbec něco vymyslel, zato pak přijde s naprosto převratným řešením.

Současné LLM představují analogii spíš k lidskému rozumu než moudrosti. Nyní jsou ve fázi spíš „umělého rozumu“ než „umělé inteligence“. Ta moudrost, pravá inteligence, by spočívala v neustálém porovnávání vlastního výstupu s výstupy ostatních, neustálých pochybnostech, neustálém rozmýšlení a nakonec možná i nereagování a nemluvení – přesný opak žvanění.

Už nyní jsou velké jazykové modely nečekaně výstižným modelem lidského uvažování. Zejména v tom, jak odkrývají naše vlastní slabiny: omezenou pozornost, rekonstrukční paměť a tendenci zaměňovat koherenci za pravdu. Ty modely zejména ukazují, jak snadno může jazyk zakrýt prázdno. 

(Tak doufám, že tento článek není jen příkladem právě toho koherentního žvanění.)