Umělá inteligence "může vést k falšování vědeckého výzkumu"

16. 3. 2023

Umělá inteligence je stále cennější a důležitější součástí vědeckého výzkumu. Používá se jako nástroj pro analýzu komplikovaných datových souborů, ale nikdy se nepoužívá ke generování skutečného článku pro publikaci. Na druhé straně výzkumné práce generované umělou inteligencí mohou vypadat přesvědčivě, i když jsou založeny na zcela vymyšlené studii. Ale nakolik přesvědčivě?

V článku publikovaném v časopise s otevřeným přístupem Patterns výzkumná dvojice demonstrovala proveditelnost výroby výzkumného dokumentu pomocí ChatGPT, jazykového modelu založeného na AI. Jednoduše tím, že se zeptali, byli schopni nechat ChatGPT produkovat řadu dobře napsaných, zcela vymyšlených abstraktů. Hypotetický podvodník by pak mohl tyto falešné abstrakty odeslat do několika časopisů, které chtějí publikovat. Pokud by byl přijat, stejný proces by mohl být použit k napsání celé studie s falešnými údaji, neexistujícími účastníky a nesmyslnými výsledky. Může se však jevit jako legitimní, zejména pokud je předmět obzvláště abstraktní nebo není prověřen odborníkem v konkrétní oblasti.

V předchozím experimentu citovaném v aktuálním článku dostali lidé k posouzení abstrakty vytvořené člověkem i umělou inteligencí. V tomto experimentu lidé nesprávně identifikovali 32% výzkumných abstraktů generovaných umělou inteligencí jako skutečných a 14% abstraktů psaných člověkem jako falešných.

Současný výzkumný tým se rozhodl otestovat svou studii vyrobenou ChatGPT proti třem online detektorům AI. Texty byly v drtivé většině identifikovány jako generované umělou inteligencí, což naznačuje, že přijetí detekčních nástrojů AI časopisy by mohlo být úspěšným odklonem od podvodných aplikací. Nicméně když vzali stejný text a spustili ho prostřednictvím bezplatného online nástroje pro přeformulování poháněného umělou inteligencí, konsensus se jednomyslně převrátil na "pravděpodobně lidský", což naznačuje, že potřebujeme lepší nástroje pro detekci AI.

Skutečná věda je tvrdá práce a sdělování podrobností této práce je klíčovým aspektem vědy, který vyžaduje značné úsilí. Vytvoření falešné studie s dostatkem podrobností, aby vypadala věrohodně, by vyžadovalo obrovské úsilí, vyžadovalo by hodiny výzkumu, jak nejlépe znít věrohodně, a mohl by to být příliš únavný úkol. S umělou inteligencí, která úkol dokončí během několika minut, by se tato věc mohla stát zcela dosažitelným cílem. Jak vědci zdůrazňují ve své práci, mohla by mít strašlivé následky.

Uvádějí příklad legitimní studie, která podporuje užívání léku A před lékem B pro léčbu zdravotního stavu. Nyní předpokládejme, že vymyšlená studie tvrdí opak a není detekována (i když je odhalena, je notoricky obtížné získat zpět citace a přetisky stažených studií). Mohlo by to mít dopad na následné metaanalýzy a systematické přehledy těchto studií - studií, které řídí politiky zdravotní péče, standardy péče a klinická doporučení.

Kromě prostého motivu zlomyslnosti autoři studie poukazují na tlak na zdravotnické profesionály, aby rychle vydali velké množství publikací, aby tak získali finanční prostředky na výzkum nebo vstup do vyšších kariérních pozic. Částečně poukazují na to, že lékařská licenční zkouška ve Spojených státech nedávno přešla z klasifikované zkoušky na model úspěchu / neúspěchu, což znamená, že ambiciózní studenti se více spoléhají na publikovaný výzkum, aby se odlišili. To zvyšuje sázky na důvěryhodný systém detekce AI, který by odstranil potenciálně podvodný lékařský výzkum, jenž by mohl znečistit publikační prostředí - nebo ještě hůře, praktiky, kteří předkládají podvodné dokumenty z praxe na pacientech.

Cílem jazykových modelů umělé inteligence je již dlouho vytvářet texty, které jsou k nerozeznání od lidského textu. To, že potřebujeme umělou inteligenci, která dokáže rozpoznat, kdy člověk používá umělou inteligenci k vytvoření podvodné práce, jež je k nerozeznání od reality, by nemělo být překvapením. Překvapivé může být právě to, že ji možná budeme potřebovat tak brzy.

Zdroj v angličtině: ZDE