Halucinace AI mohou otevřít cestu malwaru. Nový útok cílí na AI agenty
Bezpečnostní výzkumníci popsali útok HalluSquatting, který zneužívá halucinace AI agentů k napadení počítače, šíření malware či odcizení dat.
Od nástupu agentní umělé inteligence, tedy systémů schopných samostatně provádět úkoly a pracovat s dalšími nástroji, bezpečnostní výzkumníci upozorňují na rizika spojená s poskytováním rozsáhlých uživatelských oprávnění velkým jazykovým modelům.
Výzkumníci z Tel Aviv University, Technionu a společnosti Intuit nyní ve své práci ukázali, jak lze jednu ze známých slabin současných AI modelů proměnit v bezpečnostní hrozbu. Agenti si totiž mohou vymyslet neexistující repozitář a útočník může takovou předvídatelnou chybu využít k distribuci škodlivého kódu.
Útok dostal označení HalluSquatting, přesněji adversarial hallucination squatting, a zaměřuje se právě na AI agenty schopné samostatně vyhledávat, stahovat a spouštět software. Využívá jejich tendence vytvářet takzvané halucinace, tedy odpovědi, které vypadají věrohodně, ale obsahují nesprávné nebo zcela smyšlené informace. K tomu může dojít například v situaci, kdy se model setká s nástrojem, který nezná ze svých trénovacích dat.
Způsob, jakým modely takové odpovědi vytvářejí, je navíc do určité míry předvídatelný. V případě GitHubu mohou například vygenerovat adresu ve formátu vlastník/repozitář nebo název-nástroje/název-nástroje. HalluSquatting se tím liší od klasického typosquattingu, který spoléhá především na překlepy uživatelů. V tomto případě útočník využívá přímo halucinace AI.
Útočník si může vybrat například aplikaci, repozitář, programovací knihovnu nebo nástroj pro AI agenty, který získal popularitu teprve v posledních měsících. Pokud by skutečný repozitář nesl například název OriginalOwner/WindowsTelemetryOff, model ho kvůli neaktuálním trénovacím datům nemusí znát. Jako stejně důvěryhodné mu pak mohou připadat smyšlené varianty SuperHacker/WindowsTelemetryOff, WindowsTelemetryOff/WindowsTelemetryOff nebo dokonce adresy obsahující překlepy.
Útočník následně vytvoří škodlivý repozitář pod některým z názvů, které AI pravděpodobně vygeneruje. Když potom uživatel požádá Claude nebo jiného programovacího AI agenta například o spuštění příslušných skriptů, agent si může adresu repozitáře vyhalucinovat a narazit právě na závadnou verzi. Pokud její původ dostatečně neověří a kód spustí, může tím útočníkovi otevřít cestu k napadení počítače.
Jedním z možných scénářů je vytvoření takzvaného reverse shellu, při kterém napadený počítač naváže spojení umožňující útočníkovi vzdáleně ovládat příkazový řádek. Ten pak může v závislosti na oprávněních napadeného účtu například získávat data a hesla, instalovat další software, spouštět kryptoměnové minery nebo zneužít samotného AI agenta k dalším škodlivým aktivitám.
Výzkumný tým zjistil, že velké jazykové modely mohou při určování umístění novějšího repozitáře halucinovat až v 85 % případů. U aktuálně populárních nástrojů pro AI agenty se v některých testech míra halucinací dostala dokonce na 100 %. Problém se přitom týkal všech testovaných modelů, včetně Claude Opus 4.5 od Anthropicu. Výsledky zároveň naznačují, že princip útoku je přenositelný mezi různými AI systémy a není omezený na konkrétní model.
Při testování konkrétních programovacích nástrojů byly výsledky příznivější, stále však poměrně vysoké. U Cursoru, Gemini CLI a Copilotu se úspěšnost útoku pohybovala mezi 20 až 35 %. Tyto nástroje mají při práci k dispozici více kontextových informací, což pravděpodobnost úspěšného útoku snižuje. U OpenClaw a jeho variant však výzkumníci zaznamenali výrazně vyšší hodnoty, které se pohybovaly přibližně mezi 80 až 100 %.
Velký rozdíl je patrný také podle stáří hledaného softwaru. Průměrná míra halucinací při určování názvů testovaných GitHub repozitářů zveřejněných v roce 2025 dosahovala 92,4 %. U repozitářů z roku 2019 a starších modely chybovaly pouze v 0,9 % případů. Starší projekty totiž mají výrazně větší šanci, že se informace o nich nacházely už v trénovacích datech modelu.
Nejúčinnější obranou je podle výzkumníků především změna způsobu práce s AI agenty. Modely by měly dostávat dostatek kontextových informací a před instalací softwaru ověřovat jeho skutečnou existenci a původ pomocí aktuálních zdrojů. Uživatelé by zároveň neměli kroky AI agentů slepě považovat za důvěryhodné a měli by omezovat oprávnění, která jim poskytují. Právě rozsáhlý přístup k počítači, API klíčům, uživatelským účtům a dalším službám totiž může z relativně jednoduché halucinace udělat podstatně závažnější bezpečnostní problém.
