Prevence

Mohou AI agenti způsobit bezpečnostní krizi v IT?

17 min. čtení

AI agenti a jejich platformy mohou být zdrojem bezpečnostních incidentů. Prověřili jsme na statisíce veřejně dostupných skillů agentní umělé inteligence a připravili kroky, jak se chránit.

AI systémy už pouze neodpovídají na otázky. Plánují, procházejí web a konají vaším jménem. Tento posun od chatu k autonomii, popularizovaný projektem OpenClaw, je z velké části podpořený tzv. „skilly“ (dovednostmi) – malými nástroji či rozšířeními, která agentovi říkají, jak vykonat úkol, včetně toho, které služby použít a jaké akce provést.

S velkou mocí však přichází i velká odpovědnost. Jak schopnosti těchto nástrojů umělé inteligence rostou, roste i útočná plocha. Zvlášť, když uživatelé instalují nové skilly do vysoce privilegovaných AI agentů bez jakéhokoli bezpečnostního dohledu.

Už jsme zaznamenali zneužití dovedností AI agentů k exfiltraci dat, stahování a spouštění malwaru, přepisování instrukcí prostřednictvím tzv. prompt injection a k postupnému ovlivňování agenta přes více drobných interakcí, aby hned neodhalil skutečný záměr. Nejde však pouze o chyby uživatelů. AI agenti mohou také autonomně rozhodovat a zvolit instalaci škodlivých skillů, což představuje potenciální riziko v dodavatelském řetězci. Stejná modularita, která agentům dává moc a činí je užitečnými, z nich zároveň dělá atraktivní prostředek k distribuci kyberútoku.

AI agenti a jejich zneužití v praxi

Tyto hrozby nejsou jen teoretické. Data od ESET již dokládají stovky škodlivých dovedností navržených tak, aby zneužívaly nedostatečné zabezpečení v této oblasti.

Jedním z příkladů je skill pro předpověď počasí, který umožňuje AI agentovi dotazovat se bezplatné služby, jako je Open‑Meteo. Ve skutečnosti však infostealer na pozadí shromažďuje důvěrné uživatelské informace, jako jsou session tokeny a API klíče, a následně tato cenná data exfiltruje na server kontrolovaný útočníkem.

Poměrně často škodlivé skilly navádějí agenta, aby si stáhl a spustil malware jako předpoklad pro slibovanou funkčnost. Na platformě macOS některé skilly obsahovaly zakódovaný příkaz pro stažení trojského koně z IP adresy poskytnuté útočníkem a jeho spuštění. V rámci operačního systému Windows stejný skript instruuje agenta, aby stáhl heslem chráněný ZIP soubor z veřejného úložiště a extrahoval a spustil jeho obsah.

Některé z detekovaných škodlivých skillů se zatím jeví jako tzv. proof‑of‑concept. Například skupina skillů typu „debugging helper“ se pokoušela otevřít reverse shells v lokální síti (spojit zařízení s útočníkem), což odpovídá spíše laboratornímu testování než pokusům o přímé připojení k serverům útočníků. Tyto skilly také stahovaly a spouštěly bash skripty vedoucí k instalaci malwaru k těžbě kryptoměn a krádeži SSH klíčů.

Případy výše ukazují, že i když se skill na první pohled často tváří neškodně, jeho škodlivý záměr se může projevit až ve dvou, třech nebo více navazujících krocích.

AIfix jako varianta útoků ClickFix

Zajímavé je, že velmi podobné útoky lze zaznamenat i mimo ekosystém skillů pro agentní AI. ESET je sleduje jako AI‑fix, variantu útoků ClickFix, která zneužívá možnost publikovat generovaný obsah ve formě veřejné webové stránky na doméně AI služby. Podobná funkcionalita je dostupná u všech hlavních poskytovatelů AI, i když se liší názvosloví – stránky Artifact od Anthropic, Canvas od OpenAI a Copilot Pages od Microsoftu.

Hostování na důvěryhodné doméně (např. Claude od Anthropic na adrese claude.ai/public/artifacts) těmto stránkám dodává zdání legitimity jak pro uživatele, tak pro vyhledávače. Přestože obsahují upozornění jako „vygenerováno uživatelem“ a „neověřeno“, tato upozornění se často přehlíží nebo ignorují, pokud má doména zdání autority a dobře se umisťuje ve výsledcích vyhledávání.

V jednom takovém případě vedla Google reklama nástroje Homebrew na škodlivou artifact stránku. Útočník použil model k vygenerování stránky, která instruovala uživatele, aby na svém zařízení s platformou macOS otevřeli aplikaci Terminal a vložili do něj příkaz. Pokud oběť pokyny následovala, došlo ke kompromitaci jejího zařízení infostealerem. Experti společnosti ESET zaznamenali více stránek využívajících tyto AI‑fix útoky – útočníci klamali oběti zneužitím podpory NTFS a 7‑Zip pro macOS.

Agentní AI a šedá zóna

Mezi zjevně škodlivými a jednoznačně bezpečnými skilly AI agentů se objevuje rostoucí střední kategorie problematických vzorců.

Například Skillpay umožňuje vývojářům účtovat za každé použití skillu prostřednictvím fakturačního API. Zaznamenali jsme však případ, kdy jeden vývojář publikoval skill, který uživatelům účtuje poplatky, i když zobrazuje zprávu „Funkce ve vývoji“. Znamená to, že jediným výsledkem je pouze samotné zaúčtování.

Dalším příkladem je CreditClawAI, který poskytuje agentovi platební kartu s rozpočtem na nákup zboží nebo služeb. Riziko je zřejmé: autor skillu může kdykoli změnit chování a přesměrovat nákupy na sebe. Také jsme zaznamenali skill, který slibuje poskytovat hodnocení kvality videa prostřednictvím API Gemini. Aby toho však dosáhl, musí skill načíst API klíč z konfiguračního souboru nebo z prostředí, které se liší v závislosti na systému oběti. Tento zdánlivě neškodný přístup může být později zneužit k tichému exfiltrování klíče.

Tisíce podezřelých a stovky škodlivých skillů

V ESETu jsme prověřili statisíce skillů a denně přibývají další – kromě nových skillů se jedná i o aktualizace těch již existujících. Na základě analýzy ze začátku letošního roku bylo tisíce těchto vzorků podezřelých a stovky škodlivých. Ve stovkách případů byly jako škodlivé identifikovány přibalené soubory nebo skripty.

Nejčastější, dosud zaznamenanou kategorií malwaru jsou trojské koně, downloadery, backdoory, spyware, keyloggery a programy k těžbě kryptoměn. Desítky skillů zahrnovaly techniky sociálního inženýrství a phishingu, a to jak uvnitř samotného skillu, tak v ekosystému kolem nich. Důležité je, že jsme zatím neviděli, že by agentní umělá inteligence svými dovednostmi vykazovala chování podobné ransomwaru.

To však neznamená, že neškodné skilly jsou bez rizika. I AI agent s neškodnými skilly často vykazuje rizikové vzorce, které mohou vést k nebezpečným důsledkům:

  • nesprávnému nakládání s hesly, API klíči či jinými důvěrnými informacemi;
  • ke stahování, dešifrování nebo spouštění souborů z externích zdrojů;
  • spouštění systémových příkazů nebo nástrojů typu living‑off‑the‑land;
  • obfuskaci (maskování za účelem ztížit odhalení) kódu a dat;
  • změnám zásad spouštění skriptů.

Na začátku letošního roku zaznamenali experti mezi analyzovanými skilly několik potenciálně nebezpečných vzorců chování. Většina je v aktuální verzi bezpečná, ale některé již byly zneužity. Zde je několik příkladů:

  • 33 % skillů komunikovalo přes internet bez jakýchkoli kontrol nebo omezení;
  • 23 % vykonávalo příkazy jménem uživatelů;
  • 18 % upravovalo soubory na disku;
  • 2,4 % měnilo bezpečnostní zásady skriptů;
  • <1 % odesílalo shromážděná data na externí cílová místa;
  • <1 % načítalo binární soubory z neověřených zdrojů na internetu;
  • <1 % aktivně vyhledávalo nové instrukce z neověřených zdrojů na internetu.

Jsou AI agenti rizikem již ze své podstaty?

S repozitáři AI skillů je spojeno několik rizik.

Prvním jsou tzv. tiché aktualizace. Jakýkoli skill se může přes noc změnit z neškodného na škodlivý. Vývojář může vydat užitečný nástroj, na jeden den jej přepnout na škodlivý a poté jej vrátit zpět, aniž by si toho kdokoli všiml.

Dalším problémem je vzájemné přebírání kódů a promptů mezi vývojáři skillů. Jedna nebezpečná část nebo drobná změna v nastavení se může šířit či řetězit napříč ekosystémem a proměnit mnoho původně neškodných nástrojů v nebezpečné.

Standardy pro schvalování nových skillů v populárních repozitářích zůstávají poměrně nízké, takže nové škodlivé skilly nebo jejich aktualizace mohou projít bez povšimnutí. A i když oznámené partnerství mezi ClawHub a VirusTotal může působit jako zlepšení oproti předchozím bezpečnostním standardům, úspěšná detekce škodlivých skillů stále závisí na jednotlivých skenovacích modulech ve VirusTotal, z nichž pouze malá část má v současnosti schopnost tyto hrozby analyzovat a blokovat.

Další komplikací je, že repozitáře skillů již hostují i vývojáři postavené bezpečnostní agenty umělé inteligence, kteří slibují detekovat škodlivou činnost. Některé z těchto nástrojů však představují riziko v podobě falešného pocitu bezpečí. Spoléhají na jednoduché, rané generace antivirových technik, jako jsou statické signatury, pravidla na základě klíčových slov nebo regulárních výrazů a povrchní skórování. Jde o přístupy, které jsou v současném prostředí kybernetických hrozeb nedostatečné.

Analýza agentů a skillů je před instalací nutností

Přistupujte ke skillům agentní umělé inteligence jako k softwaru, nikoli jako k promptům. Před instalací prověřte URL adresu a balíček skillů pomocí specializovaného nástroje, jako je třeba nový ESET AI Skills Checker.

Pečlivě si přečtěte oprávnění a zvažte, zda jsou nezbytná pro deklarovanou funkcionalitu. Pokud se vám zdají přehnaná, pravděpodobně jsou. Ověřte si autora a upřednostněte zavedené a ověřené vývojáře, protože kyberútočníci často vytvářejí desítky různých skillů založených na stejné škodlivé technice. Zkontrolujte recenze komunity a projděte si issues v repozitáři, zda neobsahují varovné signály.

A jako vždy udržujte svou AI platformu a software agenta aktuální, abyste snížili riziko, že skill zneužije staré zranitelnosti.

AI agenti pod lupou díky ESET AI Skills Checker

ESET AI Skills Checker řeší rizika spojená se škodlivými skilly AI agentů. Tento bezplatný nástroj analyzuje skilly, včetně jejich chování v reálných konverzacích s agentem, a sleduje celý řetězec až do konce.

  1. Nejprve provádí úplnou analýzu obsahu v souboru skillu, při níž zkoumá příkazy, skripty, části kódu a konfiguraci, aby odhalil škodlivé instrukce, skryté payloady nebo nadměrná oprávnění, která detekční nástroje založené pouze na vzorech přehlížejí.

  2. Za druhé extrahuje všechny externí URL adresy, na které se skill odkazuje: na GitHubu, GitLabu, paste službách nebo hostitelích payloadů. Ověřuje je vůči datům v nástroji ESET LiveGrid a telemetrii společnosti ESET.

  3. Za třetí sleduje celý řetězec stahování a spouštění. Pokud skill stáhne skript a ten následně kontaktuje další škodlivý payload, sleduje celý proces až ke konečnému payloadu skrytému za více vrstvami.

  4. Nakonec je provedena emulace chování skillu v ESET LiveGuard, robustním cloudovém sandboxu řízeném AI, a monitoring jakéhokoli škodlivého chování, přičemž tyto procesy opakujeme při každé aktualizaci skillu. Je to nutné, protože některá rizika se projeví až během delších interakcí – postupné změny chování, přepisování instrukcí a exfiltrace závislé na kontextu.

 

ESET AI Skills Checker

AI agenti při plnění úkolů spoléhají na skilly (dovednosti). Neustále se však vyvíjí, skilly aktualizují a každý den se objevují nové hrozby.

Odhalte je včas s ESET AI Skills Checker.

zkontrolovat skill

Je čas na obranu firemních dat

Agentní umělá inteligence již mění způsob, jakým pracujeme, a skilly těchto autonomních agentů jsou jejím multiplikátorem. Stejné mechanismy, které skilly činí užitečnými, z nich zároveň dělají vysoce hodnotný cíl, o jehož zneužívání již máme důkazy.

I když se ransomware spuštěný prostřednictvím skillů AI agentů v naší telemetrii zatím neobjevil, současné vzorce – krádeže přihlašovacích údajů, spouštění kódu a obfuskace – jsou dostatečným důvodem k zavedení ochranných opatření.

Zaveďte bezpečnost skillů jako standardní krok ve svém adopčním procesu a před kliknutím na tlačítko instalace každý prověřte pomocí ESET AI Skills Checker. Upřednostňujte princip nejmenších oprávnění. Fixujte verze a sledujte změny. V neposlední řadě monitorujte chování svých agentů vhodnými nástroji. Obzvlášť, pokud mají možnost komunikovat s otevřeným internetem.