AI v kybernetické bezpečnosti: jak umělá inteligence pomáhá a jaká přináší rizika

Některé titulky představují umělou inteligenci jako řešení všech problémů, jiné jako nový zdroj rizik, která nelze mít pod kontrolou. Pravda je někde uprostřed. Umělá inteligence pomáhá odhalit kybernetické hrozby a urychlit rozhodování, její přínos však závisí na způsobu využití. Při odpovědném používání zvyšuje efektivitu práce, při nezodpovědném může představovat další bezpečnostní riziko. 

Organizace, které mají z této technologie největší užitek, se nesnaží nahradit zkušenosti odborníků na kybernetickou bezpečnost. Využívají umělou inteligenci k tomu, aby specialistům pomáhala přijímat lepší rozhodnutí během kratší doby. Úspěšná integrace AI tak staví na spolupráci lidí a technologií, nikoli na slepé důvěře v automatizaci. 

1. Bezpečnostní týmy využívají AI k odhalování hrozeb, určení priorit v případě upozornění a k vyšetřování incidentů. Nejlépe však funguje v kombinaci s lidským pohledem. 

2. Nové technologie přinášejí i rizika, jako jsou chybné výsledky, otrava dat (data poisoning) či nedostatečný přehled o tom, kde a jak se používají. 

3. Systémy umělé inteligence se také mohou stát cílem útoků, a proto potřebují vlastní ochranu. 

Role AI v kybernetické bezpečnosti versus zabezpečení samotné technologie 

Diskuse o kybernetické bezpečnosti často kombinují dva odlišné pojmy. Jeden označuje využití AI k ochraně organizace, druhý ochranu samotných modelů, aplikací a jejich uživatelů. Pochopení tohoto rozdílu je základem účinné strategie. 

AI pro kybernetickou bezpečnost označuje využívání technologií při odhalování podezřelých aktivit, zkoumání škodlivých souborů, určování priorit a vyšetřování incidentů. Inteligentní algoritmy pomáhají zpracovat informace, konečné rozhodnutí však vyžaduje znalost kontextu, posouzení a odpovědnost. Ty software nemůže převzít. 

Ochrana AI systémů řeší jiný problém. Když organizace zavádějí AI asistenty, nástroje typu ChatGPT, autonomní agenty nebo vlastní aplikace na bázi umělé inteligence, rozšiřují firemní prostředí o prvky, které je třeba chránit. Mohou totiž zpracovávat citlivé informace, přistupovat k interním zdrojům nebo provádět úkony jménem uživatelů.

Využití umělé inteligence v oblasti kybernetické bezpečnosti: příklady z praxe 

Moderní bezpečnostní nástroje mají společný cíl: pomoci specialistům identifikovat důležité signály v reálném čase v nepřeberném množství informací. V oblasti kybernetické bezpečnosti nejde jen o rychlost zpracování, ale také o schopnost rozpoznat souvislosti. Následující příklady ukazují AI v praxi a její přínos pro každodenní práci analytiků. 

Detekce hrozeb – Jedním z nejstarších způsobů využití této technologie je rozpoznávání podezřelých souborů a škodlivého chování. Algoritmy strojového učení hledají charakteristiky, které mohou ukazovat na malware. Příkladem je technologie DNA Detekce společnosti ESET. Z potenciálně škodlivých vzorků získává klíčové znaky a vytváří obecnější detekční profily, které pomáhají při identifikaci dosud neznámých hrozeb.  

Analýza malwaru – Umělá inteligence hraje důležitou roli také při prověřování neznámých souborů. Příkladem je ESET LiveGuard Advanced. Podezřelé soubory procházejí několika nezávislými vrstvami analýzy, které zahrnují pokročilé skenování, analýzu založenou na AI, spuštění v sandboxu (v bezpečném a kontrolovaném prostředí), kontrolu paměti a posouzení chování. 

Porozumění chování útočníků – Nejobtížnější případy se málokdy týkají jediného upozornění. Analytici potřebují pochopit, jak spolu souvisejí desítky, stovky, nebo dokonce tisíce událostí. Právě zde se uplatňuje behaviorální analýza: AI dokáže rozpoznávat vzorce útoků a pomáhá zasadit jednotlivé události do širšího kontextu kybernetického útoku. 

Určování priorit při vyšetřování – Bezpečnostní tým často řeší, čemu se věnovat nejdříve. Právě k tomu slouží například ESET LiveCortex. Zpracovává obrovské množství dat z prostředí konkrétního zákazníka, doplňuje je o kontext, rozpoznává důležité souvislosti a pomáhá oddělit podstatné signály od informačního šumu. 

Rychlejší práce analytiků – Efektivní určování priorit šetří čas a zdroje a usnadňuje prověřování běžných upozornění. Generativní AI přidává další možnosti podpory. ESET LiveAI kombinuje velké jazykové modely s pečlivě vybranými informacemi o hrozbách a technikami generování s podporou vyhledávání v informačních zdrojích (retrieval-augmented generation, RAG). Pomáhá objasňovat a vyšetřovat potenciální hrozby či anomálie, vytvářet zprávy, odpovídat na technické otázky a navrhovat možné kroky k nápravě. 

Rizika umělé inteligence v oblasti kybernetické bezpečnosti 

AI přináší vyšší rychlost, ale také omezení, se kterými je třeba počítat. Její nasazení v kyberbezpečnosti stále vyžaduje dohled, ověřování výsledků a jasné hranice. Technologie může práci automatizovat, neměla by však vést k nekritické důvěře v každý výstup. 

Falešně pozitivní a falešně negativní výsledky a drift modelu 

Žádný model nebude vždy přesný. Při falešně pozitivní detekci systém nesprávně označí běžnou aktivitu za škodlivou, a přidělá tak analytikům zbytečnou práci. Falešně negativní výsledky představují opačný problém: skutečný kybernetický útok může zůstat bez povšimnutí. 

Důležitá jsou také trénovací data. Modely trénované na neúplných, zkreslených nebo zastaralých informacích mohou poskytovat méně kvalitní výsledky. Jejich účinnost může časem klesat v důsledku takzvaného driftu modelu, protože se mění podoba kybernetických útoků i legitimní firemní aktivity. Pravidelné aktualizace a ověřování funkčnosti proto hrají klíčovou roli. 

Manipulace, transparentnost a ochrana dat 

Další výzvou je záměrná manipulace ze strany útočníků. Ti aktivně zkoumají AI systémy a hledají slabiny v jejich chování a možnosti jejich zneužití. To může snížit přesnost rozpoznávání škodlivých aktivit i celkovou účinnost obrany. 

Přetrvávajícím problémem je transparentnost. Organizace potřebují rozumět tomu, jak modely dospívají k důležitým závěrům, zejména pokud doporučení ovlivňují vyšetřování nebo nápravná opatření. Důležitá je i oblast ochrany osobních údajů a dalších citlivých informací. Bez jasných pravidel používání těchto nástrojů může dojít k jejich úniku. 

Náklady a řízení provozu autonomních agentů 

Provoz autonomních agentů může být drahý, protože každý úkol může vést k opakované interakci s AI modelem, používání nástrojů a spouštění pracovních postupů. Útočníci je navíc mohou zneužít a vyčerpat prostřednictvím nesplnitelných úkolů nebo úloh vedoucích k zacyklení. Vzniká tak situace označovaná jako „denial of wallet“, při níž provozovateli narůstají zbytečné náklady.

Nezmeškejte nic důležitého

Získejte přehled o trendech a novinkách ze světa kyberbezpečnosti.

ODEBÍRAT NOVINKY

Otrava dat: rostoucí hrozba 

Vedle těchto rizik vyvolává obavy také otrava dat neboli „data poisoning“. Dochází k ní při záměrné manipulaci s informacemi používanými k trénování modelů. Cílem je ovlivnit jejich chování. 

Pokud se takto pozměněná data dostanou do trénovacího procesu, model si může osvojit nesprávné souvislosti, stát se méně spolehlivým nebo vytvářet zavádějící výstupy. V krajních případech se útočníci mohou pokusit nasměrovat chování modelu tak, aby sloužilo jejich cílům. 

Proč nástroje využívající umělou inteligenci potřebují vlastní ochranu 

Integrace umělé inteligence do firemního prostředí rozšiřuje prostor, který je třeba chránit před nesprávným používáním, zneužitím a nechtěným zpřístupněním. Ochrana systémů umělé inteligence proto zahrnuje nejen samotné modely, ale také přístupová oprávnění, data a navazující pracovní postupy. 

Shadow AI  

Řada organizací se již potýká s takzvanou shadow AI. Jde o situace, kdy zaměstnanci používají neschválené nástroje v rozporu se zavedenými pravidly a mimo kontrolní procesy. Tyto nástroje mohou zpracovávat citlivá data, učit se z uživatelských vstupů a vytvářet výstupy, které lze obtížně předvídat nebo ověřovat. Právě vznikající mezery v dohledu komplikují řízení rizik. 

Únik dat  

Dalším problémem je únik promptů (prompt leakage), při němž napadený model prozradí své interní systémové instrukce. Vedle toho mohou zaměstnanci neúmyslně zpřístupnit citlivá firemní data tím, že je zadají do externích, veřejně dostupných aplikací určených běžným uživatelům. V obou případech je důležité vědět, jaké informace mohou firemní prostředí opustit. 

Rostoucí složitost  

Nástup autonomních agentů přináší další komplikace. Stále více spoléhají na takzvané AI skills (dovednosti nebo rozšíření), často volně dostupné ke stažení, a také na externí integrace, repozitáře třetích stran a samostatně prováděné pracovní postupy. Přechod od chatbotů založených na otázkách a odpovědích k agentům mění povahu rizik: nejde už jen o únik dat, ale také o provádění akcí a kontrolu nad nimi. 

K řešení tohoto rizika byl vyvinut ESET AI Skill Checker. Tato technologie prověřuje dovednosti před spuštěním a průběžně vyhodnocuje jejich chování, takže zachytí i škodlivé změny při aktualizaci. 

Pravidla a dohled 

Prostředí využívající modely a autonomní agenty potřebuje bezpečnostní opatření podobně jako koncová zařízení, sítě, cloudové úlohy a identity. Tyto technologie se staly součástí infrastruktury a mohou mít oprávnění provádět akce. Jasná pravidla, dohled a přehled o fungování pomáhají organizacím udržet kontrolu nad jejich nasazením. 

Přehled o využívání AI 

V reakci na tyto potřeby se rozvíjejí přístupy označované jako AI observability a koncepty centrálního řízení AI. Organizace potřebují vědět, kde se AI používá, které systémy mají přístup k citlivým datům a zda způsob používání odpovídá interním pravidlům. Platforma ESET PROTECT proto umožňuje sledovat používání těchto technologií a do budoucna nabídne také vyhledávání a identifikaci aktiv pomocí AI. 

Budoucnost kybernetické bezpečnosti: lidské zkušenosti a odpovědné využívání AI 

Kybernetická bezpečnost se rychle mění, ne však tak, jak naznačují některé titulky. Stejná technologie, která usnadňuje obranu, pomáhá rozšiřovat i kybernetické útoky. Phishing, sociální inženýrství a podvody tak zůstávají významnými riziky. Nejúčinnější strategie proto spojují technologické přínosy s jasnými pravidly a lidským dohledem. 

Nejúčinnější bezpečnostní strategie zohledňují obě stránky: využívají silné stránky AI a zároveň řeší její rizika prostřednictvím jasných pravidel, přehledu o jejím využívání a lidského dohledu. AI koneckonců nenahrazuje odborníky. Znásobuje schopnosti zkušených lidí a pomáhá jim přijímat rychlejší a informovanější rozhodnutí. Odpovědný přístup k umělé inteligenci proto neznamená opustit základní principy ochrany, ale posílit je. Investice do kybernetické bezpečnosti mají i nadále podporovat pevné základy, které pomáhají předcházet většině napadení.