Firmy a technologie

Bezpečné nástroje umělé inteligence: Co by měly firmy vědět o nařízení AI Act?

8 min. čtení

V srpnu vstoupilo v platnost evropské nařízení AI Act o využívání technologií umělé inteligence. V celém rozsahu má začít platit do dvou let. Právní předpis regulující umělou inteligenci by měl zaručit větší bezpečnost a důvěru občanů Evropské unie v AI. Co z toho plyne pro firmy v Česku? A proč je dobré se o nařízení zajímat již nyní?

AI Act je nařízení Evropské unie, které vstoupilo v platnost 1. srpna 2024 a v plném rozsahu by mělo být platné do 24 měsíců, tedy v roce 2026. Jelikož se jedná o nařízení a nikoli například o směrnici, na straně České republiky jako členského státu EU již nemusí probíhat žádné přijetí a ukotvení do existujících zákonů. Nařízení jsou právními akty, které se uplatňují automaticky a jednotně ve všech zemích EU a jsou závazná v celém rozsahu pro všechny členské země.

Nový právní předpis regulující umělou inteligenci se však nebude vztahovat pouze na země EU. Dodržovat ho musí všechny společnosti, které se v unii rozhodnou prodávat a provozovat AI nástroje, a přitom se jejich hlavní sídla nacházejí mimo EU. Povinnosti plynoucí z nové regulace systémů umělé inteligence přitom dopadnou nejen na samotné vývojáře v různých oborech a odvětvích, ale také třeba na prodejce AI produktů. V konečném důsledku bude mít nařízení dopad také na jednotlivce.

Proč zavádět regulaci AI systémů

Evropská regulace AI Act klade důraz především na posílení bezpečnosti, a to nejen jednotlivců, ale také firem. Obavy o bezpečnost vzbuzují především nástroje AI schopné generovat tzv. deepfake obsah, který se neslučuje s realitou.

„AI nařízení pracuje i s tím, že pokud budeme generovat deepfakes, musíme transparentně říct, že se jedná o manipulovaný obsah. Evropa se to snaží regulovat, v Americe zatím regulace vůbec není,“ říká advokátka Petra Dolejšová.

Evropská unie si však v případě AI Actu klade také za cíl vytvořit podmínky pro usnadnění investic a inovací v oblasti umělé inteligence nebo pro rozvoj jednotného evropského trhu pro ty aplikace, které budou splňovat nároky na svou bezpečnost a důvěryhodnost.

Jaká jsou nejznámější rizika kolem používání umělé inteligence?

Podle poslední zprávy ESET Threat Report H1 2024 útočníci zneužívají známá jména AI nástrojů pro šíření infostealerů. V první polovině roku 2024 malware Ridile Stealer využíval k nalákání a zmatení obětí jména generativní AI asistentů, jako je například Sora od OpenAI či Gemini od Google. Malware Vidar stealer pak útočníci vydávali za domnělou desktopovou aplikaci Midjourney pro generování AI obrázků. AI nástroje ale útočníci zapojili i do přípravy útoků na mobilní bankovní služby na platformě Android. Mobilní malware GoldPickaxe dokáže krást data pro rozpoznávání obličeje a vytvářet na jejich základě deepfake videa, kterými pak útočníci manipulují své oběti.

Umělá inteligence a nástroje využívající technologie velkých jazykových modelů však mohou útočníkům sloužit i v přípravě phishingových útoků. Právě techniky sociálního inženýrství, které jsou nejen pro jednotlivce, ale také pro firmy dnes již srovnatelnou hrozbou s malwarem, se díky AI nástrojům mohou stát ještě uvěřitelnějšími. S jejich vývojem se zlepšuje postupně kvalita generovaného hlasu i obrazu. AI nástroje útočníci zapojují i do automatizace kampaní a překladů. Lepší překlady jim pak mohou pomáhat právě s lepším cílením phishingových kampaní.

S obavami a riziky se nicméně setkává i řada firem v každodenním fungování. Mezi hlavní rizika spojena s využíváním velkých jazykových modelů ve firmách patří například nadměrné sdílení citlivých údajů, otázky kolem autorských práv, možné zranitelnosti v softwarovém kódu, který AI vygeneruje, riziko napadení služby zvenčí za pomoci malwaru nebo únik dat. Firmy tak stojí před výzvou v podobě zavádění takových opatření, která jim pomohou výše zmíněná rizika minimalizovat.

Příručka o sociálním inženýrství

Za kybernetickými útoky často nestojí útočníci s velkými technickými znalostmi, ale síla psychologické manipulace. Naučte své zaměstnance rozpoznat techniky sociálního inženýrství.

ZÍSKAT PŘÍRUČKU

Koho se bude AI Act týkat?

Nařízení se vztahuje na veřejné i soukromé instituce a firmy. Akt o umělé inteligenci dělí systémy umělé inteligence do několika kategorií:

  • Zakázané systémy AI
  • Vysoce rizikové systémy AI
  • Systémy AI s omezeným rizikem
  • Systémy AI s minimálním rizikem

Mezi zakázané systémy s nepřijatelným rizikem se budou řadit například technologie, které dokážou zaznamenávat naše podprahové jednání, monitorovat naše emoce či provést tzv. social scoring – a být tak třeba po ruce státním orgánům. Pod dohled nařízení ale budou spadat také vysoce rizikové nástroje s dalším velkým dopadem na naše životy, ať už to budou technologie řídící kritickou infrastrukturu a dopravu či schopné monitorovat naše schopnosti, vzdělávání nebo bezpečnost.

V případě používání systémů umělé inteligence, které budou spadat do kategorie omezeného rizika, bude požadavkem především transparentnost.

AI Act vstoupil v platnost 1. srpna 2024 a tzv. plně použitelný bude do dvou let. Platí zde ale některé výjimky a například zákazy pro konkrétní používání technologií umělé inteligence budou platné již několik měsíců po vstupu v platnost, od února 2025.

Patříte mezi malé a střední podniky, které využívají nebo plánují využívání AI technologií ve svých produktech? Pusťte si poslední díl podcastu TruePositive s advokátkou Petrou Dolejšovou. Dozvíte se například:

  • Jak je to s autorským právem v případě nástrojů umělé inteligence?
  • Na co se zaměřit, pokud patříte k firmám, které implementují AI nástroje do svých produktů a řešení?
  • A proč by se měly firmy připravovat na plnou platnost nařízení AI Act již nyní?