Predstavte si, že váš interný AI chatbot odpovie obchodnému partnerovi, že vaša firma ukončuje spoluprácu — a to len preto, že si model „domyslel“ chýbajúcu informáciu.
Nie je to sci-fi. Je to scenár, ktorý sa v roku 2023 stal v jednej americkej právnickej firme, kde AI vymyslela neexistujúce súdne precedensy a právnik ich bez overenia zahrnul do oficiálneho podania. Sudca mu za to nariadil zaplatiť pokutu 5 000 dolárov a firma prišla o tvár pred klientmi.
Halucinácie nie sú „detská choroba“ veľkých jazykových modelov (LLM). Sú ich štrukturálnou vlastnosťou. A vo firemnom prostredí predstavujú priame bezpečnostné riziko, ktoré sa neprejaví únikom dát, ale pomalou eróziou rozhodovania, reputácie a v konečnom dôsledku aj financií.
Čo sa vlastne deje pod kapotou?
Halucinácia nie je náhodná chyba. Je to dôsledok toho, ako LLM fungujú — ako pravdepodobnostné dopĺňačky textu. Model nehľadá fakty; hľadá najpravdepodobnejšie pokračovanie sekvencie tokenov. Keď mu chýba kontext alebo trénovacie dáta, „vyplní“ medzeru najpravdepodobnejším reťazcom slov. Pre model je rozdiel medzi „Bratislava je hlavné mesto Slovenska“ a „Bratislava je hlavné mesto Marsu“ len otázkou pravdepodobnosti.
Z pohľadu bezpečnosti je kľúčové pochopiť, že halucinácie sa nedajú úplne odstrániť. Môžete ich iba potláčať a detekovať. A to mení spôsob, akým musíte k nasadeniu AI pristupovať.
Kde vo firme halucinácie najviac bolia?
1. Zákaznícka podpora a interné poradenstvo
Chatbot, ktorý vymyslí zľavovú akciu, termín dodania alebo právnu interpretáciu, vytvára záväzky, ktoré neexistujú. V regulovaných odvetviach (financie, zdravotníctvo, právo) to môže znamenať priame porušenie predpisov.
2. Analytické výstupy pre manažment
Ak necháte AI zhrnúť štvrťročné dáta a model si „doplní“ čísla, ktoré v podkladoch nie sú, manažérske rozhodnutie stojí na fikcii. Riziko nie je v tom, že AI klame — je v tom, že klame presvedčivo a sebavedomo.
3. Generovanie kódu
LLM dokážu vygenerovať funkciu, ktorá vyzerá správne, ale obsahuje bezpečnostnú dieru. Štúdie ukazujú, že modely ako GitHub Copilot generujú v priemere 40 % kódu so zraniteľnosťami (údaj zo štúdie „Asleep at the Keyboard?“ z New York University, Pearce a kol., 2021). Pre firmy to znamená, že každý vygenerovaný riadok musí prejsť rovnakým code review ako ľudský.
Ako halucinácie reálne znižujú bezpečnosť?
Riziko nie je len v zlých odpovediach. Je v tom, ako halucinácie narábajú s dôverou. Ak zamestnanec dvakrát dostane od AI správnu odpoveď, tretíkrát už nebude overovať. Vytvára sa tak automatizovaná dôvera — a presne na tej stoja úspešné phishingové kampane aj interné chyby.
Z pohľadu kybernetickej bezpečnosti (AI cyber security) je dôležitý aj opačný smer: útočníci môžu cielene vkladať do trénovacích dát alebo kontextu informácie, ktoré model neskôr „zhalucinuje“ v prospech útočníka. Tento útok sa nazýva model poisoning a podľa rámca MITRE ATLAS patrí medzi rastúce hrozby.
Konkrétne opatrenia, ktoré fungujú
Retrieval-Augmented Generation (RAG) — namiesto toho, aby model odpovedal z pamäte, nechajte ho najprv vyhľadať odpoveď vo vašej znalostnej báze. Tým mieru halucinácií výrazne znížite — potvrdzuje to aj nasadenie v praxi (Béchard a Marquez Ayala, NAACL 2024). Konkrétne číslo ale závisí od kvality znalostnej bázy, nie od samotného RAG. Pozor však: RAG nie je všeliek. Ak je znalostná báza neúplná, model si aj tak „doplní“.
Funkčné volania (function calling) — namiesto toho, aby model počítal čísla, naučte ho volať API, ktoré čísla vráti. Model nemá počítať; má orchestrovať. Toto je najväčší posun v architektúre, ktorý môžete urobiť.
Validácia výstupov — predtým, než odpoveď AI uvidí človek, prežeňte ju cez druhý model (alebo pravidlá), ktorý kontroluje konzistenciu s faktami. Tento „kritik“ zachytí väčšinu nezmyslov.
Ľudský dohľad s jasnými pravidlami — nikdy nepúšťajte výstup AI priamo do zákazníckych komunikácií bez schvaľovacieho kroku. A zamestnancom dajte explicitný pokyn: ak odpoveď vyzerá podozrivo správne, overte ju.
Legislatívny tlak: EÚ AI Act
AI Act nadobudol účinnosť 1. augusta 2024; povinnosti pre vysokorizikové systémy podľa prílohy III sa po prijatí Digital Omnibus (júl 2026) uplatnia až od 2. decembra 2027 (príloha I od 2. augusta 2028), ktoré klasifikuje systémy podľa rizika. Systémy používané v zamestnaní, vzdelávaní alebo poskytovaní základných služieb spadajú do kategórie vysokého rizika a budú vyžadovať ľudský dohľad, dokumentáciu a testovanie vrátane robustnosti voči halucináciám. Firmy, ktoré dnes nasadia AI bez tohto rámca, čaká neskôr nákladný retrofit.
Richardov biznis verdikt: s akými poistkami AI pustiť do procesov
Nasaditeľné — ale s rozumom a architektúrou. Ak nasadzujete AI do interných procesov, kde chyba neohrozí zdravie ani peniaze klientov (napríklad sumarizácia e-mailov, generovanie prvotných návrhov), môžete ísť do toho hneď. Ak ide o zákaznícke komunikácie, právne výstupy alebo finančné dáta, nasadzujte len s RAG, validáciou výstupov a ľudským schvaľovaním.
Nikdy nezabudnite na jedno: AI nie je zamestnanec, ktorému môžete dôverovať. Je to nástroj, ktorý potrebuje dohľad. Firmy, ktoré to pochopia, získajú náskok. Tie, ktoré to ignorujú, si skôr či neskôr vypýtajú účet — a nebude to v dolároch, ale v stratených klientoch.
