Kreditná karta odmietnutá aj napriek výbornému skóringu, diagnóza z onkológie, ktorú lekár nevie vysvetliť, alebo zamietnutá žiadosť o hypotéku bez uvedenia dôvodu.
Presne v týchto momentoch prestáva byť AI „magická skrinka“ a stáva sa problémom, ktorý musíme riešiť. Európsky akt o umelej inteligencii (AI Act) od 2. augusta 2026 vyžaduje, aby vysokorizikové systémy podľa prílohy III boli transparentné a vysvetliteľné – a to nie je len byrokratická povinnosť, ale aj praktická nevyhnutnosť.
Čierna skrinka nestačí: Kde interpretovateľnosť zachraňuje peniaze aj životy
Keď model odmietne úver, chyba v tréningových dátach môže znamenať diskrimináciu menšín alebo systematické znevýhodňovanie určitých skupín. Podľa štúdie Rudinovej (2019) z Duke University dosahujú interpretovateľné modely v mnohých oblastiach so štruktúrovanými dátami často rovnakú presnosť ako hlboké neurónové siete, no s tým rozdielom, že ich rozhodnutiam rozumieme. Napríklad v medicíne, kde sa rozhoduje o živote pacienta, nestačí vedieť, že model má 95 % úspešnosť – potrebujeme vedieť, prečo odporučil konkrétnu liečbu.
V praxi to znamená: - Zdravotníctvo: Klinické rozhodovacie systémy musia byť schopné vysvetliť, ktoré symptómy a biomarkery viedli k diagnóze. Bez toho lekár nemôže prevziať zodpovednosť. - Financie: Smernica o spotrebiteľských úveroch (CCD) a všeobecné zásady férového bankovníctva vyžadujú, aby banky vedeli vysvetliť dôvody zamietnutia úveru. - Priemysel: Prediktívna údržba strojov – keď model predpovedá poruchu, technik musí vedieť, ktoré senzory a hodnoty na to upozornili.
Dva svety interpretovateľnosti: Vstavaná vs. dodatočná
Technicky rozlišujeme dva prístupy, ktoré sa často zamieňajú:
1. Inherentne interpretovateľné modely – Lineárna regresia, rozhodovacie stromy, logistická regresia. Ich logiku možno čítať priamo z parametrov. Nevýhoda: pri komplexných dátach (obrázky, text) ich presnosť zaostáva.
2. Dodatočné vysvetľovanie (post-hoc) – Metódy ako LIME (Local Interpretable Model-agnostic Explanations) alebo SHAP (SHapley Additive exPlanations) sa snažia vysvetliť rozhodnutia čiernych skriniek. SHAP vychádza z teórie hier – každá funkcia dostane „podiel“ na rozhodnutí. Podľa Lundberga a Leeho (2017) je SHAP konzistentný a lokálne presný, no výpočet je náročný a pre hlboké siete môže byť nepresný.
Pasca SHAP-u: Hodnoty SHAP ukazujú korelácie, nie kauzalitu. Model môže rozhodovať na základe nepodstatnej premennej, ktorá koreluje so skutočnou príčinou. Vysvetlenie potom „vyzerá“ správne, no je zavádzajúce.
Konkrétne čísla: Koľko stojí interpretovateľnosť?
Obetujeme presnosť, ak chceme rozumieť modelu? Viaceré odborné štúdie naznačujú, že rozdiel vo výkonnosti medzi interpretovateľnými a komplexnými modelmi je často minimálny, pričom v oblastiach s tabuľkovými dátami (financie, poisťovníctvo) býva rozdiel štatisticky nevýznamný.
Pre porovnanie – náklady na chybu: - Chybné zamietnutie úveru: strata klienta + reputačné riziko - Chybná diagnóza: právne náklady, poškodenie pacienta - Nevysvetliteľná predpoveď poruchy: neplánovaný výpadok výroby za tisíce eur za hodinu
Keď k tomu pripočítame náklady na regulačný súlad (AI Act, GDPR – právo nebyť predmetom výlučne automatizovaného rozhodnutia podľa čl. 22 a informačné povinnosti podľa čl. 13 – 15), interpretovateľnosť sa stáva ekonomicky výhodnou voľbou.
Praktické odporúčania: Čo si vybrať?
Pre technicky zdatných čitateľov – konkrétny návod:
- Začnite s jednoduchým modelom (logistická regresia alebo gradient boosting na stromoch). Ak dosiahnete dostatočnú presnosť (napr. > 90 % AUC), nemáte dôvod siahať po hlbokom učení.
- Ak potrebujete hlbokú sieť (obrázky, NLP), použite SHAP na úrovni datasetu, nie jednotlivých predikcií. Globálne hodnoty SHAP odhalia systematické skreslenia.
- Pozor na „explainable AI“ ako marketingový ťah. Ak dodávateľ ponúka „vysvetliteľnú AI“ bez špecifikácie metódy a jej obmedzení, je to varovný signál.
- Testujte konzistenciu vysvetlení: Ak model hovorí „klient bol odmietnutý pre vysoký vek“, no v tréningových dátach vek nehral rolu, niečo je zle. Konzistentnosť medzi vysvetleniami a realitou je kľúčová.
Budúcnosť: Smerom k „AI, ktorá sa zodpovedá“
Európsky AI Act (povinnosti pre vysokorizikové systémy podľa prílohy III platia od 2. augusta 2026, pre systémy zabudované do výrobkov podľa prílohy I od 2. augusta 2027) nevyžaduje len vysvetliteľnosť, ale aj auditovateľnosť – schopnosť spätne rekonštruovať, prečo model rozhodol tak, ako rozhodol. To znamená, že interpretovateľnosť sa stane štandardnou súčasťou vývoja, nie voliteľným doplnkom.
Predstavme si bežný scenár o dva roky: Poisťovňa odmietne poistné plnenie na základe AI modelu. Klient má právo žiadať vysvetlenie. Ak poisťovňa nevie poskytnúť zrozumiteľné a overiteľné zdôvodnenie, môže čeliť sankciám podľa GDPR, ktorých výška závisí od závažnosti konkrétneho porušenia. Toto nie je teória – je to realita, na ktorú sa musíme pripraviť.
Technický záver: Interpretovateľnosť ako konkurenčná výhoda
Pre ai.ezin.sk je jasné: Interpretovateľná AI nie je obmedzenie, ale inžinierska disciplína, ktorá prináša merateľné benefity. Nižšie náklady na regulačný súlad, vyššia dôvera používateľov a menšie riziko katastrofických chýb. Odporúčanie? Ak práve navrhujete nový systém, začnite s jednoduchým modelom a interpretovateľnosť navrhnite od začiatku. Ak už prevádzkujete čiernu skrinku, nasaďte SHAP na monitoring a pri najbližšej aktualizácii zvážte prechod na transparentnejšiu architektúru. Vaše budúce ja – a vaši audítori – vám poďakujú.
Zdroje
- Rudin, C. – Stop Explaining Black Box Machine Learning Models for High Stakes Decisions and Use Interpretable Models Instead, Nature Machine Intelligence (2019), nature.com (citované 5. 8. 2026)
- Lundberg, S., Lee, S.-I. – A Unified Approach to Interpreting Model Predictions, NeurIPS 2017, arxiv.org (citované 5. 8. 2026)
- )
- Európsky akt o umelej inteligencii (AI Act), Regulácia (EÚ) 2024/1689, eur-lex.europa.eu (citované 5. 8. 2026)
