Váš obchodný tím používa ChatGPT, marketing GPT-4o a účtovníčka si obľúbila Claude — a vy práve zisťujete, že faktúry za API a predplatné tvoria štvrtú najväčšiu položku v nákladoch na softvér.
Navyše si nikto nie je istý, či sa citlivé zmluvy spracúvajú v súlade s GDPR. Vitajte v realite roku 2026, kde AI chatbot nie je „jedna vec", ale celá architektúra rozhodnutí.
Krok 1: Definujte si úlohu skôr, než si vyberiete model
Najväčšia chyba firiem? Začať od modelu. Začnite od pracovného postupu (workflow), ktorý má chatbot riešiť. Iné požiadavky má interná znalostná báza, iné zákaznícka podpora a úplne iné automatizácia back-office.
- Interná znalostná báza – potrebujete RAG (retrieval-augmented generation), teda napojenie na vaše dokumenty. Kľúčový je výber vektorovej databázy a chunking (rozdeľovanie textu na segmenty), nie samotný model.
- Zákaznícka podpora – rozhoduje latencia (rýchlosť odpovede) a cena za token. Zákazník nečaká 10 sekúnd na odpoveď, ani nechce zaplatiť 0,05 € za jednu správu.
- Analýza dát a sumarizácia – potrebujete dlhý kontext (context window) a presnosť, nie rýchlosť.
Richardov tip: Napíšte si 5 konkrétnych scenárov, ktoré má chatbot zvládnuť, a otestujte ich na reálnych firemných dátach. Nie na „napíš mi e-mail", ale na „zhrň tento 40-stranový kontrakt a identifikuj rizikové klauzuly".
Krok 2: Open source vs. komerčné API — kľúčové kritériá
Komerčné API (OpenAI, Anthropic, Google Gemini): - Rýchle nasadenie, žiadna infraštruktúra - Platba za použitie — 0,15 € za milión vstupných tokenov, čo je lacnejšie ako vlastný GPU server - Riziko: dáta idú na servery tretej strany, vendor lock-in, ceny sa menia bez varovania
Self-hosted open source (Llama 3.3 70B, Mistral Large, DeepSeek V3): - Plná kontrola nad dátami — kľúčové pre GDPR a zmluvnú dokumentáciu - Fixné náklady: GPU server s jedným H100 (80GB VRAM) stojí ~25 000 € alebo cloud ~4 €/hod - Kvantizácia (GGUF, AWQ) zníži nároky na VRAM o 40 – 60 % bez výraznej straty kvality
Rovnica pre rozhodnutie: Ak spracúvate viac ako 5 miliónov tokenov mesačne a máte citlivé dáta, self-hosted sa začína oplácať už po 6 – 12 mesiacoch. Ak testujete a máte menej ako 1 milión tokenov, komerčné API je racionálna voľba.
Krok 3: Bezpečnosť — kde sa skrývajú náklady
Bezpečnosť nie je funkcia, je to proces. Podľa OWASP LLM Top 10 je najväčšou hrozbou prompt injection — útok, kde používateľ vloží do vstupu inštrukciu, ktorá prepíše vaše systémové pokyny. Druhým rizikom je data leakage, keď model „vytiahne" citlivé dáta z tréningovej množiny.
Minimálny bezpečnostný checklist: - Oddelené prostredie pre testovanie a produkciu - Rate limiting (obmedzenie počtu požiadaviek) — bráni DoS útokom aj zneužívaniu API - Red-teaming (zámerné testovanie útokov) pred nasadením - Audit logy — kto, čo a kedy poslal do modelu
Krok 4: TCO — celkové náklady na vlastníctvo
Pri porovnávaní sa pozerajte na 3-ročný horizont, nie na mesačnú faktúru:
| Položka | Komerčné API | Self-hosted |
|---|---|---|
| Infraštruktúra | 0 € | 25 000 – 60 000 € (GPU) |
| Prevádzka (3 roky) | 18 000 – 72 000 € | 8 000 – 15 000 € (energia, chladenie) |
| Personál | 0 € | 1 – 2 senior inžinieri (80 000 €/rok) |
| Dátová bezpečnosť | Riziko úniku | Plná kontrola |
Skrytý náklad, ktorý všetci prehliadajú: fine-tuning (doladenie modelu na vaše dáta). Jeden tréning na 100 000 tokenoch firemných dát stojí pri komerčnom API 50 – 200 € a vyžaduje 3 – 5 iterácií. Pri self-hosted sú to hodiny GPU času, ktoré nikto nezapočíta.
Krok 5: Testovanie — ako overiť, že chatbot nie je prázdny sľub
Nehodnoťte podľa marketingových demo videí. Postavte si eval set — 50 – 100 reálnych otázok z vašej domény s očakávanými odpoveďami. Merajte:
- Presnosť (accuracy) — koľko odpovedí je vecne správnych
- Latencia — čas do prvej odpovede (target: pod 2 sekundy)
- Cena za vyriešený ticket — nie za token, ale za celý dialóg
- Halucinácie — koľkokrát si model vymyslel fakt
Richardov biznis verdikt: podľa čoho sa rozhodnúť
Nasaditeľné hneď: Interné znalostné bázy a sumarizácia dokumentov s komerčným API (GPT-4o mini, Claude Haiku) — nízke riziko, rýchla návratnosť.
Počkať na verziu 2.0: Plná automatizácia zákazníckej podpory bez ľudského dohľadu. Modely sú stále príliš náchylné na prompt injection a halucinácie. Nechajte AI navrhovať odpovede, ale človek nech má posledné slovo.
Investovať do infraštruktúry: Ak máte citlivé dáta a objem nad 5 miliónov tokenov mesačne, začnite s pilotom na jednom GPU (RTX 4090, 24GB VRAM, ~1 800 €) s kvantizovaným modelom do 32B (napríklad Qwen 3 32B) — 70B sa do 24 GB nezmestí ani v Q4. Otestujete si to za 2 000 € namiesto 60 000 € na produkčnom clustri.
