Richard z ai.ezin.sk sa s vami podelí o tvrdé dáta, ktoré potrebujete na rozhodnutie.
Nie je to otázka viery, ale matematiky.
Otvorený kód vs. firemné modely: Kedy sa oplatí vzdať sa kontroly a kedy nie?
Predstavte si, že zaplatíte 20 000 € ročne za API prístup k modelu, ktorý vám cez noc zmení cenník, a vy zistíte, že zmluvu nemôžete vypovedať bez pokuty. Druhá možnosť: stiahnete si model, ktorý vás stojí 0 € za licenciu, ale potrebuje 48 GB VRAM a špecialistu na optimalizáciu, ktorého na trhu nenájdete. Toto nie je teória, ale každodenná voľba CTO v stredne veľkej firme na Slovensku.
Skutočné čísla: čo dnes modely vedia
Porovnanie reálneho výkonu v benchmarkoch MMLU (všeobecné znalosti) a HumanEval (kódovanie) z posledných mesiacov:
Open-source špička (Llama 3.1 405B, Qwen 2.5 72B, DeepSeek V3): - MMLU: 85–88 % - HumanEval: 82–89 % - Cena za 1M tokenov (self-hosted, amortizovaná): 0,50 – 2 €
Uzavreté modely (GPT-4o, Claude 3.5 Sonnet, Gemini 1.5 Pro): - MMLU: 87–90 % - HumanEval: 84–92 % - Cena za 1M tokenov (API): 3 – 15 €
Rozdiel vo výkone je 2–5 percentuálnych bodov. Rozdiel v cene je 1,5–30-násobný. Otázka teda neznie „ktorý je lepší", ale „stojí tých 5 % za 30-násobok ceny a stratu kontroly".
Kedy je open-source jednoznačná voľba
1. Dáta, ktoré nesmú opustiť firmu Spracúvate zdravotné záznamy, finančné dáta alebo know-how? GDPR a prípadný EU AI Act tvrdo obmedzujú posielanie dát do cloudu tretej strany. Self-hosted Llama 3.1 na vlastnom GPU serveri (napr. 4× RTX 4090, 128 GB VRAM, cena ~8 000 €) znamená, že dáta fyzicky neopustia vaše racky. To nie je výhoda, to je podmienka prežitia v regulovanom prostredí.
2. Predvídateľné náklady API modely účtujú za token. Pri nárazovom zaťažení (napr. sezónny e-shop) vám účet za API vyletí o 400 %. S lokálnym modelom platíte elektrinu a odpisy hardvéru. Pri 24/7 prevádzke a 1M tokenov denne vychádza self-hosted na ~0,80 €/deň oproti ~0,15 – 0,50 €/deň za GPT-4o mini. Za rok ušetríte ~2 600 € na jednom prípade použitia.
3. Plná kontrola nad modelom Open-source model si môžete doladiť (fine-tune) na vlastných dátach, odstrániť bezpečnostné obmedzenia, ktoré vám prekážajú, a nasadiť ho na edge zariadenia. Uzavretý model vám to nikdy nedovolí.
Kedy uzavretý model vyhráva
1. Nedostatok interných kapacít Prevádzka Llama 3.1 70B vyžaduje znalosť vLLM, kvantizácie (GGUF, AWQ), monitorovania VRAM a riešenia záhadných poklesov výkonu. Ak nemáte MLOps inžiniera, váš „lacný" open-source model vás vyjde na 60 000 € ročne v mzdách a stratách produktivity. API model je v tomto prípade lacnejší.
2. Najvyšší výkon na ťažké úlohy Ak potrebujete agenta, ktorý rieši zložité multi-step úlohy s nástrojmi, GPT-4o a Claude 3.5 majú stále navrch v dodržiavaní inštrukcií a robustnosti. Chyba v 5 % prípadov pri automatizácii fakturácie znamená katastrofu.
3. Rýchle nasadenie bez infraštruktúry Potrebujete prototyp do týždňa? API kľúč od Anthropicu funguje okamžite. Self-hosted model znamená nákup hardvéru, čakanie na dodanie a konfiguráciu. Čas je v biznise peniaz.
Skryté náklady a pasce
Open-source pasce: - Licencia: nie všetky „open" modely sú komerčne použiteľné (napr. niektoré verzie Llama majú obmedzenia pre firmy nad 700M používateľov) - Hardvér: 70B model v FP16 potrebuje 140 GB VRAM — to sú 3× RTX 6000 Ada (48 GB, po ~7 000 €) - Údržba: aktualizácie, bezpečnostné záplaty, monitoring sú vaša zodpovednosť
API pasce: - Vendor lock-in: zmena cien alebo zrušenie modelu vás prinúti prepisovať celú integráciu - Dátové úniky: prompt injection útoky môžu exfiltrovať dáta cez API - Latencia: sieťové oneskorenie 200–500 ms oproti 10–20 ms pri lokálnom behu
Bezpečnostný aspekt, ktorý sa prehliada
Prompt injection ohrozuje rovnako uzavreté aj open-source modely — útočník vloží do vstupu inštrukciu, ktorá prepíše pôvodný systémový prompt a prinúti model poslať dáta na útočníkov server. S open-source modelom máte kontrolu nad celým pipeline a môžete implementovať obranu (filtrovanie vstupov, sandboxing). Pri API ste odkázaní na ochranu dodávateľa, ktorá je často nedostatočná (OWASP LLM Top 10, riziko LLM01 a LLM02).
Praktické odporúčanie
Hybridná stratégia je jediná správna odpoveď. Nepoužívajte len jeden prístup.
- Citlivé dáta, interné nástroje, sumarizácia dokumentov: self-hosted Llama 3.1 8B alebo Qwen 2.5 7B na jednom RTX 4090 (cena ~1 700 €)
- Kódovanie, zložité agentové úlohy, prototypy: API GPT-4o mini alebo Claude 3.5 Haiku (0,30 – 1 € za 1M tokenov)
- Kritické operácie s najvyššou presnosťou: GPT-4o alebo Claude 3.5 Sonnet, ale s limitmi a monitoringom
Rozhodujte podľa dát, nie podľa mediálneho šumu. Väčšina firiem potrebuje open-source model na 70 % úloh a API na zvyšných 30 %.
Richardov biznis verdikt: otvorený model, alebo uzavretá služba? Nasaditeľné. Open-source modely v roku 2026 dosiahli úroveň, kde sú pre 90 % firemných prípadov použitia (sumarizácia, extrakcia dát, interné chatboty) plnohodnotnou náhradou API modelov s 10-násobne nižšími nákladmi. Ak vaše dáta nesmú opustiť firmu alebo chcete predvídateľné náklady, prejdite na self-hosted ešte tento kvartál. Ak potrebujete najvyšší výkon a nemáte MLOps tím, ostaňte pri API, ale architektúru navrhnite tak, aby ste mohli dodávateľa kedykoľvek vymeniť. Čakať na „verziu 2.0" nemá zmysel — súčasný stav už rieši reálne problémy.
