Hardvér a infraštruktúra
Predstavte si, že potrebujete do pamäte dostať model, ktorý sa na bežnom GPU jednoducho nezmestí.
Predstavte si, že si kúpite špičkový stroj za 189-tisíc eur a zistíte, že model, ktorý ste si vybrali, sa naň fyzicky nezmestí.
Predstavte si, že si ráno zapnete asistenta, ktorý vám na základe fotky z dovolenky automaticky vytvorí album, no telefón sa vám v rukách zahreje na 45 °C a batéria klesne o 12 % za desať minút.
Jedna odpoveď modelu GPT-4 spotrebuje približne 2,9 Wh elektriny – to je ako keby ste na 20 minút rozsvietili LED žiarovku.
Trh s použitými grafickými kartami (GPU) pripomína v posledných mesiacoch divoký západ.
Vaša grafická karta sa práve prehrieva a ventilátory znejú ako vzlietajúci Boeing 747.
Predstavte si, že spúšťate lokálny jazykový model s 13 miliardami parametrov a čakáte na odpoveď.
Richard z ai.ezin.sk: Cloud vs. vlastný hardvér na AI – čo sa reálne oplatí
Lokálna AI za rozumné peniaze: Koľko VRAM reálne potrebujete a kde sú hranice rozpočtu?
Sedíte nad objednávkou novej grafickej karty a v prehliadači máte otvorených päť kariet s porovnávačmi.