Jak jednoduše na lokálně akcelerovanou AI. Ukážeme, co umí i jak ji zprovoznit | Kapitola 6
Seznam kapitol
Používání lokálně akcelerované AI je snadné a přináší výhody jako lepší soukromí a nezávislost na cloudu. Jak AI rozjet a co umí?
Nároky na výkon
Po nainstalování a prvním spuštění modelů se ujistěte, že model k akceleraci používá grafickou kartu a konkrétně jádra Tensor. Pokud by model byl omylem počítán třeba na procesoru, výrazně by se zpomalil a na některých systémech by se ani nedal zprovoznit.
Celý test jsem prováděl na grafické kartě Nvidia RTX 4070 se 12 GB VRAM. Na ní AI modely začaly odepisovat téměř okamžitě po zadání promptu a celkový čas odpovědi trval podle její délky. Jednoduchou odpověď generoval v řadech sekund a další text stíhal psát rychleji, než jsem ho já zvládal číst. Obrázky se generovaly v řádech sekund až desítek sekund na jeden obrázek podle zvolených parametrů kvality.
Musíme zde rozlišovat výkon samotné karty, ale i kapacitu VRAM. Každý model bude mít ve specifikacích požadavky právě na velikost VRAM; co se stane, pokud ji přesáhnete? Některé modely nepůjde spustit, ale například Mistral-small (22B) mi fungoval, jen byl při odpovídání pomalejší.
Prvním limitem je tedy paměť, když nebude dostačovat, AI model následně nedokáže plně vytížit jádra Tensor. Když se model do VRAM vejde, limitem začne být výkon Tensor jader. Tedy uvidíte jejich plné vytížení na několik sekund, než model přestane odpovídat v chatu.
V praxi nedostatečná paměť vypadala tak, že se zaplnila VRAM grafické karty téměř na maximum, grafická karta byla vytěžována jen na nižší desítky procent, ale vložil se do toho procesor. Ten byl ovšem vytížený ne zcela, ale okolo 70 %. Model se tedy výpočetně rozložil do celého systému, což způsobilo viditelně pomalejší odezvu. Stejné chování bylo i na modelu solar-pro, který má také 22B parametrů.
Pokud chcete provozovat velké AI modely, výkonná grafická karta s vysokou kapacitou VRAM je ideální. Méně komplexní modely spustíte i na grafických kartách nižší střední třídy, ale musí se jednat o nejnovější generaci s jádry Tensor. Nestačí se ale jen dívat po kapacitě VRAM, výkon je potřeba také.
Nvidia mimo běžné herní grafické karty nabízí i studiová řešení nebo akcelerátory jako řady RTX A6000 nebo RTX 6000. Ty mají vysoký výkon, ale i výrazně vyšší kapacity VRAM oproti herním grafikám, pro akceleraci AI jsou tedy lepším, byť dražším řešením. Grafické karty od Nvidie koupíte na Alze.
Shrnutí
Co dnes umí lokálně akcelerovaná umělá inteligence? Je toho docela dost, v chatu poradí, jak nastavit hru nebo si s vámi popovídá. Dále umí najít chtěný obrázek či ho vygenerovat, zvládne procházet i lokální soubory, byť na internet se většinou nedostane.
Různé schopnosti nejsou přímo vlastností konkrétního AI modelu, ale prostředí, v němž k němu přistupujete, případě doplňků, které si k němu doinstalujete. To platí například pro možnosti nahrávat lokální soubory nebo možnosti různých nastavení.
Modely často zvládnou češtinu, a to jak porozumění textu, tak i odpovědi. Nejsou ovšem bezchybné, občas se dopustí komicky zkomoleného slova nebo začnou samy od sebe odpovídat anglicky. Angličtina je tak preferovaným jazykem, například pokud chcete nahrávat lokální soubory, češtinu mi modely nepřijímaly.
V textu jsme ukázali několik jednoduchých prostředí, které umožní snadno nainstalovat i velmi pokročilé modely umělé inteligence, a některé mají příjemné vymoženosti. Do nich se potom stahují různé modely umělé inteligence o různé komplexitě a od různých vývojářů. Typicky jsou dostupné zdarma, ale vždy si raději přečtěte licenční podmínky.
Velkou výhodou lokálně akcelerované umělé inteligence je soukromí, soubory a texty neopustí váš počítač. Výhodou i nevýhodou je, že jste závislí na svém vlastním hardwaru – nemusíte nikomu platit nebo čekat ve frontě na volné servery, ale také je ideální mít počítač s výkonnou grafickou kartou.
Pamatujte však na to, že modely umělé inteligence se neustále vyvíjí. Každým dnem toho umějí více, podobně roste výkon počítačových komponent. Dnes už je vcelku jednoduché nainstalovat AI model a zprovoznit ho na moderním počítači střední, ale i nižší střední třídy. Výše v textu naleznete tipy a návody, jak na to. Určitě stojí za to si lokální umělou inteligenci vyzkoušet.
Autorem článku je redaktor našeho webu. Mohl vzniknout díky finanční podpoře partnera. Děkujeme!
Pokud se jedná o recenzi text reprezentuje názory autora, vychází z našich nezávislých testů a obsahuje výsledky našich měření.
