Jak jednoduše na lokálně akcelerovanou AI. Ukážeme, co umí i jak ji zprovoznit | Kapitola 2

Začneme od uživatelsky nejpřívětivějšího prostředí, kterým je ChatRTX od Nvidie. ChatRTX se nejvíce blíží jednoduchému a snadno nainstalovanému programu s širokou řadou možností a funkcí. Umí přijímat prompty v textové i mluvené podobě, dokáže pracovat s lokálními soubory, a dokonce i s obrázky. V zájmu jednoduchosti nenabízí některé pokročilé možnosti a nemá k dispozici přehršel modelů, také se technicky nachází v beta verzi a stále se na něm pracuje (to je ovšem případ všech prostředí i modelů).

ChatRTX si stáhnete ze stránek Nvidie, potřebujete k němu grafickou kartu řady Nvidia RTX 30 nebo RTX 40 aspoň s 8 GB VRAM, dále aspoň 16 GB RAM, aktuální ovladače na grafiku a aspoň 16 GB místa na disku. Stránky Nvidie uvádí Windows 11, ale chat funguje i na Windows 10. Může si jej vyzkoušet tedy skoro každý.

i Zdroj: PCTuning.cz

ChatRTX pracuje ve dvou režimech, buď využívá lokálně uložených dat, nebo dat samotného modelu. Mezi lokální data Nvidia přidala některé dokumenty ke grafickým kartám, takže se můžete ptát na otázky týkající se her nebo technologií grafických karet. Můžete tam vložit i své vlastní soubory ve formátech txt, pdf a docx.

Druhým režimem je chatování přímo s modelem umělé inteligence. Ten má vlastní parametry, podle kterých odpovídá. S ním si tedy budete chatovat o obecných věcech. Jako výchozí je stažený model Mistral 7B, ale můžete si stáhnout i ChatGLM 3 6B nebo CLIP, který umí pracovat s obrázky a o kterém si povíme později.

Jak je to s češtinou? Samotná aplikace je v angličtině, ale můžete si chatovat i v češtině. Vždy bude záležet na konkrétním modelu a na tom, na jakých datech je natrénovaný. U modelů okolo 10B očekávejte, že jejich pochopení textu nebo výstup nebude perfektní, ale je dostatečně dobrý. Jeden úsměvný příklad za všechny:

• Já:
  • Zde je série čísel: 2, 4, 8, 16, 32. Jaké je další číslo v sekvenci a proč?
• ChatRTX:
  • Další číslo v sekvenci je 64. V sekvenci se každé číslo dvojkuje, tedy každé číslo je dvakrát větší než předchozí číslo.

Tohle je jedna z testovacích otázek, které jsem dal všem chatbotům. Odpověď je zde správná, ale chatbot Mistral asi nezná slovo „zdvojnásobí“ a místo něj použije „dvojkuje“. Takovýchto vtipných slov se po dobu testování objevilo mnoho a je to vždy na nainstalovaném modelu, jeho trénovacích datech a jeho velikosti (počet parametrů).

To byl textový model Mistral 7B, vedle něj si můžete stáhnout opět chatovací ChatGLM 3 6B, ale my jsme se zaměřili na užitečnější CLIP. To totiž není textový model, ale obrázkový. Neumí je sice vytvářet, ale umí je číst a klasifikovat.

i Zdroj: PCTuning.cz

V praxi to vypadá tak, že mu dáte k dispozici složku s fotkami se soubory jpeg, png, tiff či raw, a on je dokáže projít. Následně mu zadáte, jakou fotku hledáte, co na ní má být vidět, a CLIP se jí pokusí najít. V češtině funguje průměrně, ale v angličtině dokáže najít konkrétní obrázek. To je skvělá pomůcka třeba pro najití konkrétní fotky z dovolené. Navíc zde se nemusíte bát o své soukromí a můžete prohledávat velké adresáře na počítači.

i Zdroj: PCTuning.cz

Ke CLIPu nebo chatovacímu modelu Mistral 7B se dostanete i jinými způsoby než přes ChatRTX, ale jedná se o nejjednodušší a uživatelsky nejpřívětivější rozhraní. Obecně ChatRTX potěší možnost diktovat texty a má i dobré rozpoznávání (opět zejména angličtiny), práce s lokálními soubory je intuitivní a na výběr jsou zajímavé modely.

Pokud máte výkonnější počítač, ChatRTX je místem, kde můžete začít. To nejdůležitější je zde přítomno a zprovoznění je jednodušší než u jiných prostředí, nebo kdybyste instalovali AI modely napřímo. Čeština není ideální, někdy si to vymyslí slovo nebo nepochopí přesně zadání, ale komunikaci v angličtině je skvělá, protože pro ni má více trénovacích dat.