Jak jednoduše na lokálně akcelerovanou AI. Ukážeme, co umí i jak ji zprovoznit | Kapitola 3
Seznam kapitol
Používání lokálně akcelerované AI je snadné a přináší výhody jako lepší soukromí a nezávislost na cloudu. Jak AI rozjet a co umí?
Opět se jedná o celkem uživatelsky přívětivé prostředí (stahujte zde), do nějž si můžete stáhnout jednotlivé modely a nabízí i některé užitečné funkce jako procházení místních souborů. Podobá se webovému rozhraní ChatuGPT, takže na levé straně máte navigační panel, kde v chatech jde vidět i historii konverzací. Dále si můžete vybrat, stáhnout a spustit různé modely, povolit přístup k lokálním souborům nebo využít některých pokročilejších nastavení.
Výhodou tohoto prostředí je kromě detailnějšího nastavení také možnost naistalovat širokou řadu jednotlivých AI modelů, ale také můžete zadat API klíč, což zprostředkuje propojení s modely například od Open AI.
Nejzajímavější jsou nastavení každého jednotlivého modelu, kde můžete vytvořit system prompt, který zarámuje začátek konverzace. Můžete vytvořit template pro prompt nebo jak se vytváří pojmenování konverzace v levém sloupci. Dále můžete nastavit různé parametry odpovědí, například variabilitu odpovědí. Každý model má své vlastní nastavení.
Opět jsem zvolil dva modely – Llama 3 8B Instruct a Nous Hermes 2 Mistral DPO, první s 8B a druhý s 7B parametry. Chování modelů od různých vývojářů, ale s podobnou komplexitou není moc odlišené. Oba testované modely běžely bez problémů, angličtinu zvládaly velmi dobře a češtinu obstojně.
V prostředí jsem se zaměřil na možnost čtení lokálních textových soborů. Bohužel ty to dokázalo přečíst jen ve formátu txt, pdf a v anglickém jazyce. Když jsem nahrál nějaké obecnější texty a zadal jsem, aby s nimi pracoval, stejně si občas sáhl do vlastní databáze, ale například dokázal vytáhnout specifické údaje z pdf se specifikacemi k monitoru.
Jak je to s češtinou? Oba modely dokázaly pracovat s prompty v češtině a stejně tak česky i odpovídaly. Opět byly české odpovědi někdy krkolomné, české otázky umělá inteligence ne vždy pochopila dokonale a občas se stávalo, že na českou otázku model odpovídal anglicky, a to i po několika upozorněních. Každopádně angličtina byla opět na skvělé úrovni, a to při porozumění i psaní.
Autorem článku je redaktor našeho webu. Mohl vzniknout díky finanční podpoře partnera. Děkujeme!
Pokud se jedná o recenzi text reprezentuje názory autora, vychází z našich nezávislých testů a obsahuje výsledky našich měření.
Komentáře naleznete na konci poslední kapitoly.
