Zpět na článek

Diskuze: Jak jednoduše na lokálně akcelerovanou AI. Ukážeme, co umí i jak ji zprovoznit

Nejsi přihlášený(á)

Pro psaní a hodnocení komentářů se prosím přihlas ke svému účtu nebo si jej vytvoř.

Rychlé přihlášení přes:

Jan Mecera

Level 7

5. 10. 2024 11:34

Komentáře tohoto uživatele máš zablokované.

Na chat používám LM Studio. Na obrázky Pinokio a v něm instalovaný Fooocus. Pinokio na jeden klik stáhne všechno samo. Foocus jede i na 6GB Vram. Na civitai.com je pro něj mraky modelů. V Pinokiu je možné stáhnout i jiné modely, pro audio, video, chat a obrázky. https://pinokio.computer/

Tripe

Level 28

5. 10. 2024 19:46 (Upraveno)

Komentáře tohoto uživatele máš zablokované.

@Jan Mecera @Jan Mecera jojo, na obrázky, různé úpravy, zvuky a další vychytávky je pinokio asi nejlepší, zdarma a jednoduchý, taky doporučuji.

A na llm modely (ale i na obrázky) zas doporučuji jellybox. Nemůže to být jednodušší, vyberete model, stáhnete, popřípadě mu nastavíte vlastnosti (třeba jak vás má oslovovat nebo v jakém jazyce) a chatujete nebo tvoříte obrázky - https://jellybox.com/

Haunter

Level 20

4. 10. 2024 22:05

Komentáře tohoto uživatele máš zablokované.

Kdyby někdo chtěl, prodávám W9100 32GB. Rozjede i llama 3.1 70B ;-)

Jerry Lusy

Level 1

4. 10. 2024 14:24 (Upraveno)

Komentáře tohoto uživatele máš zablokované.

Jak už pár lidí napsalo v diskuzi, také mohu doporučit program LM-Studio pro běžné chatovací AI. Je velice user-friendy a modely AI se dají stahovat přímo z rozhraní. Možná ještě více uživatelsky přívětivý je program Jan.ai. Oba umožňují spouštět různé AI modely i bez grafické karty, protože vše počítá procesor, ale je to pomalejší. Jako ideální modely mohu doporučit Llama 3 (existuje i verze 3.1 a 3.2), Gemma 2 a ty od Francouzské firmy Mistral, které se jmenují různě, třeba Nemo. Pro pomalejší PC většinou bohatě stačí model s quantization Q4 (to určuje, jak je model "komprimovaný").

Pro offline generování obrázků mohu ze své zkušenosti doporučit program ComfyUI, ale není moc uživatelsky přívětivý. AUTOMATIC1111 webui je prý více user-friendly, ale s ním zkušenosti nemám. Modely pro ně se dají stahovat z civitai.com, nebo z Hugging Face.

Hodně zajímavý je i program backyard.ai . Je to chatovací program zaměřený na "charaktery". V podstatě si stáhnetě nějaký modifikovaný LLM model a charakter a pak si s ním povídáte. Tak trochu to může připomínat textovou hru. Asi nejvíce mne pobavila diskuse s charakterem "Lilliana the rouge" (je to NSFW model, který se na webu objeví až po přihlášení), se kterou jsem se vypravil na dobrodružství do nějaké fantasy kobky. Jako AI model doporučuji MythoMax-L2-Kimiko. To je osvědčená klasika. Celkem zábavná věcička, ale nesmíte od toho čekat moc.

michala

Level 4

4. 10. 2024 11:23

Komentáře tohoto uživatele máš zablokované.

Nevíte někdo o použitelném modelu, který umí dobře česky a dá se nacpat do 24GB VRAM? Zatím co jsem zkoušel, tak je to velká bída, a fine-tuning modelů qwen, llama3.1 taky bez velkých úspěchů. :(

Trek

Level 16

4. 10. 2024 13:52 (Upraveno)

Komentáře tohoto uživatele máš zablokované.

@michala @michala qwen je cinska bida, gemma 2 i lamma 3 docela jde, obcas to hodi out of memory ale, 5090 to vyresi. Jinak si muzes samozrejme udelat fine tuning a narvat do toho nejaky cesky texty.
Cesky ale ty modely umeji, i vulgarne, coz se hodi.

Jinak musis samozrejme vylevelit prompt engineering skill.

Samboush

Level 21

4. 10. 2024 10:20 (Upraveno)

Komentáře tohoto uživatele máš zablokované.

Pěkný článek. Ještě stojí za doplnění, že další věc na hraní s LLM na lokále je LM Studio, který je asi nejlepší. Běží to na AMD i NVIDIE, lze vyhledávat a sosat modely přímo v něm a různě s tím experimentovat, a to včetně API a použití v aplikacích. LM Studio Web

fyby

Level 20

4. 10. 2024 11:16

Komentáře tohoto uživatele máš zablokované.

@Samboush @Samboush Zrovna jsem to chtěl napsat. LM Studio používám už poměrně dlouho. Je to naprosto jednoduché na použití a zatím naprostá spokojenost jak pod Windows tak pod MacOS.