AMD představuje projekt Gaia, open source pro lokální AI modely
AMD uvádí open source platformu Gaia, která umožní spustit velké jazykové modely (LLM) přímo na počítači s Windows. Podporuje optimalizaci pro Ryzen AI čipy.
Mezi uživateli čím dál tím víc roste popularita lokálně hostovaných jazykových modelů. Tedy používání AI, které ovšem běží na vašem hardwaru, nikoliv na serverech někde v zámoří. Díky této popularitě představilo AMD projekt Gaia. Open-source platforma, díky které lze spustit jakékoliv LLM na jakémkoliv počítači s Windows. Díky využití Lemonade SDK od ONNX TurnkeyML je Gaia optimalizovaná zejména pro procesory Ryzen AI, včetně modelu Ryzen AI Max 395+.
Gaia využívá metodu Retrieval-Augmented Generation (RAG), která jazykovému modelu umožňuje čerpat informace z externí databáze, díky čemuž poskytuje přesnější a relevantnější odpovědi. AMD vytvořilo v modelu čtyři hlavní asistenty. Simple Prompt Completion pro testování modelu, Chat jako běžného chatbota, Clip pro vyhledávání na YouTube a Joker, který generuje vtipy.
Gaia nabízí dvě verze instalace. Univerzální, která funguje na jakémkoli PC, a „Hybridní“ variantu, která je optimalizovaná pro Ryzen AI procesory. Ta dokáže využít neuronovou jednotku procesoru (NPU) a integrovanou grafiku pro vyšší výkon. Lokální běh AI má několik výhod, primárně včetně lepšího zabezpečení, nižší latence a možnosti fungovat offline bez připojení k internetu.
