Taalas implementoval AI modely přímo do křemíku - výkon je brutální
Startup Taalas do svých čipů doslova vypálil umělou inteligenci. Výsledek? Brutální nárůst výkonu a zlomková cena i spotřeba.
Odměníme každého! Vyplňte komunitní průzkum a získejte luxusní ceny
Kdo jste, na čem a co hrajete, jaký obsah konzumujete a jaký vztah máte k AI? Věnujte nám pár minut a jako dárek za vyplnění získáte slevu na nákup a šanci získat také další luxusní ceny.
Startup Taalas trhá rekord. Rychlost odezvy je dnes u velkých jazykových modelů (LLM) alfou a omegou. Zatímco giganti spoléhají na hrubou sílu univerzálních grafických karet a integraci obřích pamětí, mladý startup Taalas na to jde úplně z jiného konce. Rozhodl se totiž vzít konkrétní AI modely a zavést je rovnou na hardwarové úrovni přímo do křemíku. A první výsledky doslova boří dosavadní měřítka.
Místo aby výpočetní jednotka složitě tahala data sem a tam, Taalas mapuje specifické neurální sítě rovnou do návrhu čipu a spojuje úložiště s výpočty v jediném masivním celku o hustotě běžné DRAM. Tím padá bariéra paměťové propustnosti.
Jejich prvotina, čip HC1, je přímo navržený na míru modelu Llama 3.1 8B od Mety. Výsledek této optimalizace je šokující – oproti high-endové infrastruktuře zvládá generovat až 10x více tokenů za sekundu (TPS) při 20x nižších výrobních nákladech. A to vše bez potřeby extrémního chlazení nebo drahých HBM pamětí. Čip HC1 přitom využívá už starší, a tedy cenově dostupnější 6nm procesní uzel od TSMC s plochou 815 mm², což je velikost srovnatelná s moderními čipy od Nvidie.
Zatímco 8miliardová Llama se na čip bez problému vejde, dnešní nejmodernější LLM modely atakují hranici bilionu parametrů. Taalas ale nezahálí a už otestoval i clusterové řešení. Propojením 30 čipů dokázali "vpájet" masivní model DeepSeek R1, se kterým dosáhli neuvěřitelné propustnosti 12 000 tokenů za sekundu na uživatele.
Jedinou slabinou tohoto odvážného řešení je absolutní ztráta flexibility. Jakmile je čip jednou vyroben, model v něm je dán napevno a nelze u něj měnit parametry. Pokud ale Taalas dokáže na trh chrlit levné čipy s touto rychlostí a brutálním výkonem na míru, může to být pro specifické enterprise využití naprostý game changer.
