Ohromný GPU cluster Elona Muska pro AI - první podrobný pohled
Nový projekt Elona Muska, superpočítač s umělou inteligencí xAI Colossus, byl poprvé hlouběji představen. Montovali ho 122 dní, byl a sčítá přes 100000 GPU.
Uvnitř tohoto ohromného clusteru se ukrývá 100 000 grafických karet. Patrick ze společnosti ServeTheHome v místnosti s částí serveru natáčel a zveřejnil je na YouTube. Podrobnější informace, jako je například spotřeba energie a velikost čerpadel chlazení, nemohly být zveřejněny a proto jsou i na videu cenzurovány. To nejdůležitější, jako je například server s grafickými procesory Supermicro, zůstalo nedotčené.
GPU servery jsou Nvidia HGX H100 osazovány po osmi GPU H100. Platforma je poté zabalena do systému Supermicro 4U Universal GPU Liquid Cooled, která poskytuje snadné kapalinové chlazení s možností výměny za tepla pro každou GPU. Tyto servery jsou umístěny uvnitř stojanů, které pojmou každý osm serverů, což činí 64 GPU na jeden stojan. Mezi jednotlivými servery HGX H100 jsou umístěny rozdělovače 1U, které zajišťují potřebné kapalinové chlazení serverů. Ve spodní části každého racku je další jednotka Supermicro 4U, tentookrát s redundantním systémem čerpadel a systémem monitorování racků.
Stojany jsou organizovány do skupin po osmi, což činí 512 GPU na jedno pole. Každý server má čtyři redundantní zdroje napájení a třífázové napájení, ethernetové přepínače a kapalinové chlazení. Cluster Colossus má přes 1 500 racků s GPU, což je téměř 200 polí. Instalace GPU do těchto polí proběhla za tři týdny. Síťová konektivita zajišťuje pro AI supercluster vysokou šířku pásma. Každá grafická karta má 400 GbE NIC a každý server další 400Gb NIC, čímž dosahuje 3,6 Tb/s. Celý cluster běží na Ethernetu místo obvyklého InfiniBandu.
