Koprocesory TPU: recept na krvavé nároky umělé inteligence | Kapitola 2

Dalším krokem byl příchod 3D akcelerace, což je opět specializovaná třída neustále se opakujících výpočtů. Vzhledem k tomu, že se výpočet každého frame opakuje fázi po fázi, mluví se o grafické pipeline, která má řadu fixních fází, ale s příchodem shaderů, tedy malých procesorů provádějících operace na jednotlivých vertexech anebo pixelech, se objevila možnost programovat nové efekty. 

Množství shaderů je u moderních grafik enormní – Nvidia RTX 4090 jich má 16384. GPU je v podstatě miniaturní vysoce paralelní superpočítač, který díky knihovnám pro GPGPU nabízí možnost programování i pro obecné výpočty, jako je těžení kryptoměn – anebo akcelerace AI. Díky této architektuře můžeme spouštět naučené neuronové sítě – pro jejich provoz tento výkon bohatě stačí. Učení masivních neuronových sítí je problém úplně jiné třídy složitosti, vyžaduje opravdové superpočítače a dokonce spíš jejich clustery. To, že se neuronové modely učí na nich a na klientské straně se „jenom“ spouští, je ale masivní krok vpřed.

Nejnovějším krokem je příchod AI akcelerátorů. Ty se objevují hlavně v mobilních procesorech a jsou součástí marketingových materiálů, protože „dnes je všechno AI“. Co ale tyto akcelerátory ve skutečnosti obsahují? Nejde o nic magického, jde hlavně o takzvané tenzorové akcelerátory. 

V AI i při zpracovávání obrazu a podobných aplikacích se s tenzory pracuje úplně běžně. Tenzor je vlastně matematická struktura, může jít o skalár (nularozměrný tenzor), vektor (jednorozměrný tenzor) a matici (dvourozměrný tenzor). Úkolem tenzorových akcelerátorů je maximálně zrychlit výpočty s tenzory, jako je například násobení matic. Násobení matic vypadá jednoduše ve formě formule, v praxi ale představuje velký problém, protože jeho složitost je O(n³), protože počítáme n² čísel, přičemž u každého potřebujeme n násobení.