Koprocesory TPU: recept na krvavé nároky umělé inteligence | Kapitola 4
Seznam kapitol
O umělé inteligenci se mluví sice často, ale její algoritmy a složitost pro nás zůstávají skryté. Hardwarová akcelerace AI je přitom stejně důležitá jako hardwarové enkódování videa.
Příchod akcelerátorů ale nabízí podstatně větší možnosti, jako je například kvalitnější upscaling videa a fotografií a také podstatně rychlejší zpracování efektů videa. Tenzorová jádra jsou poměrně generická technologie – a to, jak se využijí, je hlavně otázkou toho, jak rychle se jejich podpora dostane do aplikací.
Velkým krokem byl příchod smartphonového procesoru Google Tensor v roce 2021. Apple do svých procesorů zavedl ANE (The Apple Neural Engine) už v roce 2017 spolu s A11 Bionic. O Applí verzi akcelerátoru jsem se pokoušel dozvědět více z dostupných dokumentů, zdá se, že jde o nějakou podobnou formu akcelerace, která je přístupná přes rozhraní Core ML. Článek na Github popisuje Core ML jako „černou skříňku“, u které vývojáři hádají metodou pokus omyl, proč jim něco běží s akcelerací a něco ne.
Pointa je v tom, že tento typ akcelerace se stává standardem na všech platformách. To, že se s ním míří tak rychle do mobilních telefonů, je snadno pochopitelné: Smartphony používají aplikace narrow AI masivně, od výpočetní fotografie (rozostřování pozadí, noční fotografie) přes rozeznávání hlasu (Google Assistant, Apple Siri) až po legrační aplikace, jako jsou filtry v reálném čase.
Tento typ AI aplikací je na mobilech naprosto přirozený a funguje už delší dobu, z popisu funkce Core ML se zdá, že tato knihovna podporuje fallback, tedy když něco nezvládne akcelerovat přes ANE, pokusí se to akcelerovat přes GPU a když nejde ani to, skončí to v softwarové emulaci. Core ML tak nabízí identickou funkci na starších i novějších telefonech s tím, že ty novější mají pochopitelně mnohem výkonnější akceleraci.
Komentáře naleznete na konci poslední kapitoly.
