Průvodce světem technologií NVIDIA: DLSS 3 a Frame Generation – snímky navíc pro plynulejší hraní
Seznam kapitol
Technologie DLSS Frame Generation je evolucí původního DLSS. Přišla jako součást balíku DLSS 3 s poslední generací GeForce a architekturou Ada Lovelace. Ke snímkům rekonstruovaným pomocí DLSS s využitím AI přidává rovnou celý snímek navíc. Rozebereme, jak to funguje a jaké jsou výsledky v praxi.
S poslední generací GeForce RTX 40 představila Nvidia i technologii generování snímků DLSS 3 – či chcete-li DLSS 3 Frame Generation, která mezi snímky vyrenderované grafickou kartou vkládá snímek vygenerovaný s pomocí AI. Jde o další možnost, jak s využitím umělé inteligence výrazně navýšit snímkovou frekvenci i v případě, že hra nezvládá při použitém nastavení grafiky vykreslovat obraz uspokojivě rychle, protože ji limituje výkon hardwaru.
Zajímavé je, že hra nemusí do vytváření mezisnímků nijak zasahovat. Generování snímků tak pomáhá zvedat snímkové frekvence bez ohledu na to, zda hru brzdí procesor, nebo grafická karta. Obzvláště užitečné je to v situacích, kdy je na vině procesor. Pokud totiž nestíhá nezbytné výpočty dost rychle na to, aby poslal potřebná data grafické kartě, nedosáhnete už výrazně vyšších snímkových frekvencí ani snižováním detailů v nastavení grafiky, ani snižováním rozlišení.
Jak získat snímek navíc?
Generování snímků je evolučním skokem od původního DLSS. U něj si hra k dosažení vyšších snímkových frekvencí při zachování vysoké kvality obrazu pomáhá tím, že vzorky potřebné pro vykreslení snímku ve vysoké kvalitě v nativním rozlišení rekonstruuje ze snímků s nižším rozlišením (tedy s nižším počtem vzorků). Potřebný počet vzorků získá tím, že je nenabírá z jednoho, ale z více snímků.
Průvodce světem technologií NVIDIA: K čemu slouží a jak funguje DLSS
NVIDIA označuje DLSS za revoluci v grafice a násobitel výkonu, který s pomocí umělé inteligence vytváří vyšší počet snímků a…
U generování snímků jde NVIDIA ještě dál. Poslední dva snímky ve vysoké kvalitě využívá k tomu, aby mezi ně vložila snímek navíc vykreslený s využitím umělé inteligence.
Začátek procesu může být stejný jako u DLSS – z více snímků renderovaných s nižším počtem vzorků a mapy pohybových vektorů hra vykreslí snímek v nativním rozlišení. Poslední dva z těchto snímků zpracuje akcelerátor optical flow, který sestaví mapu optického toku ve scéně. A ten využije DLSS spolu s hotovými snímky pro generování nového mezisnímku.
Proč jej DLSS potřebuje? Když chcete mezi dva snímky vsunout jeden navíc, musíte vědět, co se mezi těmito snímky v obraze posunulo a kam. Ke stejnému účelu slouží i mapa pohybových vektorů, jenže ta není dokonalá. Scházejí v ní věci, které se do obrazu dostávají až během renderingu. Mohou to být třeba prvky, které se kvůli optimalizacím počítají stranou a do scény se nanášejí až následně pomocí map, jako jsou stíny, odrazy či světla.
Příkladem je stín motorky jedoucí po silnici na následujícím obrázku. Neuronová síť při zpracování obrazu dostane od hry mapu pohybových vektorů. V ní je zachyceno, jakým směrem se objekty ve scéně pohybují. DLSS se z mapy dozví, že se silnice pod motorkou ujíždí směrem dozadu. A bude ji v tomto směru chtít posunout. Spolu s texturou asfaltu ale může chtít dozadu přesunout i stín, který na silnici vrhá motocykl. Vznikne tím duch, který se za jezdcem potáhne podobně jako na následující ilustraci:
Správně by měl ubíhat jenom asfalt. Motorka je sice rychlá, ale ne tak, aby ujížděla svému stínu. A právě to umí při analýze snímků odhalit akcelerátor optical flow. Srovnává oba snímky, hledá shody a téměř v reálném čase generuje další mapu, v níž je zaznamenaný pohyb regionů pixelů v obrazu. Při tom už vychází z hotových renderů, jejichž analýzou zjistí, v jakých místech se pohyb v obraze liší od mapy pohybových vektorů.
Obě mapy potom může složit do jedné, která přesněji zachycuje, co se v obraze pohnulo a co se naopak hýbat nemá, a informace předá neuronové síti. Díky tomu lze pohyb mezi snímky odhadnout přesněji a vygenerovat kvalitnější mezisnímek.
Takovou analýzu je ve hrách nezbytné dělat opravdu rychle. Kdyby při 100 snímcích za sekundu trvala analýza snímků déle než rendering, nebylo by jejich generování moc platné. Aby bylo zároveň možné dosáhnout požadované kvality, mají GeForce poslední generace posílené výpočetní jednotky, které analýzu provádějí (onen Optical Flow Accelerator). A právě to uvádí NVIDIA jako důvod, proč generování snímků DLSS 3 zvládají pouze poslední generace GeForce z rodiny RTX 40 a u starších modelů s ním nemůžete počítat.
Při generování snímku se musíte vypořádat ještě s dalším problémem. Pokud vkládáte nový snímek mezi dva hotové, znamená to, že musíte vykreslení posledního vyrenderovaného snímku pozdržet, místo něj zobrazit mezisnímek a ten nejaktuálnější snímek můžete vykreslit až po něm. Aby toto zdržení NVIDA alespoň částečně kompenzovala, integrují vývojáři do her s generováním snímků zároveň technologii Reflex. Tu si ještě rozebereme detailněji, zatím jen ve stručnosti připomenu, že pomáhá lépe synchronizovat práci grafické karty a procesoru a zkrátit frontu pro zpracování obrazu. Procesor s výpočtem scény vyčkává tak, aby dodával grafické kartě data pro renderování „na poslední chvíli“ těsně před tím, než může karta začít vykreslovat nový snímek.
DLSS 3 Frame Generation tak těží z kombinace softwarových a hardwarových technologií Nvidie – super samplingu DLSS pro navýšení snímkových frekvencí, reflexu pro zkrácení odezvy a samotného generování snímků na straně softwaru a na straně hardwaru z jader pro výpočtů tenzorů, akcelerátoru optického toku a superpočítačů NVIDIA trénujících neuronové sítě, které DLSS využívá.
Co od této technologie můžete čekat v praxi, na to se podíváme na další straně.
Sponzorovaný redakční článek
Autorem článku je redaktor našeho webu. Text reprezentuje názory autora, vychází z našich nezávislých testů a obsahuje výsledky našich měření. Mohl vzniknout díky finanční podpoře partnera. Děkujeme!
Komentáře naleznete na konci poslední kapitoly.
