Nvidia vylepšila DLSS: verze 3.5 pro kvalitnější path tracing a představení RTX Remix Half-Life 2 | Kapitola 2
Seznam kapitol
Celá modelová řada GeForce RTX 40 už je venku, a tak si Nvidia na Gamescom připravila várku technologických vylepšení. DLSS povýší na verzi 3.5 s kvalitnějším ray tracingem. A poprvé představila i RTX remix kultovního Half-Life 2.
DLSS 3.5 pomáhá současně řešit jak zmiňované problémy s odšumováním obrazu, tak upscaling obrazu. Obejde se už i bez ručního ladění parametrů filtrů pro odšumování. V zásadě kombinuje algoritmy pro rekonstrukci paprsků a upscalingu do jediného společného modelu, který běží na všech GPU s technologií RTX.
Kvůli sloučení upscaleru a denoiseru má být ray reconstruction minimálně prozatím navázaný na DLSS, ve hrách by se měl zapnout po aktivování DLSS 3.5. S deaktivováním DLSS tak vypnete i ray reconstruction.
Nový model je natrénovaný s pětinásobným množstvím dat oproti DLSS 3. Využívá třeba doplňková data ze scény, která by mu měla lépe pomoci „pochopit“, co se na scéně odehrává. Využívá informace o barvě povrchů, mapu pohybových vektorů anebo normálové mapy. Rozezná řadu raytracovaných efektů, aby rozpoznal určité vzory a při rekonstrukci obrazu je využil, rozeznal aktuální a správné pixely a těch zastaralých a nesprávných se zbavil. A rozpozná i detailní vysokofrekvenční data, takže už nemá tendenci je „vyhlazovat“, což je podstatné pro dosažení kvalitního upsamplingu.
Na dalším snímku je srovnání tradičního denoiseru (s neaktivním DLSS) s DLSS 3.5 na statickém snímku. U toho tradičního dochází při prolínání bodů kvůli vyhlazení obrazu ke ztrátě detailů. Slabý stín, který je v šumu vidět, ale v dílčích oblastech je těžko rozeznatelný, se kvůli tomu při odšumování vytrácí. Naproti tomu DLSS 3.5 už stín na snímku rozpozná a nevyžehlí ho tak jako klasické filtry pro denoising.
A má to i pozitivní vliv na stabilitu obrazu. S tím, jak se při klasickém denoisingu obměňují data v zásobníku, kolísá i intenzita světel a stínů. Nvidia tomuto efektu říká „boiling“, nejspíš proto, že připomíná vařící se vodu. Naproti tomu s DLSS 3.5 už je obraz docela stabilní.
Při skládání dat z více snímků jsou při odšumění pak některé efekty „rozmáznuté“ napříč více snímky. Dobře je to vidět na další ukázce z Cyberpunku 2077 se srovnáním path tracingu bez DLSS a s DLSS 3.5. Na levém snímku je prostředí v dálce ve stínu kvůli tomu, že není vepředu dostatek naakumulovaných světlých bodů. A naopak po bocích auta je vidět světlo kvůli tomu, že se podél něj táhne původně nasvícená silnice, která postupně zvolna tmavne. Naproti tomu je vpravo snímek s DLSS 3.5, u kterého už algoritmus správně rozpozná, že jsou světlé pixely vedle auta zastaralé a nepoužije je, a totéž platí i pro nenasvícené pixely v dálce. Výsledek je realističtější nasvícení scény při dynamickém osvětlení a omezení ghostingu.
V pohybu je to vidět na již jednou zmíněném videu v čase 4:16. Hned za touto scénou navazuje ukázka kvalitnějších odrazů.
V ní denoiser nalevo odstranil detailní (vysokofrekvenční) informace, protože je považoval za šum. Napravo detaily zůstaly, rozdíl je zjevný i na zmenšeném náhledu.
Zajímavé je i to, že s upravenou pipeline s odstraněnými denoisery a upscalerem, které nahradil unifikovaný model, narostly mírně snímkové frekvence. Nenarostou ani latence, spíše se s nárůstem snímkové frekvence zkrátí. Ale k nárůstu výkonu nemusí nezbytně dojít, záleží spíše na náročnosti denoisingu v té které hře – čím je náročnější, tím větší je pravděpodobnost, že DLSS 3.5 pomůže.
Do třetice ve stejném videu o minutku později můžete stejnou scénu vidět v pohybu. Vyšší snímkovou frekvenci na youtube nepoznáte, ale na videu si můžete všimnout ještě jiné věci – s tím, jak je blikající barevné světlo nad stezkou při denoisingu „akumulované“ z několika snímků, se barvy světel slévají do bílé. Se stoupající snímkovou frekvencí je změna odstínu světla znatelnější, ale až ve třetím sloupečku je při 100 fps trochu výrazněji znát, že se barva rozptýleného světla mění spolu se světelným tunelem. I tak má za ním pořádné zpoždění, určitě to nevypadá jako světlo s rychlostí 300 tisíc kilometrů za sekundu, nasvícení betonu fialovou má za tunelem možná sekundové zpoždění, ani se nestíhá měnit tak rychle jako světlo nad ní. Oproti tomu u scény bez„akumulovaného denoisingu“ se na posledním snímku barva světla mění podstatně rychleji (i když i tam je krátká prodleva vidět).
Takže pokud vás u ray tracovaných scén rozčilovalo, že místo prudkého přechodu při zhasnutí světla to vypadalo spíš jako filmová stmívačka, DLSS 3.5 to řeší.
Užitečné je to i v profesionálním nasazení při rychlých náhledech s ray tracingem v reálném čase. Obdobně jako u her není zapotřebí zdlouhavější ruční ladění denosingu, nastavení automaticky obstarává natrénovaný model
Dobrá a špatné zprávy
Dobrá zpráva je, že ray reconstruction funguje na všech generacích GeForce RTX. Na RTX 30 a RTX 20 to bude pochopitelně bez generování snímků DLSS 3, takže s RTX 40 máte pořád výhodu.
Špatná zpráva je, že DLSS 3.5 vyžaduje nahradit stávající grafickou pipeline s denoisery novou. Znamená to, že se to neobejde bez asistence vývojářů daného titulu. DLSS 3.5 by tedy nemělo být možné rozběhat v dříve uvedených hrách jednoduše tím, že nahradíte knihovny pro DLSS novějšími, pokud tedy vývojáři z vlastní iniciativy „nepatchnou“ dříve vydanou hru, DLSS 3.5 budeme potkávat jenom v nově uvedených titulech.
A další dvě „drobnosti“ souvísí s principem, jak celá technologie funguje. U her s hybridním ray tracingem, kde jsou raytracingové efekty pouze přimíchané do scény vyrenderované rasterizací, se s druhou pipeline pro DLSS 3.5 nejspíš velice nikdo mazat nebude – vzhledem k tomu, že efekty nejsou tolik znát, by přínos této technologie nebyl velký. S DLSS 3.5 tak můžeme počítat spíše u titulů s podporou path tracingu, které s pomocí ray tracingu renderují celou scénu (a u „remixovaných“ titulů).
Druhá „drobnost“ je to, že protože rekonstrukci obstarávají hardwarově akcelerované neuronové sítě, podobně jako DLSS to nebude fungovat na grafikách AMD a Intelu. Výsledek path tracingu a kvalita obrazu se tudíž bude na GeForce a Radeonech či kartách Arc lišit, nebude přímo srovnatelný.
Komentáře naleznete na konci poslední kapitoly.
