Nvidia vylepšila DLSS: verze 3.5 pro kvalitnější path tracing a představení RTX Remix Half-Life 2
Seznam kapitol
Celá modelová řada GeForce RTX 40 už je venku, a tak si Nvidia na Gamescom připravila várku technologických vylepšení. DLSS povýší na verzi 3.5 s kvalitnějším ray tracingem. A poprvé představila i RTX remix kultovního Half-Life 2.
Nejvýznamnější z novinek připravených Nvidií na Gamescom je asi nová verze DLSS s označením DLSS 3.5. Jde o významnou změnu v pojetí celého procesu renderingu pomocí ray tracingu v reálném čase.
Vývoj DLSS má několik významných milníků. V březnu 2020 přišla verze 2.0 s výrazně vyšší kvalitou obrazu dosahovanou pomocí rekonstrukce dat z více snímků, v listopadu 2021 se přidala verze 2.3, která přišla s menší mírou artefaktů u pohybujících se objektů, částic a zlepšovala stabilitu snímků, s uvedením řady RTX 40 v září 2022 přišlo DLSS 3 s generováním mezisnímků a v lednu 2023 verze 3.1 s lepší stabilitou prvků uživatelského rozhraní a vyšší kvalitou při rychlých pohybech.
Dalším významným vylepšením, jež dnes Nvidia ohlásila, je DLSS 3.5, které pomocí AI vylepšuje ray tracing. Vysvětlit si to můžeme na detailu zrcátka z Cyberpunku.
U pipeline s tradičním ray tracingem (resp. path tracingem) v prvním kroku engine vytváří materiály a geometrii objektů. Ve scéně ještě není vypočtené osvětlení, to se přidává až ve druhém kroku. Je rozděleno na odrazy a rozptýlené globální osvětlení. Ve scéně je vypočtený jen zlomek vzorků, který by byl zapotřebí pro plně vykreslenou scénu, vypadá to spíše jako šum. Denoisery se pak pokoušejí zaplnit černá místa na základě vzorků jak z nově vykresleného snímku, tak ze snímků předchozích. Jakmile je mapa odrazů a stínů zrekonstruovaná, skládají se oba výstupy do výsledného snímku v nižším rozlišení a následně je ještě snímek zvětšený na nativní rozlišení.
Jak fungují denoisery v praxi, je hezky vidět ve videu od Nvidie v čase 1:23. Na něm je proces rekonstrukce obrazu rozdělený do dvou částí – na interpolaci mezi více snímky (temporální) a na interpolaci na jednom aktuálním snímku (spatial).
Animace ukazuje, jak při akumulaci vzorků s každým novým renderovaným snímkem přibývají další vzorky, které se postupně přidávají do výsledného obrazu.
Během tohoto procesu se „zásobník“ musí také zbavit špatných (neaktuálních) vzorků třeba u pohybujících se objektů, jinak se u nich v obraze začnou objevovat duchy, táhnou za sebou blednoucí stopu.
Interpolace v rámci jednoho snímku se pak snaží zaplňovat hluchá místa tím, že hledá barvy vzorků v okolí aktuálního pixelu a snaží se je prolnout. Když je prolínání příliš agresivní, obraz bude rozmazaný, když je naopak slabé, obraz je zrnitý.
Vývojáři proto musí denoisery komplikovaně ladit v závislosti na obsahu scény – u časové složky třeba počtem snímků, ze kterých se vzorky sbírají, u interpolace na aktuálním snímku zase změnou poloměru, ve kterém si denoiser sahá pro vzorky, ale těch parametrů jsou mraky. Problém je s tím, že co funguje při jednom scénáři, dělá problémy při jiném.
Ilustrované je to na dalším obrázku – v něm „odšumovač“ sbírá data z více snímků, ale protože je vozem ujíždí silnice, na kterou se promítá světlo z reflektoru, osvětlená část s tmavým zrcátkem se postupně posouvá za auto a táhne za sebou jak stopu světel, tak ducha zrcátka.
Na druhé statické scéně s kontejnerem se zase denoiseru podařilo při zaplnění mezer vyretušovat i stín, který by měl zůstat.
U odrazů je zase nedostatek obrazových dat daný nízkým počtem vzorků vidět na ztrátě detailů výrazně více než u jednolitých světel a stínů, které se přidávají do scény. Když se na scénu podíváte, je vám jasné, že tenké černé linie jsou mříže, algoritmus to ale nemusí poznat a tmavé linie prostě zaplní okolními body, a výsledkem je rozostřený obraz se ztrátou detailů.
DLSS 3.5 má tyto nedostatky mírnit tím, že algoritmy pro odšumění během procesu renderingu nahradí pomocí algoritmu „ray reconstruction“, který využívá neuronovou síť natrénovanou na scénách s intenzivním využitím ray tracingu.
Komentáře naleznete na konci poslední kapitoly.
