DLSS 5をVulkanで再実装したOSSが登場
原題: OpenDLSS: A Vulkan Reimplementation of Nvidia's DLSS 5 Neural Rendering Network
なぜ重要か
NVIDIAの最新世代レンダリングAIをオープンに再実装したことで、専用ハードウェア不要での検証・研究が可能になり、ゲームグラフィクス技術の透明性向上につながる。
開発者のmaanHimself氏がNVIDIAのDLSS 5 Neural Renderingネットワークを、Vulkanで再実装したオープンソースプロジェクト「OpenDLSS-NR」をGitHubで公開した。オリジナルのビルド310.8.0と完全にビット一致するとされており、71ブロック構成のSwin/ViTネットワークをFP8精度で動作させる。WebGPUブラウザ版も別実装として同梱されている。
「OpenDLSS-NR」はNVIDIAのDLSS 5に搭載されたNeural Rendering(NR)ネットワークを、Vulkan APIで再実装したプロジェクトだ。公開からほどなくGitHub上でStar数700を超えており、コミュニティの関心を集めている。
技術的な核心は、Shifted-Window Transformer(Swin)とグローバルなViTを組み合わせたU-Netアーキテクチャで構成される71ブロックのネットワーク。FP8(E4M3)の活性化とFP16での累算を組み合わせ、重みは141MiBに収まる。オリジナルとの一致は最終画像だけでなく、75のブロック境界すべてにわたってバイト単位で確認済みとのことだ。
このネットワークの役割は「アップスケーリング」ではない。エンジンがすでに描画したフレームを入力として受け取り、注入されたノイズから詳細を生成しながら、スタイル設定に基づいてトーン・構造・肌質を調整して再レンダリングする。入出力の解像度は同一だ。NVIDIAはこれを「生成的ニューラルレンダリングネットワーク」と位置づけている。
追加実装として`ports/browser-webgpu/`にWebGPUを使ったブラウザ版も含まれる。テンソルコアもFP8も使わない独立した実装であり、2048×1152の解像度で動作するデモがREADMEに掲載されている。なお、ネットワーク重みはユーザー自身が用意する必要があり、プロジェクトには含まれていない。ライセンスはMITで公開されている。