返回手记

NeuroEngine 手记:灯一暗,辐射缓存跟不上

NTC、RTXNS、NRC 和 DLSS-RR 已经在同一个 DX12 场景里运行。能跑通不等于画质过关,灯光骤暗后的残留至今没有解决。

NeuroEngine 是我们在 NVIDIA RTXPT / Donut 基础上做的神经渲染运行时,测试场景是项目自带的 LivingRoom 客厅。现在同一个 DX12(Agility 1.722)进程里同时运行着四样东西:NTC 神经纹理(FP8 按采样解码,配合 STF 过滤)、RTXNS 神经材质(FP16 BRDF 网络)、在线训练的 NRC 神经辐射缓存,以及 DLSS-RR 重建。

“跑通”是什么意思

我们给“跑通”定了一个很窄的含义:最后一帧的 GPU 计数要对得上。1080p 下有 2,073,600 条全分辨率查询路径,其中 1,647,674 次实际查询了缓存,回写数量完全相同,非法值和错误路由都是零。报告里并列着两个字段:coreJointExecutionObserved=true,jointAcceptanceComplete=false。前者说四个组件确实都在计算,后者说画质还没有验收。

严格的门槛拦下过几个真问题。NRC Resolve 一开始少设了 64 字节的 push constants,回写全是零,那张截图被日志门槛拒绝,没有算作成功。256 spp 参考图里出现过 1 次 BRDF 非法值,追下去是网络最后一层的 FP16 指数在极端输入下溢出,溢出的还是一个没用到的 clearcoat 系数;改为 FP32 exp 后解决,权重和隐藏层都没动。还有切线的 w 分量被当成副切线的缩放,而它本该只是左右手符号。一个 64 spp 帧里查出 837,877 次射线长度违规,重建正交基之后,几类违规计数都归零。

灯一暗

动态测试是一段 896 帧的脚本:前 512 帧预热,第 512 帧把一盏点光源的强度从 25 降到 2,后面还有恢复灯光、移动靠垫和切换镜头。逐帧检查全部通过,画面却不对。骤暗那一帧,空间低通后 NRC 开与关两组的平均亮度比约为 1.958,房间暗了,画面还亮着。

第一个办法是灯光大幅变化时清空 NRC 缓存。对照的结果是没有足够改善:骤暗当帧,相对各自终点的 NRMSE 从 3.4852 变成 3.4126,第 31 帧从 0.1391 变成 0.1377。

于是我们加了同一帧 RR 前后的线性 HDR 捕获,把问题拆开。RR 输入的亮度比是 1.6815,输出是 1.9800:降噪之前信号就已经偏亮,重建之后局部异常更大。再试只重置 RR 历史,重建输出首帧的 NRMSE 从 3.4950 降到 0.1680,而输入的漂移几乎没变。这说明 NRC 的适应速度和 RR 的历史是两个问题,需要分开处理。

现在停在哪里

只重置 RR 不是修复。第 512 帧的输出相对终点亮度仍偏高约 27%,重置后的第一帧还能看到更强的噪声。两种重置都只是显式的实验选项,默认关闭。后来加的策略会在灯光变化时让 NRC 先绕过查询 32 帧,它压住了骤暗首帧的异常,但接回缓存后仍有波动,默认同样关闭。

另外,我们完成了一次十分钟的固定场景长跑,22,816 帧逐帧检查通过。它证明的是稳定性,不是动态画质。完整的时序画质验收、自有 RTXNS 模型训练、正式性能测量和公开分发许可审查,都还没有完成。

关联项目NeuroEngine

评论

正在载入…