内部AMD FSR 2.0：Xbox连接，接下来可能会发生什么

　　AMD的FSR 2.0图像升级技术最近一直是PC游戏领域的热门话题，因为它最近进行了开源 ，并迅速被社区改装器砍成了广泛的游戏。与竞争对手的NVIDIA的DLSS不同
，AMD的Tech基本上可以在所有现代图形卡上使用，因此为从高端台式PC到Steam Deck提供了一些诱人的机会 ，可以在广泛的机器上提高帧速率 。

　　为了更好地了解FidelityFX超级分辨率2.0的方式以及为什么从这里进行技术进行的何处，我们与FSR 2.0项目的负责人Nicolas Thibieroz进行了交谈
，Nicolas Thibieroz的完整头衔是AMD的游戏工程总监
。FSR 1.0推出后，我们上次与尼古拉斯（Nicolas）进行了交谈 ，这给我们留下了许多最近的发展以及未来的计划。

　　这次采访是在线进行的
，并在视频上记录，但下面有书面成绩单 。请注意 ，问题和答案均已轻松编辑以确保可读性。享受！

　　这是对尼古拉斯·蒂比奥斯（Nicolas Thibieroz）的完整视频采访
。

　　让我们从FSR 2.0背后的动机开始。AMD大约一年前以图像空间缩放解决方案发布了FSR 1.0 。在此基础上
，团队希望使用FSR 2.0实现什么 - 为什么他们想要FSR 2.0？

　　Nicolas Thibieroz：这是一个很好的问题
。因此，让我们花一些时间谈论FSR 1.0 ，对吗？正如您所说
，该技术是一年多以前发布的，我们已经看到游戏开发人员的采用非常好 ，显然
，我们对成功的成功非常满意，并对技术的许多方面表示赞赏 ，例如质量，性能权衡
，易于集成，跨平台支持 ，当然还有其开放性。因此
，这很有趣，因为我们可以选择仅为高端GPU构建超级分辨率技术 。从某种意义上说 ，这会更容易
，对吗？但这与我们的开发人员合作伙伴和客户想要的东西并不完全符合
。因此，我们在AMD中认为 ，超级解决方案是一项技术
，无论GPU供应商，性能或可访问性如何 ，都应该可以访问每个人
，并且回头看，我认为我们做出了正确的决定。仅在第一年就可以使用FSR 1.0启用了80多种游戏 ，这意味着玩家可以在任何设备上享受更高的性能[他们正在使用] 。

　　因此，从本质上讲
，这意味着FSR 1.0是我们将访问升级技术民主化的第一个解决方案，但我们知道我们不会停在那里
。因此 ，在动机方面
，我要说的是，相对于来源分辨率提高质量是我们想要追求的主要方面。FSR 1.0在更高质量的模式下看起来很棒 ，但是显然它开始以较高的比例损失一些蒸汽
，我们希望对此进行改进 。实时升级是AMD的一个积极研究领域，跨帧的时间升级是我们研究的下一个自然步骤
。因此 ，该解决方案将使我们能够使用以前框架的样品重建当前帧
，这是改善质量的逻辑方法。同时，我们不想失去使FSR 1.0成功的任何值 。再次：跨平台 ，易于集成和开源。因此
，在保留游戏开发人员对我们所期望的支柱的同时，提供了高质量的提高解决方案 ，这是FSR 2.0开发的主要动机
。

　　因此，您选择使用时间重建的FSR 2.0基本上使用时间超采样。我们已经看到了很长一段时间的时间技术
，可以追溯到Xbox 360上的Halo Reach ...显然，从那以后 ，它得到了改进和变化 。FSR 2.0如何尝试尽可能地消除鬼魂？

　　Nicolas Thibieroz：是的
，也很好
。让我花点时间在TAA上，因为我认为暂时性的反相商实际上是游戏开发行业如何共享和合作的一个很好的例子。正如您所指出的 ，因为我们已经看到TAA现在在今天的游戏中无处不在 。因此
，随着TAA是暂时性升级的基础，我认为对于AMD来说 ，通过发布和记录我们在这一领域的努力来回馈社区很重要
，我们通过在GPU Open Banner下释放FSR 2.0来做到这一点
。

　　关于hothing-根据定义，我想说的任何时间上的升级技术都将依靠先前帧中的像素信息 ，利用我们称为运动向量的内容来确定当前像素在上一个帧中的位置。现在不幸的是
，在游戏中，像素往往会移动很多 ，因此您不能仅仅依靠运动向量 。如果您正在玩像第一人称游戏一样的游戏，并且您打开了一扇新的门
，显然那个门外还有一些新的东西，那么 ，门后面的那些像素没有以前的框架的任何历史记录
。这就是我们所说的不合格。因此
，在这种情况下，时间算法需要找到其他方法来推断如何提高这些特定像素的细节 。有一些关于如何应对这些限制的文献记录的技术 ，包括查看邻里像素并夹紧它们以防止重新注射不正确的颜色
，从而避免了幽灵
。实际上，我要说的是 ，历史和当前像素如何合并在一起实际上是时间算法工作效果的主要部分。如果愿意的话
，秘密调味料 。

　　这是AMD 2022年AMD的FSR 2.0演讲之一。

　　在这里，我想说的是FSR 2.0使用现有方法和新方法之间的变化来限制重影工子的视觉影响
。因此 ，我们有很多技术细节
，我建议您阅读任何人。像FSR 2.0文档一样，我认为在这方面 ，甚至我们的GDC 2022演示文稿都非常好 。但是无论如何，我认为可以公平地说我们希望将来改善鬼魂
。FSR 2.0将变得越来越好。

　　我们知道游戏是由过去的许多传球和暂时性的反陈述组成的
，它在不透明的东西方面做得很好，但是透明 ，动画纹理的事物
，以不可思议的方式变化的表面始终造成了TAA的问题 。那么，AMD在这里的方法是什么 ，以确保即使在屏幕元素上保持高质量的高质量？

　　Nicolas Thibieroz：所以我认为您的问题撞到了头上
。游戏非常复杂
，对吗？它们由许多不同类型的渲染组成。这意味着要进行高质量的展望，FSR 2.0必须在所有方面都出色 。但是我认为可以说 ，透明度特别是在时间上的透明度可能具有挑战性
。那是因为那些半透明的像素通常没有运动向量甚至深度信息。因此
，您必须纯粹依靠颜色信息来决定如何提高这些信息 。现在，FSR 2.0可以处理开箱即用的大量更困难的案例
。我们有类似于阴影变化的检测机制 ，它在图像中寻找没有相应变化几何变化的变化。我们确实仍然可以照顾这些情况 。但是
，我们都是为开发人员提供最大的控制权。为此，我们露出面具
。我们称之为反应性掩码的掩码允许开发人员通过在屏幕上标记透明像素来实质上优化其FSR 2.0集成的质量。有了这些信息 ，FSR 2.0能够通过平衡历史数据与当前框架中的移植颜色来产生更好的上尺度图像 。

　　在Deathloop中...我发现我们通常在与TAA的游戏中看到的透明性问题并不是真正的
。到目前为止，我们只看了两个[FSR 2.0]标题
，这些事情显然可以在每个标题上改变。从技术上讲，我们研究了一个非标准的标题 ，因为通过GPU Open正式支持Vulkan和DX12 。除非[开发人员]直接与[AMD]合作
，否则Legacy API支持[例如DX11和OpenGL]确实不存在
。这就是战神所发生的。我们注意到，当像素被分开时 ，此后几个帧在该区域将有等效于分辨率的抖动 。我在战神在FSR 2.0上制作的视频中称这种令人震惊的“不合格”
。这种预期的行为是基于FSR 2.0工作原则吗？是设计还是风格？在FSR 2.0的将来的迭代中
，这将是可以改变的吗？

　　尼古拉斯·蒂比耶罗斯（Nicolas Thibieroz）：不幸的是，我认为我没有答案。我要说的是升级在根本上是一个复杂的问题 。您正在尝试从基本上有限的一组输入中重建高质量信号
。因此 ，实际上
，此过程意味着任何时间上的高尺度技术都将遇到较小的图像质量问题，并且通常在更高尺度的因素（例如性能模式）或当然是在游戏中运动时更可见的。它们也会在每场比赛中变化...但通常在正常的观看距离和高帧速率上看不到它们 ，或者至少在以4K分辨率为目标时看到它们 。话虽如此
，AMD肯定投资于继续在其许多方面继续改善FSR 2.0，而图像质量则导致了收费。我们的首要任务是FSR 2.0的玩家体验
。这意味着我们将根据典型的游戏条件优化算法。但是再次 ，我希望FSR 2.0会更好，越来越好 。

　　即使与此同时...人们已经与FSR 2.0一起做了非常令人难以置信的事情
。DaríoSamo
，我们以前曾出现过的内容，他在Super Mario 64 PC Ray Tracing Port [带有DLSS 2.0]的工作 ，他立即拿起并添加了FSR 2.0。我们已经看到的另一件事超出了想象的领域
，那就是人们一直在夺取过去两年中发布的DLSS头衔，并将AMD的FSR 2.0放入其中 ，劫持了.dll框架 。这是设计吗？你期望这个吗？您的反应是什么？您对将FSR 2.0投入以前没有的零售游戏的人们有什么评论？

　　Nicolas Thibieroz：我认为我们在这里看到的是开源的力量
。我的意思是
，就AMD而言，开源是开发人员加入我们创新的邀请。而且我认为我们正在与您提到的所有项目见面 。因此 ，我认为可以说我们确实期望看到FSR 2.0的创造性使用
，但发行后肯定不会破坏
。因此，基于与我们合作的所有专业游戏开发人员的接待 ，我认为这对我们的代码质量和文档的质量非常有用
，这实际上是我们特别感到自豪的。是的，这个行业有丰富的改装历史 ，对吗？而且您知道，我们非常乐意通过所有GPU公开计划来支持更广泛的发展社区 。但是
，当然... FSR 2.0的官方游戏集成总是比mod更可取
。不仅从纯粹的质量角度来看，而且还从所有玩家的易用性方面。因为显然 ，该选项直接出现在游戏中
，而不是必须摆弄.dlls等 。

　　Cyber​​punk 2077和垂死的Light 2的FSR 2.0 mod具有真正的前景……和粗糙的边缘。

　　在一定程度上回到与DLSS的互操作性的想法：NVIDIA详细的简化了今年的详细流线，他们在Github上发布了一些代码
。这个想法本质上是[超级分辨率技术现在都在PC上 ，所有供应商都[开发]自己的解决方案
，包括英特尔。该计划基本上是为了创建一个常见的API平台，即插件接口 ，供开发人员使用它来制作它
，以便如果您拥有Intel GPU，则可以运行Intel XESS ，如果您拥有NVIDIA GPU
，那么开发人员就可以更轻松地放入DLSS中 。希望AMD的FSR 2.0也是如此
。我只是好奇AMD是否想支持将来这样的倡议？

　　Nicolas Thibieroz：我将在这里与您直接。我们目前不打算支持Streamline 。现在，显然 ，尽管我们认为专注于开源技术是游戏玩家和游戏开发人员的最佳方法，但我们本质上不相信Streamline提供了任何重要的好处……超出了当前可用的功能 - 并且本质上是基本的NVIDIA技术
，例如DLSS，例如插入其中的DLSS ，但它们仍然关闭
，但他们仍然关闭并且仍然关闭
。因此，您正在谈论拥有一个插入封闭技术的开源框架 ，对吗？因此
，如果我将其与FSR 2.0进行对比，显然它是完全开源的 ，易于实现和在包括控制台在内的多个平台上进行支持
，我认为这实际上是该特定主题的关键。因此，开发人员无需学习和实施一个新框架 ，以解决他们今天已经可以轻松做的事情 。

　　在开发FSR 2.0时
，您将考虑到它的每一步，都将其考虑到它的毫秒框架时间成本 ，这可能是最佳过程的重要组成部分
。本质上，对于不同的GPU
，您有不同的路径。例如，Xbox上的FSR 2.0呢 ，其中是否具有特定的优化为Xbox系列X中的AMD GPU？

　　Nicolas Thibieroz：这是一个非常或否的答案 。是的
，绝对
。因此，我们认为这是针对每个平台进行了专门优化的 ，其中包括针对Xbox进行优化。绝对地 。

　　与在PC上使用现代rDNA 2芯片相比
，有什么细节可能在一定程度上需要什么？

　　Nicolas Thibieroz：是的，是的。您必须记住 ，使用GPU
，您拥有不同的性能特征，例如系统中的比率资源在纹理说明方面 ，数学指令可能不同
，等等
。因此，这些类型是基本上可能需要不同代码路径的示例。但是 ，我不知道确切的细节，老实说
，我们确切地使Xbox更快地制作Xbox 。但是我确实知道这样一个事实，我们确实做了一些事情 ，以尝试尽可能接近2ms
。

　　FSR 2.0上的底漆展示了《战神》中的特征
，这是三个发布的FSR 2.0游戏之一。

　　因此，FSR 2.0已经淘汰了一段时间 。它将扩散
。开发人员正在使用它。它已经在即将到来的标题中宣布 。但是 ，除了这里的扩散阶段之外
，您个人想如何看待FSR 2.0的算法和其他方式，鉴于AMD很快就会发布新的 ，可能会更强大的GPU
，这是一个事实？您只是对那个毫秒的运行时间降低并变得更快吗？还是您有兴趣使用那些更新的，更快的GPU使FSR 2.0不同 ，以某种方式更好？

　　Nicolas Thibieroz：我认为这是一个很好的问题
。是的
，我要说的是，我们有一个相当巨大的路线图 ，用于提高研究和开发。正如您之前指出的那样，我们去年发布了FSR 1.0
，并且上个月刚刚发布了FSR 2.0 。因此，团队仍专注于改善我们当前的解决方案 ，尤其是我们从开发人员合作伙伴那里获得的所有反馈
。这很重要
，因为我们想提高每个人的体验。因此，FSR 2.0会变得越来越好 。现在 ，尽管GPU无疑会变得更快
，但恐怕我无法对我们可能开发的任何新技术发表评论，以利用这些增加的功能。但是 ，我要说的是
，如果您查看我们的历史，我们将拥有确保我们发布的开发人员软件可以扩展到各种平台的历史
。我认为这是我们内心深处的东西。因此 ，如果没有预先发布任何内容
，我会说这是我们要维护的东西 。

　　好的，所以会变得更好
。会更快。但是 ，自从它们开始以来，我一直都注意到
，关于所有类型的图像重建技术的一件事是，它们在正常的 ，栅格的几何边缘边缘和纹理方面确实非常出色 。他们可以很好地对那些人进行清单
，并使它们看起来真的很清脆，干净且抗敏性 - 但是与此相关的渲染方面 ，例如Ray的反射
，通常仍然看起来很低分辨率，而在升级时
。它们看起来更像是内部分辨率。AMD对使FSR 2.0在使RT方向前进是否也有兴趣吗？

　　Nicolas Thibieroz：我认为 ，诸如FSR 2.0之类的时间升级技术实际上可以与射线追踪效果一起使用
，只要从摄像机视图中追踪的光线以相同的方式与Rasterised几何形状相同[对于FSR 2.0] 。但是，就您而言 ，确实
，某些效果，例如反射（无论是射线是否被追溯到） ，实际上都会通过暂时的升级算法具有挑战性
。这是因为再次，反射的像素与[帧]历史记录没有相关
，因为它们没有运动向量或深度。FSR 2.0已经能够通过可供游戏开发人员使用的特殊面具来支持其中的某些情况，以提高最终图像的质量 。那个面具与我之前提到的面具不同
。这称为透明度和组成面具。从本质上讲 ，它的作用是告诉FSR 2.0调整对像素存在的任何“锁 ”的贡献 。对于“锁
”的完整定义
，我们邀请您的听众检查文档，因为之后我们会变得复杂。

　　我们的第一个FSR 2.0视频将FSR 2.0与DLSS和Death Loop中的本机4K进行了比较
。

　　现在 ，我们只是谈论了FSR 2.0可能会进步未来的地方。机器学习现在不是FSR 2.0的一部分 。我认为在这一点上
，ML对这种事情有一定的实用性
。问题是，您认为您是否会在将来以FSR 2.0的任何能力使用机器学习 ，无论是在遥远的将来还是更近？

　　Nicolas Thibieroz：我认为毫无疑问
，机器学习是一个很好的工具。我的意思是，您将一堆输入和输出提供给机器学习框架 ，以便它可以学习它们之间的关系
，然后一旦学习了模型，就可以将其应用于任何新输入 。实际上 ，那太好了，对吗？它可以应用于一系列问题
。显然
，根据公共NVIDIA文档，DLSS利用它从可用输入中重建图像。因此 ，您可以将ML视为工程算法的一种蛮力方法
，但这当然是一种选择 。但是，就FSR 2.0而言 ，我们希望提供一种可以在各种硬件上运行的高质量升级解决方案
，因此我们不能真正依靠任何专用的机器学习加速度
。这不是我们的选择。公平地说，我们实际上对我们设计的手工制作算法最终感到满意 。现在 ，我们知道了内部算法
，它将使我们能够在将来继续改进它
。因此，FSR 2.0肯定会不断发展。至于AMD是否可以发布基于ML的未来的放大解决方案 。您知道会发生什么 ，恐怕我无法对此发表评论。

　　我们通常没有机会做的一件事是与像您这样的开发人员进行交谈
，这些开发人员正在制作这种技术，尤其是[对于这个项目而言是如此不可或缺的人
。那么 ，您真正为自己感到自豪的FSR 2.0工作还是您对[当时]感到非常满意的一个方面？因为成功就在那里...这对您意味着什么？

　　Nicolas Thibieroz：我实际上非常感谢您问了这个问题，因为这使我有机会谈论我非常珍爱的事情。因此
，在AMD担任游戏工程高级总监的角色中，我可以监督AMD与全球游戏开发人员的技术关系的各个方面 。FSR 2.0肯定是这个难题的主要作品
。但是 ，对我来说
，我最引以为傲的是真正的一群使一切成为可能的人。这些是您经常看不到的人，努力发明和设计幕后所有这些解决方案 。实际上 ，我相信我们拥有一些最聪明的行业
，将他们的心脏和灵魂投入到FSR 2.0等技术中
。作为该小组的导演，我有一个前排座位 ，以观察实现FSR 2.0之类的创造力和奉献精神。相信我
，这很难 。在质量和性能以及其他必须通过的指标方面，我们的大门非常困难
。确实需要一致的努力才能到达我们的位置。因此 ，与那些日复一日的人一起工作真是太好了 。而且我真的非常自豪地为我们团队合作而取得的成就
。

　　很高兴听到。您知道
，团队非常重要，就像我在Digital Foundry的同事和朋友对我以及希望在视频中进行交流的东西也非常重要 。这不仅与技术有关。有时候 ，这是关于热爱技术的经历和爱一切背后的技术...

　　这只是基于您所说的“奖金回合”问题 - 使质量和性能的[阈值]的努力
。您还记得任何突破性的时刻还是“啊哈！ ”FSR 2.0项目的时刻，关于FSR的技术方面之一？

　　尼古拉斯·蒂比耶兹（Nicolas Thibieroz）：实际上
，从质量的角度来看，有一些当然。一旦我们看到我们的图像质量与大部分内容上的DLSS相当 ，这显然是每个参与人员的非常好消息 。但是显然
，我们有一堆技术包含在该算法中，但它并不像我们想要的那么快
。因此 ，我们为不同平台进行优化所做的所有努力。因此
，一旦我们在寻找新的优化方法方面取得了突破，这使我们能够以毫秒为单位的一定阈值 ，是的
，我认为有很多乐趣 。肯定的那种时刻确实使它值得
。

　　是的，当然。我结束这些访谈的方式是问您是否想分享有关FSR 2.0 ，您的工作或其他任何事情的最终单词？

　　Nicolas Thibieroz：我想
，再次，我非常感谢最后一个问题 ，因为我必须谈论从事真正工作的幕后团队，而不是我在您面前并谈论它 。但是
，是的，我非常感谢这个机会与你们交谈 ，您知道
，希望看到下一步的数字铸造厂
。

　　太感谢了。

　　感谢Nicolas的时间和AMD的公关团队安排采访 。如果您对AMD有任何后续问题，请在下面告知我们 - 也许如果我们得到足够的问题 ，我们可以在某个阶段进行另一场FSR面试！