• 玩GTA5吗?高清真人版那种英特尔新模型将3D渲染图变逼真图片
    发布日期:2021-06-07 16:59   来源:未知   阅读:

  香港最快报码开奖室在 3D 渲染领域,实时和真实感是两个关键要素。通常照片级渲染引擎处理单帧可能就要花费几分钟甚至几小时,而英特尔的新系统则能够以相对较高的帧速率处理图像。并且研究者表示,他们还将进一步优化该深度学习模型以更快地工作。那么英特尔这个图像增强补丁是如何实现的呢?我们来看一下具体的技术细节。

  这意味着如果以全高清 (1920×1080) 的分辨率运行游戏,那么最顶行的层(top row layer)将以 480×270 像素处理输入。接下来每低一行,分辨率减半。研究者改变了该神经网络中每个块的结构,以计算来自 G-buffer 编码器(RAD 层)的输入。

  G-buffer 的输入包括材料信息的 one-hot 编码,法线、深度和颜色的密集连续值(dense continuous values for normal)、以及光晕和天空 buffer 的稀疏连续信息。此外,该模型在 G-buffer 的子集上仍然表现良好。

  那么,该模型需要多少内存呢?该研究的论文并没有说明内存大小,但根据 HRNetV2 的论文,完整网络需要 1.79 GB 的内存才能用于 1024×2048 的输入。英特尔使用的图像增强网络具有较小的输入尺寸,但还需要考虑 RAD 层和 G-buffer 编码器引入的额外参数。因此,假设您至少需要 1 GB 的视频内存来为全高清游戏运行基于深度学习的图像增强,如果您想要 4K 的分辨率,那么内存可能需要超过 2 GB。

  游戏计算机通常具有 4-8 GB VRAM 的显卡,因此需要 1 GB 的内存并不算多。而像 GeForce RTX 系列的高端显卡则可以拥有高达 24 GB 的 VRAM。

  但同样值得注意的是,3D 游戏会消耗大量显卡资源。游戏会在视频内存上存储尽可能多的数据,以加快渲染速度,并避免在 RAM 和 VRAM 之间进行交换,而这种操作会导致巨大的速度损失。据估计,《侠盗猎车手 5》在全高清分辨率下消耗高达 3.5 GB 的 VRAM。而赛博朋克 2077 等新兴游戏拥有更大的 3D 世界和更细致的画面对象,轻松就可以占用高达 7-8 GB 的 VRAM,如果想以更高的分辨率播放,则需要更多内存。

  一个更大的问题是深度学习操作的连续和非线性属性。要理解这个问题,我们首先要使用深度学习推断进行 3D 图形比较。三维图形依赖大量的矩阵乘法。3D 图形的渲染帧从一组顶点开始,每个顶点用一组数字表示,这些数字代表 3D 对象上点的属性,包括坐标、颜色、材质、法线方向等。

  在渲染每一帧前,顶点必须经过一系列矩阵乘法,以将顶点的的局部坐标映射到世界坐标、相机空间坐标、图像帧坐标。索引缓冲区将顶点捆绑成三个一组以形成三角形。这些三角形被光栅化——或转换成像素——然后每个像素通过它自己的一组矩阵操作,根据材质颜色、纹理、反射和折射图、透明度级别等来确定它的颜色。

  因此,一个必须要考虑的瓶颈是必要的顺序操作数量。英特尔该模型的图像增强网络的顶层有 16 个按顺序链接的残差块。在每个残差块中有两个卷积层、RAD 块和 ReLU 操作依次连接。这相当于 96 层顺序操作。在 G-buffer 编码器输出其特征编码之前,图像增强网络无法开始其操作。因此必须至少添加处理第一组高分辨率特征的两个残差块,序列中又增加了 8 层,这使得用于图像增强的操作至少有 108 层。

  相比之下,我们在 HRNet 的论文中可以看到研究人员使用了英伟达V100,这是一种昂贵的专业级 GPU,专门为深度学习的推理和训练设计。由于没有内存限制和其他游戏内容计算的阻碍,V100 的推理时间为每张输入 150 毫秒,约为 7 fps,这不足以带来流畅的游戏画面(电影是 24 帧,PS4 标准版是 30 帧)。

  另一个复杂的问题是开发和训练图像增强神经网络的成本。想要引入深度学习技术的游戏公司都会面临三座大山的考验:数据、计算资源和机器学习人才。

  构建数据集是个大问题,但幸运的是英特尔已经想办法把问题解决了。他们在训练模型时引入了 Cityscapes 数据集,其中收集了德国 50 座城市的带注释街景图像,精细标注过的图片数量达到了 5000 张。根据数据集的论文,每张带注释的图像平均需要一个半小时的人工操作来精确指定图像中包含的对象,及其边界和类型。这些细粒度的注释使图像增强器能够将正确的逼真纹理映射到游戏图形上。

  如果要给《古墓丽影》做真实化怎么办?这可能就需要游戏开发者来自己收集图像,然后打标签了。

  计算资源也构成了一个挑战。用几千美元训练一个用于图像增强的神经网络是可以接受的——对于大游戏公司来说不是问题。但如果你想要做一些生成性人物,例如照片级图像增强时,训练就变得富有挑战性了。它需要人们对超参数进行大量的测试和调整,训练很多步,这会导致成本的激增。英特尔为 GTA 5 训练了模型,其他游戏公司或许可以在不同游戏中借鉴这一经验以减少成本。但类型差别较大的游戏就只能从头开始训练了。英特尔的深度学习模型适用于城市环境,其中景物和人物分隔明显。但如果在自然环境如森林和洞穴里,情况可能会有所不同。

3d模型下载哪个网站好?3d侠模型网拥有30多万模型素材库免费为设计师提供家装,公装,场景,五金构件,交通工具及户外等3d模型下载.下载3dmax免费模型图片上3d侠模型共享网.