发表
|最近更新
英特尔实验室的一个新的机器学习项目拍下的片段侠盗猎车手5看起来更真实.
“加强超级现实主义增强'项目是由英特尔实验室的斯蒂芬·r·里克特,哈桑·阿布AlHaija和VladlenKoltun他使用一种特殊的方法来修改游戏中的图像,从而使它们看起来更真实。
他们的模型接受了“翻译”训练侠盗猎车手V到城市景观数据集(Cityscapes Dataset),该数据集主要包含德国城市的图像,是用一辆汽车记录的内置摄像头。
在一个视频关于这个项目,研究人员解释说:“基于城市景观的现实模型,我们的方法用更平滑的沥青铺上道路,增加汽车涂料的光泽,并使晒干的山丘变绿侠盗猎车手加州。
“结果在几何和语义上与输入图像一致,时间上稳定。
它是一个卷积网络,可以逐帧生成图像,并可以以交互速率运行。"
虽然游戏画面有时会让玩家“产生幻觉”,比如在游戏过程中突然出现树木,然后消失,但改变后的版本似乎更稳定和“生产少文物的.
它还可以去除雾霾,重建道路,使草地“更大”,增加窗户的反射,增加菲涅耳效果(你可以从不同角度看到的闪光表面的反射率,例如在车顶上)。
在他们的论文摘要,作者解释道:"图像通过利用传统渲染管道产生的中间表示的卷积网络得到增强。
"该网络通过一个新的对抗性目标进行训练,在多个感知层次上提供强大的监督。
“我们分析了常用数据集中的场景布局分布,发现它们在重要方面存在差异。我们假设这是可以在许多之前的方法的结果中观察到的强伪影的原因之一。
"为了解决这我们提出了一种在训练过程中对图像块进行采样的新策略。我们还在用于增强照片真实感的深度网络模块中引入了多个建筑改进。
"我们确认了我们在控制实验中贡献的好处,并报告了与最近的图像到图像转换方法和各种其他基线相比,在稳定性和真实感方面的重大收获。"