联系我们

12博下载app合成

nerf越来越靠近更换CGI的步骤

mm

更新

 on

麻省理工学院和谷歌的研究人员在解决了新兴AI驱动技术中的一个最根本障碍的一步迈出了最终可能最终将CGI分离的神经辐射场(NERF)12博下载app取代到其组成视觉组件中,以便12博下载app可以重新纹理并重新点亮。

新方法,叫做 内容器,有效地将捕获的12博下载app分割为每个对象的正常(可以分配纹理),光可见性,反照镜(附带光的比例’S反射远离表面)和双向反射率分布函数(BRDF)。

孤立的这些方面,它’不仅可以为单个对象或对象组切换纹理,还可以添加新颖和独特的照明源和阴影实现,折扣由生成NERF12博下载app的输入的多相机阵列捕获的任何折扣。

正常,可见性,反照和BRDF在内侧切开。 Source: //www.youtube.com/watch?v=UUVSPJlwhPg

正常,可见性,反照和BRDF在内侧切开。 Source: //www.youtube.com/watch?v=UUVSPJlwhPg

该模型支持从任意,用户定义的照明源的软或硬阴影,并以编程方式分隔捕获的视频的四个方面,使用重建损失,从先前计算BRDF计算的数据以及基本简单的平滑正则化。

内容器’S工作流程,从多相机阵列中提取分别的可操作方面。 Source: //arxiv.org/pdf/2106.01970.pdf

nerfactor采用HDR光探头,这是一种熟悉的方法,它自成熟以来已经遍及了视觉工业和艺术场景 介绍 1998年,评估射线可能的路线,这使得可以任意照明。由于这产生了不可降解的可能参数,因此光探针通过多层的Perceptron(MLP)来滤波,这将感知的几何形状映射到探针,而不尝试计算模型空间的完整照明体积图。

两个神经辐射场模型用于展示在内膜下的五个照明型号。单击12博下载app以获取更高分辨率。

反思的原因

在分离控制反射的捕获12博下载app层时,新的研究可能是最重要的。这仍然是神经辐射野外12博下载app的最大挑战之一,因为真正的新颖和灵活的NERF系统需要替代纹理,但是很多方法需要某种方式来反映移动物体(除了一般的固定环境中)通常会在CGI工作流程中占用。

最近在英特尔方面指出了这个问题’s 令人印象深刻的新研究 通过卷积神经网络将视频游戏素材转换为光电静脉识压。在这样的工作流程中,很多‘baked’源材料的各方面需要变得离散和可交换,这可以更容易地解决,用于求解(这是在NERF中呈现的几何的函数)而不是反射(利用‘off-screen’几何完全超出模型范围的几何图形)。

因此,隔离NERF视频中的层,其促进反射使NERF更靠近解决其‘reflection challenge’.

内容器: Neural Factorization of Shape and Reflectance Under an Unknown Illumination

HDR环境的使用已经解决了产生世界环境思考的问题(即天空,景观和其他‘fixed’环境因素),但需要新的方法来引入移动和动态反射。

与nerf的摄影测量

神经辐射场地12博下载app用途 机器学习 分析从已经从多个角度捕获的场景或对象中开发完全体积的空间。

去年中出现的各种基于NERF的方案使用了多种贡献的相机设备;有些使用16或更多相机,其他少数为一两个。在所有情况下,中间视点都是‘infilled’(即解释),以便可以流体导航场景或对象。

由此产生的实体是一个完全体积的空间,其具有内在的3D理解,其可以以多种方式利用,包括能够从输入12博下载app的3D解析的3D中生成传统CG网格。

nerf在一个背景下‘New CGI’

神经辐射场地12博下载app是 直接来自现实世界的12博下载app,包括人们,物体和场景的移动12博下载app。相比之下,CGI方法‘studies’并解释世界,需要熟练的工人建立利用现实世界意象(即面部和环境捕获)的网格,钻机和纹理。它仍然是一个基本上是一个基本上解释的和手工艺方法’昂贵而艰苦的。

此外,CGI还有持续存在的问题‘uncanny valley’在重新创建人类肖像的努力中效果,这对NERF驱动方法没有限制,这只是捕获真实人的视频或12博下载app并操纵它。

此外,NERF可以根据需要直接从照片中产生传统的CGI样式网格几何,并且在计算机生成的12博下载app中始终所需的许多手动过程中的许多手动过程。

nerf的挑战

这次来自麻省理工学院和谷歌的最新研究在去年的一个真正的Nerf论文中,其中许多人提供了初始2020纸抛出的各种挑战的解决方案。

4月,来自中国研究财团的创新提供了一种方法 离散地隔离 在内部场景中的方面的各个时间表,包括人。

st-nerf.

中国的研究允许最终用户复制,粘贴和调整捕获的元素大小,从原始源视频的线性时间线解开它们。 Source: //www.youtube.com/watch?v=Wp4HfOwFGP4

这种方法不仅可以从相机阵列捕获的任何角度(而不仅仅是在典型的视频捕获中表示的单个视图)来重新想象场景,而且还支持多功能合成 - 甚至能够代表两个方面的能力在自己的各个时间框架中运行的镜头(或甚至必要时倒退)。

Two separate NeRF facets run at different speeds in the same scene. Source: //www.youtube.com/watch?v=Wp4HfOwFGP4

中国的研究允许最终用户复制,粘贴和调整捕获的元素大小,从原始源视频的线性时间线解开它们。 Source: //www.youtube.com/watch?v=Wp4HfOwFGP4

Nerf的最大挑战之一是降低培训场景所需的相当大的资源,这已在一些最近的论文中解决了这一点。例如,最近推出的Max Planck智能系统研究所 千克里,这不仅速度速度速度为1000倍,但甚至使NERF能够以交互方式运行。

千克夫在GTX 1080Ti上以50fps运行的交互式环境。 Source: //github.com/creiser/kilonerf

千克夫在GTX 1080Ti上以50fps运行的交互式环境。 Source: //github.com/creiser/kilonerf

然而,在2021年,真正捕获了研究人员和公众的想象力的NERF速度创新一直是 plenoctrees. 由UC Berkeley领导的合作,提供了神经辐射领域的实时渲染:

Plenoctrees用于神经辐射田的实时渲染

PlenoOctrees互动能力的效果已被复制 Live,基于Web的界面.

Firefox中Plenoctrees对象的现场交互式运动(运动更平滑,比该GIF代表更平滑。 Source: http://alexyu.net/plenoctrees/demo/

Firefox中Plenoctrees对象的现场交互式运动(运动更平滑,比该GIF代表更平滑。 Source: http://alexyu.net/plenoctrees/demo/

此外, reacursive-nerf. (来自清华大学的研究人员的5月2021年)提供了根据需求的高质量递归渲染。代替义务用户渲染整个场景,包括可能无法看到的部分,而不是可能无法看到的部分,而recursive-nerf提供类似于JPEG的东西’S损坏压缩,可以产生离散的子系统,以处理需求的额外12博下载app - 实现计算资源的巨大节省。

Retaining detail while dumping unnecessary render calculations with Recursive-NeRF. Source: //arxiv.org/pdf/2105.09103.pdf

使用recursive-nerf倾倒不必要的渲染计算的同时保留细节。单击12博下载app以获取更高分辨率。 Source: //arxiv.org/pdf/2105.09103.pdf

其他方法包括 Fastnerf.,声称在200fps实现高保真神经渲染。

It’已注意到,Nerf的许多优化技术都涉及 ‘baking’ the scene,通过提交所希望渲染和丢弃其他方面的方面,这限制了探索,但大大加速了交互性。

这样的缺点是,压力从GPU移动到存储,因为烘焙场景占用了过多的磁盘空间;在某种程度上,这可以通过对烘焙采样的采样来减轻这种采样,尽管这也涉及一定的承诺,就关闭了勘探或交互性的途径而言。

关于运动捕获和索具,浙江和康奈尔大学的新方法, 五月透露,提供了一种使用Blend权重字段和从输入视频解释的骨架结构重新创建动画人类的方法:

衍生的骨骼结构在Animatable Nerf中。 Source: //www.youtube.com/watch?v=eWOSWbmfJo4

衍生的骨骼结构在Animatable Nerf中。 Source: //www.youtube.com/watch?v=eWOSWbmfJo4

什么时候nerf会有它的‘Jurassic Park’ Moment?

尽管通过神经辐射田的12博下载app综合进展快速进展,但它只是在这一时期的任何一种‘热力学定律 ’将建立用于可部署的nerf如何成为的。就与CGI的历史类似的时间表,NERF目前在1973年左右徘徊,就在此之前 首次使用 CGI in. Westworld..

这并不意味着nerf必须需要等待九年的等效 汗的愤怒 里程碑或者几十年来,即类似突破,即CGI在James Cameron下取得了成就’1989年的热情赞助’s 深渊 or 1991’s 终结者2 - 然后,技术’S真正的革命性 突破时刻 in 1993’s 侏罗纪公园.

自影片化学效果长期停滞以来,成像场景发生了很大的变化,从电影院到20世纪90年代初,将电影和电视生产占主导地位。 PC革命的出现和摩尔的加速度’S法律导致CGI革命,否则可能会随时尽早发生在20世纪60年代。

如果有任何屏障如此可阻止,它仍然可以容纳nerf’对于那段时间的进步 - 如果随后的创新 计算机视觉 可能没有与CGI的关键竞争者完全超越NERF’S冠,表征神经辐射场,作为短暂的‘fax machine’神经12博下载app合成。

截至目前,NERF尚未在学术研究之外的任何背景下使用;但它’值得注意的是,谷歌研究等主要参与者以及许多最突出的计算机视觉研究实验室正在竞争最新的NERF突破。

许多人类’最大的障碍已经开始直接解决;如果随后的研究提供了解决方案‘reflection issue’以及NERF优化研究的许多股线融入了该技术的决定性解决方案’S的相当大的处理和/或存储需求,nerf确实在成为一个镜头‘the new CGI’在未来五年。